Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Use structured binding declarations (sonar, c++17).
[simgrid.git] / src / kernel / routing / NetZoneImpl.cpp
index bd320c8..1de62fd 100644 (file)
@@ -1,22 +1,25 @@
-/* Copyright (c) 2006-2021. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2006-2022. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
-#include "simgrid/kernel/routing/NetZoneImpl.hpp"
-#include "simgrid/kernel/routing/NetPoint.hpp"
-#include "simgrid/s4u/Engine.hpp"
-#include "simgrid/s4u/Host.hpp"
+#include <simgrid/kernel/routing/NetPoint.hpp>
+#include <simgrid/kernel/routing/NetZoneImpl.hpp>
+#include <simgrid/s4u/Engine.hpp>
+#include <simgrid/s4u/Host.hpp>
+#include <simgrid/s4u/VirtualMachine.hpp>
+
 #include "src/include/simgrid/sg_config.hpp"
 #include "src/kernel/EngineImpl.hpp"
+#include "src/kernel/resource/CpuImpl.hpp"
 #include "src/kernel/resource/DiskImpl.hpp"
+#include "src/kernel/resource/NetworkModel.hpp"
+#include "src/kernel/resource/SplitDuplexLinkImpl.hpp"
+#include "src/kernel/resource/StandardLinkImpl.hpp"
+#include "src/kernel/resource/VirtualMachineImpl.hpp"
 #include "src/surf/HostImpl.hpp"
-#include "src/surf/SplitDuplexLinkImpl.hpp"
-#include "src/surf/cpu_interface.hpp"
-#include "src/surf/network_interface.hpp"
-#include "surf/surf.hpp"
 
-XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(surf_route);
+XBT_LOG_NEW_DEFAULT_SUBCATEGORY(ker_routing, kernel, "Kernel routing-related information");
 
 namespace simgrid {
 namespace kernel {
@@ -67,31 +70,32 @@ static void surf_config_models_setup()
 
 xbt::signal<void(bool symmetrical, kernel::routing::NetPoint* src, kernel::routing::NetPoint* dst,
                  kernel::routing::NetPoint* gw_src, kernel::routing::NetPoint* gw_dst,
-                 std::vector<kernel::resource::LinkImpl*> const& link_list)>
+                 std::vector<kernel::resource::StandardLinkImpl*> const& link_list)>
     NetZoneImpl::on_route_creation;
 
 NetZoneImpl::NetZoneImpl(const std::string& name) : piface_(this), name_(name)
 {
+  auto* engine = s4u::Engine::get_instance();
   /* workaroud: first netzoneImpl will be the root netzone.
    * Without globals and with current surf_*_model_description init functions, we need
    * the root netzone to exist when creating the models.
    * This was usually done at sg_platf.cpp, during XML parsing */
-  if (not s4u::Engine::get_instance()->get_netzone_root()) {
-    s4u::Engine::get_instance()->set_netzone_root(&piface_);
+  if (not engine->get_netzone_root()) {
+    engine->set_netzone_root(&piface_);
     /* root netzone set, initialize models */
     simgrid::s4u::Engine::on_platform_creation();
 
     /* Initialize the surf models. That must be done after we got all config, and before we need the models.
-     * That is, after the last <config> tag, if any, and before the first of cluster|peer|zone|trace|trace_connect
+     * That is, after the last <config> tag, if any, and before the first of cluster|peer|zone|trace|trace_cb
      *
-     * I'm not sure for <trace> and <trace_connect>, there may be a bug here
+     * I'm not sure for <trace> and <trace_cb>, there may be a bug here
      * (FIXME: check it out by creating a file beginning with one of these tags)
      * but cluster and peer come down to zone creations, so putting this verification here is correct.
      */
     surf_config_models_setup();
   }
 
-  xbt_assert(nullptr == s4u::Engine::get_instance()->netpoint_by_name_or_null(get_name()),
+  xbt_assert(nullptr == engine->netpoint_by_name_or_null(get_name()),
              "Refusing to create a second NetZone called '%s'.", get_cname());
   netpoint_ = new NetPoint(name_, NetPoint::Type::NetZone);
   XBT_DEBUG("NetZone '%s' created with the id '%lu'", get_cname(), netpoint_->id());
@@ -105,8 +109,20 @@ NetZoneImpl::~NetZoneImpl()
   for (auto const& nz : children_)
     delete nz;
 
-  for (auto const& kv : bypass_routes_)
-    delete kv.second;
+  /* Since hosts_ and links_ are a std::map, the hosts are destroyed in the lexicographic order, which ensures that the
+   * output is reproducible.
+   */
+  for (auto& [_, host] : hosts_) {
+    host->destroy();
+  }
+  hosts_.clear();
+  for (auto& [_, link] : links_) {
+    link->destroy();
+  }
+  links_.clear();
+
+  for (auto const& [_, route] : bypass_routes_)
+    delete route;
 
   s4u::Engine::get_instance()->netpoint_unregister(netpoint_);
 }
@@ -126,23 +142,43 @@ void NetZoneImpl::add_child(NetZoneImpl* new_zone)
  */
 std::vector<s4u::Host*> NetZoneImpl::get_all_hosts() const
 {
-  std::vector<s4u::Host*> res;
-  for (auto const& card : get_vertices()) {
-    s4u::Host* host = s4u::Host::by_name_or_null(card->get_name());
-    if (host != nullptr)
-      res.push_back(host);
+  return s4u::Engine::get_instance()->get_filtered_hosts(
+      [this](const s4u::Host* host) { return host->get_impl()->get_englobing_zone() == this; });
+}
+size_t NetZoneImpl::get_host_count() const
+{
+  return get_all_hosts().size();
+}
+
+std::vector<s4u::Link*> NetZoneImpl::get_filtered_links(const std::function<bool(s4u::Link*)>& filter) const
+{
+  std::vector<s4u::Link*> filtered_list;
+  for (auto const& [_, link] : links_) {
+    s4u::Link* l = link->get_iface();
+    if (filter(l))
+      filtered_list.push_back(l);
   }
-  return res;
+
+  for (const auto* child : children_) {
+    auto child_links = child->get_filtered_links(filter);
+    filtered_list.insert(filtered_list.end(), std::make_move_iterator(child_links.begin()),
+                         std::make_move_iterator(child_links.end()));
+  }
+  return filtered_list;
 }
-int NetZoneImpl::get_host_count() const
+
+std::vector<s4u::Link*> NetZoneImpl::get_all_links() const
 {
-  int count = 0;
-  for (auto const& card : get_vertices()) {
-    const s4u::Host* host = s4u::Host::by_name_or_null(card->get_name());
-    if (host != nullptr)
-      count++;
+  return get_filtered_links([](const s4u::Link*) { return true; });
+}
+
+size_t NetZoneImpl::get_link_count() const
+{
+  size_t total = links_.size();
+  for (const auto* child : children_) {
+    total += child->get_link_count();
   }
-  return count;
+  return total;
 }
 
 s4u::Host* NetZoneImpl::create_host(const std::string& name, const std::vector<double>& speed_per_pstate)
@@ -150,12 +186,19 @@ s4u::Host* NetZoneImpl::create_host(const std::string& name, const std::vector<d
   xbt_assert(cpu_model_pm_,
              "Impossible to create host: %s. Invalid CPU model: nullptr. Have you set the parent of this NetZone: %s?",
              name.c_str(), get_cname());
-  auto* res = (new surf::HostImpl(name))->get_iface();
-  res->set_netpoint((new NetPoint(name, NetPoint::Type::Host))->set_englobing_zone(this));
+  xbt_assert(not sealed_, "Impossible to create host: %s. NetZone %s already sealed", name.c_str(), get_cname());
+  auto* host   = (new resource::HostImpl(name))->set_englobing_zone(this);
+  hosts_[name] = host;
+  host->get_iface()->set_netpoint((new NetPoint(name, NetPoint::Type::Host))->set_englobing_zone(this));
 
-  cpu_model_pm_->create_cpu(res, speed_per_pstate);
+  cpu_model_pm_->create_cpu(host->get_iface(), speed_per_pstate);
 
-  return res;
+  return host->get_iface();
+}
+
+resource::StandardLinkImpl* NetZoneImpl::do_create_link(const std::string& name, const std::vector<double>& bandwidths)
+{
+  return network_model_->create_link(name, bandwidths);
 }
 
 s4u::Link* NetZoneImpl::create_link(const std::string& name, const std::vector<double>& bandwidths)
@@ -164,18 +207,24 @@ s4u::Link* NetZoneImpl::create_link(const std::string& name, const std::vector<d
       network_model_,
       "Impossible to create link: %s. Invalid network model: nullptr. Have you set the parent of this NetZone: %s?",
       name.c_str(), get_cname());
-  return network_model_->create_link(name, bandwidths)->get_iface();
+  xbt_assert(not sealed_, "Impossible to create link: %s. NetZone %s already sealed", name.c_str(), get_cname());
+  links_[name] = do_create_link(name, bandwidths)->set_englobing_zone(this);
+  return links_[name]->get_iface();
 }
 
 s4u::SplitDuplexLink* NetZoneImpl::create_split_duplex_link(const std::string& name,
                                                             const std::vector<double>& bandwidths)
 {
-  auto* link_up                  = network_model_->create_link(name + "_UP", bandwidths);
-  auto* link_down                = network_model_->create_link(name + "_DOWN", bandwidths);
-  auto link                      = std::make_unique<resource::SplitDuplexLinkImpl>(name, link_up, link_down);
-  auto* link_iface               = link->get_iface();
-  EngineImpl::get_instance()->add_split_duplex_link(name, std::move(link));
-  return link_iface;
+  xbt_assert(
+      network_model_,
+      "Impossible to create link: %s. Invalid network model: nullptr. Have you set the parent of this NetZone: %s?",
+      name.c_str(), get_cname());
+  xbt_assert(not sealed_, "Impossible to create link: %s. NetZone %s already sealed", name.c_str(), get_cname());
+
+  auto* link_up             = create_link(name + "_UP", bandwidths)->get_impl()->set_englobing_zone(this);
+  auto* link_down           = create_link(name + "_DOWN", bandwidths)->get_impl()->set_englobing_zone(this);
+  split_duplex_links_[name] = std::make_unique<resource::SplitDuplexLinkImpl>(name, link_up, link_down);
+  return split_duplex_links_[name]->get_iface();
 }
 
 s4u::Disk* NetZoneImpl::create_disk(const std::string& name, double read_bandwidth, double write_bandwidth)
@@ -183,6 +232,7 @@ s4u::Disk* NetZoneImpl::create_disk(const std::string& name, double read_bandwid
   xbt_assert(disk_model_,
              "Impossible to create disk: %s. Invalid disk model: nullptr. Have you set the parent of this NetZone: %s?",
              name.c_str(), get_cname());
+  xbt_assert(not sealed_, "Impossible to create disk: %s. NetZone %s already sealed", name.c_str(), get_cname());
   auto* l = disk_model_->create_disk(name, read_bandwidth, write_bandwidth);
 
   return l->get_iface();
@@ -192,6 +242,7 @@ NetPoint* NetZoneImpl::create_router(const std::string& name)
 {
   xbt_assert(nullptr == s4u::Engine::get_instance()->netpoint_by_name_or_null(name),
              "Refusing to create a router named '%s': this name already describes a node.", name.c_str());
+  xbt_assert(not sealed_, "Impossible to create router: %s. NetZone %s already sealed", name.c_str(), get_cname());
 
   return (new NetPoint(name, NetPoint::Type::Router))->set_englobing_zone(this);
 }
@@ -202,10 +253,10 @@ unsigned long NetZoneImpl::add_component(NetPoint* elm)
   return vertices_.size() - 1; // The rank of the newly created object
 }
 
-std::vector<resource::LinkImpl*> NetZoneImpl::get_link_list_impl(const std::vector<s4u::LinkInRoute>& link_list,
-                                                                 bool backroute) const
+std::vector<resource::StandardLinkImpl*> NetZoneImpl::get_link_list_impl(const std::vector<s4u::LinkInRoute>& link_list,
+                                                                         bool backroute) const
 {
-  std::vector<resource::LinkImpl*> links;
+  std::vector<resource::StandardLinkImpl*> links;
 
   for (const auto& link : link_list) {
     if (link.get_link()->get_sharing_policy() != s4u::Link::SharingPolicy::SPLITDUPLEX) {
@@ -216,7 +267,7 @@ std::vector<resource::LinkImpl*> NetZoneImpl::get_link_list_impl(const std::vect
     const auto* sd_link = dynamic_cast<const s4u::SplitDuplexLink*>(link.get_link());
     xbt_assert(sd_link,
                "Add_route: cast to SpliDuplexLink impossible. This should not happen, please contact SimGrid team");
-    resource::LinkImpl* link_impl;
+    resource::StandardLinkImpl* link_impl;
     switch (link.get_direction()) {
       case s4u::LinkInRoute::Direction::UP:
         if (backroute)
@@ -239,6 +290,79 @@ std::vector<resource::LinkImpl*> NetZoneImpl::get_link_list_impl(const std::vect
   return links;
 }
 
+resource::StandardLinkImpl* NetZoneImpl::get_link_by_name_or_null(const std::string& name) const
+{
+  auto link_it = links_.find(name);
+  if (link_it != links_.end())
+    return link_it->second;
+
+  for (const auto* child : children_) {
+    auto* link = child->get_link_by_name_or_null(name);
+    if (link)
+      return link;
+  }
+
+  return nullptr;
+}
+
+resource::SplitDuplexLinkImpl* NetZoneImpl::get_split_duplex_link_by_name_or_null(const std::string& name) const
+{
+  auto link_it = split_duplex_links_.find(name);
+  if (link_it != split_duplex_links_.end())
+    return link_it->second.get();
+
+  for (const auto* child : children_) {
+    auto* link = child->get_split_duplex_link_by_name_or_null(name);
+    if (link)
+      return link;
+  }
+
+  return nullptr;
+}
+
+resource::HostImpl* NetZoneImpl::get_host_by_name_or_null(const std::string& name) const
+{
+  for (auto const& [_, host] : hosts_) {
+    if (host->get_name() == name)
+      return host;
+    /* keep old behavior where host and VMs were saved together on EngineImpl::hosts_
+     * get hosts returns VMs too */
+    auto* vm = host->get_vm_by_name_or_null(name);
+    if (vm)
+      return vm;
+  }
+
+  for (const auto* child : children_) {
+    auto* host = child->get_host_by_name_or_null(name);
+    if (host)
+      return host;
+  }
+
+  return nullptr;
+}
+
+std::vector<s4u::Host*> NetZoneImpl::get_filtered_hosts(const std::function<bool(s4u::Host*)>& filter) const
+{
+  std::vector<s4u::Host*> filtered_list;
+  for (auto const& [_, host] : hosts_) {
+    s4u::Host* h = host->get_iface();
+    if (filter(h))
+      filtered_list.push_back(h);
+    /* Engine::get_hosts returns the VMs too */
+    for (auto* vm : h->get_impl()->get_vms()) {
+      if (filter(vm))
+        filtered_list.push_back(vm);
+    }
+  }
+
+  for (const auto* child : children_) {
+    auto child_links = child->get_filtered_hosts(filter);
+    filtered_list.insert(filtered_list.end(), std::make_move_iterator(child_links.begin()),
+                         std::make_move_iterator(child_links.end()));
+  }
+  return filtered_list;
+}
+
 void NetZoneImpl::add_route(NetPoint* /*src*/, NetPoint* /*dst*/, NetPoint* /*gw_src*/, NetPoint* /*gw_dst*/,
                             const std::vector<s4u::LinkInRoute>& /*link_list_*/, bool /*symmetrical*/)
 {
@@ -271,7 +395,7 @@ void NetZoneImpl::add_bypass_route(NetPoint* src, NetPoint* dst, NetPoint* gw_sr
   newRoute->links.insert(newRoute->links.end(), begin(converted_list), end(converted_list));
 
   /* Store it */
-  bypass_routes_.insert({{src, dst}, newRoute});
+  bypass_routes_.try_emplace({src, dst}, newRoute);
 }
 
 /** @brief Get the common ancestor and its first children in each line leading to src and dst
@@ -385,7 +509,7 @@ static void find_common_ancestors(const NetPoint* src, const NetPoint* dst,
 
 /* PRECONDITION: this is the common ancestor of src and dst */
 bool NetZoneImpl::get_bypass_route(const NetPoint* src, const NetPoint* dst,
-                                   /* OUT */ std::vector<resource::LinkImpl*>& links, double* latency,
+                                   /* OUT */ std::vector<resource::StandardLinkImpl*>& links, double* latency,
                                    std::unordered_set<NetZoneImpl*>& netzones)
 {
   // If never set a bypass route return nullptr without any further computations
@@ -469,15 +593,15 @@ bool NetZoneImpl::get_bypass_route(const NetPoint* src, const NetPoint* dst,
 }
 
 void NetZoneImpl::get_global_route(const NetPoint* src, const NetPoint* dst,
-                                   /* OUT */ std::vector<resource::LinkImpl*>& links, double* latency)
+                                   /* OUT */ std::vector<resource::StandardLinkImpl*>& links, double* latency)
 {
   std::unordered_set<NetZoneImpl*> netzones;
   get_global_route_with_netzones(src, dst, links, latency, netzones);
 }
 
 void NetZoneImpl::get_global_route_with_netzones(const NetPoint* src, const NetPoint* dst,
-                                                 /* OUT */ std::vector<resource::LinkImpl*>& links, double* latency,
-                                                 std::unordered_set<NetZoneImpl*>& netzones)
+                                                 /* OUT */ std::vector<resource::StandardLinkImpl*>& links,
+                                                 double* latency, std::unordered_set<NetZoneImpl*>& netzones)
 {
   Route route;
 
@@ -532,6 +656,11 @@ void NetZoneImpl::seal()
   for (auto* host : get_all_hosts()) {
     host->seal();
   }
+
+  /* sealing links */
+  for (auto const& [_, link] : links_)
+    link->get_iface()->seal();
+
   for (auto* sub_net : get_children()) {
     sub_net->seal();
   }
@@ -580,7 +709,7 @@ void NetZoneImpl::set_disk_model(std::shared_ptr<resource::DiskModel> disk_model
   disk_model_ = std::move(disk_model);
 }
 
-void NetZoneImpl::set_host_model(std::shared_ptr<surf::HostModel> host_model)
+void NetZoneImpl::set_host_model(std::shared_ptr<resource::HostModel> host_model)
 {
   xbt_assert(not sealed_, "Impossible to set host model to an already sealed NetZone(%s)", this->get_cname());
   host_model_ = std::move(host_model);