Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
cosmetics
[simgrid.git] / src / surf / sg_platf.cpp
1 /* Copyright (c) 2006-2021. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #include "simgrid/Exception.hpp"
7 #include "simgrid/kernel/routing/ClusterZone.hpp"
8 #include "simgrid/kernel/routing/DijkstraZone.hpp"
9 #include "simgrid/kernel/routing/DragonflyZone.hpp"
10 #include "simgrid/kernel/routing/EmptyZone.hpp"
11 #include "simgrid/kernel/routing/FatTreeZone.hpp"
12 #include "simgrid/kernel/routing/FloydZone.hpp"
13 #include "simgrid/kernel/routing/FullZone.hpp"
14 #include "simgrid/kernel/routing/NetPoint.hpp"
15 #include "simgrid/kernel/routing/NetZoneImpl.hpp"
16 #include "simgrid/kernel/routing/TorusZone.hpp"
17 #include "simgrid/kernel/routing/VivaldiZone.hpp"
18 #include "simgrid/kernel/routing/WifiZone.hpp"
19 #include "simgrid/s4u/Engine.hpp"
20 #include "src/include/simgrid/sg_config.hpp"
21 #include "src/include/surf/surf.hpp"
22 #include "src/kernel/EngineImpl.hpp"
23 #include "src/kernel/resource/DiskImpl.hpp"
24 #include "src/kernel/resource/profile/Profile.hpp"
25 #include "src/simix/smx_private.hpp"
26 #include "src/surf/HostImpl.hpp"
27 #include "src/surf/xml/platf_private.hpp"
28
29 #include <string>
30
31 XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(surf_parse);
32
33 namespace simgrid {
34 namespace kernel {
35 namespace routing {
36 xbt::signal<void(ClusterCreationArgs const&)> on_cluster_creation;
37 } // namespace routing
38 } // namespace kernel
39 } // namespace simgrid
40
41 /** The current NetZone in the parsing */
42 static simgrid::kernel::routing::NetZoneImpl* current_routing = nullptr;
43 static simgrid::kernel::routing::NetZoneImpl* routing_get_current()
44 {
45   return current_routing;
46 }
47 static simgrid::s4u::Host* current_host = nullptr;
48
49 /** Module management function: creates all internal data structures */
50 void sg_platf_init()
51 {
52   // Do nothing: just for symmetry of user code
53 }
54
55 /** Module management function: frees all internal data structures */
56 void sg_platf_exit()
57 {
58   simgrid::kernel::routing::on_cluster_creation.disconnect_slots();
59   simgrid::s4u::Engine::on_platform_created.disconnect_slots();
60
61   surf_parse_lex_destroy();
62 }
63
64 /** @brief Add a host to the current NetZone */
65 void sg_platf_new_host_begin(const simgrid::kernel::routing::HostCreationArgs* args)
66 {
67   current_host = routing_get_current()
68                      ->create_host(args->id, args->speed_per_pstate)
69                      ->set_coordinates(args->coord)
70                      ->set_core_count(args->core_amount)
71                      ->set_state_profile(args->state_trace)
72                      ->set_speed_profile(args->speed_trace);
73 }
74
75 void sg_platf_new_host_set_properties(const std::unordered_map<std::string, std::string>& props)
76 {
77   xbt_assert(current_host, "Cannot set properties of the current host: none under construction");
78   current_host->set_properties(props);
79 }
80
81 void sg_platf_new_host_seal(int pstate)
82 {
83   xbt_assert(current_host, "Cannot seal the current Host: none under construction");
84   current_host->seal();
85
86   /* When energy plugin is activated, changing the pstate requires to already have the HostEnergy extension whose
87    * allocation is triggered by the on_creation signal. Then set_pstate must be called after the signal emission */
88
89   if (pstate != 0)
90     current_host->set_pstate(pstate);
91
92   current_host = nullptr;
93 }
94
95 void sg_platf_new_peer(const simgrid::kernel::routing::PeerCreationArgs* args)
96 {
97   auto* zone = dynamic_cast<simgrid::kernel::routing::VivaldiZone*>(current_routing);
98   xbt_assert(zone, "<peer> tag can only be used in Vivaldi netzones.");
99
100   auto* peer = zone->create_host(args->id, std::vector<double>{args->speed})
101                    ->set_state_profile(args->state_trace)
102                    ->set_speed_profile(args->speed_trace)
103                    ->set_coordinates(args->coord)
104                    ->seal();
105
106   zone->set_peer_link(peer->get_netpoint(), args->bw_in, args->bw_out);
107 }
108
109 /** @brief Add a "router" to the network element list */
110 simgrid::kernel::routing::NetPoint* sg_platf_new_router(const std::string& name, const std::string& coords)
111 {
112   auto* netpoint = current_routing->create_router(name)->set_coordinates(coords);
113   XBT_DEBUG("Router '%s' has the id %u", netpoint->get_cname(), netpoint->id());
114
115   return netpoint;
116 }
117
118 static void sg_platf_new_link(const simgrid::kernel::routing::LinkCreationArgs* args, const std::string& link_name)
119 {
120   routing_get_current()
121       ->create_link(link_name, args->bandwidths)
122       ->set_properties(args->properties)
123       ->get_impl() // this call to get_impl saves some simcalls but can be removed
124       ->set_sharing_policy(args->policy)
125       ->set_state_profile(args->state_trace)
126       ->set_latency_profile(args->latency_trace)
127       ->set_bandwidth_profile(args->bandwidth_trace)
128       ->set_latency(args->latency)
129       ->seal();
130 }
131
132 void sg_platf_new_link(const simgrid::kernel::routing::LinkCreationArgs* link)
133 {
134   if (link->policy == simgrid::s4u::Link::SharingPolicy::SPLITDUPLEX) {
135     sg_platf_new_link(link, link->id + "_UP");
136     sg_platf_new_link(link, link->id + "_DOWN");
137   } else {
138     sg_platf_new_link(link, link->id);
139   }
140 }
141
142 void sg_platf_new_disk(const simgrid::kernel::routing::DiskCreationArgs* disk)
143 {
144   const simgrid::s4u::Disk* new_disk = routing_get_current()
145                                            ->create_disk(disk->id, disk->read_bw, disk->write_bw)
146                                            ->set_host(current_host)
147                                            ->set_properties(disk->properties)
148                                            ->seal();
149
150   current_host->add_disk(new_disk);
151 }
152
153 void sg_platf_new_cluster(simgrid::kernel::routing::ClusterCreationArgs* cluster)
154 {
155   using simgrid::kernel::routing::ClusterZone;
156   using simgrid::kernel::routing::DragonflyZone;
157   using simgrid::kernel::routing::FatTreeZone;
158   using simgrid::kernel::routing::TorusZone;
159
160   int rankId = 0;
161
162   // What an inventive way of initializing the NetZone that I have as ancestor :-(
163   simgrid::kernel::routing::ZoneCreationArgs zone;
164   zone.id = cluster->id;
165   switch (cluster->topology) {
166     case simgrid::kernel::routing::ClusterTopology::TORUS:
167       zone.routing = "ClusterTorus";
168       break;
169     case simgrid::kernel::routing::ClusterTopology::DRAGONFLY:
170       zone.routing = "ClusterDragonfly";
171       break;
172     case simgrid::kernel::routing::ClusterTopology::FAT_TREE:
173       zone.routing = "ClusterFatTree";
174       break;
175     default:
176       zone.routing = "Cluster";
177       break;
178   }
179   sg_platf_new_Zone_begin(&zone);
180   auto* current_zone = static_cast<ClusterZone*>(routing_get_current());
181   current_zone->parse_specific_arguments(cluster);
182   for (auto const& elm : cluster->properties)
183     current_zone->get_iface()->set_property(elm.first, elm.second);
184
185   if (cluster->loopback_bw > 0 || cluster->loopback_lat > 0) {
186     current_zone->set_loopback();
187   }
188
189   if (cluster->limiter_link > 0) {
190     current_zone->set_limiter();
191   }
192
193   for (int const& i : cluster->radicals) {
194     std::string host_id = std::string(cluster->prefix) + std::to_string(i) + cluster->suffix;
195
196     XBT_DEBUG("<host\tid=\"%s\"\tspeed=\"%f\">", host_id.c_str(), cluster->speeds.front());
197     current_zone->create_host(host_id, cluster->speeds)
198         ->set_core_count(cluster->core_amount)
199         ->set_properties(cluster->properties)
200         ->seal();
201
202     XBT_DEBUG("</host>");
203
204     std::string link_id = std::string(cluster->id) + "_link_" + std::to_string(i);
205     XBT_DEBUG("<link\tid=\"%s\"\tbw=\"%f\"\tlat=\"%f\"/>", link_id.c_str(), cluster->bw, cluster->lat);
206
207     // All links are saved in a matrix;
208     // every row describes a single node; every node may have multiple links.
209     // the first column may store a link from x to x if p_has_loopback is set
210     // the second column may store a limiter link if p_has_limiter is set
211     // other columns are to store one or more link for the node
212
213     // add a loopback link
214     simgrid::kernel::resource::LinkImpl* loopback = nullptr;
215     if (cluster->loopback_bw > 0 || cluster->loopback_lat > 0) {
216       std::string loopback_name = link_id + "_loopback";
217       XBT_DEBUG("<loopback\tid=\"%s\"\tbw=\"%f\"/>", loopback_name.c_str(), cluster->loopback_bw);
218
219       loopback = current_zone->create_link(loopback_name, std::vector<double>{cluster->loopback_bw})
220                      ->set_sharing_policy(simgrid::s4u::Link::SharingPolicy::FATPIPE)
221                      ->set_latency(cluster->loopback_lat)
222                      ->seal()
223                      ->get_impl();
224
225       current_zone->add_private_link_at(current_zone->node_pos(rankId), {loopback, loopback});
226     }
227
228     // add a limiter link (shared link to account for maximal bandwidth of the node)
229     simgrid::kernel::resource::LinkImpl* limiter = nullptr;
230     if (cluster->limiter_link > 0) {
231       std::string limiter_name = std::string(link_id) + "_limiter";
232       XBT_DEBUG("<limiter\tid=\"%s\"\tbw=\"%f\"/>", limiter_name.c_str(), cluster->limiter_link);
233
234       limiter = current_zone->create_link(limiter_name, std::vector<double>{cluster->limiter_link})->seal()->get_impl();
235
236       current_zone->add_private_link_at(current_zone->node_pos_with_loopback(rankId), {limiter, limiter});
237     }
238
239     // call the cluster function that adds the others links
240     if (cluster->topology == simgrid::kernel::routing::ClusterTopology::FAT_TREE) {
241       static_cast<FatTreeZone*>(current_zone)->add_processing_node(i, limiter, loopback);
242     } else {
243       current_zone->create_links_for_node(cluster, i, rankId, current_zone->node_pos_with_loopback_limiter(rankId));
244     }
245     rankId++;
246   }
247
248   // Add a router.
249   XBT_DEBUG(" ");
250   XBT_DEBUG("<router id=\"%s\"/>", cluster->router_id.c_str());
251   if (cluster->router_id.empty())
252     cluster->router_id = std::string(cluster->prefix) + cluster->id + "_router" + cluster->suffix;
253   current_zone->set_router(current_zone->create_router(cluster->router_id));
254
255   // Make the backbone
256   if ((cluster->bb_bw > 0) || (cluster->bb_lat > 0)) {
257     std::string bb_name = std::string(cluster->id) + "_backbone";
258     XBT_DEBUG("<link\tid=\"%s\" bw=\"%f\" lat=\"%f\"/> <!--backbone -->", bb_name.c_str(), cluster->bb_bw,
259               cluster->bb_lat);
260
261     auto* backbone = current_zone->create_link(bb_name, std::vector<double>{cluster->bb_bw})
262                          ->set_sharing_policy(cluster->bb_sharing_policy)
263                          ->set_latency(cluster->bb_lat)
264                          ->seal()
265                          ->get_impl();
266     current_zone->set_backbone(backbone);
267   }
268
269   XBT_DEBUG("</zone>");
270   sg_platf_new_Zone_seal();
271
272   simgrid::kernel::routing::on_cluster_creation(*cluster);
273 }
274
275 void routing_cluster_add_backbone(simgrid::kernel::resource::LinkImpl* bb)
276 {
277   auto* cluster = dynamic_cast<simgrid::kernel::routing::ClusterZone*>(current_routing);
278
279   xbt_assert(cluster, "Only hosts from Cluster can get a backbone.");
280   xbt_assert(not cluster->has_backbone(), "Cluster %s already has a backbone link!", cluster->get_cname());
281
282   cluster->set_backbone(bb);
283   XBT_DEBUG("Add a backbone to zone '%s'", current_routing->get_cname());
284 }
285
286 void sg_platf_new_cabinet(const simgrid::kernel::routing::CabinetCreationArgs* args)
287 {
288   auto* zone = static_cast<simgrid::kernel::routing::ClusterZone*>(routing_get_current());
289   for (int const& radical : args->radicals) {
290     std::string id   = args->prefix + std::to_string(radical) + args->suffix;
291     auto const* host = zone->create_host(id, std::vector<double>{args->speed})->seal();
292
293     auto* link_up =
294         zone->create_link("link_" + id + "_UP", std::vector<double>{args->bw})->set_latency(args->lat)->seal();
295
296     auto* link_down =
297         zone->create_link("link_" + id + "_DOWN", std::vector<double>{args->bw})->set_latency(args->lat)->seal();
298
299     zone->add_private_link_at(host->get_netpoint()->id(), {link_up->get_impl(), link_down->get_impl()});
300   }
301 }
302
303 void sg_platf_new_route(simgrid::kernel::routing::RouteCreationArgs* route)
304 {
305   routing_get_current()->add_route(route->src, route->dst, route->gw_src, route->gw_dst, route->link_list,
306                                    route->symmetrical);
307 }
308
309 void sg_platf_new_bypassRoute(simgrid::kernel::routing::RouteCreationArgs* bypassRoute)
310 {
311   routing_get_current()->add_bypass_route(bypassRoute->src, bypassRoute->dst, bypassRoute->gw_src, bypassRoute->gw_dst,
312                                           bypassRoute->link_list, bypassRoute->symmetrical);
313 }
314
315 void sg_platf_new_actor(simgrid::kernel::routing::ActorCreationArgs* actor)
316 {
317   sg_host_t host = sg_host_by_name(actor->host);
318   if (not host) {
319     // The requested host does not exist. Do a nice message to the user
320     std::string msg = std::string("Cannot create actor '") + actor->function + "': host '" + actor->host +
321                       "' does not exist\nExisting hosts: '";
322
323     std::vector<simgrid::s4u::Host*> list = simgrid::s4u::Engine::get_instance()->get_all_hosts();
324
325     for (auto const& some_host : list) {
326       msg += some_host->get_name();
327       msg += "', '";
328       if (msg.length() > 1024) {
329         msg.pop_back(); // remove trailing quote
330         msg += "...(list truncated)......";
331         break;
332       }
333     }
334     xbt_die("%s", msg.c_str());
335   }
336   const simgrid::kernel::actor::ActorCodeFactory& factory =
337       simgrid::kernel::EngineImpl::get_instance()->get_function(actor->function);
338   xbt_assert(factory, "Error while creating an actor from the XML file: Function '%s' not registered", actor->function);
339
340   double start_time = actor->start_time;
341   double kill_time  = actor->kill_time;
342   bool auto_restart = actor->restart_on_failure;
343
344   std::string actor_name                 = actor->args[0];
345   simgrid::kernel::actor::ActorCode code = factory(std::move(actor->args));
346
347   auto* arg = new simgrid::kernel::actor::ProcessArg(actor_name, code, nullptr, host, kill_time, actor->properties,
348                                                      auto_restart);
349
350   host->get_impl()->add_actor_at_boot(arg);
351
352   if (start_time > SIMIX_get_clock()) {
353     arg = new simgrid::kernel::actor::ProcessArg(actor_name, code, nullptr, host, kill_time, actor->properties,
354                                                  auto_restart);
355
356     XBT_DEBUG("Process %s@%s will be started at time %f", arg->name.c_str(), arg->host->get_cname(), start_time);
357     simgrid::simix::Timer::set(start_time, [arg, auto_restart]() {
358       simgrid::kernel::actor::ActorImplPtr new_actor =
359           simgrid::kernel::actor::ActorImpl::create(arg->name.c_str(), arg->code, arg->data, arg->host, nullptr);
360       new_actor->set_properties(arg->properties);
361       if (arg->kill_time >= 0)
362         new_actor->set_kill_time(arg->kill_time);
363       if (auto_restart)
364         new_actor->set_auto_restart(auto_restart);
365       delete arg;
366     });
367   } else { // start_time <= SIMIX_get_clock()
368     XBT_DEBUG("Starting Process %s(%s) right now", arg->name.c_str(), host->get_cname());
369
370     try {
371       simgrid::kernel::actor::ActorImplPtr new_actor = nullptr;
372       new_actor = simgrid::kernel::actor::ActorImpl::create(arg->name.c_str(), code, nullptr, host, nullptr);
373       new_actor->set_properties(arg->properties);
374       /* The actor creation will fail if the host is currently dead, but that's fine */
375       if (arg->kill_time >= 0)
376         new_actor->set_kill_time(arg->kill_time);
377       if (auto_restart)
378         new_actor->set_auto_restart(auto_restart);
379     } catch (simgrid::HostFailureException const&) {
380       XBT_WARN("Deployment includes some initially turned off Hosts ... nevermind.");
381     }
382   }
383 }
384
385 /**
386  * @brief Auxiliary function to build the object NetZoneImpl
387  *
388  * Builds the objects, setting its father properties and root netzone if needed
389  * @param zone the parameters defining the Zone to build.
390  * @return Pointer to recently created netzone
391  */
392 static simgrid::kernel::routing::NetZoneImpl*
393 sg_platf_create_zone(const simgrid::kernel::routing::ZoneCreationArgs* zone)
394 {
395   /* search the routing model */
396   simgrid::kernel::routing::NetZoneImpl* new_zone = nullptr;
397
398   if (strcasecmp(zone->routing.c_str(), "Cluster") == 0) {
399     new_zone = new simgrid::kernel::routing::ClusterZone(zone->id);
400   } else if (strcasecmp(zone->routing.c_str(), "ClusterDragonfly") == 0) {
401     new_zone = new simgrid::kernel::routing::DragonflyZone(zone->id);
402   } else if (strcasecmp(zone->routing.c_str(), "ClusterTorus") == 0) {
403     new_zone = new simgrid::kernel::routing::TorusZone(zone->id);
404   } else if (strcasecmp(zone->routing.c_str(), "ClusterFatTree") == 0) {
405     new_zone = new simgrid::kernel::routing::FatTreeZone(zone->id);
406   } else if (strcasecmp(zone->routing.c_str(), "Dijkstra") == 0) {
407     new_zone = new simgrid::kernel::routing::DijkstraZone(zone->id, false);
408   } else if (strcasecmp(zone->routing.c_str(), "DijkstraCache") == 0) {
409     new_zone = new simgrid::kernel::routing::DijkstraZone(zone->id, true);
410   } else if (strcasecmp(zone->routing.c_str(), "Floyd") == 0) {
411     new_zone = new simgrid::kernel::routing::FloydZone(zone->id);
412   } else if (strcasecmp(zone->routing.c_str(), "Full") == 0) {
413     new_zone = new simgrid::kernel::routing::FullZone(zone->id);
414   } else if (strcasecmp(zone->routing.c_str(), "None") == 0) {
415     new_zone = new simgrid::kernel::routing::EmptyZone(zone->id);
416   } else if (strcasecmp(zone->routing.c_str(), "Vivaldi") == 0) {
417     new_zone = new simgrid::kernel::routing::VivaldiZone(zone->id);
418   } else if (strcasecmp(zone->routing.c_str(), "Wifi") == 0) {
419     new_zone = new simgrid::kernel::routing::WifiZone(zone->id);
420   } else {
421     xbt_die("Not a valid model!");
422   }
423   new_zone->set_parent(current_routing);
424
425   return new_zone;
426 }
427
428 /**
429  * @brief Add a Zone to the platform
430  *
431  * Add a new autonomous system to the platform. Any elements (such as host, router or sub-Zone) added after this call
432  * and before the corresponding call to sg_platf_new_Zone_seal() will be added to this Zone.
433  *
434  * Once this function was called, the configuration concerning the used models cannot be changed anymore.
435  *
436  * @param zone the parameters defining the Zone to build.
437  */
438 simgrid::kernel::routing::NetZoneImpl* sg_platf_new_Zone_begin(const simgrid::kernel::routing::ZoneCreationArgs* zone)
439 {
440   /* First create the zone.
441    * This order is important to assure that root netzone is set when models are setting
442    * the default mode for each resource (CPU, network, etc)
443    */
444   auto* new_zone = sg_platf_create_zone(zone);
445
446   _sg_cfg_init_status = 2; /* HACK: direct access to the global controlling the level of configuration to prevent
447                             * any further config now that we created some real content */
448
449   /* set the new current component of the tree */
450   current_routing = new_zone;
451   simgrid::s4u::NetZone::on_creation(*new_zone->get_iface()); // notify the signal
452
453   return new_zone;
454 }
455
456 void sg_platf_new_Zone_set_properties(const std::unordered_map<std::string, std::string>& props)
457 {
458   xbt_assert(current_routing, "Cannot set properties of the current Zone: none under construction");
459
460   current_routing->set_properties(props);
461 }
462
463 /**
464  * @brief Specify that the description of the current Zone is finished
465  *
466  * Once you've declared all the content of your Zone, you have to seal
467  * it with this call. Your Zone is not usable until you call this function.
468  */
469 void sg_platf_new_Zone_seal()
470 {
471   xbt_assert(current_routing, "Cannot seal the current Zone: none under construction");
472   current_routing->seal();
473   simgrid::s4u::NetZone::on_seal(*current_routing->get_iface());
474   current_routing = current_routing->get_parent();
475 }
476
477 /** @brief Add a link connecting a host to the rest of its Zone (which must be cluster or vivaldi) */
478 void sg_platf_new_hostlink(const simgrid::kernel::routing::HostLinkCreationArgs* hostlink)
479 {
480   const simgrid::kernel::routing::NetPoint* netpoint = simgrid::s4u::Host::by_name(hostlink->id)->get_netpoint();
481   xbt_assert(netpoint, "Host '%s' not found!", hostlink->id.c_str());
482   xbt_assert(dynamic_cast<simgrid::kernel::routing::ClusterZone*>(current_routing),
483              "Only hosts from Cluster and Vivaldi Zones can get a host_link.");
484
485   const simgrid::s4u::Link* linkUp   = simgrid::s4u::Link::by_name_or_null(hostlink->link_up);
486   const simgrid::s4u::Link* linkDown = simgrid::s4u::Link::by_name_or_null(hostlink->link_down);
487
488   xbt_assert(linkUp, "Link '%s' not found!", hostlink->link_up.c_str());
489   xbt_assert(linkDown, "Link '%s' not found!", hostlink->link_down.c_str());
490
491   auto* cluster_zone = static_cast<simgrid::kernel::routing::ClusterZone*>(current_routing);
492
493   if (cluster_zone->private_link_exists_at(netpoint->id()))
494     surf_parse_error(std::string("Host_link for '") + hostlink->id.c_str() + "' is already defined!");
495
496   XBT_DEBUG("Push Host_link for host '%s' to position %u", netpoint->get_cname(), netpoint->id());
497   cluster_zone->add_private_link_at(netpoint->id(), {linkUp->get_impl(), linkDown->get_impl()});
498 }
499
500 void sg_platf_new_trace(simgrid::kernel::routing::ProfileCreationArgs* args)
501 {
502   simgrid::kernel::profile::Profile* profile;
503   if (not args->file.empty()) {
504     profile = simgrid::kernel::profile::Profile::from_file(args->file);
505   } else {
506     xbt_assert(not args->pc_data.empty(), "Trace '%s' must have either a content, or point to a file on disk.",
507                args->id.c_str());
508     profile = simgrid::kernel::profile::Profile::from_string(args->id, args->pc_data, args->periodicity);
509   }
510   traces_set_list.insert({args->id, profile});
511 }