examples/cpp/clusters-multicpu/s4u-clusters-multicpu.cpp

   1 /* Copyright (c) 2010-2021. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 /* This example shows how to build a torus cluster with multi-core hosts.
   7  *
   8  * However, each leaf in the torus is a StarZone, composed of several CPUs
   9  *
  10  * Each actor runs in a specific CPU. One sender broadcasts a message to all receivers.
  11  */
  12
  13 #include "simgrid/s4u.hpp"
  14 namespace sg4 = simgrid::s4u;
  15
  16 XBT_LOG_NEW_DEFAULT_CATEGORY(s4u_torus_multicpu, "Messages specific for this s4u example");
  17
  18 class Sender {
  19   long msg_size = 1e6; /* message size in bytes */
  20   std::vector<sg4::Host*> hosts_;
  21
  22 public:
  23   explicit Sender(const std::vector<sg4::Host*>& hosts) : hosts_{hosts} {}
  24   void operator()() const
  25   {
  26     /* Vector in which we store all ongoing communications */
  27     std::vector<sg4::CommPtr> pending_comms;
  28
  29     /* Make a vector of the mailboxes to use */
  30     std::vector<sg4::Mailbox*> mboxes;
  31
  32     /* Start dispatching 1 message to all receivers */
  33     std::string msg_content =
  34         std::string("Hello, I'm alive and running on ") + std::string(sg4::this_actor::get_host()->get_name());
  35     for (const auto* host : hosts_) {
  36       /* Copy the data we send: the 'msg_content' variable is not a stable storage location.
  37        * It will be destroyed when this actor leaves the loop, ie before the receiver gets it */
  38       auto* payload = new std::string(msg_content);
  39
  40       /* Create a communication representing the ongoing communication, and store it in pending_comms */
  41       auto mbox = sg4::Mailbox::by_name(host->get_name());
  42       mboxes.push_back(mbox);
  43       sg4::CommPtr comm = mbox->put_async(payload, msg_size);
  44       pending_comms.push_back(comm);
  45     }
  46
  47     XBT_INFO("Done dispatching all messages");
  48
  49     /* Now that all message exchanges were initiated, wait for their completion in one single call */
  50     sg4::Comm::wait_all(&pending_comms);
  51
  52     XBT_INFO("Goodbye now!");
  53   }
  54 };
  55
  56 /* Receiver actor: wait for 1 message on the mailbox identified by the hostname */
  57 class Receiver {
  58 public:
  59   void operator()() const
  60   {
  61     auto mbox     = sg4::Mailbox::by_name(sg4::this_actor::get_host()->get_name());
  62     auto received = mbox->get_unique<std::string>();
  63     XBT_INFO("I got a '%s'.", received->c_str());
  64   }
  65 };
  66
  67 /*************************************************************************************************/
  68 /**
  69  * @brief Callback to set a cluster leaf/element
  70  *
  71  * In our example, each leaf if a StarZone, composed of 8 CPUs.
  72  * Each CPU is modeled as a host, connected to the outer world through a high-speed PCI link.
  73  * Obs.: CPU0 is the gateway for this zone
  74  *
  75  *    (outer world)
  76  *         CPU0 (gateway)
  77  *    up ->|   |
  78  *         |   |<-down
  79  *         +star+
  80  *      /   / \   \
  81  *     /   /   \   \<-- 100Gbs, 10us link (1 link UP and 1 link DOWN for full-duplex)
  82  *    /   /     \   \
  83  *   /   /       \   \
  84  *   CPU1   ...   CPU8
  85  *
  86  * @param zone Cluster netzone being created (usefull to create the hosts/links inside it)
  87  * @param coord Coordinates in the cluster
  88  * @param id Internal identifier in the torus (for information)
  89  * @return netpoint, gateway: the netpoint to the StarZone and CPU0 as gateway
  90  */
  91 static std::pair<simgrid::kernel::routing::NetPoint*, simgrid::kernel::routing::NetPoint*>
  92 create_hostzone(const sg4::NetZone* zone, const std::vector<unsigned int>& /*coord*/, int id)
  93 {
  94   constexpr int num_cpus    = 8;     //!< Number of CPUs in the zone
  95   constexpr double speed    = 1e9;   //!< Speed of each CPU
  96   constexpr double link_bw  = 100e9; //!< Link bw connecting the CPU
  97   constexpr double link_lat = 1e-9;  //!< Link latency
  98
  99   std::string hostname = "host" + std::to_string(id);
 100   /* create the StarZone */
 101   auto* host_zone = sg4::create_star_zone(hostname);
 102   /* setting my Torus parent zone */
 103   host_zone->set_parent(zone);
 104
 105   const sg4::Host* gateway = nullptr;
 106   /* create CPUs */
 107   for (int i = 0; i < num_cpus; i++) {
 108     std::string cpu_name  = hostname + "-cpu" + std::to_string(i);
 109     const sg4::Host* host = host_zone->create_host(cpu_name, speed)->seal();
 110     /* the first CPU is the gateway */
 111     if (i == 0)
 112       gateway = host;
 113     /* create 2 links for a full-duplex communication */
 114     sg4::Link* link_up   = host_zone->create_link("link-up-" + cpu_name, link_bw)->set_latency(link_lat)->seal();
 115     sg4::Link* link_down = host_zone->create_link("link-down-" + cpu_name, link_bw)->set_latency(link_lat)->seal();
 116     /* link UP, connection from CPU to outer world */
 117     host_zone->add_route(host->get_netpoint(), nullptr, nullptr, nullptr, std::vector<sg4::Link*>{link_up}, false);
 118     /* link DOWN, connection from outer to CPU */
 119     host_zone->add_route(nullptr, host->get_netpoint(), nullptr, nullptr, std::vector<sg4::Link*>{link_down}, false);
 120   }
 121   /* seal newly created netzone */
 122   host_zone->seal();
 123   return std::make_pair(host_zone->get_netpoint(), gateway->get_netpoint());
 124 }
 125
 126 /*************************************************************************************************/
 127 /**
 128  * @brief Callback to create limiter link (1Gbs) for each netpoint
 129  *
 130  * The coord parameter depends on the cluster being created:
 131  * - Torus: Direct translation of the Torus' dimensions, e.g. (0, 0, 0) for a 3-D Torus
 132  * - Fat-Tree: A pair (level in the tree, id), e.g. (0, 0) for first leaf in the tree and (1,0) for the first switch at
 133  * level 1.
 134  * - Dragonfly: a tuple (group, chassis, blades/routers, nodes), e.g. (0, 0, 0, 0) for first node in the cluster. To
 135  * identify the router inside a (group, chassis, blade), we use MAX_UINT in the last parameter (e.g. 0, 0, 0,
 136  * 4294967295).
 137  *
 138  * @param zone Torus netzone being created (usefull to create the hosts/links inside it)
 139  * @param coord Coordinates in the cluster
 140  * @param id Internal identifier in the torus (for information)
 141  * @return Limiter link
 142  */
 143 static sg4::Link* create_limiter(sg4::NetZone* zone, const std::vector<unsigned int>& /*coord*/, int id)
 144 {
 145   return zone->create_link("limiter-" + std::to_string(id), 1e9)->seal();
 146 }
 147
 148 /**
 149  * @brief Creates a TORUS cluster
 150  *
 151  * Creates a TORUS cluster with dimensions 2x2x2
 152  *
 153  * The cluster has 8 elements/leaves in total. Each element is a StarZone containing 8 Hosts.
 154  * Each pair in the torus is connected through 2 links:
 155  * 1) limiter: a 1Gbs limiter link (set by user through the set_limiter callback)
 156  * 2) link: 10Gbs link connecting the components (created automatically)
 157  *
 158  * (Y-axis=2)
 159  * A
 160  * |
 161  * |   D (Z-axis=2)
 162  * +  / 10 Gbs
 163  * | +
 164  * |/ limiter=1Gps
 165  * B-----+----C (X-axis=2)
 166  *
 167  * For example, a communication from A to C goes through:
 168  * <tt> A->limiter(A)->link(A-B)->limiter(B)->link(B-C)->limiter(C)->C </tt>
 169  *
 170  * More precisely, considering that A and C are StarZones, a
 171  * communication from A-CPU-3 to C-CPU-7 goes through:
 172  * 1) StarZone A: A-CPU-3 -> link-up-A-CPU-3 -> A-CPU-0
 173  * 2) A-CPU-0->limiter(A)->link(A-B)->limiter(B)->link(B-C)->limiter(C)->C-CPU-0
 174  * 3) StarZone C: C-CPU-0-> link-down-C-CPU-7 -> C-CPU-7
 175  *
 176  * Note that we don't have limiter links inside the StarZones(A, B, C),
 177  * but we have limiters in the Torus that are added to the links in the path (as we can see in "2)")
 178  *
 179  * More details in: <a href="https://simgrid.org/doc/latest/Platform_examples.html?highlight=torus#torus-cluster">Torus
 180  * Cluster</a>
 181  */
 182 static void create_torus_cluster()
 183 {
 184   /* create the torus cluster, 10Gbs link between elements in the cluster */
 185   sg4::create_torus_zone("cluster", nullptr, {2, 2, 2}, {create_hostzone, {}, create_limiter}, 10e9, 10e-6,
 186                          sg4::Link::SharingPolicy::SPLITDUPLEX)
 187       ->seal();
 188 }
 189
 190 /*************************************************************************************************/
 191 /**
 192  * @brief Creates a Fat-Tree cluster
 193  *
 194  * Creates a Fat-Tree cluster with 2 levels and 6 nodes
 195  * The following parameters are used to create this cluster:
 196  * - Levels: 2 - two-level of switches in the cluster
 197  * - Down links: 2, 3 - L2 routers is connected to 2 elements, L1 routers to 3 elements
 198  * - Up links: 1, 2 - Each node (A-F) is connected to 1 L1 router, L1 routers are connected to 2 L2
 199  * - Link count: 1, 1 - Use 1 link in each level
 200  *
 201  * The first parameter describes how many levels we have.
 202  * The following ones describe the connection between the elements and must have exactly n_levels components.
 203  *
 204  *
 205  *                         S3     S4                <-- Level 2 routers
 206  *    link:limiter -      /   \  /  \
 207  *                       +     ++    +
 208  *    link: 10GBps -->  |     /  \    |
 209  *     (full-duplex)    |    /    \   |
 210  *                      +   +      +  +
 211  *                      |  /        \ |
 212  *                      S1           S2             <-- Level 1 routers
 213  *   link:limiter ->    |             |
 214  *                      +             +
 215  *  link:10GBps  -->   /|\           /|\
 216  *                    / | \         / | \
 217  *                   +  +  +       +  +  +
 218  *  link:limiter -> /   |   \     /   |   \
 219  *                 A    B    C   D    E    F        <-- level 0 Nodes
 220  *
 221  * Each element (A to F) is a StarZone containing 8 Hosts.
 222  * The connection uses 2 links:
 223  * 1) limiter: a 1Gbs limiter link (set by user through the set_limiter callback)
 224  * 2) link: 10Gbs link connecting the components (created automatically)
 225  *
 226  * For example, a communication from A to C goes through:
 227  * <tt> A->limiter(A)->link(A-S1)->limiter(S1)->link(S1-C)->->limiter(C)->C</tt>
 228  *
 229  * More precisely, considering that A and C are StarZones, a
 230  * communication from A-CPU-3 to C-CPU-7 goes through:
 231  * 1) StarZone A: A-CPU-3 -> link-up-A-CPU-3 -> A-CPU-0
 232  * 2) A-CPU-0->limiter(A)->link(A-S1)->limiter(S1)->link(S1-C)->limiter(C)->C-CPU-0
 233  * 3) StarZone C: C-CPU-0-> link-down-C-CPU-7 -> C-CPU-7
 234  *
 235  * More details in: <a href="https://simgrid.org/doc/latest/Platform_examples.html#fat-tree-cluster">Fat-Tree
 236  * Cluster</a>
 237  */
 238 static void create_fatTree_cluster()
 239 {
 240   /* create the fat tree cluster, 10Gbs link between elements in the cluster */
 241   sg4::create_fatTree_zone("cluster", nullptr, {2, {2, 3}, {1, 2}, {1, 1}}, {create_hostzone, {}, create_limiter}, 10e9,
 242                            10e-6, sg4::Link::SharingPolicy::SPLITDUPLEX)
 243       ->seal();
 244 }
 245
 246 /*************************************************************************************************/
 247 /**
 248  * @brief Creates a Dragonfly cluster
 249  *
 250  * Creates a Dragonfly cluster with 2 groups and 16 nodes
 251  * The following parameters are used to create this cluster:
 252  * - Groups: 2 groups, connected with 2 links (blue links)
 253  * - Chassis: 2 chassis, connected with a single link (black links)
 254  * - Routers: 2 routers, connected with 2 links (green links)
 255  * - Nodes: 2 leaves per router, single link
 256  *
 257  * The diagram below illustrates a group in the dragonfly cluster
 258  *
 259  * +------------------------------------------------+
 260  * |        black link(1)                           |
 261  * |     +------------------------+                 |
 262  * | +---|--------------+     +---|--------------+  |
 263  * | |   |  green       |     |   |  green       |  |
 264  * | |   |  links (2)   |     |   |  links (2)   |  |   blue links(2)
 265  * | |   R1 ====== R2   |     |   R3 -----  R4 ======================> "Group 2"
 266  * | |  /  \      /  \  |     |  /  \      /  \  |  |
 267  * | | A    B    C    D |     | E    F    G    H |  |
 268  * | +------------------+     +------------------+  |
 269  * |      Chassis 1                Chassis 2        |
 270  * +------------------------------------------------+
 271  *  Group 1
 272  *
 273  * Each element (A, B, C, etc) is a StarZone containing 8 Hosts.
 274  * The connection between elements (e.g. A->R1) uses 2 links:
 275  * 1) limiter: a 1Gbs limiter link (set by user through the set_limiter callback)
 276  * 2) link: 10Gbs link connecting the components (created automatically)
 277  *
 278  * For example, a communication from A to C goes through:
 279  * <tt> A->limiter(A)->link(A-R1)->limiter(R1)->link(R1-R2)->limiter(R2)->link(R2-C)limiter(C)->C</tt>
 280  *
 281  * More details in: <a href="https://simgrid.org/doc/latest/Platform_examples.html#dragonfly-cluster">Dragonfly
 282  * Cluster</a>
 283  */
 284 static void create_dragonfly_cluster()
 285 {
 286   /* create the dragonfly cluster, 10Gbs link between elements in the cluster */
 287   sg4::create_dragonfly_zone("cluster", nullptr, {{2, 2}, {2, 1}, {2, 2}, 2}, {create_hostzone, {}, create_limiter},
 288                              10e9, 10e-6, sg4::Link::SharingPolicy::SPLITDUPLEX)
 289       ->seal();
 290 }
 291
 292 /*************************************************************************************************/
 293
 294 int main(int argc, char* argv[])
 295 {
 296   sg4::Engine e(&argc, argv);
 297   std::string platform = argv[1];
 298
 299   /* create platform */
 300   if (platform == "torus")
 301     create_torus_cluster();
 302   else if (platform == "fatTree")
 303     create_fatTree_cluster();
 304   else if (platform == "dragonfly")
 305     create_dragonfly_cluster();
 306
 307   std::vector<sg4::Host*> host_list = e.get_all_hosts();
 308   /* create the sender actor running on first host */
 309   sg4::Actor::create("sender", host_list[0], Sender(host_list));
 310   /* create receiver in every host */
 311   for (auto* host : host_list) {
 312     sg4::Actor::create(std::string("receiver-") + std::string(host->get_name()), host, Receiver());
 313   }
 314
 315   /* runs the simulation */
 316   e.run();
 317
 318   return 0;
 319 }