include/simgrid/kernel/routing/DragonflyZone.hpp

   1 /* Copyright (c) 2014-2023. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #ifndef SIMGRID_ROUTING_CLUSTER_DRAGONFLY_HPP_
   7 #define SIMGRID_ROUTING_CLUSTER_DRAGONFLY_HPP_
   8
   9 #include <simgrid/kernel/routing/ClusterZone.hpp>
  10 #include <simgrid/s4u/Link.hpp>
  11
  12 namespace simgrid::kernel::routing {
  13
  14 class DragonflyRouter {
  15 public:
  16   unsigned int group_;
  17   unsigned int chassis_;
  18   unsigned int blade_;
  19   resource::StandardLinkImpl* blue_link_ = nullptr;
  20   resource::StandardLinkImpl* limiter_   = nullptr;
  21   std::vector<resource::StandardLinkImpl*> black_links_;
  22   std::vector<resource::StandardLinkImpl*> green_links_;
  23   std::vector<resource::StandardLinkImpl*> my_nodes_;
  24   DragonflyRouter(unsigned group, unsigned chassis, unsigned blade, resource::StandardLinkImpl* limiter)
  25       : group_(group), chassis_(chassis), blade_(blade), limiter_(limiter)
  26   {
  27   }
  28 };
  29
  30 /** @ingroup ROUTING_API
  31  * @brief NetZone using a Dragonfly topology
  32  *
  33  * Generate dragonfly according to the topology asked for, according to:
  34  * Cray Cascade: a Scalable HPC System based on a Dragonfly Network
  35  * Greg Faanes, Abdulla Bataineh, Duncan Roweth, Tom Court, Edwin Froese,
  36  * Bob Alverson, Tim Johnson, Joe Kopnick, Mike Higgins and James Reinhard
  37  * Cray Inc, Chippewa Falls, Wisconsin, USA
  38  * or http://www.cray.com/sites/default/files/resources/CrayXCNetwork.pdf
  39  *
  40  * We use the same denomination for the different levels, with a Green,
  41  * Black and Blue color scheme for the three different levels.
  42  *
  43  * Description of the topology has to be given with a string of type :
  44  * "3,4;4,3;5,1;2"
  45  *
  46  * Last part  : "2"   : 2 nodes per blade
  47  * Third part : "5,1" : five blades/routers per chassis, with one link between each (green network)
  48  * Second part : "4,3" = four chassis per group, with three links between each nth router of each chassis (black
  49  * network)
  50  * First part : "3,4" = three electrical groups, linked in an alltoall
  51  * pattern by 4 links each (blue network)
  52  *
  53  * LIMITATIONS (for now):
  54  *  - Routing is only static and uses minimal routes.
  55  *  - When n links are used between two routers/groups, we consider only one link with n times the bandwidth (needs to
  56  *    be validated on a real system)
  57  *  - All links have the same characteristics for now
  58  *  - Blue links are all attached to routers in the chassis n°0. This limits
  59  *    the number of groups possible to the number of blades in a chassis. This
  60  *    is also not realistic, as blue level can use more links than a single
  61  *    Aries can handle, thus it should use several routers.
  62  */
  63 class XBT_PUBLIC DragonflyZone : public ClusterBase {
  64 public:
  65   struct Coords {
  66     unsigned long group;
  67     unsigned long chassis;
  68     unsigned long blade;
  69     unsigned long node;
  70   };
  71
  72   explicit DragonflyZone(const std::string& name);
  73   void get_local_route(const NetPoint* src, const NetPoint* dst, Route* into, double* latency) override;
  74   /**
  75    * @brief Parse topology parameters from string format
  76    *
  77    * @param topo_parameters Topology parameters, e.g. "3,4 ; 3,2 ; 3,1 ; 2"
  78    */
  79   static s4u::DragonflyParams parse_topo_parameters(const std::string& topo_parameters);
  80
  81   /** @brief Checks topology parameters */
  82   static void check_topology(unsigned int n_groups, unsigned int groups_links, unsigned int n_chassis,
  83                              unsigned int chassis_links, unsigned int n_routers, unsigned int routers_links,
  84                              unsigned int nodes);
  85   /** @brief Set Dragonfly topology */
  86   void set_topology(unsigned int n_groups, unsigned int groups_links, unsigned int n_chassis,
  87                     unsigned int chassis_links, unsigned int n_routers, unsigned int routers_links, unsigned int nodes);
  88   /** @brief Build upper levels (routers) in Dragonfly */
  89   void build_upper_levels(const s4u::ClusterCallbacks& set_callbacks);
  90   /** @brief Set the characteristics of links inside the Dragonfly zone */
  91   void set_link_characteristics(double bw, double lat, s4u::Link::SharingPolicy sharing_policy) override;
  92   Coords rankId_to_coords(unsigned long rank_id) const;
  93
  94 private:
  95   void generate_routers(const s4u::ClusterCallbacks& set_callbacks);
  96   void generate_links();
  97   void generate_link(const std::string& id, int numlinks, resource::StandardLinkImpl** linkup,
  98                      resource::StandardLinkImpl** linkdown);
  99
 100   unsigned int num_nodes_per_blade_    = 0;
 101   unsigned int num_blades_per_chassis_ = 0;
 102   unsigned int num_chassis_per_group_  = 0;
 103   unsigned int num_groups_             = 0;
 104   unsigned int num_links_green_        = 0;
 105   unsigned int num_links_black_        = 0;
 106   unsigned int num_links_blue_         = 0;
 107   unsigned int num_links_per_link_     = 1; // splitduplex -> 2, only for local link
 108   std::vector<DragonflyRouter> routers_;
 109 };
 110 } // namespace simgrid::kernel::routing
 111 #endif