src/instr/instr_routing.c

   1 /* Copyright (c) 2010. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5   * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 #include "instr/instr_private.h"
   8
   9 #ifdef HAVE_TRACING
  10 #include "surf/surf_private.h"
  11 #include "surf/network_private.h"
  12
  13 XBT_LOG_NEW_DEFAULT_SUBCATEGORY (instr_routing, instr, "Tracing platform hierarchy");
  14
  15 extern xbt_dict_t defined_types; /* from instr_interface.c */
  16
  17 static int platform_created = 0;            /* indicate whether the platform file has been traced */
  18 static type_t rootType = NULL;              /* the root type */
  19 static container_t rootContainer = NULL;    /* the root container */
  20 static xbt_dynar_t currentContainer = NULL; /* push and pop, used only in creation */
  21 static xbt_dict_t allContainers = NULL;     /* all created containers indexed by name */
  22 xbt_dynar_t allLinkTypes = NULL;     /* all link types defined */
  23 xbt_dynar_t allHostTypes = NULL;     /* all host types defined */
  24
  25 static void instr_routing_parse_start_AS (void);
  26 static void instr_routing_parse_end_AS (void);
  27 static void instr_routing_parse_start_link (void);
  28 static void instr_routing_parse_end_link (void);
  29 static void instr_routing_parse_start_host (void);
  30 static void instr_routing_parse_end_host (void);
  31 static void instr_routing_parse_start_router (void);
  32 static void instr_routing_parse_end_router (void);
  33 static void instr_routing_parse_end_platform (void);
  34
  35 static long long int newTypeId ()
  36 {
  37   static long long int counter = 0;
  38   return counter++;
  39 }
  40
  41 static type_t newType (const char *typename, e_entity_types kind, type_t father)
  42 {
  43   type_t ret = xbt_new0(s_type_t, 1);
  44   ret->name = xbt_strdup (typename);
  45   ret->father = father;
  46   ret->kind = kind;
  47   ret->children = xbt_dict_new ();
  48
  49   long long int id = newTypeId();
  50   char str_id[INSTR_DEFAULT_STR_SIZE];
  51   snprintf (str_id, INSTR_DEFAULT_STR_SIZE, "%lld", id);
  52   ret->id = xbt_strdup (str_id);
  53
  54   if (father != NULL){
  55     xbt_dict_set (father->children, typename, ret, NULL);
  56   }
  57   return ret;
  58 }
  59
  60 static type_t newContainerType (const char *typename, e_entity_types kind, type_t father)
  61 {
  62   type_t ret = newType (typename, kind, father);
  63 //  if (father) INFO4("ContainerType %s(%s), child of %s(%s)", ret->name, ret->id, father->name, father->id);
  64   if (father) pajeDefineContainerType(ret->id, ret->father->id, ret->name);
  65   return ret;
  66 }
  67
  68 static type_t newVariableType (const char *typename, e_entity_types kind, const char *color, type_t father)
  69 {
  70   type_t ret = newType (typename, kind, father);
  71 //  INFO4("VariableType %s(%s), child of %s(%s)", ret->name, ret->id, father->name, father->id);
  72   if (color){
  73     pajeDefineVariableTypeWithColor(ret->id, ret->father->id, ret->name, color);
  74   }else{
  75     pajeDefineVariableType(ret->id, ret->father->id, ret->name);
  76   }
  77   return ret;
  78 }
  79
  80 static type_t newLinkType (const char *typename, e_entity_types kind, type_t father, type_t source, type_t dest)
  81 {
  82   type_t ret = newType (typename, kind, father);
  83 //  INFO8("LinkType %s(%s), child of %s(%s)  %s(%s)->%s(%s)", ret->name, ret->id, father->name, father->id, source->name, source->id, dest->name, dest->id);
  84   pajeDefineLinkType(ret->id, ret->father->id, source->id, dest->id, ret->name);
  85   return ret;
  86 }
  87
  88 static type_t newStateType (const char *typename, e_entity_types kind, type_t father)
  89 {
  90   type_t ret = newType (typename, kind, father);
  91 //  INFO4("StateType %s(%s), child of %s(%s)", ret->name, ret->id, father->name, father->id);
  92   pajeDefineStateType(ret->id, ret->father->id, ret->name);
  93   return ret;
  94 }
  95
  96 static type_t getContainerType (const char *typename, type_t father)
  97 {
  98   type_t ret;
  99   if (father == NULL){
 100     ret = newContainerType (typename, TYPE_CONTAINER, father);
 101     rootType = ret;
 102   }else{
 103     //check if my father type already has my typename
 104     ret = (type_t)xbt_dict_get_or_null (father->children, typename);
 105     if (ret == NULL){
 106       ret = newContainerType (typename, TYPE_CONTAINER, father);
 107     }
 108   }
 109   return ret;
 110 }
 111
 112 static type_t getVariableType (const char *typename, const char *color, type_t father)
 113 {
 114   type_t ret = xbt_dict_get_or_null (father->children, typename);
 115   if (ret == NULL){
 116     ret = newVariableType (typename, TYPE_VARIABLE, color, father);
 117   }
 118   return ret;
 119 }
 120
 121 static type_t getLinkType (const char *typename, type_t father, type_t source, type_t dest)
 122 {
 123   type_t ret = xbt_dict_get_or_null (father->children, typename);
 124   if (ret == NULL){
 125     ret = newLinkType (typename, TYPE_LINK, father, source, dest);
 126   }
 127   return ret;
 128 }
 129
 130 static type_t getStateType (const char *typename, type_t father)
 131 {
 132   type_t ret = xbt_dict_get_or_null (father->children, typename);
 133   if (ret == NULL){
 134     ret = newStateType (typename, TYPE_STATE, father);
 135   }
 136   return ret;
 137 }
 138
 139 void instr_routing_define_callbacks ()
 140 {
 141   if (!TRACE_is_active())
 142     return;
 143   surfxml_add_callback(STag_surfxml_AS_cb_list, &instr_routing_parse_start_AS);
 144   surfxml_add_callback(ETag_surfxml_AS_cb_list, &instr_routing_parse_end_AS);
 145   surfxml_add_callback(STag_surfxml_link_cb_list, &instr_routing_parse_start_link);
 146   surfxml_add_callback(ETag_surfxml_link_cb_list, &instr_routing_parse_end_link);
 147   surfxml_add_callback(STag_surfxml_host_cb_list, &instr_routing_parse_start_host);
 148   surfxml_add_callback(ETag_surfxml_host_cb_list, &instr_routing_parse_end_host);
 149   surfxml_add_callback(STag_surfxml_router_cb_list, &instr_routing_parse_start_router);
 150   surfxml_add_callback(ETag_surfxml_router_cb_list, &instr_routing_parse_end_router);
 151   surfxml_add_callback(ETag_surfxml_platform_cb_list, &instr_routing_parse_end_platform);
 152 }
 153
 154 static long long int newContainedId ()
 155 {
 156   static long long counter = 0;
 157   return counter++;
 158 }
 159
 160 static container_t newContainer (const char *name, e_container_types kind, container_t father)
 161 {
 162   long long int counter = newContainedId();
 163   char id_str[INSTR_DEFAULT_STR_SIZE];
 164   snprintf (id_str, INSTR_DEFAULT_STR_SIZE, "%lld", counter);
 165
 166   container_t new = xbt_new0(s_container_t, 1);
 167   new->name = xbt_strdup (name); // name of the container
 168   new->id = xbt_strdup (id_str); // id (or alias) of the container
 169   new->father = father;
 170   // level depends on level of father
 171   if (new->father){
 172     new->level = new->father->level+1;
 173   }else{
 174     new->level = 0;
 175   }
 176   // type definition (method depends on kind of this new container)
 177   new->kind = kind;
 178   if (new->kind == INSTR_AS){
 179     //if this container is of an AS, its type name depends on its level
 180     char as_typename[INSTR_DEFAULT_STR_SIZE];
 181     snprintf (as_typename, INSTR_DEFAULT_STR_SIZE, "L%d", new->level);
 182     if (new->father){
 183       new->type = getContainerType (as_typename, new->father->type);
 184     }else{
 185       new->type = getContainerType ("0", NULL);
 186     }
 187   }else{
 188     //otherwise, the name is its kind
 189     switch (new->kind){
 190       case INSTR_HOST: new->type = getContainerType ("HOST", new->father->type); break;
 191       case INSTR_LINK: new->type = getContainerType ("LINK", new->father->type); break;
 192       case INSTR_ROUTER: new->type = getContainerType ("ROUTER", new->father->type); break;
 193       case INSTR_SMPI: new->type = getContainerType ("MPI", new->father->type); break;
 194       default: xbt_die ("Congratulations, you have found a bug on newContainer function of instr_routing.c"); break;
 195     }
 196   }
 197   new->children = xbt_dict_new();
 198   if (new->father){
 199     xbt_dict_set(new->father->children, new->name, new, NULL);
 200     pajeCreateContainer (0, new->id, new->type->id, new->father->id, new->name);
 201   }
 202
 203   //register hosts, routers, links containers
 204   if (new->kind == INSTR_HOST || new->kind == INSTR_LINK || new->kind == INSTR_ROUTER) {
 205     xbt_dict_set (allContainers, new->name, new, NULL);
 206   }
 207
 208   //register the host container types
 209   if (new->kind == INSTR_HOST){
 210     xbt_dynar_push_as (allHostTypes, type_t, new->type);
 211   }
 212
 213   //register the link container types
 214   if (new->kind == INSTR_LINK){
 215     xbt_dynar_push_as(allLinkTypes, type_t, new->type);
 216   }
 217   return new;
 218 }
 219
 220 static container_t findChild (container_t root, container_t a1)
 221 {
 222   if (root == a1) return root;
 223
 224   xbt_dict_cursor_t cursor = NULL;
 225   container_t child;
 226   char *child_name;
 227   xbt_dict_foreach(root->children, cursor, child_name, child) {
 228     if (findChild (child, a1)) return child;
 229   }
 230   return NULL;
 231 }
 232
 233 static container_t findCommonFather (container_t root, container_t a1, container_t a2)
 234 {
 235   if (a1->father == a2->father) return a1->father;
 236
 237   xbt_dict_cursor_t cursor = NULL;
 238   container_t child;
 239   char *child_name;
 240   container_t a1_try = NULL;
 241   container_t a2_try = NULL;
 242   xbt_dict_foreach(root->children, cursor, child_name, child) {
 243     a1_try = findChild (child, a1);
 244     a2_try = findChild (child, a2);
 245     if (a1_try && a2_try) return child;
 246   }
 247   return NULL;
 248 }
 249
 250 static void linkContainers (const char *a1, const char *a2)
 251 {
 252   //ignore loopback
 253   if (strcmp (a1, "__loopback__") == 0 || strcmp (a2, "__loopback__") == 0)
 254     return;
 255
 256   container_t a1_container = ((container_t)xbt_dict_get (allContainers, a1));
 257   type_t a1_type = a1_container->type;
 258
 259   container_t a2_container = ((container_t)xbt_dict_get (allContainers, a2));
 260   type_t a2_type = a2_container->type;
 261
 262   container_t container = findCommonFather (rootContainer, a1_container, a2_container);
 263   xbt_assert0 (container != NULL, "common father not found");
 264
 265   //declare type
 266   char link_typename[INSTR_DEFAULT_STR_SIZE];
 267   snprintf (link_typename, INSTR_DEFAULT_STR_SIZE, "%s-%s", a1_type->name, a2_type->name);
 268   type_t link_type = getLinkType (link_typename, container->type, a1_type, a2_type);
 269
 270   //create the link
 271   static long long counter = 0;
 272   char key[INSTR_DEFAULT_STR_SIZE];
 273   snprintf (key, INSTR_DEFAULT_STR_SIZE, "%lld", counter++);
 274   pajeStartLink(SIMIX_get_clock(), link_type->id, container->id, "G", a1_container->id, key);
 275   pajeEndLink(SIMIX_get_clock(), link_type->id, container->id, "G", a2_container->id, key);
 276 }
 277
 278 static void recursiveGraphExtraction (container_t container)
 279 {
 280   if (xbt_dict_length(container->children)){
 281     xbt_dict_cursor_t cursor = NULL;
 282     container_t child;
 283     char *child_name;
 284     //bottom-up recursion
 285     xbt_dict_foreach(container->children, cursor, child_name, child) {
 286       recursiveGraphExtraction (child);
 287     }
 288
 289     //let's get routes
 290     xbt_dict_cursor_t cursor1 = NULL, cursor2 = NULL;
 291     container_t child1, child2;
 292     const char *child_name1, *child_name2;
 293
 294     xbt_dict_t filter = xbt_dict_new ();
 295
 296     xbt_dict_foreach(container->children, cursor1, child_name1, child1) {
 297       xbt_dict_foreach(container->children, cursor2, child_name2, child2) {
 298         //check if we already register this pair (we only need one direction)
 299         char aux1[INSTR_DEFAULT_STR_SIZE], aux2[INSTR_DEFAULT_STR_SIZE];
 300         snprintf (aux1, INSTR_DEFAULT_STR_SIZE, "%s%s", child_name1, child_name2);
 301         snprintf (aux2, INSTR_DEFAULT_STR_SIZE, "%s%s", child_name2, child_name1);
 302         if (xbt_dict_get_or_null (filter, aux1)) continue;
 303         if (xbt_dict_get_or_null (filter, aux2)) continue;
 304
 305         //ok, not found, register it
 306         xbt_dict_set (filter, aux1, xbt_strdup ("1"), xbt_free);
 307         xbt_dict_set (filter, aux2, xbt_strdup ("1"), xbt_free);
 308
 309         if ((child1->kind == INSTR_HOST || child1->kind == INSTR_ROUTER) &&
 310             (child2->kind == INSTR_HOST  || child2->kind == INSTR_ROUTER)){
 311
 312           //getting route
 313           xbt_dynar_t route;
 314           xbt_ex_t exception;
 315           TRY {
 316             route = global_routing->get_route (child_name1, child_name2);
 317           }CATCH(exception) {
 318             //no route between them, that's possible
 319             continue;
 320           }
 321
 322           //link the route members
 323           unsigned int cpt;
 324           void *link;
 325           char *previous_entity_name = (char*)child_name1;
 326           xbt_dynar_foreach (route, cpt, link) {
 327             char *link_name = ((link_CM02_t)link)->lmm_resource.generic_resource.name;
 328             linkContainers (previous_entity_name, link_name);
 329             previous_entity_name = link_name;
 330           }
 331           linkContainers (previous_entity_name, child_name2);
 332         }else if (child1->kind == INSTR_AS &&
 333                   child2->kind == INSTR_AS &&
 334                   strcmp(child_name1, child_name2) != 0){
 335
 336           //getting route
 337           routing_component_t root = global_routing->root;
 338           route_extended_t route;
 339           xbt_ex_t exception;
 340           TRY {
 341             route = root->get_route (root, child_name1, child_name2);
 342           }CATCH(exception) {
 343             //no route between them, that's possible
 344             continue;
 345           }
 346           xbt_assert2(route!=NULL,
 347               "there is no ASroute between %s and %s", child_name1, child_name2);
 348           unsigned int cpt;
 349           void *link;
 350           char *previous_entity_name = route->src_gateway;
 351           xbt_dynar_foreach (route->generic_route.link_list, cpt, link) {
 352             char *link_name = ((link_CM02_t)link)->lmm_resource.generic_resource.name;
 353             linkContainers (previous_entity_name, link_name);
 354             previous_entity_name = link_name;
 355           }
 356           linkContainers (previous_entity_name, route->dst_gateway);
 357         }
 358       }
 359     }
 360     xbt_dict_free(&filter);
 361   }
 362 }
 363
 364 /*
 365  * Callbacks
 366  */
 367 static void instr_routing_parse_start_AS ()
 368 {
 369   if (rootContainer == NULL){
 370     currentContainer = xbt_dynar_new (sizeof(s_container_t), NULL);
 371     allContainers = xbt_dict_new ();
 372     allLinkTypes = xbt_dynar_new (sizeof(s_type_t), NULL);
 373     allHostTypes = xbt_dynar_new (sizeof(s_type_t), NULL);
 374
 375     rootContainer = newContainer ("0", INSTR_AS, NULL);
 376     xbt_dynar_push (currentContainer, rootContainer);
 377
 378     if (TRACE_smpi_is_enabled()) {
 379       if (!TRACE_smpi_is_grouped()){
 380         container_t father = xbt_dynar_get_ptr(currentContainer, xbt_dynar_length(currentContainer)-1);
 381         type_t mpi = getContainerType("MPI", father->type);
 382         getStateType ("MPI_STATE", mpi);
 383         getLinkType ("MPI_LINK", rootType, mpi, mpi);
 384       }
 385     }
 386   }
 387   container_t father = xbt_dynar_get_ptr(currentContainer, xbt_dynar_length(currentContainer)-1);
 388   container_t new = newContainer (A_surfxml_AS_id, INSTR_AS, father);
 389
 390   //push
 391   xbt_dynar_push (currentContainer, new);
 392 }
 393
 394 static void instr_routing_parse_end_AS ()
 395 {
 396   xbt_dynar_pop_ptr (currentContainer);
 397 }
 398
 399 static void instr_routing_parse_start_link ()
 400 {
 401   container_t father = xbt_dynar_get_ptr(currentContainer, xbt_dynar_length(currentContainer)-1);
 402   container_t new = newContainer (A_surfxml_link_id, INSTR_LINK, father);
 403
 404   type_t bandwidth = getVariableType ("bandwidth", NULL, new->type);
 405   type_t latency = getVariableType ("latency", NULL, new->type);
 406   pajeSetVariable (0, bandwidth->id, new->id, A_surfxml_link_bandwidth);
 407   pajeSetVariable (0, latency->id, new->id, A_surfxml_link_latency);
 408   if (TRACE_uncategorized()){
 409     getVariableType ("bandwidth_used", "0.5 0.5 0.5", new->type);
 410   }
 411 }
 412
 413 static void instr_routing_parse_end_link ()
 414 {
 415 }
 416
 417 static void instr_routing_parse_start_host ()
 418 {
 419   container_t father = xbt_dynar_get_ptr(currentContainer, xbt_dynar_length(currentContainer)-1);
 420   container_t new = newContainer (A_surfxml_host_id, INSTR_HOST, father);
 421
 422   type_t power = getVariableType ("power", NULL, new->type);
 423   pajeSetVariable (0, power->id, new->id, A_surfxml_host_power);
 424   if (TRACE_uncategorized()){
 425     getVariableType ("power_used", "0.5 0.5 0.5", new->type);
 426   }
 427
 428   if (TRACE_smpi_is_enabled()) {
 429     if (TRACE_smpi_is_grouped()){
 430       type_t mpi = getContainerType("MPI", new->type);
 431       getStateType ("MPI_STATE", mpi);
 432       getLinkType ("MPI_LINK", rootType, mpi, mpi);
 433     }
 434   }
 435 }
 436
 437 static void instr_routing_parse_end_host ()
 438 {
 439 }
 440
 441 static void instr_routing_parse_start_router ()
 442 {
 443   container_t father = xbt_dynar_get_ptr(currentContainer, xbt_dynar_length(currentContainer)-1);
 444   newContainer (A_surfxml_router_id, INSTR_ROUTER, father);
 445 }
 446
 447 static void instr_routing_parse_end_router ()
 448 {
 449 }
 450
 451 static void instr_routing_parse_end_platform ()
 452 {
 453   currentContainer = NULL;
 454   recursiveGraphExtraction (rootContainer);
 455   platform_created = 1;
 456 }
 457
 458 /*
 459  * Support functions
 460  */
 461 int instr_link_is_traced (const char *name)
 462 {
 463   if (((container_t)xbt_dict_get_or_null (allContainers, name))){
 464     return 1;
 465   } else {
 466     return 0;
 467   }
 468 }
 469
 470 char *instr_variable_type (const char *name, const char *resource)
 471 {
 472   container_t container = (container_t)xbt_dict_get (allContainers, resource);
 473   xbt_dict_cursor_t cursor = NULL;
 474   type_t type;
 475   char *type_name;
 476   xbt_dict_foreach(container->type->children, cursor, type_name, type) {
 477     if (strcmp (name, type->name) == 0) return type->id;
 478   }
 479   return NULL;
 480 }
 481
 482 char *instr_resource_type (const char *resource_name)
 483 {
 484   return ((container_t)xbt_dict_get_or_null (allContainers, resource_name))->id;
 485 }
 486
 487 static void recursiveDestroyContainer (container_t container)
 488 {
 489   xbt_dict_cursor_t cursor = NULL;
 490   container_t child;
 491   char *child_name;
 492   xbt_dict_foreach(container->children, cursor, child_name, child) {
 493     recursiveDestroyContainer (child);
 494   }
 495
 496   pajeDestroyContainer(SIMIX_get_clock(), container->type->id, container->id);
 497
 498   xbt_free (container->name);
 499   xbt_free (container->id);
 500   xbt_free (container->children);
 501   xbt_free (container);
 502   container = NULL;
 503 }
 504
 505 static void recursiveDestroyType (type_t type)
 506 {
 507   xbt_dict_cursor_t cursor = NULL;
 508   type_t child;
 509   char *child_name;
 510   xbt_dict_foreach(type->children, cursor, child_name, child) {
 511     recursiveDestroyType (child);
 512   }
 513   xbt_free (type->name);
 514   xbt_free (type->id);
 515   xbt_free (type->children);
 516   xbt_free (type);
 517   type = NULL;
 518 }
 519
 520 void instr_destroy_platform ()
 521 {
 522   if (rootContainer) recursiveDestroyContainer (rootContainer);
 523   if (rootType) recursiveDestroyType (rootType);
 524 }
 525
 526 /*
 527  * user categories support
 528  */
 529 static void recursiveNewUserVariableType (const char *new_typename, const char *color, type_t root)
 530 {
 531   if (!strcmp (root->name, "HOST") || !strcmp (root->name, "LINK")){
 532     getVariableType(new_typename, color, root);
 533   }
 534   xbt_dict_cursor_t cursor = NULL;
 535   type_t child_type;
 536   char *name;
 537   xbt_dict_foreach(root->children, cursor, name, child_type) {
 538     recursiveNewUserVariableType (new_typename, color, child_type);
 539   }
 540 }
 541
 542 void instr_new_user_variable_type (const char *new_typename, const char *color)
 543 {
 544   recursiveNewUserVariableType (new_typename, color, rootType);
 545 }
 546
 547 static void recursiveNewUserLinkVariableType (const char *new_typename, const char *color, type_t root)
 548 {
 549   if (!strcmp (root->name, "LINK")){
 550     getVariableType(new_typename, color, root);
 551   }
 552   xbt_dict_cursor_t cursor = NULL;
 553   type_t child_type;
 554   char *name;
 555   xbt_dict_foreach(root->children, cursor, name, child_type) {
 556     recursiveNewUserLinkVariableType (new_typename, color, child_type);
 557   }
 558 }
 559
 560 void instr_new_user_link_variable_type  (const char *new_typename, const char *color)
 561 {
 562   recursiveNewUserLinkVariableType (new_typename, color, rootType);
 563 }
 564
 565
 566 static void recursiveNewUserHostVariableType (const char *new_typename, const char *color, type_t root)
 567 {
 568   if (!strcmp (root->name, "HOST")){
 569     getVariableType(new_typename, color, root);
 570   }
 571   xbt_dict_cursor_t cursor = NULL;
 572   type_t child_type;
 573   char *name;
 574   xbt_dict_foreach(root->children, cursor, name, child_type) {
 575     recursiveNewUserHostVariableType (new_typename, color, child_type);
 576   }
 577 }
 578
 579 void instr_new_user_host_variable_type  (const char *new_typename, const char *color)
 580 {
 581   recursiveNewUserHostVariableType (new_typename, color, rootType);
 582 }
 583
 584 int instr_platform_traced ()
 585 {
 586   return platform_created;
 587 }
 588
 589 #endif /* HAVE_TRACING */
 590