src/surf/network_gtnets.c

   1 /*     $Id$     */
   2
   3 /* Copyright (c) 2005 Henri Casanova. All rights reserved.                  */
   4
   5 /* This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the license (GNU LGPL) which comes with this package. */
   7
   8 #include "network_gtnets_private.h"
   9 #include "gtnets/gtnets_interface.h"
  10 #include "xbt/str.h"
  11
  12 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_network_gtnets, surf,
  13                                 "Logging specific to the SURF network module");
  14
  15 /** QUESTIONS for GTNetS integration
  16  **   1. Check that we did the right thing with name_service and get_resource_name
  17  **   2. Right now there is no "kill flow" in our GTNetS implementation. Do we
  18  **      need to do something about this?
  19  **   3. We ignore the fact there is some max_duration on flows (see #2 above)
  20  **   4. share_resources() returns a duration, not a date, right?
  21  **   5. We don't suppoer "rates"
  22  **   6. We don't update "remaining" for ongoing flows. Is it bad?
  23  **/
  24
  25 /* Free memory for a network link */
  26 static void link_free(void *nw_link)
  27 {
  28   free(((network_link_GTNETS_t) nw_link)->name);
  29   free(nw_link);
  30 }
  31
  32 /* Instantiate a new network link */
  33 /* name: some name for the link, from the XML */
  34 /* bw: The bandwidth value            */
  35 /* lat: The latency value             */
  36 static void link_new(char *name, double bw, double lat, xbt_dict_t props)
  37 {
  38   static int link_count = -1;
  39   network_link_GTNETS_t gtnets_link;
  40
  41   /* If link already exists, nothing to do (FIXME: check that multiple definition match?) */
  42   if (xbt_dict_get_or_null(link_set, name)) {
  43     return;
  44   }
  45
  46   /* KF: Increment the link counter for GTNetS */
  47   link_count++;
  48
  49 /*
  50   nw_link->model = (surf_model_t) surf_network_model;
  51   nw_link->name = name;
  52   nw_link->bw_current = bw_initial;
  53   if (bw_trace)
  54     nw_link->bw_event =
  55         tmgr_history_add_trace(history, bw_trace, 0.0, 0, nw_link);
  56   nw_link->lat_current = lat_initial;
  57   if (lat_trace)
  58     nw_link->lat_event =
  59         tmgr_history_add_trace(history, lat_trace, 0.0, 0, nw_link);
  60   nw_link->state_current = state_initial;
  61   if (state_trace)
  62     nw_link->state_event =
  63         tmgr_history_add_trace(history, state_trace, 0.0, 0, nw_link);
  64 */
  65
  66   /* KF: Add the link to the GTNetS simulation */
  67   if (gtnets_add_link(link_count, bw, lat)) {
  68     xbt_assert0(0, "Cannot create GTNetS link");
  69   }
  70
  71   /* KF: Insert entry in the dictionary */
  72   gtnets_link = xbt_new0(s_network_link_GTNETS_t, 1);
  73   gtnets_link->name = name;
  74   gtnets_link->bw_current = bw;
  75   gtnets_link->lat_current = lat;
  76   gtnets_link->id = link_count;
  77   /* Add the properties */
  78   gtnets_link->properties = current_property_set;
  79
  80   xbt_dict_set(link_set, name, gtnets_link, link_free);
  81
  82   return;
  83 }
  84
  85 /* free the network card */
  86 static void network_card_free(void *nw_card)
  87 {
  88   free(((network_card_GTNETS_t) nw_card)->name);
  89   free(nw_card);
  90 }
  91
  92 /* Instantiate a new network card: MODIFYED BY KF */
  93 static int network_card_new(const char *name)
  94 {
  95   static int card_count = -1;
  96
  97   /* KF: Check that we haven't seen the network card before */
  98   network_card_GTNETS_t card =
  99       xbt_dict_get_or_null(network_card_set, name);
 100
 101   if (!card) {
 102     /* KF: Increment the card counter for GTNetS */
 103     card_count++;
 104
 105     /* KF: just use the dictionary to map link names to link indices */
 106     card = xbt_new0(s_network_card_GTNETS_t, 1);
 107     card->name = xbt_strdup(name);
 108     card->id = card_count;
 109     xbt_dict_set(network_card_set, name, card, network_card_free);
 110   }
 111
 112   /* KF: just return the GTNetS ID as the SURF ID */
 113   return card->id;
 114 }
 115
 116 /* Instantiate a new route: MODIFY BY KF */
 117 static void route_new(int src_id, int dst_id, char **links, int nb_link)
 118 {
 119 #if 0
 120   network_link_GTNETS_t *link_list = NULL;
 121   int i;
 122
 123   ROUTE_SIZE(src_id, dst_id) = nb_link;
 124   link_list = (ROUTE(src_id, dst_id) =
 125                xbt_new0(network_link_GTNETS_t, nb_link));
 126   for (i = 0; i < nb_link; i++) {
 127     link_list[i] = xbt_dict_get_or_null(link_set, links[i]);
 128     free(links[i]);
 129   }
 130   free(links);
 131 #endif
 132   int i;
 133   int *gtnets_links;
 134
 135   /* KF: Build the list of gtnets link IDs */
 136   gtnets_links = (int *) calloc(nb_link, sizeof(int));
 137   for (i = 0; i < nb_link; i++) {
 138     gtnets_links[i] =
 139         ((network_link_GTNETS_t)
 140          (xbt_dict_get(link_set, links[i])))->id;
 141   }
 142
 143   /* KF: Create the GTNets route */
 144   if (gtnets_add_route(src_id, dst_id, gtnets_links, nb_link)) {
 145     xbt_assert0(0, "Cannot create GTNetS route");
 146   }
 147 }
 148
 149 /* Instantiate a new route: MODIFY BY KF */
 150 static void route_onehop_new(int src_id, int dst_id, char **links,
 151                              int nb_link)
 152 {
 153   int linkid;
 154
 155   if (nb_link != 1) {
 156     xbt_assert0(0, "In onehop_new, nb_link should be 1");
 157   }
 158
 159   /* KF: Build the list of gtnets link IDs */
 160   linkid =
 161       ((network_link_GTNETS_t)
 162        (xbt_dict_get(link_set, links[0])))->id;
 163
 164   /* KF: Create the GTNets route */
 165   if (gtnets_add_onehop_route(src_id, dst_id, linkid)) {
 166     xbt_assert0(0, "Cannot create GTNetS route");
 167   }
 168 }
 169
 170
 171
 172 /* Parse the XML for a network link */
 173 static void parse_link_init(void)
 174 {
 175   char *name;
 176   double bw;
 177   double lat;
 178   e_surf_link_state_t state;
 179
 180   name = xbt_strdup(A_surfxml_link_id);
 181   surf_parse_get_double(&bw, A_surfxml_link_bandwidth);
 182   surf_parse_get_double(&lat, A_surfxml_link_latency);
 183   state = SURF_LINK_ON;
 184
 185   /* Print values when no traces are specified */
 186   {
 187     tmgr_trace_t bw_trace;
 188     tmgr_trace_t state_trace;
 189     tmgr_trace_t lat_trace;
 190
 191     surf_parse_get_trace(&bw_trace, A_surfxml_link_bandwidth_file);
 192     surf_parse_get_trace(&lat_trace, A_surfxml_link_latency_file);
 193     surf_parse_get_trace(&state_trace, A_surfxml_link_state_file);
 194
 195     /*TODO Where is WARNING0 defined??? */
 196 #if 0
 197     if (bw_trace)
 198       WARNING0
 199           ("The GTNetS network model doesn't support bandwidth state traces");
 200     if (lat_trace)
 201       WARNING0
 202           ("The GTNetS network model doesn't support latency state traces");
 203     if (state_trace)
 204       WARNING0
 205           ("The GTNetS network model doesn't support link state traces");
 206 #endif
 207   }
 208   /* KF: remove several arguments to link_new */
 209   current_property_set = xbt_dict_new();
 210   link_new(name, bw, lat, current_property_set);
 211 }
 212
 213 static int nb_link = 0;
 214 static char **link_name = NULL;
 215 static int src_id = -1;
 216 static int dst_id = -1;
 217
 218 /* Parses a route from the XML: UNMODIFIED BY HC */
 219 static void parse_route_set_endpoints(void)
 220 {
 221   src_id = network_card_new(A_surfxml_route_src);
 222   dst_id = network_card_new(A_surfxml_route_dst);
 223
 224 /*  nb_link = 0;
 225   link_name = NULL;
 226 */
 227   route_link_list = xbt_dynar_new(sizeof(char *), &xbt_free_ref);
 228 }
 229
 230 /* KF*/
 231 static void parse_route_set_routers(void)
 232 {
 233   int id = network_card_new(A_surfxml_router_id);
 234
 235   /* KF: Create the GTNets router */
 236   if (gtnets_add_router(id)) {
 237     xbt_assert0(0, "Cannot add GTNetS router");
 238   }
 239 }
 240
 241 //The following is common to all and has been relocated to surfxml_parse
 242 /* Parses a route element from the XML: UNMODIFIED BY HC */
 243 /*static void parse_route_elem(void)
 244 {
 245   nb_link++;
 246   link_name = xbt_realloc(link_name, (nb_link) * sizeof(char *));
 247   link_name[(nb_link) - 1] = xbt_strdup(A_surfxml_route_element_name);
 248 }
 249 */
 250
 251 /* Create the route (more than one hops): MODIFIED BY KF */
 252 static void parse_route_set_route(void)
 253 {
 254 /*  if (nb_link > 1)
 255     route_new(src_id, dst_id, link_name, nb_link);
 256 */
 257     char *name = bprintf("%x#%x",src_id, dst_id);
 258     xbt_dict_set(route_table, name, route_link_list, NULL);
 259     free(name);
 260 }
 261
 262 //This is not used anymore. one hop routes are created in add_route
 263 /* Create the one-hope route: BY KF */
 264 static void parse_route_set_onehop_route(void)
 265 {
 266   if (nb_link == 1)
 267     route_onehop_new(src_id, dst_id, link_name, nb_link);
 268 }
 269
 270 static void add_route()
 271 {
 272   xbt_ex_t e;
 273   unsigned int cpt = 0;
 274   int i = 0;
 275   xbt_dict_cursor_t cursor = NULL;
 276   char *key,*data, *end;
 277   const char *sep = "#";
 278   xbt_dynar_t links, keys;
 279
 280   xbt_dict_foreach(route_table, cursor, key, data) {
 281     nb_link = 0;
 282     links = (xbt_dynar_t)data;
 283     keys = xbt_str_split_str(key, sep);
 284
 285     nb_link = xbt_dynar_length(links);
 286     link_name = xbt_realloc(link_name, (nb_link) * sizeof(char *));
 287
 288     src_id = strtol(xbt_dynar_get_as(keys, 0, char*), &end, 16);
 289     dst_id = strtol(xbt_dynar_get_as(keys, 1, char*), &end, 16);
 290
 291     i = 0;
 292     char* link = NULL;
 293     xbt_dynar_foreach (links, cpt, link) {
 294       TRY {
 295         link_name[i++] = xbt_dict_get(link_set, link);
 296       }
 297       CATCH(e) {
 298         RETHROW1("Link %s not found (dict raised this exception: %s)", link);
 299       }
 300     }
 301     if (nb_link > 1)
 302       route_new(src_id, dst_id, link_name, nb_link);
 303     if (nb_link == 1)
 304       route_onehop_new(src_id, dst_id, link_name, nb_link);
 305    }
 306
 307    xbt_dict_free(&route_table);
 308 }
 309
 310 /* Main XML parsing */
 311 static void define_callbacks(const char *file)
 312 {
 313   surfxml_add_callback(STag_surfxml_router_cb_list, &parse_route_set_routers);
 314   surfxml_add_callback(STag_surfxml_link_cb_list, &parse_link_init);
 315   surfxml_add_callback(STag_surfxml_route_cb_list, &parse_route_set_endpoints);
 316   surfxml_add_callback(ETag_surfxml_link_c_ctn_cb_list, &parse_route_elem);
 317 /* surfxml_add_callback(ETag_surfxml_route_cb_list, &parse_route_set_onehop_route);*/
 318   surfxml_add_callback(ETag_surfxml_platform_cb_list, &add_route);
 319 }
 320
 321 static void *name_service(const char *name)
 322 {
 323   return xbt_dict_get_or_null(network_card_set, name);
 324 }
 325
 326 static const char *get_resource_name(void *resource_id)
 327 {
 328   return ((network_card_GTNETS_t) resource_id)->name;
 329 }
 330
 331 static xbt_dict_t get_properties(void *link)
 332 {
 333   return ((network_card_GTNETS_t) link)->properties;
 334 }
 335
 336
 337 /* We do not care about this: only used for traces */
 338 static int resource_used(void *resource_id)
 339 {
 340   return 0;                     /* We don't care */
 341 }
 342
 343 static int action_free(surf_action_t action)
 344 {
 345   action->using--;
 346   if (!action->using) {
 347     xbt_swag_remove(action, action->state_set);
 348     /* KF: No explicit freeing needed for GTNeTS here */
 349     free(action);
 350     return 1;
 351   }
 352   return 0;
 353 }
 354
 355 static void action_use(surf_action_t action)
 356 {
 357   action->using++;
 358 }
 359
 360 static void action_cancel(surf_action_t action)
 361 {
 362   xbt_assert0(0, "Cannot cancel GTNetS flow");
 363   return;
 364 }
 365
 366 static void action_recycle(surf_action_t action)
 367 {
 368   xbt_assert0(0, "Cannot recycle GTNetS flow");
 369   return;
 370 }
 371
 372 static void action_change_state(surf_action_t action,
 373                                 e_surf_action_state_t state)
 374 {
 375 /*   if((state==SURF_ACTION_DONE) || (state==SURF_ACTION_FAILED)) */
 376 /*     if(((surf_action_network_GTNETS_t)action)->variable) { */
 377 /*       lmm_variable_disable(maxmin_system, ((surf_action_network_GTNETS_t)action)->variable); */
 378 /*       ((surf_action_network_GTNETS_t)action)->variable = NULL; */
 379 /*     } */
 380
 381   surf_action_change_state(action, state);
 382   return;
 383 }
 384
 385
 386 /* share_resources() */
 387 static double share_resources(double now)
 388 {
 389   xbt_swag_t running_actions = surf_network_model->common_public->states.running_action_set;
 390
 391   //get the first relevant value from the running_actions list
 392   if (!xbt_swag_size(running_actions))
 393     return -1.0;
 394
 395   return gtnets_get_time_to_next_flow_completion();
 396 }
 397
 398 /* delta: by how many time units the simulation must advance */
 399 /* In this function: change the state of actions that terminate */
 400 /* The delta may not come from the network, and thus may be different (smaller)
 401    than the one returned by the function above */
 402 /* If the delta is a network-caused min, then do not emulate any timer in the
 403    network simulation, otherwise fake a timer somehow to advance the simulation of min seconds */
 404
 405 static void update_actions_state(double now, double delta)
 406 {
 407   surf_action_network_GTNETS_t action = NULL;
 408   //  surf_action_network_GTNETS_t next_action = NULL;
 409   xbt_swag_t running_actions =
 410       surf_network_model->common_public->states.running_action_set;
 411
 412   double time_to_next_flow_completion =
 413       gtnets_get_time_to_next_flow_completion();
 414
 415   /* If there are no renning flows, just return */
 416   if (time_to_next_flow_completion < 0.0) {
 417     return;
 418   }
 419
 420   /*KF: if delta == time_to_next_flow_completion, too. */
 421   if (time_to_next_flow_completion <= delta) {  /* run until the first flow completes */
 422     void **metadata;
 423     int i, num_flows;
 424
 425     num_flows = 0;
 426
 427     if (gtnets_run_until_next_flow_completion(&metadata, &num_flows)) {
 428       xbt_assert0(0,
 429                   "Cannot run GTNetS simulation until next flow completion");
 430     }
 431     if (num_flows < 1) {
 432       xbt_assert0(0,
 433                   "GTNetS simulation couldn't find a flow that would complete");
 434     }
 435
 436
 437
 438     xbt_swag_foreach(action, running_actions) {
 439       DEBUG1("]]]]]]]]] Action remains old value: %f", action->generic_action.remains);
 440       double remain = gtnets_get_flow_rx(action);
 441       //need to trust this remain value
 442       if(remain == 0){
 443         action->generic_action.remains=0;
 444       }else {
 445         action->generic_action.remains-=remain;
 446       }
 447       DEBUG1("[[[[[[[[[ Action remains new value: %f", action->generic_action.remains);
 448     }
 449
 450     for (i = 0; i < num_flows; i++) {
 451       action =  (surf_action_network_GTNETS_t) (metadata[i]);
 452
 453       action->generic_action.finish = now + time_to_next_flow_completion;
 454       action_change_state((surf_action_t) action, SURF_ACTION_DONE);
 455       /* TODO: Anything else here? */
 456
 457       //need to map this action to the gtnets engine
 458       DEBUG1("]]]]]]]]] Action remains old value: %f", action->generic_action.remains);
 459       action->generic_action.remains -= gtnets_get_flow_rx(metadata[i]);
 460       DEBUG1("[[[[[[[[[ Action remains new value: %f", action->generic_action.remains);
 461     }
 462
 463
 464   } else {                      /* run for a given number of seconds */
 465     if (gtnets_run(delta)) {
 466       xbt_assert0(0, "Cannot run GTNetS simulation");
 467     }
 468   }
 469
 470   return;
 471 }
 472
 473 /* UNUSED HERE: no traces */
 474 static void update_resource_state(void *id,
 475                                   tmgr_trace_event_t event_type,
 476                                   double value, double date)
 477 {
 478   xbt_assert0(0, "Cannot update model state for GTNetS simulation");
 479   return;
 480 }
 481
 482 /* KF: Rate not supported */
 483 static surf_action_t communicate(void *src, void *dst, double size,
 484                                  double rate)
 485 {
 486   surf_action_network_GTNETS_t action = NULL;
 487   network_card_GTNETS_t card_src = src;
 488   network_card_GTNETS_t card_dst = dst;
 489 /*
 490   int route_size = ROUTE_SIZE(card_src->id, card_dst->id);
 491   network_link_GTNETS_t *route = ROUTE(card_src->id, card_dst->id);
 492 */
 493
 494 /*
 495   xbt_assert2(route_size,"You're trying to send data from %s to %s but there is no connexion between these two cards.", card_src->name, card_dst->name);
 496 */
 497
 498   action = xbt_new0(s_surf_action_network_GTNETS_t, 1);
 499
 500   action->generic_action.using = 1;
 501   action->generic_action.cost = size;
 502   action->generic_action.remains = size;
 503   /* Max durations are not supported */
 504   action->generic_action.max_duration = NO_MAX_DURATION;
 505   action->generic_action.start = surf_get_clock();
 506   action->generic_action.finish = -1.0;
 507   action->generic_action.model_type =
 508       (surf_model_t) surf_network_model;
 509
 510   action->generic_action.state_set =
 511       surf_network_model->common_public->states.running_action_set;
 512
 513   xbt_swag_insert(action, action->generic_action.state_set);
 514
 515   /* KF: Add a flow to the GTNets Simulation, associated to this action */
 516   if (gtnets_create_flow(card_src->id, card_dst->id, size, (void *) action)
 517       < 0) {
 518     xbt_assert2(0, "Not route between host %s and host %s", card_src->name,
 519                 card_dst->name);
 520   }
 521
 522   return (surf_action_t) action;
 523 }
 524
 525 /* Suspend a flow() */
 526 static void action_suspend(surf_action_t action)
 527 {
 528   xbt_assert0(0,
 529               "action_suspend() not supported for the GTNets network model");
 530 }
 531
 532 /* Resume a flow() */
 533 static void action_resume(surf_action_t action)
 534 {
 535   xbt_assert0(0,
 536               "action_resume() not supported for the GTNets network model");
 537 }
 538
 539 /* Test whether a flow is suspended */
 540 static int action_is_suspended(surf_action_t action)
 541 {
 542   return 0;
 543 }
 544
 545 static void finalize(void)
 546 {
 547 #if 0
 548   int i, j;
 549 #endif
 550   xbt_dict_free(&network_card_set);
 551   xbt_dict_free(&link_set);
 552   xbt_swag_free(surf_network_model->common_public->states.
 553                 ready_action_set);
 554   xbt_swag_free(surf_network_model->common_public->states.
 555                 running_action_set);
 556   xbt_swag_free(surf_network_model->common_public->states.
 557                 failed_action_set);
 558   xbt_swag_free(surf_network_model->common_public->states.
 559                 done_action_set);
 560   free(surf_network_model->common_public);
 561   free(surf_network_model->common_private);
 562   free(surf_network_model->extension_public);
 563
 564   free(surf_network_model);
 565   surf_network_model = NULL;
 566
 567 #if 0
 568   for (i = 0; i < card_number; i++)
 569     for (j = 0; j < card_number; j++)
 570       free(ROUTE(i, j));
 571   free(routing_table);
 572   routing_table = NULL;
 573   free(routing_table_size);
 574   routing_table_size = NULL;
 575   card_number = 0;
 576 #endif
 577
 578   /* ADDED BY KF */
 579   gtnets_finalize();
 580   /* END ADDITION */
 581 }
 582
 583 static void surf_network_model_init_internal(void)
 584 {
 585   s_surf_action_t action;
 586
 587   surf_network_model = xbt_new0(s_surf_network_model_t, 1);
 588
 589   surf_network_model->common_private =
 590       xbt_new0(s_surf_model_private_t, 1);
 591   surf_network_model->common_public =
 592       xbt_new0(s_surf_model_public_t, 1);
 593   surf_network_model->extension_public =
 594       xbt_new0(s_surf_network_model_extension_public_t, 1);
 595
 596   surf_network_model->common_public->states.ready_action_set =
 597       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 598   surf_network_model->common_public->states.running_action_set =
 599       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 600   surf_network_model->common_public->states.failed_action_set =
 601       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 602   surf_network_model->common_public->states.done_action_set =
 603       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 604
 605   surf_network_model->common_public->name_service = name_service;
 606   surf_network_model->common_public->get_resource_name =
 607       get_resource_name;
 608   surf_network_model->common_public->action_get_state =
 609       surf_action_get_state;
 610   surf_network_model->common_public->action_use = action_use;
 611   surf_network_model->common_public->action_free = action_free;
 612   surf_network_model->common_public->action_cancel = action_cancel;
 613   surf_network_model->common_public->action_recycle = action_recycle;
 614   surf_network_model->common_public->action_change_state =
 615       action_change_state;
 616   surf_network_model->common_public->action_set_data =
 617       surf_action_set_data;
 618   surf_network_model->common_public->name = "network";
 619
 620   surf_network_model->common_private->resource_used = resource_used;
 621   surf_network_model->common_private->share_resources = share_resources;
 622   surf_network_model->common_private->update_actions_state =
 623       update_actions_state;
 624   surf_network_model->common_private->update_resource_state = update_resource_state;
 625   surf_network_model->common_private->finalize = finalize;
 626
 627   surf_network_model->common_public->suspend = action_suspend;
 628   surf_network_model->common_public->resume = action_resume;
 629   surf_network_model->common_public->is_suspended = action_is_suspended;
 630
 631   surf_network_model->extension_public->communicate = communicate;
 632
 633   /*for the props of the link*/
 634   surf_network_model->common_public->get_properties =  get_properties;
 635
 636   link_set = xbt_dict_new();
 637   network_card_set = xbt_dict_new();
 638
 639   /* KF: Added the initialization for GTNetS interface */
 640   if (gtnets_initialize()) {
 641     xbt_assert0(0, "impossible to initialize GTNetS interface");
 642   }
 643 }