src/surf/network_gtnets.c

   1 /*     $Id$     */
   2
   3 /* Copyright (c) 2005 Henri Casanova. All rights reserved.                  */
   4
   5 /* This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the license (GNU LGPL) which comes with this package. */
   7
   8 #include "network_gtnets_private.h"
   9 #include "gtnets/gtnets_interface.h"
  10 #include "xbt/str.h"
  11
  12
  13 static   double time_to_next_flow_completion=-1;
  14
  15 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_network_gtnets, surf,
  16                                 "Logging specific to the SURF network module");
  17
  18 /** QUESTIONS for GTNetS integration
  19  **   1. Check that we did the right thing with name_service and get_resource_name
  20  **   2. Right now there is no "kill flow" in our GTNetS implementation. Do we
  21  **      need to do something about this?
  22  **   3. We ignore the fact there is some max_duration on flows (see #2 above)
  23  **   4. share_resources() returns a duration, not a date, right?
  24  **   5. We don't suppoer "rates"
  25  **   6. We don't update "remaining" for ongoing flows. Is it bad?
  26  **/
  27
  28 static int src_id = -1;
  29 static int dst_id = -1;
  30
  31 /* Free memory for a network link */
  32 static void link_free(void *nw_link)
  33 {
  34   free(((network_link_GTNETS_t) nw_link)->name);
  35   xbt_dict_free(&(((network_link_GTNETS_t)nw_link)->properties));
  36   free(nw_link);
  37 }
  38
  39 /* Instantiate a new network link */
  40 /* name: some name for the link, from the XML */
  41 /* bw: The bandwidth value            */
  42 /* lat: The latency value             */
  43 static void link_new(char *name, double bw, double lat, xbt_dict_t props)
  44 {
  45   static int link_count = -1;
  46   network_link_GTNETS_t gtnets_link;
  47
  48   /* If link already exists, nothing to do (FIXME: check that multiple definition match?) */
  49   if (xbt_dict_get_or_null(link_set, name)) {
  50     return;
  51   }
  52
  53   /* KF: Increment the link counter for GTNetS */
  54   link_count++;
  55
  56 /*
  57   nw_link->model = (surf_model_t) surf_network_model;
  58   nw_link->name = name;
  59   nw_link->bw_current = bw_initial;
  60   if (bw_trace)
  61     nw_link->bw_event =
  62         tmgr_history_add_trace(history, bw_trace, 0.0, 0, nw_link);
  63   nw_link->lat_current = lat_initial;
  64   if (lat_trace)
  65     nw_link->lat_event =
  66         tmgr_history_add_trace(history, lat_trace, 0.0, 0, nw_link);
  67   nw_link->state_current = state_initial;
  68   if (state_trace)
  69     nw_link->state_event =
  70         tmgr_history_add_trace(history, state_trace, 0.0, 0, nw_link);
  71 */
  72
  73   /* KF: Add the link to the GTNetS simulation */
  74   if (gtnets_add_link(link_count, bw, lat)) {
  75     xbt_assert0(0, "Cannot create GTNetS link");
  76   }
  77
  78   /* KF: Insert entry in the dictionary */
  79   gtnets_link = xbt_new0(s_network_link_GTNETS_t, 1);
  80   gtnets_link->name = name;
  81   gtnets_link->bw_current = bw;
  82   gtnets_link->lat_current = lat;
  83   gtnets_link->id = link_count;
  84   /* Add the properties */
  85   gtnets_link->properties = props;
  86
  87   xbt_dict_set(link_set, name, gtnets_link, link_free);
  88
  89   return;
  90 }
  91
  92 /* free the network card */
  93 static void network_card_free(void *nw_card)
  94 {
  95   free(((network_card_GTNETS_t) nw_card)->name);
  96   free(nw_card);
  97 }
  98
  99 /* Instantiate a new network card: MODIFYED BY KF */
 100 static int network_card_new(const char *name)
 101 {
 102   static int card_count = -1;
 103
 104   /* KF: Check that we haven't seen the network card before */
 105   network_card_GTNETS_t card =
 106       xbt_dict_get_or_null(network_card_set, name);
 107
 108   if (!card) {
 109     /* KF: Increment the card counter for GTNetS */
 110     card_count++;
 111
 112     /* KF: just use the dictionary to map link names to link indices */
 113     card = xbt_new0(s_network_card_GTNETS_t, 1);
 114     card->name = xbt_strdup(name);
 115     card->id = card_count;
 116     xbt_dict_set(network_card_set, name, card, network_card_free);
 117   }
 118
 119   /* KF: just return the GTNetS ID as the SURF ID */
 120   return card->id;
 121 }
 122
 123 /* Instantiate a new route: MODIFY BY KF */
 124 static void route_new(int src_id, int dst_id, network_link_GTNETS_t *links, int nb_link)
 125 {
 126   int i;
 127   int *gtnets_links;
 128
 129   /* KF: Build the list of gtnets link IDs */
 130   gtnets_links = (int *) calloc(nb_link, sizeof(int));
 131   for (i = 0; i < nb_link; i++) {
 132     gtnets_links[i] = links[i]->id;
 133   }
 134
 135   /* KF: Create the GTNets route */
 136   if (gtnets_add_route(src_id, dst_id, gtnets_links, nb_link)) {
 137     xbt_assert0(0, "Cannot create GTNetS route");
 138   }
 139 }
 140
 141 /* Instantiate a new route: MODIFY BY KF */
 142 static void route_onehop_new(int src_id, int dst_id, network_link_GTNETS_t *links, int nb_link)
 143 {
 144   int linkid;
 145
 146   if (nb_link != 1) {
 147     xbt_assert0(0, "In onehop_new, nb_link should be 1");
 148   }
 149
 150   /* KF: Build the linbst of gtnets link IDs */
 151   linkid = links[0]->id;
 152
 153   /* KF: Create the GTNets route */
 154   if (gtnets_add_onehop_route(src_id, dst_id, linkid)) {
 155     xbt_assert0(0, "Cannot create GTNetS route");
 156   }
 157 }
 158
 159
 160
 161 /* Parse the XML for a network link */
 162 static void parse_link_init(void)
 163 {
 164   char *name;
 165   double bw;
 166   double lat;
 167   e_surf_link_state_t state;
 168
 169   name = xbt_strdup(A_surfxml_link_id);
 170   surf_parse_get_double(&bw, A_surfxml_link_bandwidth);
 171   surf_parse_get_double(&lat, A_surfxml_link_latency);
 172   state = SURF_LINK_ON;
 173
 174   tmgr_trace_t bw_trace;
 175   tmgr_trace_t state_trace;
 176   tmgr_trace_t lat_trace;
 177
 178   surf_parse_get_trace(&bw_trace, A_surfxml_link_bandwidth_file);
 179   surf_parse_get_trace(&lat_trace, A_surfxml_link_latency_file);
 180   surf_parse_get_trace(&state_trace, A_surfxml_link_state_file);
 181
 182   if (bw_trace)
 183     INFO0("The GTNetS network model doesn't support bandwidth state traces");
 184   if (lat_trace)
 185     INFO0("The GTNetS network model doesn't support latency state traces");
 186   if (state_trace)
 187     INFO0("The GTNetS network model doesn't support link state traces");
 188
 189   current_property_set = xbt_dict_new();
 190   link_new(name, bw, lat, current_property_set);
 191 }
 192
 193 /* Parses a route from the XML: UNMODIFIED BY HC */
 194 static void parse_route_set_endpoints(void)
 195 {
 196   src_id = network_card_new(A_surfxml_route_src);
 197   dst_id = network_card_new(A_surfxml_route_dst);
 198   route_action = A_surfxml_route_action;
 199 }
 200
 201 /* KF*/
 202 static void parse_route_set_routers(void)
 203 {
 204   int id = network_card_new(A_surfxml_router_id);
 205
 206   /* KF: Create the GTNets router */
 207   if (gtnets_add_router(id)) {
 208     xbt_assert0(0, "Cannot add GTNetS router");
 209   }
 210 }
 211
 212 /* Create the route (more than one hops): MODIFIED BY KF */
 213 static void parse_route_set_route(void)
 214 {
 215   char *name;
 216   if (src_id != -1 && dst_id != -1) {
 217     name = bprintf("%x#%x",src_id, dst_id);
 218     manage_route(route_table, name, route_action, 0);
 219     free(name);
 220   }
 221 }
 222
 223 static void add_route()
 224 {
 225   xbt_ex_t e;
 226   unsigned int cpt = 0;
 227   int link_list_capacity = 0;
 228   int nb_link = 0;
 229   xbt_dict_cursor_t cursor = NULL;
 230   char *key,*data, *end;
 231   const char *sep = "#";
 232   xbt_dynar_t links, keys;
 233   static network_link_GTNETS_t *link_list = NULL;
 234
 235
 236   DEBUG0("Entering add_route()");
 237   xbt_dict_foreach(route_table, cursor, key, data) {
 238     char *link = NULL;
 239     nb_link = 0;
 240     links = (xbt_dynar_t)data;
 241     keys = xbt_str_split_str(key, sep);
 242
 243     link_list_capacity = xbt_dynar_length(links);
 244     link_list = xbt_new(network_link_GTNETS_t, link_list_capacity);
 245
 246     src_id = strtol(xbt_dynar_get_as(keys, 0, char*), &end, 16);
 247     dst_id = strtol(xbt_dynar_get_as(keys, 1, char*), &end, 16);
 248     xbt_dynar_free(&keys);
 249
 250     xbt_dynar_foreach (links, cpt, link) {
 251       TRY {
 252         link_list[nb_link++] = xbt_dict_get(link_set, link);
 253       }
 254       CATCH(e) {
 255         RETHROW1("Link %s not found (dict raised this exception: %s)", link);
 256       }
 257     }
 258     if (nb_link > 1)
 259       route_new(src_id, dst_id, link_list, nb_link);
 260     if (nb_link == 1)
 261       route_onehop_new(src_id, dst_id, link_list, nb_link);
 262    }
 263
 264   xbt_dict_free(&route_table);
 265   DEBUG0("Bailling add_route()");
 266 }
 267
 268 /* Main XML parsing */
 269 static void define_callbacks(const char *file)
 270 {
 271   surfxml_add_callback(STag_surfxml_router_cb_list,   &parse_route_set_routers);
 272   surfxml_add_callback(STag_surfxml_link_cb_list,     &parse_link_init);
 273   surfxml_add_callback(STag_surfxml_route_cb_list,    &parse_route_set_endpoints);
 274   surfxml_add_callback(ETag_surfxml_route_cb_list,      &parse_route_set_route);
 275   surfxml_add_callback(ETag_surfxml_platform_cb_list,   &add_route);
 276 }
 277
 278 static void *name_service(const char *name)
 279 {
 280   return xbt_dict_get_or_null(network_card_set, name);
 281 }
 282
 283 static const char *get_resource_name(void *resource_id)
 284 {
 285   return ((network_card_GTNETS_t) resource_id)->name;
 286 }
 287
 288 static xbt_dict_t get_properties(void *link)
 289 {
 290   return ((network_card_GTNETS_t) link)->properties;
 291 }
 292
 293
 294 /* We do not care about this: only used for traces */
 295 static int resource_used(void *resource_id)
 296 {
 297   return 0;                     /* We don't care */
 298 }
 299
 300 static int action_free(surf_action_t action)
 301 {
 302   action->using--;
 303   if (!action->using) {
 304     xbt_swag_remove(action, action->state_set);
 305     /* KF: No explicit freeing needed for GTNeTS here */
 306     free(action);
 307     return 1;
 308   }
 309   return 0;
 310 }
 311
 312 static void action_use(surf_action_t action)
 313 {
 314   action->using++;
 315 }
 316
 317 static void action_cancel(surf_action_t action)
 318 {
 319   xbt_assert0(0, "Cannot cancel GTNetS flow");
 320   return;
 321 }
 322
 323 static void action_recycle(surf_action_t action)
 324 {
 325   xbt_assert0(0, "Cannot recycle GTNetS flow");
 326   return;
 327 }
 328
 329 static void action_change_state(surf_action_t action,
 330                                 e_surf_action_state_t state)
 331 {
 332 /*   if((state==SURF_ACTION_DONE) || (state==SURF_ACTION_FAILED)) */
 333 /*     if(((surf_action_network_GTNETS_t)action)->variable) { */
 334 /*       lmm_variable_disable(maxmin_system, ((surf_action_network_GTNETS_t)action)->variable); */
 335 /*       ((surf_action_network_GTNETS_t)action)->variable = NULL; */
 336 /*     } */
 337
 338   surf_action_change_state(action, state);
 339   return;
 340 }
 341
 342
 343 /* share_resources() */
 344 static double share_resources(double now)
 345 {
 346   xbt_swag_t running_actions = surf_network_model->common_public->states.running_action_set;
 347
 348   //get the first relevant value from the running_actions list
 349   if (!xbt_swag_size(running_actions))
 350     return -1.0;
 351
 352   xbt_assert0(time_to_next_flow_completion, "Time to next flow completion not initialized!\n");
 353
 354   time_to_next_flow_completion = gtnets_get_time_to_next_flow_completion();
 355
 356   return time_to_next_flow_completion;
 357 }
 358
 359 /* delta: by how many time units the simulation must advance */
 360 /* In this function: change the state of actions that terminate */
 361 /* The delta may not come from the network, and thus may be different (smaller)
 362    than the one returned by the function above */
 363 /* If the delta is a network-caused min, then do not emulate any timer in the
 364    network simulation, otherwise fake a timer somehow to advance the simulation of min seconds */
 365
 366 static void update_actions_state(double now, double delta)
 367 {
 368   surf_action_network_GTNETS_t action = NULL;
 369   //  surf_action_network_GTNETS_t next_action = NULL;
 370   xbt_swag_t running_actions =
 371       surf_network_model->common_public->states.running_action_set;
 372
 373   /* If there are no renning flows, just return */
 374   if (time_to_next_flow_completion < 0.0) {
 375     return;
 376   }
 377
 378   /*KF: if delta == time_to_next_flow_completion, too. */
 379   if (time_to_next_flow_completion <= delta) {  /* run until the first flow completes */
 380     void **metadata;
 381     int i, num_flows;
 382
 383     num_flows = 0;
 384
 385     if (gtnets_run_until_next_flow_completion(&metadata, &num_flows)) {
 386       xbt_assert0(0,
 387                   "Cannot run GTNetS simulation until next flow completion");
 388     }
 389     if (num_flows < 1) {
 390       xbt_assert0(0,
 391                   "GTNetS simulation couldn't find a flow that would complete");
 392     }
 393
 394
 395
 396     xbt_swag_foreach(action, running_actions) {
 397       DEBUG1("]]]]]]]]] Action remains old value: %f", action->generic_action.remains);
 398       double remain = gtnets_get_flow_rx(action);
 399       //need to trust this remain value
 400       if(remain == 0){
 401         action->generic_action.remains=0;
 402       }else {
 403         action->generic_action.remains-=remain;
 404       }
 405       DEBUG1("[[[[[[[[[ Action remains new value: %f", action->generic_action.remains);
 406     }
 407
 408     for (i = 0; i < num_flows; i++) {
 409       action =  (surf_action_network_GTNETS_t) (metadata[i]);
 410
 411       action->generic_action.finish = now + time_to_next_flow_completion;
 412       action_change_state((surf_action_t) action, SURF_ACTION_DONE);
 413       /* TODO: Anything else here? */
 414
 415       //need to map this action to the gtnets engine
 416       DEBUG1("]]]]]]]]] Action remains old value: %f", action->generic_action.remains);
 417       action->generic_action.remains -= gtnets_get_flow_rx(metadata[i]);
 418       DEBUG1("[[[[[[[[[ Action remains new value: %f", action->generic_action.remains);
 419     }
 420
 421
 422   } else {                      /* run for a given number of seconds */
 423     if (gtnets_run(delta)) {
 424       xbt_assert0(0, "Cannot run GTNetS simulation");
 425     }
 426   }
 427
 428   return;
 429 }
 430
 431 /* UNUSED HERE: no traces */
 432 static void update_resource_state(void *id,
 433                                   tmgr_trace_event_t event_type,
 434                                   double value, double date)
 435 {
 436   xbt_assert0(0, "Cannot update model state for GTNetS simulation");
 437   return;
 438 }
 439
 440 /* KF: Rate not supported */
 441 static surf_action_t communicate(void *src, void *dst, double size,
 442                                  double rate)
 443 {
 444   surf_action_network_GTNETS_t action = NULL;
 445   network_card_GTNETS_t card_src = src;
 446   network_card_GTNETS_t card_dst = dst;
 447 /*
 448   int route_size = ROUTE_SIZE(card_src->id, card_dst->id);
 449   network_link_GTNETS_t *route = ROUTE(card_src->id, card_dst->id);
 450 */
 451
 452 /*
 453   xbt_assert2(route_size,"You're trying to send data from %s to %s but there is no connexion between these two cards.", card_src->name, card_dst->name);
 454 */
 455
 456   action = xbt_new0(s_surf_action_network_GTNETS_t, 1);
 457
 458   action->generic_action.using = 1;
 459   action->generic_action.cost = size;
 460   action->generic_action.remains = size;
 461   /* Max durations are not supported */
 462   action->generic_action.max_duration = NO_MAX_DURATION;
 463   action->generic_action.start = surf_get_clock();
 464   action->generic_action.finish = -1.0;
 465   action->generic_action.model_type =
 466       (surf_model_t) surf_network_model;
 467
 468   action->generic_action.state_set =
 469       surf_network_model->common_public->states.running_action_set;
 470
 471   xbt_swag_insert(action, action->generic_action.state_set);
 472
 473   /* KF: Add a flow to the GTNets Simulation, associated to this action */
 474   if (gtnets_create_flow(card_src->id, card_dst->id, size, (void *) action)
 475       < 0) {
 476     xbt_assert2(0, "Not route between host %s and host %s", card_src->name,
 477                 card_dst->name);
 478   }
 479
 480   return (surf_action_t) action;
 481 }
 482
 483 /* Suspend a flow() */
 484 static void action_suspend(surf_action_t action)
 485 {
 486   xbt_assert0(0,
 487               "action_suspend() not supported for the GTNets network model");
 488 }
 489
 490 /* Resume a flow() */
 491 static void action_resume(surf_action_t action)
 492 {
 493   xbt_assert0(0,
 494               "action_resume() not supported for the GTNets network model");
 495 }
 496
 497 /* Test whether a flow is suspended */
 498 static int action_is_suspended(surf_action_t action)
 499 {
 500   return 0;
 501 }
 502
 503 static void finalize(void)
 504 {
 505 #if 0
 506   int i, j;
 507 #endif
 508   xbt_dict_free(&network_card_set);
 509   xbt_dict_free(&link_set);
 510   xbt_swag_free(surf_network_model->common_public->states.
 511                 ready_action_set);
 512   xbt_swag_free(surf_network_model->common_public->states.
 513                 running_action_set);
 514   xbt_swag_free(surf_network_model->common_public->states.
 515                 failed_action_set);
 516   xbt_swag_free(surf_network_model->common_public->states.
 517                 done_action_set);
 518   free(surf_network_model->common_public);
 519   free(surf_network_model->common_private);
 520   free(surf_network_model->extension_public);
 521
 522   free(surf_network_model);
 523   surf_network_model = NULL;
 524
 525   gtnets_finalize();
 526 }
 527
 528 static void surf_network_model_init_internal(void)
 529 {
 530   s_surf_action_t action;
 531
 532   surf_network_model = xbt_new0(s_surf_network_model_t, 1);
 533
 534   surf_network_model->common_private =
 535       xbt_new0(s_surf_model_private_t, 1);
 536   surf_network_model->common_public =
 537       xbt_new0(s_surf_model_public_t, 1);
 538   surf_network_model->extension_public =
 539       xbt_new0(s_surf_network_model_extension_public_t, 1);
 540
 541   surf_network_model->common_public->states.ready_action_set =
 542       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 543   surf_network_model->common_public->states.running_action_set =
 544       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 545   surf_network_model->common_public->states.failed_action_set =
 546       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 547   surf_network_model->common_public->states.done_action_set =
 548       xbt_swag_new(xbt_swag_offset(action, state_hookup));
 549
 550   surf_network_model->common_public->name_service = name_service;
 551   surf_network_model->common_public->get_resource_name =
 552       get_resource_name;
 553   surf_network_model->common_public->action_get_state =
 554       surf_action_get_state;
 555   surf_network_model->common_public->action_use = action_use;
 556   surf_network_model->common_public->action_free = action_free;
 557   surf_network_model->common_public->action_cancel = action_cancel;
 558   surf_network_model->common_public->action_recycle = action_recycle;
 559   surf_network_model->common_public->action_change_state =
 560       action_change_state;
 561   surf_network_model->common_public->action_set_data =
 562       surf_action_set_data;
 563   surf_network_model->common_public->name = "network";
 564
 565   surf_network_model->common_private->resource_used = resource_used;
 566   surf_network_model->common_private->share_resources = share_resources;
 567   surf_network_model->common_private->update_actions_state =
 568       update_actions_state;
 569   surf_network_model->common_private->update_resource_state = update_resource_state;
 570   surf_network_model->common_private->finalize = finalize;
 571
 572   surf_network_model->common_public->suspend = action_suspend;
 573   surf_network_model->common_public->resume = action_resume;
 574   surf_network_model->common_public->is_suspended = action_is_suspended;
 575
 576   surf_network_model->extension_public->communicate = communicate;
 577
 578   /*for the props of the link*/
 579   surf_network_model->common_public->get_properties =  get_properties;
 580
 581   link_set = xbt_dict_new();
 582   network_card_set = xbt_dict_new();
 583
 584   /* KF: Added the initialization for GTNetS interface */
 585   if (gtnets_initialize()) {
 586     xbt_assert0(0, "impossible to initialize GTNetS interface");
 587   }
 588 }
 589
 590 #ifdef HAVE_GTNETS
 591 void surf_network_model_init_GTNETS(const char *filename)
 592 {
 593   if (surf_network_model)
 594     return;
 595   surf_network_model_init_internal();
 596   define_callbacks(filename);
 597   xbt_dynar_push(model_list, &surf_network_model);
 598
 599   update_model_description(surf_network_model_description,
 600                            "GTNets",
 601                            (surf_model_t) surf_network_model);
 602 }
 603 #endif