src/surf/surf_c_bindings.cpp

   1 /* Copyright (c) 2013-2014. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 #include "host_interface.hpp"
   8 #include "surf_interface.hpp"
   9 #include "network_interface.hpp"
  10 #include "surf_routing_cluster.hpp"
  11 #include "instr/instr_private.h"
  12 #include "plugins/energy.hpp"
  13 #include "vm_interface.hpp"
  14
  15 XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(surf_kernel);
  16
  17 /*********
  18  * TOOLS *
  19  *********/
  20
  21 static HostPtr get_casted_host(surf_resource_t resource){
  22   return static_cast<HostPtr>(surf_host_resource_priv(resource));
  23 }
  24
  25 static RoutingEdgePtr get_casted_routing(surf_resource_t resource){
  26   return static_cast<RoutingEdgePtr>(surf_routing_resource_priv(resource));
  27 }
  28
  29 static VMPtr get_casted_vm(surf_resource_t resource){
  30   return static_cast<VMPtr>(surf_host_resource_priv(resource));
  31 }
  32
  33 char *surf_routing_edge_name(sg_routing_edge_t edge){
  34   return edge->getName();
  35 }
  36
  37 extern double NOW;
  38 extern double *surf_mins; /* return value of share_resources for each model */
  39 extern int surf_min_index;       /* current index in surf_mins */
  40 extern double surf_min;               /* duration determined by surf_solve */
  41
  42 void surf_presolve(void)
  43 {
  44   double next_event_date = -1.0;
  45   tmgr_trace_event_t event = NULL;
  46   double value = -1.0;
  47   ResourcePtr resource = NULL;
  48   ModelPtr model = NULL;
  49   unsigned int iter;
  50
  51   XBT_DEBUG
  52       ("First Run! Let's \"purge\" events and put models in the right state");
  53   while ((next_event_date = tmgr_history_next_date(history)) != -1.0) {
  54     if (next_event_date > NOW)
  55       break;
  56     while ((event =
  57             tmgr_history_get_next_event_leq(history, next_event_date,
  58                                             &value,
  59                                             (void **) &resource))) {
  60       if (value >= 0){
  61         resource->updateState(event, value, NOW);
  62       }
  63     }
  64   }
  65   xbt_dynar_foreach(model_list, iter, model)
  66       model->updateActionsState(NOW, 0.0);
  67 }
  68
  69 /**
  70  * Computes when the next action executed in a
  71  * specific model terminates; this is important,
  72  * because we can safely skip the amount of time
  73  * in which no model (read: not even a single one)
  74  * changes its state; so, if for instance network,
  75  * cpu, storage don't change (and if we assume they're
  76  * the only models we use... simple example here :) )
  77  * for 2s, 1s, 3s then we can skip 1s as after this
  78  * amount of time the new state needs to be considered.
  79  *
  80  */
  81 static void surf_share_resources(surf_model_t model)
  82 {
  83   double next_action_end = -1.0;
  84   int i = __sync_fetch_and_add(&surf_min_index, 1);
  85   if (strcmp(model->getName(), "network NS3")) {
  86     XBT_DEBUG("Running for Resource [%s]", model->getName());
  87     next_action_end = model->shareResources(NOW);
  88     XBT_DEBUG("Resource [%s] : next action end = %f",
  89         model->getName(), next_action_end);
  90   }
  91   surf_mins[i] = next_action_end;
  92 }
  93
  94 static void surf_update_actions_state(surf_model_t model)
  95 {
  96   model->updateActionsState(NOW, surf_min);
  97 }
  98
  99 double surf_solve(double max_date)
 100 {
 101   surf_min = -1.0; /* duration */
 102   double next_event_date = -1.0;
 103   double model_next_action_end = -1.0;
 104   double value = -1.0;
 105   ResourcePtr resource = NULL;
 106   ModelPtr model = NULL;
 107   tmgr_trace_event_t event = NULL;
 108   unsigned int iter;
 109
 110   if(!host_that_restart)
 111     host_that_restart = xbt_dynar_new(sizeof(char*), NULL);
 112
 113   if (max_date != -1.0 && max_date != NOW) {
 114     surf_min = max_date - NOW;
 115   }
 116
 117   XBT_DEBUG("Looking for next action end for all models except NS3");
 118
 119   if (surf_mins == NULL) {
 120     surf_mins = xbt_new(double, xbt_dynar_length(model_list_invoke));
 121   }
 122   surf_min_index = 0;
 123
 124   /* sequential version */
 125   xbt_dynar_foreach(model_list_invoke, iter, model) {
 126     surf_share_resources(static_cast<ModelPtr>(model));
 127   }
 128
 129   unsigned i;
 130   for (i = 0; i < xbt_dynar_length(model_list_invoke); i++) {
 131     if ((surf_min < 0.0 || surf_mins[i] < surf_min)
 132         && surf_mins[i] >= 0.0) {
 133       surf_min = surf_mins[i];
 134     }
 135   }
 136
 137   XBT_DEBUG("Min for resources (remember that NS3 don't update that value) : %f", surf_min);
 138
 139   XBT_DEBUG("Looking for next trace event");
 140
 141   do {
 142     XBT_DEBUG("Next TRACE event : %f", next_event_date);
 143
 144     next_event_date = tmgr_history_next_date(history);
 145
 146     if(!strcmp(surf_network_model->getName(), "network NS3")){
 147       if(next_event_date!=-1.0 && surf_min!=-1.0) {
 148         surf_min = MIN(next_event_date - NOW, surf_min);
 149       } else{
 150         surf_min = MAX(next_event_date - NOW, surf_min);
 151       }
 152
 153       XBT_DEBUG("Run for network at most %f", surf_min);
 154       // run until min or next flow
 155       model_next_action_end = surf_network_model->shareResources(surf_min);
 156
 157       XBT_DEBUG("Min for network : %f", model_next_action_end);
 158       if(model_next_action_end>=0.0)
 159         surf_min = model_next_action_end;
 160     }
 161
 162     if (next_event_date < 0.0) {
 163       XBT_DEBUG("no next TRACE event. Stop searching for it");
 164       break;
 165     }
 166
 167     if ((surf_min == -1.0) || (next_event_date > NOW + surf_min)) break;
 168
 169     XBT_DEBUG("Updating models (min = %g, NOW = %g, next_event_date = %g)", surf_min, NOW, next_event_date);
 170     while ((event =
 171             tmgr_history_get_next_event_leq(history, next_event_date,
 172                                             &value,
 173                                             (void **) &resource))) {
 174       if (resource->isUsed() || xbt_dict_get_or_null(watched_hosts_lib, resource->getName())) {
 175         surf_min = next_event_date - NOW;
 176         XBT_DEBUG
 177             ("This event will modify model state. Next event set to %f",
 178              surf_min);
 179       }
 180       /* update state of model_obj according to new value. Does not touch lmm.
 181          It will be modified if needed when updating actions */
 182       XBT_DEBUG("Calling update_resource_state for resource %s with min %f",
 183              resource->getName(), surf_min);
 184       resource->updateState(event, value, next_event_date);
 185     }
 186   } while (1);
 187
 188   /* FIXME: Moved this test to here to avoid stopping simulation if there are actions running on cpus and all cpus are with availability = 0.
 189    * This may cause an infinite loop if one cpu has a trace with periodicity = 0 and the other a trace with periodicity > 0.
 190    * The options are: all traces with same periodicity(0 or >0) or we need to change the way how the events are managed */
 191   if (surf_min == -1.0) {
 192   XBT_DEBUG("No next event at all. Bail out now.");
 193     return -1.0;
 194   }
 195
 196   XBT_DEBUG("Duration set to %f", surf_min);
 197
 198   NOW = NOW + surf_min;
 199   /* FIXME: model_list or model_list_invoke? revisit here later */
 200   /* sequential version */
 201   xbt_dynar_foreach(model_list, iter, model) {
 202     surf_update_actions_state(model);
 203   }
 204
 205   TRACE_paje_dump_buffer (0);
 206
 207   return surf_min;
 208 }
 209
 210 void routing_get_route_and_latency(sg_routing_edge_t src, sg_routing_edge_t dst,
 211                               xbt_dynar_t * route, double *latency){
 212   routing_platf->getRouteAndLatency(src, dst, route, latency);
 213 }
 214
 215 /*********
 216  * MODEL *
 217  *********/
 218
 219 surf_model_t surf_resource_model(const void *host, int level) {
 220   /* If level is SURF_WKS_LEVEL, ws is a host_CLM03 object. It has
 221    * surf_resource at the generic_resource field. */
 222   ResourcePtr ws = static_cast<ResourcePtr>(xbt_lib_get_level((xbt_dictelm_t) host, level));
 223   return ws->getModel();
 224 }
 225
 226 void *surf_as_cluster_get_backbone(AS_t as){
 227   return static_cast<AsClusterPtr>(as)->p_backbone;
 228 }
 229
 230 void surf_as_cluster_set_backbone(AS_t as, void* backbone){
 231   static_cast<AsClusterPtr>(as)->p_backbone = static_cast<NetworkLinkPtr>(backbone);
 232 }
 233
 234 const char *surf_model_name(surf_model_t model){
 235   return model->getName();
 236 }
 237
 238 surf_action_t surf_model_extract_done_action_set(surf_model_t model){
 239   if (model->getDoneActionSet()->empty())
 240         return NULL;
 241   surf_action_t res = &model->getDoneActionSet()->front();
 242   model->getDoneActionSet()->pop_front();
 243   return res;
 244 }
 245
 246 surf_action_t surf_model_extract_failed_action_set(surf_model_t model){
 247   if (model->getFailedActionSet()->empty())
 248         return NULL;
 249   surf_action_t res = &model->getFailedActionSet()->front();
 250   model->getFailedActionSet()->pop_front();
 251   return res;
 252 }
 253
 254 surf_action_t surf_model_extract_ready_action_set(surf_model_t model){
 255   if (model->getReadyActionSet()->empty())
 256         return NULL;
 257   surf_action_t res = &model->getReadyActionSet()->front();
 258   model->getReadyActionSet()->pop_front();
 259   return res;
 260 }
 261
 262 surf_action_t surf_model_extract_running_action_set(surf_model_t model){
 263   if (model->getRunningActionSet()->empty())
 264         return NULL;
 265   surf_action_t res = &model->getRunningActionSet()->front();
 266   model->getRunningActionSet()->pop_front();
 267   return res;
 268 }
 269
 270 int surf_model_running_action_set_size(surf_model_t model){
 271   return model->getRunningActionSet()->size();
 272 }
 273
 274 surf_action_t surf_host_model_execute_parallel_task(surf_host_model_t model,
 275                                                     int host_nb,
 276                                             void **host_list,
 277                                             double *flops_amount,
 278                                             double *bytes_amount,
 279                                             double rate){
 280   return static_cast<ActionPtr>(model->executeParallelTask(host_nb, host_list, flops_amount, bytes_amount, rate));
 281 }
 282
 283 surf_action_t surf_host_model_communicate(surf_host_model_t model, surf_resource_t src, surf_resource_t dst, double size, double rate){
 284   return model->communicate(get_casted_host(src), get_casted_host(dst), size, rate);
 285 }
 286
 287 xbt_dynar_t surf_host_model_get_route(surf_host_model_t /*model*/,
 288                                              surf_resource_t src, surf_resource_t dst){
 289   xbt_dynar_t route = NULL;
 290   routing_platf->getRouteAndLatency(get_casted_host(src)->p_netElm,
 291                                             get_casted_host(dst)->p_netElm, &route, NULL);
 292   return route;
 293 }
 294
 295 void surf_vm_model_create(const char *name, surf_resource_t ind_phys_host){
 296   surf_vm_model->createVM(name, ind_phys_host);
 297 }
 298
 299 surf_action_t surf_network_model_communicate(surf_network_model_t model, sg_routing_edge_t src, sg_routing_edge_t dst, double size, double rate){
 300   return model->communicate(src, dst, size, rate);
 301 }
 302
 303 const char *surf_resource_name(surf_cpp_resource_t resource){
 304   return resource->getName();
 305 }
 306
 307 xbt_dict_t surf_resource_get_properties(surf_cpp_resource_t resource){
 308   return resource->getProperties();
 309 }
 310
 311 e_surf_resource_state_t surf_resource_get_state(surf_cpp_resource_t resource){
 312   return resource->getState();
 313 }
 314
 315 void surf_resource_set_state(surf_cpp_resource_t resource, e_surf_resource_state_t state){
 316   resource->setState(state);
 317 }
 318
 319 surf_action_t surf_host_sleep(surf_resource_t resource, double duration){
 320   return get_casted_host(resource)->sleep(duration);
 321 }
 322
 323 double surf_host_get_speed(surf_resource_t resource, double load){
 324   return get_casted_host(resource)->getSpeed(load);
 325 }
 326
 327 double surf_host_get_available_speed(surf_resource_t resource){
 328   return get_casted_host(resource)->getAvailableSpeed();
 329 }
 330
 331 int surf_host_get_core(surf_resource_t resource){
 332   return get_casted_host(resource)->getCore();
 333 }
 334
 335 surf_action_t surf_host_execute(surf_resource_t resource, double size){
 336   return get_casted_host(resource)->execute(size);
 337 }
 338
 339 double surf_host_get_current_power_peak(surf_resource_t resource){
 340   return get_casted_host(resource)->getCurrentPowerPeak();
 341 }
 342
 343 double surf_host_get_power_peak_at(surf_resource_t resource, int pstate_index){
 344   return get_casted_host(resource)->getPowerPeakAt(pstate_index);
 345 }
 346
 347 int surf_host_get_nb_pstates(surf_resource_t resource){
 348   return get_casted_host(resource)->getNbPstates();
 349 }
 350
 351 void surf_host_set_pstate(surf_resource_t resource, int pstate_index){
 352   get_casted_host(resource)->setPstate(pstate_index);
 353 }
 354 int surf_host_get_pstate(surf_resource_t resource){
 355   return get_casted_host(resource)->getPstate();
 356 }
 357 double surf_host_get_wattmin_at(surf_resource_t resource, int pstate){
 358   xbt_assert(surf_energy!=NULL, "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 359   std::map<CpuPtr, CpuEnergyPtr>::iterator cpuIt = surf_energy->find(get_casted_host(resource)->p_cpu);
 360   return cpuIt->second->getWattMinAt(pstate);
 361 }
 362 double surf_host_get_wattmax_at(surf_resource_t resource, int pstate){
 363   xbt_assert(surf_energy!=NULL, "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 364   std::map<CpuPtr, CpuEnergyPtr>::iterator cpuIt = surf_energy->find(get_casted_host(resource)->p_cpu);
 365   return cpuIt->second->getWattMaxAt(pstate);
 366 }
 367
 368 double surf_host_get_consumed_energy(surf_resource_t resource){
 369   xbt_assert(surf_energy!=NULL, "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 370   std::map<CpuPtr, CpuEnergyPtr>::iterator cpuIt = surf_energy->find(get_casted_host(resource)->p_cpu);
 371   return cpuIt->second->getConsumedEnergy();
 372 }
 373
 374 xbt_dict_t surf_host_get_mounted_storage_list(surf_resource_t host){
 375   return get_casted_host(host)->getMountedStorageList();
 376 }
 377
 378 xbt_dynar_t surf_host_get_attached_storage_list(surf_resource_t host){
 379   return get_casted_host(host)->getAttachedStorageList();
 380 }
 381
 382 surf_action_t surf_host_open(surf_resource_t host, const char* fullpath){
 383   return get_casted_host(host)->open(fullpath);
 384 }
 385
 386 surf_action_t surf_host_close(surf_resource_t host, surf_file_t fd){
 387   return get_casted_host(host)->close(fd);
 388 }
 389
 390 int surf_host_unlink(surf_resource_t host, surf_file_t fd){
 391   return get_casted_host(host)->unlink(fd);
 392 }
 393
 394 size_t surf_host_get_size(surf_resource_t host, surf_file_t fd){
 395   return get_casted_host(host)->getSize(fd);
 396 }
 397
 398 surf_action_t surf_host_read(surf_resource_t host, surf_file_t fd, sg_size_t size){
 399   return get_casted_host(host)->read(fd, size);
 400 }
 401
 402 surf_action_t surf_host_write(surf_resource_t host, surf_file_t fd, sg_size_t size){
 403   return get_casted_host(host)->write(fd, size);
 404 }
 405
 406 xbt_dynar_t surf_host_get_info(surf_resource_t host, surf_file_t fd){
 407   return get_casted_host(host)->getInfo(fd);
 408 }
 409
 410 size_t surf_host_file_tell(surf_resource_t host, surf_file_t fd){
 411   return get_casted_host(host)->fileTell(fd);
 412 }
 413
 414 int surf_host_file_seek(surf_resource_t host, surf_file_t fd,
 415                                sg_offset_t offset, int origin){
 416   return get_casted_host(host)->fileSeek(fd, offset, origin);
 417 }
 418
 419 int surf_host_file_move(surf_resource_t host, surf_file_t fd, const char* fullpath){
 420   return get_casted_host(host)->fileMove(fd, fullpath);
 421 }
 422
 423 xbt_dynar_t surf_host_get_vms(surf_resource_t host){
 424   xbt_dynar_t vms = get_casted_host(host)->getVms();
 425   xbt_dynar_t vms_ = xbt_dynar_new(sizeof(sg_host_t), NULL);
 426   unsigned int cpt;
 427   VMPtr vm;
 428   xbt_dynar_foreach(vms, cpt, vm) {
 429     sg_host_t vm_ = xbt_lib_get_elm_or_null(host_lib, vm->getName());
 430     xbt_dynar_push(vms_, &vm_);
 431   }
 432   xbt_dynar_free(&vms);
 433   return vms_;
 434 }
 435
 436 void surf_host_get_params(surf_resource_t host, ws_params_t params){
 437   get_casted_host(host)->getParams(params);
 438 }
 439
 440 void surf_host_set_params(surf_resource_t host, ws_params_t params){
 441   get_casted_host(host)->setParams(params);
 442 }
 443
 444 void surf_vm_destroy(surf_resource_t resource){
 445   /* Before clearing the entries in host_lib, we have to pick up resources. */
 446   VMPtr vm = get_casted_vm(resource);
 447   RoutingEdgePtr routing = get_casted_routing(resource);
 448   char* name = xbt_dict_get_elm_key(resource);
 449   /* We deregister objects from host_lib, without invoking the freeing callback
 450    * of each level.
 451    *
 452    * Do not call xbt_lib_remove() here. It deletes all levels of the key,
 453    * including MSG_HOST_LEVEL and others. We should unregister only what we know.
 454    */
 455   sg_host_surfcpu_destroy((sg_host_t)resource);
 456   xbt_lib_unset(host_lib, name, ROUTING_HOST_LEVEL, 0);
 457   xbt_lib_unset(host_lib, name, SURF_HOST_LEVEL, 0);
 458
 459   /* TODO: comment out when VM storage is implemented. */
 460   // xbt_lib_unset(host_lib, name, SURF_STORAGE_LEVEL, 0);
 461
 462   delete vm;
 463   delete routing;
 464 }
 465
 466 void surf_vm_suspend(surf_resource_t vm){
 467   get_casted_vm(vm)->suspend();
 468 }
 469
 470 void surf_vm_resume(surf_resource_t vm){
 471   get_casted_vm(vm)->resume();
 472 }
 473
 474 void surf_vm_save(surf_resource_t vm){
 475   get_casted_vm(vm)->save();
 476 }
 477
 478 void surf_vm_restore(surf_resource_t vm){
 479   get_casted_vm(vm)->restore();
 480 }
 481
 482 void surf_vm_migrate(surf_resource_t vm, surf_resource_t ind_vm_ws_dest){
 483   get_casted_vm(vm)->migrate(ind_vm_ws_dest);
 484 }
 485
 486 surf_resource_t surf_vm_get_pm(surf_resource_t vm){
 487   return get_casted_vm(vm)->getPm();
 488 }
 489
 490 void surf_vm_set_bound(surf_resource_t vm, double bound){
 491   return get_casted_vm(vm)->setBound(bound);
 492 }
 493
 494 void surf_vm_set_affinity(surf_resource_t vm, surf_resource_t cpu, unsigned long mask){
 495   return get_casted_vm(vm)->setAffinity(sg_host_surfcpu(cpu), mask);
 496 }
 497
 498 int surf_network_link_is_shared(surf_cpp_resource_t link){
 499   return static_cast<NetworkLinkPtr>(link)->isShared();
 500 }
 501
 502 double surf_network_link_get_bandwidth(surf_cpp_resource_t link){
 503   return static_cast<NetworkLinkPtr>(link)->getBandwidth();
 504 }
 505
 506 double surf_network_link_get_latency(surf_cpp_resource_t link){
 507   return static_cast<NetworkLinkPtr>(link)->getLatency();
 508 }
 509
 510 xbt_dict_t surf_storage_get_content(surf_resource_t resource){
 511   return static_cast<StoragePtr>(surf_storage_resource_priv(resource))->getContent();
 512 }
 513
 514 sg_size_t surf_storage_get_size(surf_resource_t resource){
 515   return static_cast<StoragePtr>(surf_storage_resource_priv(resource))->getSize();
 516 }
 517
 518 sg_size_t surf_storage_get_free_size(surf_resource_t resource){
 519   return static_cast<StoragePtr>(surf_storage_resource_priv(resource))->getFreeSize();
 520 }
 521
 522 sg_size_t surf_storage_get_used_size(surf_resource_t resource){
 523   return static_cast<StoragePtr>(surf_storage_resource_priv(resource))->getUsedSize();
 524 }
 525
 526 const char* surf_storage_get_host(surf_resource_t resource){
 527   return static_cast<StoragePtr>(surf_storage_resource_priv(resource))->p_attach;
 528 }
 529
 530 surf_action_t surf_cpu_execute(surf_resource_t cpu, double size){
 531   return sg_host_surfcpu(cpu)->execute(size);
 532 }
 533
 534 surf_action_t surf_cpu_sleep(surf_resource_t cpu, double duration){
 535   return sg_host_surfcpu(cpu)->sleep(duration);
 536 }
 537
 538 double surf_action_get_start_time(surf_action_t action){
 539   return action->getStartTime();
 540 }
 541
 542 double surf_action_get_finish_time(surf_action_t action){
 543   return action->getFinishTime();
 544 }
 545
 546 double surf_action_get_remains(surf_action_t action){
 547   return action->getRemains();
 548 }
 549
 550 void surf_action_unref(surf_action_t action){
 551   action->unref();
 552 }
 553
 554 void surf_action_suspend(surf_action_t action){
 555   action->suspend();
 556 }
 557
 558 void surf_action_resume(surf_action_t action){
 559   action->resume();
 560 }
 561
 562 void surf_action_cancel(surf_action_t action){
 563   action->cancel();
 564 }
 565
 566 void surf_action_set_priority(surf_action_t action, double priority){
 567   action->setPriority(priority);
 568 }
 569
 570 void surf_action_set_category(surf_action_t action, const char *category){
 571   action->setCategory(category);
 572 }
 573
 574 void *surf_action_get_data(surf_action_t action){
 575   return action->getData();
 576 }
 577
 578 void surf_action_set_data(surf_action_t action, void *data){
 579   action->setData(data);
 580 }
 581
 582 e_surf_action_state_t surf_action_get_state(surf_action_t action){
 583   return action->getState();
 584 }
 585
 586 double surf_action_get_cost(surf_action_t action){
 587   return action->getCost();
 588 }
 589
 590 void surf_cpu_action_set_affinity(surf_action_t action, surf_resource_t cpu, unsigned long mask) {
 591   static_cast<CpuActionPtr>(action)->setAffinity(sg_host_surfcpu(cpu), mask);
 592 }
 593
 594 void surf_cpu_action_set_bound(surf_action_t action, double bound) {
 595   static_cast<CpuActionPtr>(action)->setBound(bound);
 596 }
 597
 598 #ifdef HAVE_LATENCY_BOUND_TRACKING
 599 double surf_network_action_get_latency_limited(surf_action_t action) {
 600   return static_cast<NetworkActionPtr>(action)->getLatencyLimited();
 601 }
 602 #endif
 603
 604 surf_file_t surf_storage_action_get_file(surf_action_t action){
 605   return static_cast<StorageActionPtr>(action)->p_file;
 606 }