src/surf/surf_interface.cpp

   1 /* Copyright (c) 2004-2018. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "surf_interface.hpp"
   7 #include "mc/mc.h"
   8 #include "simgrid/kernel/routing/NetPoint.hpp"
   9 #include "simgrid/s4u/Engine.hpp"
  10 #include "simgrid/sg_config.h"
  11 #include "src/instr/instr_private.hpp" // TRACE_is_enabled(). FIXME: remove by subscribing tracing to the surf signals
  12 #include "src/kernel/lmm/maxmin.hpp"   // Constraint
  13 #include "src/surf/HostImpl.hpp"
  14 #include "xbt/utility.hpp"
  15 #include "src/surf/xml/platf.hpp"
  16
  17 #include <fstream>
  18 #include <set>
  19 #include <string>
  20 #include <vector>
  21
  22 #ifdef _WIN32
  23 #include <windows.h>
  24 #endif
  25
  26 XBT_LOG_NEW_CATEGORY(surf, "All SURF categories");
  27 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_kernel, surf, "Logging specific to SURF (kernel)");
  28
  29 /*********
  30  * Utils *
  31  *********/
  32
  33 std::vector<simgrid::kernel::resource::Model*>* all_existing_models = nullptr; /* to destroy models correctly */
  34
  35 simgrid::trace_mgr::future_evt_set *future_evt_set = nullptr;
  36 std::vector<std::string> surf_path;
  37 std::vector<simgrid::s4u::Host*> host_that_restart;
  38 /**  set of hosts for which one want to be notified if they ever restart. */
  39 std::set<std::string> watched_hosts;
  40 extern std::map<std::string, simgrid::surf::StorageType*> storage_types;
  41
  42 namespace simgrid {
  43 namespace surf {
  44
  45 simgrid::xbt::signal<void()> surfExitCallbacks;
  46 }
  47 }
  48
  49 #include <simgrid/plugins/energy.h> // FIXME: this plug-in should not be linked to the core
  50 #include <simgrid/plugins/load.h>   // FIXME: this plug-in should not be linked to the core
  51
  52 s_surf_model_description_t surf_plugin_description[] = {
  53     {"Energy", "Cpu energy consumption.", &sg_host_energy_plugin_init},
  54     {"Load", "Cpu load.", &sg_host_load_plugin_init},
  55     {nullptr, nullptr, nullptr} /* this array must be nullptr terminated */
  56 };
  57
  58 /* Don't forget to update the option description in smx_config when you change this */
  59 s_surf_model_description_t surf_network_model_description[] = {
  60     {"LV08", "Realistic network analytic model (slow-start modeled by multiplying latency by 13.01, bandwidth by .97; "
  61              "bottleneck sharing uses a payload of S=20537 for evaluating RTT). ",
  62      &surf_network_model_init_LegrandVelho},
  63     {"Constant", "Simplistic network model where all communication take a constant time (one second). This model "
  64                  "provides the lowest realism, but is (marginally) faster.",
  65      &surf_network_model_init_Constant},
  66     {"SMPI", "Realistic network model specifically tailored for HPC settings (accurate modeling of slow start with "
  67              "correction factors on three intervals: < 1KiB, < 64 KiB, >= 64 KiB)",
  68      &surf_network_model_init_SMPI},
  69     {"IB", "Realistic network model specifically tailored for HPC settings, with Infiniband contention model",
  70      &surf_network_model_init_IB},
  71     {"CM02", "Legacy network analytic model (Very similar to LV08, but without corrective factors. The timings of "
  72              "small messages are thus poorly modeled).",
  73      &surf_network_model_init_CM02},
  74     {"NS3", "Network pseudo-model using the NS3 tcp model instead of an analytic model", &surf_network_model_init_NS3},
  75     {"Reno",
  76      "Model from Steven H. Low using lagrange_solve instead of lmm_solve (experts only; check the code for more info).",
  77      &surf_network_model_init_Reno},
  78     {"Reno2",
  79      "Model from Steven H. Low using lagrange_solve instead of lmm_solve (experts only; check the code for more info).",
  80      &surf_network_model_init_Reno2},
  81     {"Vegas",
  82      "Model from Steven H. Low using lagrange_solve instead of lmm_solve (experts only; check the code for more info).",
  83      &surf_network_model_init_Vegas},
  84     {nullptr, nullptr, nullptr} /* this array must be nullptr terminated */
  85 };
  86
  87 #if ! HAVE_SMPI
  88 void surf_network_model_init_SMPI() {
  89   xbt_die("Please activate SMPI support in cmake to use the SMPI network model.");
  90 }
  91 void surf_network_model_init_IB() {
  92   xbt_die("Please activate SMPI support in cmake to use the IB network model.");
  93 }
  94 #endif
  95 #if !SIMGRID_HAVE_NS3
  96 void surf_network_model_init_NS3() {
  97   xbt_die("Please activate NS3 support in cmake and install the dependencies to use the NS3 network model.");
  98 }
  99 #endif
 100
 101 s_surf_model_description_t surf_cpu_model_description[] = {
 102   {"Cas01", "Simplistic CPU model (time=size/power).", &surf_cpu_model_init_Cas01},
 103   {nullptr, nullptr,  nullptr}      /* this array must be nullptr terminated */
 104 };
 105
 106 s_surf_model_description_t surf_host_model_description[] = {
 107   {"default",   "Default host model. Currently, CPU:Cas01 and network:LV08 (with cross traffic enabled)", &surf_host_model_init_current_default},
 108   {"compound",  "Host model that is automatically chosen if you change the network and CPU models", &surf_host_model_init_compound},
 109   {"ptask_L07", "Host model somehow similar to Cas01+CM02 but allowing parallel tasks", &surf_host_model_init_ptask_L07},
 110   {nullptr, nullptr, nullptr}      /* this array must be nullptr terminated */
 111 };
 112
 113 s_surf_model_description_t surf_optimization_mode_description[] = {
 114   {"Lazy", "Lazy action management (partial invalidation in lmm + heap in action remaining).", nullptr},
 115   {"TI",   "Trace integration. Highly optimized mode when using availability traces (only available for the Cas01 CPU model for now).", nullptr},
 116   {"Full", "Full update of remaining and variables. Slow but may be useful when debugging.", nullptr},
 117   {nullptr, nullptr, nullptr}      /* this array must be nullptr terminated */
 118 };
 119
 120 s_surf_model_description_t surf_storage_model_description[] = {
 121   {"default", "Simplistic storage model.", &surf_storage_model_init_default},
 122   {nullptr, nullptr,  nullptr}      /* this array must be nullptr terminated */
 123 };
 124
 125 double NOW = 0;
 126
 127 double surf_get_clock()
 128 {
 129   return NOW;
 130 }
 131
 132 #ifdef _WIN32
 133 # define FILE_DELIM "\\"
 134 #else
 135 # define FILE_DELIM "/"         /* FIXME: move to better location */
 136 #endif
 137
 138 std::ifstream* surf_ifsopen(std::string name)
 139 {
 140   std::ifstream* fs = new std::ifstream();
 141   xbt_assert(not name.empty());
 142   if (__surf_is_absolute_file_path(name.c_str())) { /* don't mess with absolute file names */
 143     fs->open(name.c_str(), std::ifstream::in);
 144   }
 145
 146   /* search relative files in the path */
 147   for (auto const& path_elm : surf_path) {
 148     std::string buff = path_elm + FILE_DELIM + name;
 149     fs->open(buff.c_str(), std::ifstream::in);
 150
 151     if (not fs->fail()) {
 152       XBT_DEBUG("Found file at %s", buff.c_str());
 153       return fs;
 154     }
 155   }
 156
 157   return fs;
 158 }
 159
 160 FILE *surf_fopen(const char *name, const char *mode)
 161 {
 162   FILE *file = nullptr;
 163
 164   xbt_assert(name);
 165
 166   if (__surf_is_absolute_file_path(name))       /* don't mess with absolute file names */
 167     return fopen(name, mode);
 168
 169   /* search relative files in the path */
 170   for (auto const& path_elm : surf_path) {
 171     std::string buff = path_elm + FILE_DELIM + name;
 172     file             = fopen(buff.c_str(), mode);
 173
 174     if (file)
 175       return file;
 176   }
 177   return nullptr;
 178 }
 179
 180 /* The __surf_is_absolute_file_path() returns 1 if
 181  * file_path is a absolute file path, in the other
 182  * case the function returns 0.
 183  */
 184 int __surf_is_absolute_file_path(const char *file_path)
 185 {
 186 #ifdef _WIN32
 187   WIN32_FIND_DATA wfd = { 0 };
 188   HANDLE hFile = FindFirstFile(file_path, &wfd);
 189
 190   if (INVALID_HANDLE_VALUE == hFile)
 191     return 0;
 192
 193   FindClose(hFile);
 194   return 1;
 195 #else
 196   return (file_path[0] == '/');
 197 #endif
 198 }
 199
 200 /** Displays the long description of all registered models, and quit */
 201 void model_help(const char *category, s_surf_model_description_t * table)
 202 {
 203   printf("Long description of the %s models accepted by this simulator:\n", category);
 204   for (int i = 0; table[i].name; i++)
 205     printf("  %s: %s\n", table[i].name, table[i].description);
 206 }
 207
 208 int find_model_description(s_surf_model_description_t* table, std::string name)
 209 {
 210   for (int i = 0; table[i].name; i++)
 211     if (name == table[i].name)
 212       return i;
 213
 214   if (not table[0].name)
 215     xbt_die("No model is valid! This is a bug.");
 216
 217   std::string name_list = std::string(table[0].name);
 218   for (int i = 1; table[i].name; i++)
 219     name_list = name_list + ", " + table[i].name;
 220
 221   xbt_die("Model '%s' is invalid! Valid models are: %s.", name.c_str(), name_list.c_str());
 222   return -1;
 223 }
 224
 225 void sg_version_check(int lib_version_major, int lib_version_minor, int lib_version_patch)
 226 {
 227   if ((lib_version_major != SIMGRID_VERSION_MAJOR) || (lib_version_minor != SIMGRID_VERSION_MINOR)) {
 228     fprintf(stderr, "FATAL ERROR: Your program was compiled with SimGrid version %d.%d.%d, "
 229                     "and then linked against SimGrid %d.%d.%d. Please fix this.\n",
 230             lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
 231             SIMGRID_VERSION_PATCH);
 232     abort();
 233   }
 234   if (lib_version_patch != SIMGRID_VERSION_PATCH) {
 235     if (SIMGRID_VERSION_PATCH >= 90 || lib_version_patch >= 90) {
 236       fprintf(
 237           stderr,
 238           "FATAL ERROR: Your program was compiled with SimGrid version %d.%d.%d, "
 239           "and then linked against SimGrid %d.%d.%d. \n"
 240           "One of them is a development version, and should not be mixed with the stable release. Please fix this.\n",
 241           lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
 242           SIMGRID_VERSION_PATCH);
 243       abort();
 244     }
 245     fprintf(stderr, "Warning: Your program was compiled with SimGrid version %d.%d.%d, "
 246                     "and then linked against SimGrid %d.%d.%d. Proceeding anyway.\n",
 247             lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
 248             SIMGRID_VERSION_PATCH);
 249   }
 250 }
 251
 252 void sg_version_get(int* ver_major, int* ver_minor, int* ver_patch)
 253 {
 254   *ver_major = SIMGRID_VERSION_MAJOR;
 255   *ver_minor = SIMGRID_VERSION_MINOR;
 256   *ver_patch = SIMGRID_VERSION_PATCH;
 257 }
 258
 259 void sg_version()
 260 {
 261   std::printf("This program was linked against %s (git: %s), found in %s.\n",
 262               SIMGRID_VERSION_STRING, SIMGRID_GIT_VERSION, SIMGRID_INSTALL_PREFIX);
 263
 264 #if SIMGRID_HAVE_MC
 265   std::printf("   Model-checking support compiled in.\n");
 266 #else
 267   std::printf("   Model-checking support disabled at compilation.\n");
 268 #endif
 269
 270 #if SIMGRID_HAVE_NS3
 271   std::printf("   NS3 support compiled in.\n");
 272 #else
 273   std::printf("   NS3 support disabled at compilation.\n");
 274 #endif
 275
 276 #if SIMGRID_HAVE_JEDULE
 277   std::printf("   Jedule support compiled in.\n");
 278 #else
 279   std::printf("   Jedule support disabled at compilation.\n");
 280 #endif
 281
 282 #if SIMGRID_HAVE_LUA
 283   std::printf("   Lua support compiled in.\n");
 284 #else
 285   std::printf("   Lua support disabled at compilation.\n");
 286 #endif
 287
 288 #if SIMGRID_HAVE_MALLOCATOR
 289   std::printf("   Mallocator support compiled in.\n");
 290 #else
 291   std::printf("   Mallocator support disabled at compilation.\n");
 292 #endif
 293
 294   std::printf("\nTo cite SimGrid in a publication, please use:\n"
 295               "   Henri Casanova, Arnaud Giersch, Arnaud Legrand, Martin Quinson, Frédéric Suter. \n"
 296               "   Versatile, Scalable, and Accurate Simulation of Distributed Applications and Platforms. \n"
 297               "   Journal of Parallel and Distributed Computing, Elsevier, 2014, 74 (10), pp.2899-2917.\n");
 298   std::printf("The pdf file and a BibTeX entry for LaTeX users can be found at http://hal.inria.fr/hal-01017319\n");
 299 }
 300
 301 void surf_init(int *argc, char **argv)
 302 {
 303   if (USER_HOST_LEVEL != -1) // Already initialized
 304     return;
 305
 306   XBT_DEBUG("Create all Libs");
 307   USER_HOST_LEVEL = simgrid::s4u::Host::extension_create(nullptr);
 308
 309   xbt_init(argc, argv);
 310   if (not all_existing_models)
 311     all_existing_models = new std::vector<simgrid::kernel::resource::Model*>();
 312   if (not future_evt_set)
 313     future_evt_set = new simgrid::trace_mgr::future_evt_set();
 314
 315   sg_config_init(argc, argv);
 316
 317   if (MC_is_active())
 318     MC_memory_init();
 319 }
 320
 321 void surf_exit()
 322 {
 323   TRACE_end();                  /* Just in case it was not called by the upper layer (or there is no upper layer) */
 324
 325   simgrid::s4u::Engine::shutdown();
 326   sg_link_exit();
 327   for (auto const& e : storage_types) {
 328     simgrid::surf::StorageType* stype = e.second;
 329     delete stype->properties;
 330     delete stype->model_properties;
 331     delete stype;
 332   }
 333
 334   for (auto const& model : *all_existing_models)
 335     delete model;
 336   delete all_existing_models;
 337
 338
 339   if (future_evt_set) {
 340     delete future_evt_set;
 341     future_evt_set = nullptr;
 342   }
 343
 344   tmgr_finalize();
 345   sg_platf_exit();
 346
 347   NOW = 0;                      /* Just in case the user plans to restart the simulation afterward */
 348 }