src/surf/surf_interface.cpp

   1 /* Copyright (c) 2004-2019. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "surf_interface.hpp"
   7 #include "mc/mc.h"
   8 #include "simgrid/s4u/Engine.hpp"
   9 #include "simgrid/sg_config.hpp"
  10 #include "src/kernel/resource/profile/FutureEvtSet.hpp"
  11 #include "src/kernel/resource/profile/Profile.hpp"
  12 #include "src/simgrid/version.h"
  13 #include "src/surf/HostImpl.hpp"
  14 #include "src/surf/xml/platf.hpp"
  15 #include "surf/surf.hpp"
  16 #include "xbt/module.h"
  17
  18 #include <fstream>
  19 #include <string>
  20
  21 #ifdef _WIN32
  22 #include <windows.h>
  23 #endif
  24
  25 XBT_LOG_NEW_CATEGORY(surf, "All SURF categories");
  26 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_kernel, surf, "Logging specific to SURF (kernel)");
  27
  28 /*********
  29  * Utils *
  30  *********/
  31
  32 std::vector<simgrid::kernel::resource::Model*> all_existing_models; /* to destroy models correctly */
  33
  34 simgrid::kernel::profile::FutureEvtSet future_evt_set;
  35 std::vector<std::string> surf_path;
  36 /**  set of hosts for which one want to be notified if they ever restart. */
  37 std::set<std::string> watched_hosts;
  38 extern std::map<std::string, simgrid::kernel::resource::StorageType*> storage_types;
  39
  40 std::vector<surf_model_description_t>* surf_plugin_description = nullptr;
  41
  42 static void XBT_ATTRIB_DESTRUCTOR(800) simgrid_free_plugin_description()
  43 {
  44   delete surf_plugin_description;
  45   surf_plugin_description = nullptr;
  46 }
  47
  48 XBT_PUBLIC void simgrid_add_plugin_description(const char* name, const char* description, void_f_void_t init_fun)
  49 {
  50   if (not surf_plugin_description)
  51     surf_plugin_description = new std::vector<surf_model_description_t>;
  52   surf_plugin_description->emplace_back(surf_model_description_t{name, description, init_fun});
  53 }
  54
  55 /* Don't forget to update the option description in smx_config when you change this */
  56 const std::vector<surf_model_description_t> surf_network_model_description = {
  57     {"LV08", "Realistic network analytic model (slow-start modeled by multiplying latency by 13.01, bandwidth by .97; "
  58              "bottleneck sharing uses a payload of S=20537 for evaluating RTT). ",
  59      &surf_network_model_init_LegrandVelho},
  60     {"Constant", "Simplistic network model where all communication take a constant time (one second). This model "
  61                  "provides the lowest realism, but is (marginally) faster.",
  62      &surf_network_model_init_Constant},
  63     {"SMPI", "Realistic network model specifically tailored for HPC settings (accurate modeling of slow start with "
  64              "correction factors on three intervals: < 1KiB, < 64 KiB, >= 64 KiB)",
  65      &surf_network_model_init_SMPI},
  66     {"IB", "Realistic network model specifically tailored for HPC settings, with Infiniband contention model",
  67      &surf_network_model_init_IB},
  68     {"CM02", "Legacy network analytic model (Very similar to LV08, but without corrective factors. The timings of "
  69              "small messages are thus poorly modeled).",
  70      &surf_network_model_init_CM02},
  71     {"NS3", "Network pseudo-model using the NS3 tcp model instead of an analytic model", &surf_network_model_init_NS3},
  72 };
  73
  74 #if ! HAVE_SMPI
  75 void surf_network_model_init_SMPI() {
  76   xbt_die("Please activate SMPI support in cmake to use the SMPI network model.");
  77 }
  78 void surf_network_model_init_IB() {
  79   xbt_die("Please activate SMPI support in cmake to use the IB network model.");
  80 }
  81 #endif
  82 #if !SIMGRID_HAVE_NS3
  83 void surf_network_model_init_NS3() {
  84   xbt_die("Please activate NS3 support in cmake and install the dependencies to use the NS3 network model.");
  85 }
  86 #endif
  87
  88 const std::vector<surf_model_description_t> surf_cpu_model_description = {
  89     {"Cas01", "Simplistic CPU model (time=size/power).", &surf_cpu_model_init_Cas01},
  90 };
  91
  92 const std::vector<surf_model_description_t> surf_host_model_description = {
  93     {"default", "Default host model. Currently, CPU:Cas01 and network:LV08 (with cross traffic enabled)",
  94      &surf_host_model_init_current_default},
  95     {"compound", "Host model that is automatically chosen if you change the network and CPU models",
  96      &surf_host_model_init_compound},
  97     {"ptask_L07", "Host model somehow similar to Cas01+CM02 but allowing parallel tasks",
  98      &surf_host_model_init_ptask_L07},
  99 };
 100
 101 const std::vector<surf_model_description_t> surf_optimization_mode_description = {
 102     {"Lazy", "Lazy action management (partial invalidation in lmm + heap in action remaining).", nullptr},
 103     {"TI", "Trace integration. Highly optimized mode when using availability traces (only available for the Cas01 CPU "
 104            "model for now).",
 105      nullptr},
 106     {"Full", "Full update of remaining and variables. Slow but may be useful when debugging.", nullptr},
 107 };
 108
 109 const std::vector<surf_model_description_t> surf_storage_model_description = {
 110     {"default", "Simplistic storage model.", &surf_storage_model_init_default},
 111 };
 112
 113 double NOW = 0;
 114
 115 double surf_get_clock()
 116 {
 117   return NOW;
 118 }
 119
 120 /* returns whether #file_path is a absolute file path. Surprising, isn't it ? */
 121 static bool is_absolute_file_path(const std::string& file_path)
 122 {
 123 #ifdef _WIN32
 124   WIN32_FIND_DATA wfd = {0};
 125   HANDLE hFile        = FindFirstFile(file_path.c_str(), &wfd);
 126
 127   if (INVALID_HANDLE_VALUE == hFile)
 128     return false;
 129
 130   FindClose(hFile);
 131   return true;
 132 #else
 133   return (file_path.c_str()[0] == '/');
 134 #endif
 135 }
 136
 137 std::ifstream* surf_ifsopen(const std::string& name)
 138 {
 139   xbt_assert(not name.empty());
 140
 141   std::ifstream* fs = new std::ifstream();
 142   if (is_absolute_file_path(name)) { /* don't mess with absolute file names */
 143     fs->open(name.c_str(), std::ifstream::in);
 144   }
 145
 146   /* search relative files in the path */
 147   for (auto const& path_elm : surf_path) {
 148     std::string buff = path_elm + "/" + name;
 149     fs->open(buff.c_str(), std::ifstream::in);
 150
 151     if (not fs->fail()) {
 152       XBT_DEBUG("Found file at %s", buff.c_str());
 153       return fs;
 154     }
 155   }
 156
 157   return fs;
 158 }
 159
 160 FILE* surf_fopen(const std::string& name, const char* mode)
 161 {
 162   FILE *file = nullptr;
 163
 164   if (is_absolute_file_path(name)) /* don't mess with absolute file names */
 165     return fopen(name.c_str(), mode);
 166
 167   /* search relative files in the path */
 168   for (auto const& path_elm : surf_path) {
 169     std::string buff = path_elm + "/" + name;
 170     file             = fopen(buff.c_str(), mode);
 171
 172     if (file)
 173       return file;
 174   }
 175   return nullptr;
 176 }
 177
 178 /** Displays the long description of all registered models, and quit */
 179 void model_help(const char* category, const std::vector<surf_model_description_t>& table)
 180 {
 181   XBT_HELP("Long description of the %s models accepted by this simulator:", category);
 182   for (auto const& item : table)
 183     XBT_HELP("  %s: %s", item.name, item.description);
 184 }
 185
 186 int find_model_description(const std::vector<surf_model_description_t>& table, const std::string& name)
 187 {
 188   auto pos = std::find_if(table.begin(), table.end(),
 189                           [&name](const surf_model_description_t& item) { return item.name == name; });
 190   if (pos != table.end())
 191     return std::distance(table.begin(), pos);
 192
 193   if (table.empty())
 194     xbt_die("No model is valid! This is a bug.");
 195
 196   std::string sep;
 197   std::string name_list;
 198   for (auto const& item : table) {
 199     name_list += sep + item.name;
 200     sep = ", ";
 201   }
 202
 203   xbt_die("Model '%s' is invalid! Valid models are: %s.", name.c_str(), name_list.c_str());
 204   return -1;
 205 }
 206
 207 void sg_version_check(int lib_version_major, int lib_version_minor, int lib_version_patch)
 208 {
 209   if ((lib_version_major != SIMGRID_VERSION_MAJOR) || (lib_version_minor != SIMGRID_VERSION_MINOR)) {
 210     fprintf(stderr, "FATAL ERROR: Your program was compiled with SimGrid version %d.%d.%d, "
 211                     "and then linked against SimGrid %d.%d.%d. Please fix this.\n",
 212             lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
 213             SIMGRID_VERSION_PATCH);
 214     abort();
 215   }
 216   if (lib_version_patch != SIMGRID_VERSION_PATCH) {
 217     if (SIMGRID_VERSION_PATCH > 89 || lib_version_patch > 89) {
 218       fprintf(
 219           stderr,
 220           "FATAL ERROR: Your program was compiled with SimGrid version %d.%d.%d, "
 221           "and then linked against SimGrid %d.%d.%d. \n"
 222           "One of them is a development version, and should not be mixed with the stable release. Please fix this.\n",
 223           lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
 224           SIMGRID_VERSION_PATCH);
 225       abort();
 226     }
 227     fprintf(stderr, "Warning: Your program was compiled with SimGrid version %d.%d.%d, "
 228                     "and then linked against SimGrid %d.%d.%d. Proceeding anyway.\n",
 229             lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
 230             SIMGRID_VERSION_PATCH);
 231   }
 232 }
 233
 234 void sg_version_get(int* ver_major, int* ver_minor, int* ver_patch)
 235 {
 236   *ver_major = SIMGRID_VERSION_MAJOR;
 237   *ver_minor = SIMGRID_VERSION_MINOR;
 238   *ver_patch = SIMGRID_VERSION_PATCH;
 239 }
 240
 241 void sg_version()
 242 {
 243   XBT_HELP("This program was linked against %s (git: %s), found in %s.", SIMGRID_VERSION_STRING, SIMGRID_GIT_VERSION,
 244            SIMGRID_INSTALL_PREFIX);
 245
 246 #if SIMGRID_HAVE_MC
 247   XBT_HELP("   Model-checking support compiled in.");
 248 #else
 249   XBT_HELP("   Model-checking support disabled at compilation.");
 250 #endif
 251
 252 #if SIMGRID_HAVE_NS3
 253   XBT_HELP("   NS3 support compiled in.");
 254 #else
 255   XBT_HELP("   NS3 support disabled at compilation.");
 256 #endif
 257
 258 #if SIMGRID_HAVE_JEDULE
 259   XBT_HELP("   Jedule support compiled in.");
 260 #else
 261   XBT_HELP("   Jedule support disabled at compilation.");
 262 #endif
 263
 264 #if SIMGRID_HAVE_LUA
 265   XBT_HELP("   Lua support compiled in.");
 266 #else
 267   XBT_HELP("   Lua support disabled at compilation.");
 268 #endif
 269
 270 #if SIMGRID_HAVE_MALLOCATOR
 271   XBT_HELP("   Mallocator support compiled in.");
 272 #else
 273   XBT_HELP("   Mallocator support disabled at compilation.");
 274 #endif
 275
 276   XBT_HELP("\nTo cite SimGrid in a publication, please use:\n"
 277            "   Henri Casanova, Arnaud Giersch, Arnaud Legrand, Martin Quinson, Frédéric Suter. \n"
 278            "   Versatile, Scalable, and Accurate Simulation of Distributed Applications and Platforms. \n"
 279            "   Journal of Parallel and Distributed Computing, Elsevier, 2014, 74 (10), pp.2899-2917.\n"
 280            "The pdf file and a BibTeX entry for LaTeX users can be found at http://hal.inria.fr/hal-01017319");
 281 }
 282
 283 void surf_init(int *argc, char **argv)
 284 {
 285   if (USER_HOST_LEVEL != -1) // Already initialized
 286     return;
 287
 288   XBT_DEBUG("Create all Libs");
 289   USER_HOST_LEVEL = simgrid::s4u::Host::extension_create(nullptr);
 290
 291   xbt_init(argc, argv);
 292
 293   sg_config_init(argc, argv);
 294
 295   if (MC_is_active())
 296     MC_memory_init();
 297 }
 298
 299 void surf_exit()
 300 {
 301   simgrid::s4u::Engine::shutdown();
 302   for (auto const& e : storage_types) {
 303     simgrid::kernel::resource::StorageType* stype = e.second;
 304     delete stype->properties;
 305     delete stype->model_properties;
 306     delete stype;
 307   }
 308
 309   for (auto const& model : all_existing_models)
 310     delete model;
 311
 312   tmgr_finalize();
 313   sg_platf_exit();
 314
 315   NOW = 0;                      /* Just in case the user plans to restart the simulation afterward */
 316 }