src/surf/surf_interface.cpp

   1 /* Copyright (c) 2004-2021. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "surf_interface.hpp"
   7 #include "mc/mc.h"
   8 #include "simgrid/s4u/Engine.hpp"
   9 #include "simgrid/sg_config.hpp"
  10 #include "src/kernel/resource/profile/FutureEvtSet.hpp"
  11 #include "src/kernel/resource/profile/Profile.hpp"
  12 #include "src/surf/HostImpl.hpp"
  13 #include "src/surf/xml/platf.hpp"
  14 #include "src/xbt_modinter.h" /* whether initialization was already done */
  15 #include "surf/surf.hpp"
  16 #include "xbt/module.h"
  17
  18 #include <fstream>
  19 #include <string>
  20
  21 #ifdef _WIN32
  22 #include <windows.h>
  23 #endif
  24
  25 XBT_LOG_NEW_CATEGORY(surf, "All SURF categories");
  26 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_kernel, surf, "Logging specific to SURF (kernel)");
  27
  28 /*********
  29  * Utils *
  30  *********/
  31
  32 std::vector<simgrid::kernel::resource::Model*> all_existing_models; /* to destroy models correctly */
  33
  34 simgrid::kernel::profile::FutureEvtSet future_evt_set;
  35 std::vector<std::string> surf_path;
  36
  37 /** set of hosts for which one want to be notified if they ever restart */
  38 std::set<std::string, std::less<>>& watched_hosts() // avoid static initialization order fiasco
  39 {
  40   static std::set<std::string, std::less<>> value;
  41   return value;
  42 }
  43
  44 extern std::map<std::string, simgrid::kernel::resource::StorageType*, std::less<>> storage_types;
  45
  46 std::vector<surf_model_description_t>* surf_plugin_description = nullptr;
  47
  48 static void XBT_ATTRIB_DESTRUCTOR(800) simgrid_free_plugin_description()
  49 {
  50   delete surf_plugin_description;
  51   surf_plugin_description = nullptr;
  52 }
  53
  54 XBT_PUBLIC void simgrid_add_plugin_description(const char* name, const char* description, void_f_void_t init_fun)
  55 {
  56   if (not surf_plugin_description)
  57     surf_plugin_description = new std::vector<surf_model_description_t>();
  58   surf_plugin_description->emplace_back(surf_model_description_t{name, description, init_fun});
  59 }
  60
  61 /* Don't forget to update the option description in smx_config when you change this */
  62 const std::vector<surf_model_description_t> surf_network_model_description = {
  63     {"LV08",
  64      "Realistic network analytic model (slow-start modeled by multiplying latency by 13.01, bandwidth by .97; "
  65      "bottleneck sharing uses a payload of S=20537 for evaluating RTT). ",
  66      &surf_network_model_init_LegrandVelho},
  67     {"Constant",
  68      "Simplistic network model where all communication take a constant time (one second). This model "
  69      "provides the lowest realism, but is (marginally) faster.",
  70      &surf_network_model_init_Constant},
  71     {"SMPI",
  72      "Realistic network model specifically tailored for HPC settings (accurate modeling of slow start with "
  73      "correction factors on three intervals: < 1KiB, < 64 KiB, >= 64 KiB)",
  74      &surf_network_model_init_SMPI},
  75     {"IB", "Realistic network model specifically tailored for HPC settings, with Infiniband contention model",
  76      &surf_network_model_init_IB},
  77     {"CM02",
  78      "Legacy network analytic model (Very similar to LV08, but without corrective factors. The timings of "
  79      "small messages are thus poorly modeled).",
  80      &surf_network_model_init_CM02},
  81     {"ns-3", "Network pseudo-model using the ns-3 tcp model instead of an analytic model",
  82      &surf_network_model_init_NS3},
  83 };
  84
  85 #if ! HAVE_SMPI
  86 void surf_network_model_init_SMPI() {
  87   xbt_die("Please activate SMPI support in cmake to use the SMPI network model.");
  88 }
  89 void surf_network_model_init_IB() {
  90   xbt_die("Please activate SMPI support in cmake to use the IB network model.");
  91 }
  92 #endif
  93 #if !SIMGRID_HAVE_NS3
  94 void surf_network_model_init_NS3() {
  95   xbt_die("Please activate ns-3 support in cmake and install the dependencies to use the NS3 network model.");
  96 }
  97 #endif
  98
  99 const std::vector<surf_model_description_t> surf_cpu_model_description = {
 100     {"Cas01", "Simplistic CPU model (time=size/speed).", &surf_cpu_model_init_Cas01},
 101 };
 102
 103 const std::vector<surf_model_description_t> surf_host_model_description = {
 104     {"default", "Default host model. Currently, CPU:Cas01 and network:LV08 (with cross traffic enabled)",
 105      &surf_host_model_init_current_default},
 106     {"compound", "Host model that is automatically chosen if you change the network and CPU models",
 107      &surf_host_model_init_compound},
 108     {"ptask_L07", "Host model somehow similar to Cas01+CM02 but allowing parallel tasks",
 109      &surf_host_model_init_ptask_L07},
 110 };
 111
 112 const std::vector<surf_model_description_t> surf_optimization_mode_description = {
 113     {"Lazy", "Lazy action management (partial invalidation in lmm + heap in action remaining).", nullptr},
 114     {"TI", "Trace integration. Highly optimized mode when using availability traces (only available for the Cas01 CPU "
 115            "model for now).",
 116      nullptr},
 117     {"Full", "Full update of remaining and variables. Slow but may be useful when debugging.", nullptr},
 118 };
 119
 120 const std::vector<surf_model_description_t> surf_disk_model_description = {
 121     {"default", "Simplistic disk model.", &surf_disk_model_init_default},
 122 };
 123
 124 const std::vector<surf_model_description_t> surf_storage_model_description = {
 125     {"default", "Simplistic storage model.", &surf_storage_model_init_default},
 126 };
 127
 128 double NOW = 0;
 129
 130 double surf_get_clock()
 131 {
 132   return NOW;
 133 }
 134
 135 /* returns whether #file_path is an absolute file path. Surprising, isn't it ? */
 136 static bool is_absolute_file_path(const std::string& file_path)
 137 {
 138 #ifdef _WIN32
 139   WIN32_FIND_DATA wfd = {0};
 140   HANDLE hFile        = FindFirstFile(file_path.c_str(), &wfd);
 141
 142   if (INVALID_HANDLE_VALUE == hFile)
 143     return false;
 144
 145   FindClose(hFile);
 146   return true;
 147 #else
 148   return (file_path.c_str()[0] == '/');
 149 #endif
 150 }
 151
 152 std::ifstream* surf_ifsopen(const std::string& name)
 153 {
 154   xbt_assert(not name.empty());
 155
 156   auto* fs = new std::ifstream();
 157   if (is_absolute_file_path(name)) { /* don't mess with absolute file names */
 158     fs->open(name.c_str(), std::ifstream::in);
 159   }
 160
 161   /* search relative files in the path */
 162   for (auto const& path_elm : surf_path) {
 163     std::string buff = path_elm + "/" + name;
 164     fs->open(buff.c_str(), std::ifstream::in);
 165
 166     if (not fs->fail()) {
 167       XBT_DEBUG("Found file at %s", buff.c_str());
 168       return fs;
 169     }
 170   }
 171
 172   return fs;
 173 }
 174
 175 FILE* surf_fopen(const std::string& name, const char* mode)
 176 {
 177   FILE *file = nullptr;
 178
 179   if (is_absolute_file_path(name)) /* don't mess with absolute file names */
 180     return fopen(name.c_str(), mode);
 181
 182   /* search relative files in the path */
 183   for (auto const& path_elm : surf_path) {
 184     std::string buff = path_elm + "/" + name;
 185     file             = fopen(buff.c_str(), mode);
 186
 187     if (file)
 188       return file;
 189   }
 190   return nullptr;
 191 }
 192
 193 /** Displays the long description of all registered models, and quit */
 194 void model_help(const char* category, const std::vector<surf_model_description_t>& table)
 195 {
 196   XBT_HELP("Long description of the %s models accepted by this simulator:", category);
 197   for (auto const& item : table)
 198     XBT_HELP("  %s: %s", item.name, item.description);
 199 }
 200
 201 int find_model_description(const std::vector<surf_model_description_t>& table, const std::string& name)
 202 {
 203   auto pos = std::find_if(table.begin(), table.end(),
 204                           [&name](const surf_model_description_t& item) { return item.name == name; });
 205   if (pos != table.end())
 206     return static_cast<int>(std::distance(table.begin(), pos));
 207
 208   if (table.empty())
 209     xbt_die("No model is valid! This is a bug.");
 210
 211   std::string sep;
 212   std::string name_list;
 213   for (auto const& item : table) {
 214     name_list += sep + item.name;
 215     sep = ", ";
 216   }
 217
 218   xbt_die("Model '%s' is invalid! Valid models are: %s.", name.c_str(), name_list.c_str());
 219   return -1;
 220 }
 221
 222
 223 void surf_init(int *argc, char **argv)
 224 {
 225   if (xbt_initialized > 0)
 226     return;
 227
 228   xbt_init(argc, argv);
 229
 230   sg_config_init(argc, argv);
 231 }
 232
 233 void surf_exit()
 234 {
 235   simgrid::s4u::Engine::shutdown();
 236   for (auto const& e : storage_types) {
 237     const simgrid::kernel::resource::StorageType* stype = e.second;
 238     delete stype->properties;
 239     delete stype->model_properties;
 240     delete stype;
 241   }
 242
 243   for (auto const& model : all_existing_models)
 244     delete model;
 245
 246   tmgr_finalize();
 247   sg_platf_exit();
 248
 249   NOW = 0;                      /* Just in case the user plans to restart the simulation afterward */
 250 }