src/simgrid/sg_config.cpp

   1 /* Copyright (c) 2009-2019. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 /* sg_config: configuration infrastructure for the simulation world         */
   7
   8 #include "simgrid/sg_config.hpp"
   9 #include "simgrid/instr.h"
  10 #include "simgrid/version.h"
  11 #include "src/instr/instr_private.hpp"
  12 #include "src/internal_config.h"
  13 #include "src/kernel/lmm/maxmin.hpp"
  14 #include "src/mc/mc_config.hpp"
  15 #include "src/mc/mc_replay.hpp"
  16 #include "src/smpi/include/smpi_config.hpp"
  17 #include "src/surf/surf_interface.hpp"
  18 #include "surf/surf.hpp"
  19 #include "xbt/config.hpp"
  20
  21 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_config, surf, "About the configuration of SimGrid");
  22
  23 static simgrid::config::Flag<bool> cfg_continue_after_help
  24   {"help-nostop", "Do not stop the execution when --help is found", false};
  25
  26 /** @brief Allow other libraries to react to the --help flag, too
  27  *
  28  * When finding --help on the command line, simgrid usually stops right after displaying its help message.
  29  * If you are writing a library using simgrid, you may want to display your own help message before everything stops.
  30  * If so, just call this function before having simgrid parsing the command line, and you will be given the control
  31  * even if the user is asking for help.
  32  */
  33 void sg_config_continue_after_help()
  34 {
  35   cfg_continue_after_help = true;
  36 }
  37
  38 /* 0: beginning of time (config cannot be changed yet)
  39  * 1: initialized: cfg_set created (config can now be changed)
  40  * 2: configured: command line parsed and config part of platform file was
  41  *    integrated also, platform construction ongoing or done.
  42  *    (Config cannot be changed anymore!)
  43  */
  44 int _sg_cfg_init_status = 0;
  45
  46 /* Parse the command line, looking for options */
  47 static void sg_config_cmd_line(int *argc, char **argv)
  48 {
  49   bool shall_exit = false;
  50   int i;
  51   int j;
  52   bool parse_args = true; // Stop parsing the parameters once we found '--'
  53
  54   for (j = i = 1; i < *argc; i++) {
  55     if (not strcmp("--", argv[i])) {
  56       parse_args = false;
  57       // Remove that '--' from the arguments
  58     } else if (parse_args && not strncmp(argv[i], "--cfg=", strlen("--cfg="))) {
  59       char *opt = strchr(argv[i], '=');
  60       opt++;
  61
  62       simgrid::config::set_parse(opt);
  63       XBT_DEBUG("Did apply '%s' as config setting", opt);
  64     } else if (parse_args && not strcmp(argv[i], "--version")) {
  65       sg_version();
  66       shall_exit = true;
  67     } else if (parse_args && (not strcmp(argv[i], "--cfg-help") || not strcmp(argv[i], "--help"))) {
  68       XBT_HELP("Description of the configuration accepted by this simulator:");
  69       simgrid::config::help();
  70       XBT_HELP("\n"
  71                "Each of these configurations can be used by adding\n"
  72                "    --cfg=<option name>:<option value>\n"
  73                "to the command line. Try passing \"help\" as a value\n"
  74                "to get the list of values accepted by a given option.\n"
  75                "For example, \"--cfg=plugin:help\" gives you the list of\n"
  76                "plugins available in your installation of SimGrid.\n"
  77                "\n"
  78                "For more information, please refer to:\n"
  79                "   --help-aliases for the list of all option aliases.\n"
  80                "   --help-logs and --help-log-categories for the details of logging output.\n"
  81                "   --help-models for a list of all models known by this simulator.\n"
  82                "   --help-tracing for the details of all tracing options known by this simulator.\n"
  83                "   --version to get SimGrid version information.\n");
  84       shall_exit = not cfg_continue_after_help;
  85       argv[j++]  = argv[i]; // Preserve the --help in argv just in case someone else wants to see it
  86     } else if (parse_args && not strcmp(argv[i], "--help-aliases")) {
  87       XBT_HELP("Here is a list of all deprecated option names, with their replacement.");
  88       simgrid::config::show_aliases();
  89       XBT_HELP("Please consider using the recent names");
  90       shall_exit = true;
  91     } else if (parse_args && not strcmp(argv[i], "--help-models")) {
  92       model_help("host", surf_host_model_description);
  93       XBT_HELP("%s", "");
  94       model_help("CPU", surf_cpu_model_description);
  95       XBT_HELP("%s", "");
  96       model_help("network", surf_network_model_description);
  97       XBT_HELP("\nLong description of all optimization levels accepted by the models of this simulator:");
  98       for (auto const& item : surf_optimization_mode_description)
  99         XBT_HELP("  %s: %s", item.name, item.description);
 100       XBT_HELP("Both network and CPU models have 'Lazy' as default optimization level\n");
 101       shall_exit = true;
 102     } else if (parse_args && not strcmp(argv[i], "--help-tracing")) {
 103       TRACE_help();
 104       shall_exit = true;
 105     } else {
 106       argv[j++] = argv[i];
 107     }
 108   }
 109   if (j < *argc) {
 110     argv[j] = nullptr;
 111     *argc = j;
 112   }
 113   if (shall_exit)
 114     exit(0);
 115 }
 116
 117 /* callback of the plugin variable */
 118 static void _sg_cfg_cb__plugin(const std::string& value)
 119 {
 120   xbt_assert(_sg_cfg_init_status < 2, "Cannot load a plugin after the initialization");
 121
 122   if (value.empty())
 123     return;
 124
 125   if (value == "help") {
 126     model_help("plugin", *surf_plugin_description);
 127     exit(0);
 128   }
 129
 130   int plugin_id = find_model_description(*surf_plugin_description, value);
 131   (*surf_plugin_description)[plugin_id].model_init_preparse();
 132 }
 133
 134 /* callback of the host/model variable */
 135 static void _sg_cfg_cb__host_model(const std::string& value)
 136 {
 137   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
 138
 139   if (value == "help") {
 140     model_help("host", surf_host_model_description);
 141     exit(0);
 142   }
 143
 144   /* Make sure that the model exists */
 145   find_model_description(surf_host_model_description, value);
 146 }
 147
 148 /* callback of the cpu/model variable */
 149 static void _sg_cfg_cb__cpu_model(const std::string& value)
 150 {
 151   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
 152
 153   if (value == "help") {
 154     model_help("CPU", surf_cpu_model_description);
 155     exit(0);
 156   }
 157
 158   /* New Module missing */
 159   find_model_description(surf_cpu_model_description, value);
 160 }
 161
 162 /* callback of the cpu/model variable */
 163 static void _sg_cfg_cb__optimization_mode(const std::string& value)
 164 {
 165   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
 166
 167   if (value == "help") {
 168     model_help("optimization", surf_optimization_mode_description);
 169     exit(0);
 170   }
 171
 172   /* New Module missing */
 173   find_model_description(surf_optimization_mode_description, value);
 174 }
 175
 176 static void _sg_cfg_cb__disk_model(const std::string& value)
 177 {
 178   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
 179
 180   if (value == "help") {
 181     model_help("disk", surf_disk_model_description);
 182     exit(0);
 183   }
 184
 185   find_model_description(surf_disk_model_description, value);
 186 }
 187
 188 /* callback of the cpu/model variable */
 189 static void _sg_cfg_cb__storage_model(const std::string& value)
 190 {
 191   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
 192
 193   if (value == "help") {
 194     model_help("storage", surf_storage_model_description);
 195     exit(0);
 196   }
 197
 198   find_model_description(surf_storage_model_description, value);
 199 }
 200
 201 /* callback of the network_model variable */
 202 static void _sg_cfg_cb__network_model(const std::string& value)
 203 {
 204   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
 205
 206   if (value == "help") {
 207     model_help("network", surf_network_model_description);
 208     exit(0);
 209   }
 210
 211   /* New Module missing */
 212   find_model_description(surf_network_model_description, value);
 213 }
 214
 215 static void _sg_cfg_cb_contexts_parallel_mode(const std::string& mode_name)
 216 {
 217   if (mode_name == "posix") {
 218     SIMIX_context_set_parallel_mode(XBT_PARMAP_POSIX);
 219   } else if (mode_name == "futex") {
 220     SIMIX_context_set_parallel_mode(XBT_PARMAP_FUTEX);
 221   } else if (mode_name == "busy_wait") {
 222     SIMIX_context_set_parallel_mode(XBT_PARMAP_BUSY_WAIT);
 223   } else {
 224     xbt_die("Command line setting of the parallel synchronization mode should "
 225             "be one of \"posix\", \"futex\" or \"busy_wait\"");
 226   }
 227 }
 228
 229 /* build description line with possible values */
 230 static void declare_model_flag(const std::string& name, const std::string& value,
 231                                const std::function<void(std::string const&)>& callback,
 232                                const std::vector<surf_model_description_t>& model_description, const std::string& type,
 233                                const std::string& descr)
 234 {
 235   std::string description = descr + ". Possible values: ";
 236   std::string sep         = "";
 237   for (auto const& item : model_description) {
 238     description += sep + item.name;
 239     sep = ", ";
 240   }
 241   description += ".\n       (use 'help' as a value to see the long description of each " + type + ")";
 242   simgrid::config::declare_flag<std::string>(name, description, value, callback);
 243 }
 244
 245 /* create the config set, register what should be and parse the command line*/
 246 void sg_config_init(int *argc, char **argv)
 247 {
 248   /* Create the configuration support */
 249   if (_sg_cfg_init_status != 0) { /* Only create stuff if not already inited */
 250     XBT_WARN("Call to sg_config_init() after initialization ignored");
 251     return;
 252   }
 253
 254   /* Plugins configuration */
 255   declare_model_flag("plugin", "", &_sg_cfg_cb__plugin, *surf_plugin_description, "plugin", "The plugins");
 256
 257   declare_model_flag("cpu/model", "Cas01", &_sg_cfg_cb__cpu_model, surf_cpu_model_description, "model",
 258                      "The model to use for the CPU");
 259
 260   declare_model_flag("disk/model", "default", &_sg_cfg_cb__disk_model, surf_disk_model_description, "model",
 261                      "The model to use for the disk");
 262
 263   declare_model_flag("storage/model", "default", &_sg_cfg_cb__storage_model, surf_storage_model_description, "model",
 264                      "The model to use for the storage");
 265
 266   declare_model_flag("network/model", "LV08", &_sg_cfg_cb__network_model, surf_network_model_description, "model",
 267                      "The model to use for the network");
 268
 269   declare_model_flag("network/optim", "Lazy", &_sg_cfg_cb__optimization_mode, surf_optimization_mode_description,
 270                      "optimization mode", "The optimization modes to use for the network");
 271
 272   declare_model_flag("host/model", "default", &_sg_cfg_cb__host_model, surf_host_model_description, "model",
 273                      "The model to use for the host");
 274
 275   simgrid::config::bind_flag(sg_surf_precision, "surf/precision",
 276                              "Numerical precision used when updating simulation times (in seconds)");
 277
 278   simgrid::config::bind_flag(sg_maxmin_precision, "maxmin/precision",
 279                              "Numerical precision used when computing resource sharing (in flops/sec or bytes/sec)");
 280
 281   simgrid::config::bind_flag(sg_concurrency_limit, "maxmin/concurrency-limit", {"maxmin/concurrency_limit"},
 282                              "Maximum number of concurrent variables in the maxmim system. Also limits the number of "
 283                              "processes on each host, at higher level. (default: -1 means no such limitation)");
 284
 285   /* The parameters of network models */
 286
 287   sg_latency_factor = 13.01; // comes from the default LV08 network model
 288   simgrid::config::bind_flag(sg_latency_factor, "network/latency-factor", {"network/latency_factor"},
 289                              "Correction factor to apply to the provided latency (default value set by network model)");
 290
 291   sg_bandwidth_factor = 0.97; // comes from the default LV08 network model
 292   simgrid::config::bind_flag(
 293       sg_bandwidth_factor, "network/bandwidth-factor", {"network/bandwidth_factor"},
 294       "Correction factor to apply to the provided bandwidth (default value set by network model)");
 295
 296   sg_weight_S_parameter = 20537; // comes from the default LV08 network model
 297   simgrid::config::bind_flag(
 298       sg_weight_S_parameter, "network/weight-S", {"network/weight_S"},
 299       "Correction factor to apply to the weight of competing streams (default value set by network model)");
 300
 301   /* Inclusion path */
 302   simgrid::config::declare_flag<std::string>("path", "Lookup path for inclusions in platform and deployment XML files",
 303                                              "", [](std::string const& path) {
 304                                                if (not path.empty())
 305                                                  surf_path.push_back(path);
 306                                              });
 307
 308   simgrid::config::declare_flag<bool>("cpu/maxmin-selective-update",
 309                                       "Update the constraint set propagating recursively to others constraints "
 310                                       "(off by default unless optim is set to lazy)",
 311                                       "no");
 312   simgrid::config::alias("cpu/maxmin-selective-update", {"cpu/maxmin_selective_update"});
 313   simgrid::config::declare_flag<bool>("network/maxmin-selective-update", "Update the constraint set propagating "
 314                                                                          "recursively to others constraints (off by "
 315                                                                          "default unless optim is set to lazy)",
 316                                       "no");
 317   simgrid::config::alias("network/maxmin-selective-update", {"network/maxmin_selective_update"});
 318
 319   simgrid::config::declare_flag<int>("contexts/stack-size", "Stack size of contexts in KiB (not with threads)",
 320                                      8 * 1024, [](int value) { smx_context_stack_size = value * 1024; });
 321   simgrid::config::alias("contexts/stack-size", {"contexts/stack_size"});
 322
 323   /* guard size for contexts stacks in memory pages */
 324 #if defined(_WIN32) || (PTH_STACKGROWTH != -1)
 325   int default_guard_size = 0;
 326 #else
 327   int default_guard_size = 1;
 328 #endif
 329   simgrid::config::declare_flag<int>("contexts/guard-size", "Guard size for contexts stacks in memory pages",
 330                                      default_guard_size,
 331                                      [](int value) { smx_context_guard_size = value * xbt_pagesize; });
 332   simgrid::config::alias("contexts/guard-size", {"contexts/guard_size"});
 333   simgrid::config::declare_flag<int>("contexts/nthreads", "Number of parallel threads used to execute user contexts", 1,
 334                                      &SIMIX_context_set_nthreads);
 335
 336   simgrid::config::declare_flag<int>("contexts/parallel-threshold",
 337                                      "Minimal number of user contexts to be run in parallel (raw contexts only)", 2,
 338                                      &SIMIX_context_set_parallel_threshold);
 339   simgrid::config::alias("contexts/parallel-threshold", {"contexts/parallel_threshold"});
 340
 341   /* synchronization mode for parallel user contexts */
 342 #if HAVE_FUTEX_H
 343   std::string default_synchro_mode = "futex";
 344 #else // No futex on mac and posix is unimplemented yet
 345   std::string default_synchro_mode = "busy_wait";
 346 #endif
 347   simgrid::config::declare_flag<std::string>("contexts/synchro", "Synchronization mode to use when running contexts in "
 348                                                                  "parallel (either futex, posix or busy_wait)",
 349                                              default_synchro_mode, &_sg_cfg_cb_contexts_parallel_mode);
 350
 351   // For smpi/bw-factor and smpi/lat-factor
 352   // SMPI model can be used without enable_smpi, so keep this out of the ifdef.
 353   simgrid::config::declare_flag<std::string>("smpi/bw-factor",
 354                                              "Bandwidth factors for smpi. Format: "
 355                                              "'threshold0:value0;threshold1:value1;...;thresholdN:valueN', "
 356                                              "meaning if(size >=thresholdN ) return valueN.",
 357                                              "65472:0.940694;15424:0.697866;9376:0.58729;5776:1.08739;3484:0.77493;"
 358                                              "1426:0.608902;732:0.341987;257:0.338112;0:0.812084");
 359   simgrid::config::alias("smpi/bw-factor", {"smpi/bw_factor"});
 360
 361   simgrid::config::declare_flag<std::string>("smpi/lat-factor", "Latency factors for smpi.",
 362                                              "65472:11.6436;15424:3.48845;9376:2.59299;5776:2.18796;3484:1.88101;"
 363                                              "1426:1.61075;732:1.9503;257:1.95341;0:2.01467");
 364   simgrid::config::alias("smpi/lat-factor", {"smpi/lat_factor"});
 365   simgrid::config::declare_flag<std::string>("smpi/IB-penalty-factors",
 366                                              "Correction factor to communications using Infiniband model with "
 367                                              "contention (default value based on Stampede cluster profiling)",
 368                                              "0.965;0.925;1.35");
 369   simgrid::config::alias("smpi/IB-penalty-factors", {"smpi/IB_penalty_factors"});
 370   /* Others */
 371
 372   simgrid::config::declare_flag<bool>(
 373       "exception/cutpath", "Whether to cut all path information from call traces, used e.g. in exceptions.", false);
 374
 375   if (surf_path.empty())
 376     simgrid::config::set_default<std::string>("path", "./");
 377
 378   _sg_cfg_init_status = 1;
 379
 380   sg_config_cmd_line(argc, argv);
 381
 382   xbt_mallocator_initialization_is_done(SIMIX_context_is_parallel());
 383 }
 384
 385 void sg_config_finalize()
 386 {
 387   simgrid::config::finalize();
 388   _sg_cfg_init_status = 0;
 389 }