Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
d479532be77b53f986040590883c6e602aa1eaa0
[simgrid.git] / src / simgrid / sg_config.cpp
1 /* Copyright (c) 2009-2019. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 /* sg_config: configuration infrastructure for the simulation world         */
7
8 #include "simgrid/sg_config.hpp"
9 #include "simgrid/instr.h"
10 #include "src/instr/instr_private.hpp"
11 #include "src/internal_config.h"
12 #include "src/kernel/lmm/maxmin.hpp"
13 #include "src/mc/mc_config.hpp"
14 #include "src/mc/mc_replay.hpp"
15 #include "src/surf/surf_interface.hpp"
16 #include "surf/surf.hpp"
17 #include "xbt/config.hpp"
18
19 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_config, surf, "About the configuration of SimGrid");
20
21 static simgrid::config::Flag<bool> cfg_continue_after_help
22   {"help-nostop", "Do not stop the execution when --help is found", false};
23
24 /** @brief Allow other libraries to react to the --help flag, too
25  *
26  * When finding --help on the command line, simgrid usually stops right after displaying its help message.
27  * If you are writing a library using simgrid, you may want to display your own help message before everything stops.
28  * If so, just call this function before having simgrid parsing the command line, and you will be given the control
29  * even if the user is asking for help.
30  */
31 void sg_config_continue_after_help()
32 {
33   cfg_continue_after_help = true;
34 }
35
36 /* 0: beginning of time (config cannot be changed yet)
37  * 1: initialized: cfg_set created (config can now be changed)
38  * 2: configured: command line parsed and config part of platform file was
39  *    integrated also, platform construction ongoing or done.
40  *    (Config cannot be changed anymore!)
41  */
42 int _sg_cfg_init_status = 0;
43
44 /* Parse the command line, looking for options */
45 static void sg_config_cmd_line(int *argc, char **argv)
46 {
47   bool shall_exit = false;
48   int i;
49   int j;
50   bool parse_args = true; // Stop parsing the parameters once we found '--'
51
52   for (j = i = 1; i < *argc; i++) {
53     if (not strcmp("--", argv[i])) {
54       parse_args = false;
55       // Remove that '--' from the arguments
56     } else if (parse_args && not strncmp(argv[i], "--cfg=", strlen("--cfg="))) {
57       char *opt = strchr(argv[i], '=');
58       opt++;
59
60       simgrid::config::set_parse(opt);
61       XBT_DEBUG("Did apply '%s' as config setting", opt);
62     } else if (parse_args && not strcmp(argv[i], "--version")) {
63       sg_version();
64       shall_exit = true;
65     } else if (parse_args && (not strcmp(argv[i], "--cfg-help") || not strcmp(argv[i], "--help"))) {
66       printf("Description of the configuration accepted by this simulator:\n");
67       simgrid::config::help();
68       printf(
69           "\n"
70           "Each of these configurations can be used by adding\n"
71           "    --cfg=<option name>:<option value>\n"
72           "to the command line.\n"
73           "\n"
74           "For more information, please refer to:\n"
75           "   --help-aliases for the list of all option aliases.\n"
76           "   --help-logs and --help-log-categories for the details of logging output.\n"
77           "   --help-models for a list of all models known by this simulator.\n"
78           "   --help-tracing for the details of all tracing options known by this simulator.\n"
79           "   --version to get SimGrid version information.\n"
80           "\n"
81         );
82       shall_exit = not cfg_continue_after_help;
83       argv[j++]  = argv[i]; // Preserve the --help in argv just in case someone else wants to see it
84     } else if (parse_args && not strcmp(argv[i], "--help-aliases")) {
85       printf("Here is a list of all deprecated option names, with their replacement.\n");
86       simgrid::config::show_aliases();
87       printf("Please consider using the recent names\n");
88       shall_exit = true;
89     } else if (parse_args && not strcmp(argv[i], "--help-models")) {
90       model_help("host", surf_host_model_description);
91       printf("\n");
92       model_help("CPU", surf_cpu_model_description);
93       printf("\n");
94       model_help("network", surf_network_model_description);
95       printf("\nLong description of all optimization levels accepted by the models of this simulator:\n");
96       for (int k = 0; surf_optimization_mode_description[k].name; k++)
97         printf("  %s: %s\n",
98                surf_optimization_mode_description[k].name,
99                surf_optimization_mode_description[k].description);
100       printf("Both network and CPU models have 'Lazy' as default optimization level\n\n");
101       shall_exit = true;
102     } else if (parse_args && not strcmp(argv[i], "--help-tracing")) {
103       TRACE_help();
104       shall_exit = true;
105     } else {
106       argv[j++] = argv[i];
107     }
108   }
109   if (j < *argc) {
110     argv[j] = nullptr;
111     *argc = j;
112   }
113   if (shall_exit)
114     exit(0);
115 }
116
117 /* callback of the plugin variable */
118 static void _sg_cfg_cb__plugin(const std::string& value)
119 {
120   xbt_assert(_sg_cfg_init_status < 2, "Cannot load a plugin after the initialization");
121
122   if (value.empty())
123     return;
124
125   if (value == "help") {
126     model_help("plugin", surf_plugin_description);
127     exit(0);
128   }
129
130   int plugin_id = find_model_description(surf_plugin_description, value);
131   surf_plugin_description[plugin_id].model_init_preparse();
132 }
133
134 /* callback of the host/model variable */
135 static void _sg_cfg_cb__host_model(const std::string& value)
136 {
137   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
138
139   if (value == "help") {
140     model_help("host", surf_host_model_description);
141     exit(0);
142   }
143
144   /* Make sure that the model exists */
145   find_model_description(surf_host_model_description, value);
146 }
147
148 /* callback of the cpu/model variable */
149 static void _sg_cfg_cb__cpu_model(const std::string& value)
150 {
151   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
152
153   if (value == "help") {
154     model_help("CPU", surf_cpu_model_description);
155     exit(0);
156   }
157
158   /* New Module missing */
159   find_model_description(surf_cpu_model_description, value);
160 }
161
162 /* callback of the cpu/model variable */
163 static void _sg_cfg_cb__optimization_mode(const std::string& value)
164 {
165   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
166
167   if (value == "help") {
168     model_help("optimization", surf_optimization_mode_description);
169     exit(0);
170   }
171
172   /* New Module missing */
173   find_model_description(surf_optimization_mode_description, value);
174 }
175
176 /* callback of the cpu/model variable */
177 static void _sg_cfg_cb__storage_mode(const std::string& value)
178 {
179   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
180
181   if (value == "help") {
182     model_help("storage", surf_storage_model_description);
183     exit(0);
184   }
185
186   find_model_description(surf_storage_model_description, value);
187 }
188
189 /* callback of the network_model variable */
190 static void _sg_cfg_cb__network_model(const std::string& value)
191 {
192   xbt_assert(_sg_cfg_init_status < 2, "Cannot change the model after the initialization");
193
194   if (value == "help") {
195     model_help("network", surf_network_model_description);
196     exit(0);
197   }
198
199   /* New Module missing */
200   find_model_description(surf_network_model_description, value);
201 }
202
203 static void _sg_cfg_cb_contexts_parallel_mode(const std::string& mode_name)
204 {
205   if (mode_name == "posix") {
206     SIMIX_context_set_parallel_mode(XBT_PARMAP_POSIX);
207   } else if (mode_name == "futex") {
208     SIMIX_context_set_parallel_mode(XBT_PARMAP_FUTEX);
209   } else if (mode_name == "busy_wait") {
210     SIMIX_context_set_parallel_mode(XBT_PARMAP_BUSY_WAIT);
211   } else {
212     xbt_die("Command line setting of the parallel synchronization mode should "
213             "be one of \"posix\", \"futex\" or \"busy_wait\"");
214   }
215 }
216
217 /* build description line with possible values */
218 static void describe_model(char *result,int resultsize,
219                            const s_surf_model_description_t model_description[],
220                            const char *name,
221                            const char *description)
222 {
223   result[0] = '\0';
224   char *p = result;
225   p += snprintf(result,resultsize-1, "%s. Possible values: %s", description,
226             model_description[0].name ? model_description[0].name : "n/a");
227   for (int i = 1; model_description[i].name; i++)
228     p += snprintf(p,resultsize-(p-result)-1, ", %s", model_description[i].name);
229   p += snprintf(p,resultsize-(p-result)-1, ".\n       (use 'help' as a value to see the long description of each %s)", name);
230
231   xbt_assert(p<result+resultsize-1,"Buffer too small to display the model description of %s",name);
232 }
233
234 /* create the config set, register what should be and parse the command line*/
235 void sg_config_init(int *argc, char **argv)
236 {
237   const int descsize = 1024;
238   char description[descsize];
239
240   /* Create the configuration support */
241   if (_sg_cfg_init_status != 0) { /* Only create stuff if not already inited */
242     XBT_WARN("Call to sg_config_init() after initialization ignored");
243     return;
244   }
245
246   /* Plugins configuration */
247   describe_model(description, descsize, surf_plugin_description, "plugin", "The plugins");
248   simgrid::config::declare_flag<std::string>("plugin", description, "", &_sg_cfg_cb__plugin);
249
250   describe_model(description, descsize, surf_cpu_model_description, "model", "The model to use for the CPU");
251   simgrid::config::declare_flag<std::string>("cpu/model", description, "Cas01", &_sg_cfg_cb__cpu_model);
252
253   describe_model(description, descsize, surf_storage_model_description, "model", "The model to use for the storage");
254   simgrid::config::declare_flag<std::string>("storage/model", description, "default", &_sg_cfg_cb__storage_mode);
255
256   describe_model(description, descsize, surf_network_model_description, "model", "The model to use for the network");
257   simgrid::config::declare_flag<std::string>("network/model", description, "LV08", &_sg_cfg_cb__network_model);
258
259   describe_model(description, descsize, surf_optimization_mode_description, "optimization mode",
260                  "The optimization modes to use for the network");
261   simgrid::config::declare_flag<std::string>("network/optim", description, "Lazy", &_sg_cfg_cb__optimization_mode);
262
263   describe_model(description, descsize, surf_host_model_description, "model", "The model to use for the host");
264   simgrid::config::declare_flag<std::string>("host/model", description, "default", &_sg_cfg_cb__host_model);
265
266   simgrid::config::bind_flag(sg_surf_precision, "surf/precision",
267                              "Numerical precision used when updating simulation times (in seconds)");
268
269   simgrid::config::bind_flag(sg_maxmin_precision, "maxmin/precision",
270                              "Numerical precision used when computing resource sharing (in flops/sec or bytes/sec)");
271
272   simgrid::config::bind_flag(sg_concurrency_limit, "maxmin/concurrency-limit", {"maxmin/concurrency_limit"},
273                              "Maximum number of concurrent variables in the maxmim system. Also limits the number of "
274                              "processes on each host, at higher level. (default: -1 means no such limitation)");
275
276   /* The parameters of network models */
277
278   sg_latency_factor = 13.01; // comes from the default LV08 network model
279   simgrid::config::bind_flag(sg_latency_factor, "network/latency-factor", {"network/latency_factor"},
280                              "Correction factor to apply to the provided latency (default value set by network model)");
281
282   sg_bandwidth_factor = 0.97; // comes from the default LV08 network model
283   simgrid::config::bind_flag(
284       sg_bandwidth_factor, "network/bandwidth-factor", {"network/bandwidth_factor"},
285       "Correction factor to apply to the provided bandwidth (default value set by network model)");
286
287   sg_weight_S_parameter = 20537; // comes from the default LV08 network model
288   simgrid::config::bind_flag(
289       sg_weight_S_parameter, "network/weight-S", {"network/weight_S"},
290       "Correction factor to apply to the weight of competing streams (default value set by network model)");
291
292   /* Inclusion path */
293   simgrid::config::declare_flag<std::string>("path", "Lookup path for inclusions in platform and deployment XML files",
294                                              "", [](std::string const& path) {
295                                                if (not path.empty())
296                                                  surf_path.push_back(path);
297                                              });
298
299   simgrid::config::declare_flag<bool>("cpu/maxmin-selective-update",
300                                       "Update the constraint set propagating recursively to others constraints "
301                                       "(off by default unless optim is set to lazy)",
302                                       "no");
303   simgrid::config::alias("cpu/maxmin-selective-update", {"cpu/maxmin_selective_update"});
304   simgrid::config::declare_flag<bool>("network/maxmin-selective-update", "Update the constraint set propagating "
305                                                                          "recursively to others constraints (off by "
306                                                                          "default unless optim is set to lazy)",
307                                       "no");
308   simgrid::config::alias("network/maxmin-selective-update", {"network/maxmin_selective_update"});
309
310   extern bool _sg_do_verbose_exit;
311   simgrid::config::bind_flag(_sg_do_verbose_exit, "verbose-exit", "Activate the \"do nothing\" mode in Ctrl-C");
312
313   simgrid::config::declare_flag<int>("contexts/stack-size", "Stack size of contexts in KiB (not with threads)",
314                                      8 * 1024, [](int value) { smx_context_stack_size = value * 1024; });
315   simgrid::config::alias("contexts/stack-size", {"contexts/stack_size"});
316
317   /* guard size for contexts stacks in memory pages */
318 #if defined(_WIN32) || (PTH_STACKGROWTH != -1)
319   int default_guard_size = 0;
320 #else
321   int default_guard_size = 1;
322 #endif
323   simgrid::config::declare_flag<int>("contexts/guard-size", "Guard size for contexts stacks in memory pages",
324                                      default_guard_size,
325                                      [](int value) { smx_context_guard_size = value * xbt_pagesize; });
326   simgrid::config::alias("contexts/guard-size", {"contexts/guard_size"});
327   simgrid::config::declare_flag<int>("contexts/nthreads", "Number of parallel threads used to execute user contexts", 1,
328                                      &SIMIX_context_set_nthreads);
329
330   simgrid::config::declare_flag<int>("contexts/parallel-threshold",
331                                      "Minimal number of user contexts to be run in parallel (raw contexts only)", 2,
332                                      &SIMIX_context_set_parallel_threshold);
333   simgrid::config::alias("contexts/parallel-threshold", {"contexts/parallel_threshold"});
334
335   /* synchronization mode for parallel user contexts */
336 #if HAVE_FUTEX_H
337   std::string default_synchro_mode = "futex";
338 #else // No futex on mac and posix is unimplemented yet
339   std::string default_synchro_mode = "busy_wait";
340 #endif
341   simgrid::config::declare_flag<std::string>("contexts/synchro", "Synchronization mode to use when running contexts in "
342                                                                  "parallel (either futex, posix or busy_wait)",
343                                              default_synchro_mode, &_sg_cfg_cb_contexts_parallel_mode);
344
345   // For smpi/bw-factor and smpi/lat-factor
346   // SMPI model can be used without enable_smpi, so keep this out of the ifdef.
347   simgrid::config::declare_flag<std::string>("smpi/bw-factor",
348                                              "Bandwidth factors for smpi. Format: "
349                                              "'threshold0:value0;threshold1:value1;...;thresholdN:valueN', "
350                                              "meaning if(size >=thresholdN ) return valueN.",
351                                              "65472:0.940694;15424:0.697866;9376:0.58729;5776:1.08739;3484:0.77493;"
352                                              "1426:0.608902;732:0.341987;257:0.338112;0:0.812084");
353   simgrid::config::alias("smpi/bw-factor", {"smpi/bw_factor"});
354
355   simgrid::config::declare_flag<std::string>("smpi/lat-factor", "Latency factors for smpi.",
356                                              "65472:11.6436;15424:3.48845;9376:2.59299;5776:2.18796;3484:1.88101;"
357                                              "1426:1.61075;732:1.9503;257:1.95341;0:2.01467");
358   simgrid::config::alias("smpi/lat-factor", {"smpi/lat_factor"});
359   simgrid::config::declare_flag<std::string>("smpi/IB-penalty-factors",
360                                              "Correction factor to communications using Infiniband model with "
361                                              "contention (default value based on Stampede cluster profiling)",
362                                              "0.965;0.925;1.35");
363   simgrid::config::alias("smpi/IB-penalty-factors", {"smpi/IB_penalty_factors"});
364
365 #if HAVE_SMPI
366   simgrid::config::declare_flag<double>("smpi/host-speed", "Speed of the host running the simulation (in flop/s). "
367                                                            "Used to bench the operations.",
368                                         20000.0);
369   simgrid::config::alias("smpi/host-speed", {"smpi/running_power", "smpi/running-power"});
370
371   simgrid::config::declare_flag<bool>("smpi/keep-temps", "Whether we should keep the generated temporary files.",
372                                       false);
373
374   simgrid::config::declare_flag<bool>("smpi/display-timing", "Whether we should display the timing after simulation.",
375                                       false);
376   simgrid::config::alias("smpi/display-timing", {"smpi/display_timing"});
377
378   simgrid::config::declare_flag<bool>(
379       "smpi/simulate-computation", "Whether the computational part of the simulated application should be simulated.",
380       true);
381   simgrid::config::alias("smpi/simulate-computation", {"smpi/simulate_computation"});
382
383   simgrid::config::declare_flag<std::string>(
384       "smpi/shared-malloc", "Whether SMPI_SHARED_MALLOC is enabled. Disable it for debugging purposes.", "global");
385   simgrid::config::alias("smpi/shared-malloc", {"smpi/use_shared_malloc", "smpi/use-shared-malloc"});
386   simgrid::config::declare_flag<double>("smpi/shared-malloc-blocksize",
387                                         "Size of the bogus file which will be created for global shared allocations",
388                                         1UL << 20);
389   simgrid::config::declare_flag<std::string>("smpi/shared-malloc-hugepage",
390                                              "Path to a mounted hugetlbfs, to use huge pages with shared malloc.", "");
391
392   simgrid::config::declare_flag<double>(
393       "smpi/cpu-threshold", "Minimal computation time (in seconds) not discarded, or -1 for infinity.", 1e-6);
394   simgrid::config::alias("smpi/cpu-threshold", {"smpi/cpu_threshold"});
395
396   simgrid::config::declare_flag<int>(
397       "smpi/async-small-thresh",
398       "Maximal size of messages that are to be sent asynchronously, without waiting for the receiver", 0);
399   simgrid::config::alias("smpi/async-small-thresh", {"smpi/async_small_thres", "smpi/async_small_thresh"});
400
401   simgrid::config::declare_flag<bool>("smpi/trace-call-location",
402                                       "Should filename and linenumber of MPI calls be traced?", false);
403
404   simgrid::config::declare_flag<int>(
405       "smpi/send-is-detached-thresh",
406       "Threshold of message size where MPI_Send stops behaving like MPI_Isend and becomes MPI_Ssend", 65536);
407   simgrid::config::alias("smpi/send-is-detached-thresh",
408                          {"smpi/send_is_detached_thres", "smpi/send_is_detached_thresh"});
409
410   const char* default_privatization = std::getenv("SMPI_PRIVATIZATION");
411   if (default_privatization == nullptr)
412     default_privatization = "no";
413
414   simgrid::config::declare_flag<std::string>(
415       "smpi/privatization", "How we should privatize global variable at runtime (no, yes, mmap, dlopen).",
416       default_privatization);
417   simgrid::config::alias("smpi/privatization", {"smpi/privatize_global_variables", "smpi/privatize-global-variables"});
418
419   simgrid::config::declare_flag<std::string>(
420       "smpi/privatize-libs", "Add libraries (; separated) to privatize (libgfortran for example). You need to provide the full names of the files (libgfortran.so.4), or its full path", "");
421
422   simgrid::config::declare_flag<bool>("smpi/grow-injected-times",
423                                       "Whether we want to make the injected time in MPI_Iprobe and MPI_Test grow, to "
424                                       "allow faster simulation. This can make simulation less precise, though.",
425                                       true);
426
427 #if HAVE_PAPI
428   simgrid::config::declare_flag<std::string>("smpi/papi-events",
429                                              "This switch enables tracking the specified counters with PAPI", "");
430 #endif
431   simgrid::config::declare_flag<std::string>("smpi/comp-adjustment-file",
432                                              "A file containing speedups or slowdowns for some parts of the code.", "");
433   simgrid::config::declare_flag<std::string>(
434       "smpi/os", "Small messages timings (MPI_Send minimum time for small messages)", "0:0:0:0:0");
435   simgrid::config::declare_flag<std::string>(
436       "smpi/ois", "Small messages timings (MPI_Isend minimum time for small messages)", "0:0:0:0:0");
437   simgrid::config::declare_flag<std::string>(
438       "smpi/or", "Small messages timings (MPI_Recv minimum time for small messages)", "0:0:0:0:0");
439
440   simgrid::config::declare_flag<double>("smpi/iprobe-cpu-usage",
441                                         "Maximum usage of CPUs by MPI_Iprobe() calls. We've observed that MPI_Iprobes "
442                                         "consume significantly less power than the maximum of a specific application. "
443                                         "This value is then (Iprobe_Usage/Max_Application_Usage).",
444                                         1.0);
445
446   simgrid::config::declare_flag<std::string>("smpi/coll-selector", "Which collective selector to use", "default");
447   simgrid::config::alias("smpi/coll-selector", {"smpi/coll_selector"});
448   simgrid::config::declare_flag<std::string>("smpi/gather", "Which collective to use for gather", "");
449   simgrid::config::declare_flag<std::string>("smpi/allgather", "Which collective to use for allgather", "");
450   simgrid::config::declare_flag<std::string>("smpi/barrier", "Which collective to use for barrier", "");
451   simgrid::config::declare_flag<std::string>("smpi/reduce_scatter", "Which collective to use for reduce_scatter", "");
452   simgrid::config::alias("smpi/reduce_scatter", {"smpi/reduce-scatter"});
453   simgrid::config::declare_flag<std::string>("smpi/scatter", "Which collective to use for scatter", "");
454   simgrid::config::declare_flag<std::string>("smpi/allgatherv", "Which collective to use for allgatherv", "");
455   simgrid::config::declare_flag<std::string>("smpi/allreduce", "Which collective to use for allreduce", "");
456   simgrid::config::declare_flag<std::string>("smpi/alltoall", "Which collective to use for alltoall", "");
457   simgrid::config::declare_flag<std::string>("smpi/alltoallv", "Which collective to use for alltoallv", "");
458   simgrid::config::declare_flag<std::string>("smpi/bcast", "Which collective to use for bcast", "");
459   simgrid::config::declare_flag<std::string>("smpi/reduce", "Which collective to use for reduce", "");
460 #endif // HAVE_SMPI
461
462   /* Others */
463
464   simgrid::config::declare_flag<bool>(
465       "exception/cutpath", "Whether to cut all path information from call traces, used e.g. in exceptions.", false);
466
467   extern bool _sg_do_clean_atexit;
468   simgrid::config::bind_flag(_sg_do_clean_atexit, "clean-atexit", {"clean_atexit"},
469                              "Whether to cleanup SimGrid at exit. Disable it if your code segfaults after its end.");
470
471   if (surf_path.empty())
472     simgrid::config::set_default<std::string>("path", "./");
473
474   _sg_cfg_init_status = 1;
475
476   sg_config_cmd_line(argc, argv);
477
478   xbt_mallocator_initialization_is_done(SIMIX_context_is_parallel());
479 }
480
481 void sg_config_finalize()
482 {
483   simgrid::config::finalize();
484   _sg_cfg_init_status = 0;
485 }