Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
rename the plugins from the command line, and document it
[simgrid.git] / src / surf / surf_interface.cpp
1 /* Copyright (c) 2004-2018. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #include "surf_interface.hpp"
7 #include "mc/mc.h"
8 #include "simgrid/s4u/Engine.hpp"
9 #include "simgrid/sg_config.hpp"
10 #include "src/internal_config.h"
11 #include "src/surf/HostImpl.hpp"
12 #include "src/surf/xml/platf.hpp"
13 #include "surf/surf.hpp"
14 #include "xbt/module.h"
15
16 #include <fstream>
17 #include <string>
18
19 #ifdef _WIN32
20 #include <windows.h>
21 #endif
22
23 XBT_LOG_NEW_CATEGORY(surf, "All SURF categories");
24 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_kernel, surf, "Logging specific to SURF (kernel)");
25
26 /*********
27  * Utils *
28  *********/
29
30 std::vector<simgrid::kernel::resource::Model*>* all_existing_models = nullptr; /* to destroy models correctly */
31
32 simgrid::trace_mgr::future_evt_set *future_evt_set = nullptr;
33 std::vector<std::string> surf_path;
34 std::vector<simgrid::s4u::Host*> host_that_restart;
35 /**  set of hosts for which one want to be notified if they ever restart. */
36 std::set<std::string> watched_hosts;
37 extern std::map<std::string, simgrid::surf::StorageType*> storage_types;
38
39 #include <simgrid/plugins/energy.h> // FIXME: this plug-in should not be linked to the core
40 #include <simgrid/plugins/load.h>   // FIXME: this plug-in should not be linked to the core
41
42 s_surf_model_description_t surf_plugin_description[] = {
43     {"host_energy", "Cpu energy consumption.", &sg_host_energy_plugin_init},
44     {"link_energy", "Link energy consumption.", &sg_link_energy_plugin_init},
45     {"host_load", "Cpu load.", &sg_host_load_plugin_init},
46     {nullptr, nullptr, nullptr} /* this array must be nullptr terminated */
47 };
48
49 /* Don't forget to update the option description in smx_config when you change this */
50 s_surf_model_description_t surf_network_model_description[] = {
51     {"LV08", "Realistic network analytic model (slow-start modeled by multiplying latency by 13.01, bandwidth by .97; "
52              "bottleneck sharing uses a payload of S=20537 for evaluating RTT). ",
53      &surf_network_model_init_LegrandVelho},
54     {"Constant", "Simplistic network model where all communication take a constant time (one second). This model "
55                  "provides the lowest realism, but is (marginally) faster.",
56      &surf_network_model_init_Constant},
57     {"SMPI", "Realistic network model specifically tailored for HPC settings (accurate modeling of slow start with "
58              "correction factors on three intervals: < 1KiB, < 64 KiB, >= 64 KiB)",
59      &surf_network_model_init_SMPI},
60     {"IB", "Realistic network model specifically tailored for HPC settings, with Infiniband contention model",
61      &surf_network_model_init_IB},
62     {"CM02", "Legacy network analytic model (Very similar to LV08, but without corrective factors. The timings of "
63              "small messages are thus poorly modeled).",
64      &surf_network_model_init_CM02},
65     {"NS3", "Network pseudo-model using the NS3 tcp model instead of an analytic model", &surf_network_model_init_NS3},
66     {"Reno",
67      "Model from Steven H. Low using lagrange_solve instead of lmm_solve (experts only; check the code for more info).",
68      &surf_network_model_init_Reno},
69     {"Reno2",
70      "Model from Steven H. Low using lagrange_solve instead of lmm_solve (experts only; check the code for more info).",
71      &surf_network_model_init_Reno2},
72     {"Vegas",
73      "Model from Steven H. Low using lagrange_solve instead of lmm_solve (experts only; check the code for more info).",
74      &surf_network_model_init_Vegas},
75     {nullptr, nullptr, nullptr} /* this array must be nullptr terminated */
76 };
77
78 #if ! HAVE_SMPI
79 void surf_network_model_init_SMPI() {
80   xbt_die("Please activate SMPI support in cmake to use the SMPI network model.");
81 }
82 void surf_network_model_init_IB() {
83   xbt_die("Please activate SMPI support in cmake to use the IB network model.");
84 }
85 #endif
86 #if !SIMGRID_HAVE_NS3
87 void surf_network_model_init_NS3() {
88   xbt_die("Please activate NS3 support in cmake and install the dependencies to use the NS3 network model.");
89 }
90 #endif
91
92 s_surf_model_description_t surf_cpu_model_description[] = {
93   {"Cas01", "Simplistic CPU model (time=size/power).", &surf_cpu_model_init_Cas01},
94   {nullptr, nullptr,  nullptr}      /* this array must be nullptr terminated */
95 };
96
97 s_surf_model_description_t surf_host_model_description[] = {
98   {"default",   "Default host model. Currently, CPU:Cas01 and network:LV08 (with cross traffic enabled)", &surf_host_model_init_current_default},
99   {"compound",  "Host model that is automatically chosen if you change the network and CPU models", &surf_host_model_init_compound},
100   {"ptask_L07", "Host model somehow similar to Cas01+CM02 but allowing parallel tasks", &surf_host_model_init_ptask_L07},
101   {nullptr, nullptr, nullptr}      /* this array must be nullptr terminated */
102 };
103
104 s_surf_model_description_t surf_optimization_mode_description[] = {
105   {"Lazy", "Lazy action management (partial invalidation in lmm + heap in action remaining).", nullptr},
106   {"TI",   "Trace integration. Highly optimized mode when using availability traces (only available for the Cas01 CPU model for now).", nullptr},
107   {"Full", "Full update of remaining and variables. Slow but may be useful when debugging.", nullptr},
108   {nullptr, nullptr, nullptr}      /* this array must be nullptr terminated */
109 };
110
111 s_surf_model_description_t surf_storage_model_description[] = {
112   {"default", "Simplistic storage model.", &surf_storage_model_init_default},
113   {nullptr, nullptr,  nullptr}      /* this array must be nullptr terminated */
114 };
115
116 double NOW = 0;
117
118 double surf_get_clock()
119 {
120   return NOW;
121 }
122
123 std::ifstream* surf_ifsopen(std::string name)
124 {
125   std::ifstream* fs = new std::ifstream();
126   xbt_assert(not name.empty());
127   if (__surf_is_absolute_file_path(name.c_str())) { /* don't mess with absolute file names */
128     fs->open(name.c_str(), std::ifstream::in);
129   }
130
131   /* search relative files in the path */
132   for (auto const& path_elm : surf_path) {
133     std::string buff = path_elm + "/" + name;
134     fs->open(buff.c_str(), std::ifstream::in);
135
136     if (not fs->fail()) {
137       XBT_DEBUG("Found file at %s", buff.c_str());
138       return fs;
139     }
140   }
141
142   return fs;
143 }
144
145 FILE *surf_fopen(const char *name, const char *mode)
146 {
147   FILE *file = nullptr;
148
149   xbt_assert(name);
150
151   if (__surf_is_absolute_file_path(name))       /* don't mess with absolute file names */
152     return fopen(name, mode);
153
154   /* search relative files in the path */
155   for (auto const& path_elm : surf_path) {
156     std::string buff = path_elm + "/" + name;
157     file             = fopen(buff.c_str(), mode);
158
159     if (file)
160       return file;
161   }
162   return nullptr;
163 }
164
165 /* The __surf_is_absolute_file_path() returns 1 if
166  * file_path is a absolute file path, in the other
167  * case the function returns 0.
168  */
169 int __surf_is_absolute_file_path(const char *file_path)
170 {
171 #ifdef _WIN32
172   WIN32_FIND_DATA wfd = { 0 };
173   HANDLE hFile = FindFirstFile(file_path, &wfd);
174
175   if (INVALID_HANDLE_VALUE == hFile)
176     return 0;
177
178   FindClose(hFile);
179   return 1;
180 #else
181   return (file_path[0] == '/');
182 #endif
183 }
184
185 /** Displays the long description of all registered models, and quit */
186 void model_help(const char *category, s_surf_model_description_t * table)
187 {
188   printf("Long description of the %s models accepted by this simulator:\n", category);
189   for (int i = 0; table[i].name; i++)
190     printf("  %s: %s\n", table[i].name, table[i].description);
191 }
192
193 int find_model_description(s_surf_model_description_t* table, std::string name)
194 {
195   for (int i = 0; table[i].name; i++)
196     if (name == table[i].name)
197       return i;
198
199   if (not table[0].name)
200     xbt_die("No model is valid! This is a bug.");
201
202   std::string name_list = std::string(table[0].name);
203   for (int i = 1; table[i].name; i++)
204     name_list = name_list + ", " + table[i].name;
205
206   xbt_die("Model '%s' is invalid! Valid models are: %s.", name.c_str(), name_list.c_str());
207   return -1;
208 }
209
210 void sg_version_check(int lib_version_major, int lib_version_minor, int lib_version_patch)
211 {
212   if ((lib_version_major != SIMGRID_VERSION_MAJOR) || (lib_version_minor != SIMGRID_VERSION_MINOR)) {
213     fprintf(stderr, "FATAL ERROR: Your program was compiled with SimGrid version %d.%d.%d, "
214                     "and then linked against SimGrid %d.%d.%d. Please fix this.\n",
215             lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
216             SIMGRID_VERSION_PATCH);
217     abort();
218   }
219   if (lib_version_patch != SIMGRID_VERSION_PATCH) {
220     if (SIMGRID_VERSION_PATCH >= 90 || lib_version_patch >= 90) {
221       fprintf(
222           stderr,
223           "FATAL ERROR: Your program was compiled with SimGrid version %d.%d.%d, "
224           "and then linked against SimGrid %d.%d.%d. \n"
225           "One of them is a development version, and should not be mixed with the stable release. Please fix this.\n",
226           lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
227           SIMGRID_VERSION_PATCH);
228       abort();
229     }
230     fprintf(stderr, "Warning: Your program was compiled with SimGrid version %d.%d.%d, "
231                     "and then linked against SimGrid %d.%d.%d. Proceeding anyway.\n",
232             lib_version_major, lib_version_minor, lib_version_patch, SIMGRID_VERSION_MAJOR, SIMGRID_VERSION_MINOR,
233             SIMGRID_VERSION_PATCH);
234   }
235 }
236
237 void sg_version_get(int* ver_major, int* ver_minor, int* ver_patch)
238 {
239   *ver_major = SIMGRID_VERSION_MAJOR;
240   *ver_minor = SIMGRID_VERSION_MINOR;
241   *ver_patch = SIMGRID_VERSION_PATCH;
242 }
243
244 void sg_version()
245 {
246   std::printf("This program was linked against %s (git: %s), found in %s.\n",
247               SIMGRID_VERSION_STRING, SIMGRID_GIT_VERSION, SIMGRID_INSTALL_PREFIX);
248
249 #if SIMGRID_HAVE_MC
250   std::printf("   Model-checking support compiled in.\n");
251 #else
252   std::printf("   Model-checking support disabled at compilation.\n");
253 #endif
254
255 #if SIMGRID_HAVE_NS3
256   std::printf("   NS3 support compiled in.\n");
257 #else
258   std::printf("   NS3 support disabled at compilation.\n");
259 #endif
260
261 #if SIMGRID_HAVE_JEDULE
262   std::printf("   Jedule support compiled in.\n");
263 #else
264   std::printf("   Jedule support disabled at compilation.\n");
265 #endif
266
267 #if SIMGRID_HAVE_LUA
268   std::printf("   Lua support compiled in.\n");
269 #else
270   std::printf("   Lua support disabled at compilation.\n");
271 #endif
272
273 #if SIMGRID_HAVE_MALLOCATOR
274   std::printf("   Mallocator support compiled in.\n");
275 #else
276   std::printf("   Mallocator support disabled at compilation.\n");
277 #endif
278
279   std::printf("\nTo cite SimGrid in a publication, please use:\n"
280               "   Henri Casanova, Arnaud Giersch, Arnaud Legrand, Martin Quinson, Frédéric Suter. \n"
281               "   Versatile, Scalable, and Accurate Simulation of Distributed Applications and Platforms. \n"
282               "   Journal of Parallel and Distributed Computing, Elsevier, 2014, 74 (10), pp.2899-2917.\n");
283   std::printf("The pdf file and a BibTeX entry for LaTeX users can be found at http://hal.inria.fr/hal-01017319\n");
284 }
285
286 void surf_init(int *argc, char **argv)
287 {
288   if (USER_HOST_LEVEL != -1) // Already initialized
289     return;
290
291   XBT_DEBUG("Create all Libs");
292   USER_HOST_LEVEL = simgrid::s4u::Host::extension_create(nullptr);
293
294   xbt_init(argc, argv);
295   if (not all_existing_models)
296     all_existing_models = new std::vector<simgrid::kernel::resource::Model*>();
297   if (not future_evt_set)
298     future_evt_set = new simgrid::trace_mgr::future_evt_set();
299
300   sg_config_init(argc, argv);
301
302   if (MC_is_active())
303     MC_memory_init();
304 }
305
306 void surf_exit()
307 {
308   simgrid::s4u::Engine::shutdown();
309   sg_link_exit();
310   for (auto const& e : storage_types) {
311     simgrid::surf::StorageType* stype = e.second;
312     delete stype->properties;
313     delete stype->model_properties;
314     delete stype;
315   }
316
317   for (auto const& model : *all_existing_models)
318     delete model;
319   delete all_existing_models;
320
321   delete future_evt_set;
322   future_evt_set = nullptr;
323
324   tmgr_finalize();
325   sg_platf_exit();
326
327   NOW = 0;                      /* Just in case the user plans to restart the simulation afterward */
328 }