Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
More explain for log
[simgrid.git] / src / surf / surf_config.c
index 5656eb9..f73f501 100644 (file)
@@ -17,6 +17,49 @@ XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_config, surf,
 
 xbt_cfg_t _surf_cfg_set = NULL;
 
+static void LOG_help(void)
+{
+  printf("Description of the logging output:\n"
+"\n   Threshold configuration: --log=CATEGORY_NAME.thres:PRIORITY_LEVEL\n"
+"      CATEGORY_NAME: defined in code with function 'XBT_LOG_NEW_CATEGORY'\n"
+"      PRIORITY_LEVEL: the level to print (trace,debug,verbose,info,warning,error,critical)\n"
+"         -> trace: enter and return of some functions\n"
+"         -> debug: crufty output\n"
+"         -> verbose: verbose output for the user wanting more\n"
+"         -> info: output about the regular functionning\n"
+"         -> warning: minor issue encountered\n"
+"         -> error: issue encountered\n"
+"         -> critical: major issue encountered\n"
+"\n   Format configuration: --log=CATEGORY_NAME.fmt:OPTIONS\n"
+"     OPTIONS may be:\n"
+"         -> %%%%: the %% char\n"
+"         -> %%n: platform-dependent line separator (LOG4J compatible)\n"
+"         -> %%e: plain old space (SimGrid extension)\n"
+"\n"
+"         -> %%m: user-provided message\n"
+"\n"
+"         -> %%c: Category name (LOG4J compatible)\n"
+"         -> %%p: Priority name (LOG4J compatible)\n"
+"\n"
+"         -> %%h: Hostname (SimGrid extension)\n"
+"         -> %%P: Process name (SimGrid extension)\n"
+"         -> %%t: Thread \"name\" (LOG4J compatible -- actually the address of the thread in memory)\n"
+"         -> %%i: Process PID (SimGrid extension -- this is a 'i' as in 'i'dea)\n"
+"\n"
+"         -> %%F: file name where the log event was raised (LOG4J compatible)\n"
+"         -> %%l: location where the log event was raised (LOG4J compatible, like '%%F:%%L' -- this is a l as in 'l'etter)\n"
+"         -> %%L: line number where the log event was raised (LOG4J compatible)\n"
+"         -> %%M: function name (LOG4J compatible -- called method name here of course).\n"
+"                 Defined only when using gcc because there is no __FUNCTION__ elsewhere.\n"
+"\n"
+"         -> %%b: full backtrace (Called %%throwable in LOG4J). Defined only under windows or when using the GNU libc because\n"
+"                 backtrace() is not defined elsewhere, and we only have a fallback for windows boxes, not mac ones for example.\n"
+"         -> %%B: short backtrace (only the first line of the %%b). Called %%throwable{short} in LOG4J; defined where %%b is.\n"
+"\n"
+"         -> %%d: date (UNIX-like epoch)\n"
+"         -> %%r: application age (time elapsed since the beginning of the application)\n");
+}
+
 /* Parse the command line, looking for options */
 static void surf_config_cmd_line(int *argc, char **argv)
 {
@@ -41,16 +84,22 @@ static void surf_config_cmd_line(int *argc, char **argv)
 #ifdef HAVE_TRACING
       printf("\nYou can also use --help-tracing to see the details of all tracing options known by this simulator.\n");
 #endif
+      printf("\nYou can also use --help-logs to see the details of logging output.\n\n");
       exit(0);
     } else if (!strncmp(argv[i], "--help-models", strlen("--help-models") + 1)) {
       model_help("workstation", surf_workstation_model_description);
+      printf("\n");
       model_help("CPU", surf_cpu_model_description);
+      printf("\n");
       model_help("network", surf_network_model_description);
       printf("\nLong description of all optimization levels accepted by the models of this simulator:\n");
       for (i = 0; surf_optimization_mode_description[i].name; i++)
         printf("  %s: %s\n", surf_optimization_mode_description[i].name, surf_optimization_mode_description[i].description);
       printf("Both network and CPU models have 'Lazy' as default optimization level\n");
       exit(0);
+    } else if (!strncmp(argv[i], "--help-logs", strlen("--help-logs") + 1)) {
+      LOG_help ();
+      exit(0);
 #ifdef HAVE_TRACING
     } else if (!strncmp(argv[i], "--help-tracing", strlen("--help-tracing") + 1)) {
       TRACE_help (1);
@@ -131,6 +180,25 @@ static void _surf_cfg_cb__optimization_mode(const char *name, int pos)
   find_model_description(surf_optimization_mode_description, val);
 }
 
+/* callback of the cpu/model variable */
+static void _surf_cfg_cb__storage_mode(const char *name, int pos)
+{
+  char *val;
+
+  xbt_assert(_surf_init_status < 2,
+              "Cannot change the model after the initialization");
+
+  val = xbt_cfg_get_string(_surf_cfg_set, name);
+
+  if (!strcmp(val, "help")) {
+    model_help("storage", surf_storage_model_description);
+    exit(0);
+  }
+
+  /* New Module missing */
+  find_model_description(surf_storage_model_description, val);
+}
+
 /* callback of the workstation_model variable */
 static void _surf_cfg_cb__network_model(const char *name, int pos)
 {
@@ -245,11 +313,16 @@ static void _surf_cfg_cb_contexts_parallel_mode(const char *name, int pos)
     SIMIX_context_set_parallel_mode(XBT_PARMAP_BUSY_WAIT);
   }
   else {
-    XBT_WARN("Command line setting of the parallel synchronization mode should "
+    xbt_die("Command line setting of the parallel synchronization mode should "
         "be one of \"posix\", \"futex\" or \"busy_wait\"");
   }
 }
 
+static void _surf_cfg_cb_surf_nthreads(const char *name, int pos)
+{
+  surf_set_nthreads(xbt_cfg_get_int(_surf_cfg_set, name));
+}
+
 static void _surf_cfg_cb__surf_network_coordinates(const char *name,
                                                    int pos)
 {
@@ -261,9 +334,9 @@ static void _surf_cfg_cb__surf_network_coordinates(const char *name,
     }
   } else if (!strcmp(val, "no")) {
     if (COORD_HOST_LEVEL)
-      XBT_WARN("Setting of whether to use coordinate cannot be disabled once set.");
+      xbt_die("Setting of whether to use coordinate cannot be disabled once set.");
   } else {
-    XBT_WARN("Command line setting of whether to use coordinates must be either \"yes\" or \"no\"");
+    xbt_die("Command line setting of whether to use coordinates must be either \"yes\" or \"no\"");
   }
 }
 
@@ -308,8 +381,7 @@ void surf_config_init(int *argc, char **argv)
     sprintf(p,
             ".\n       (use 'help' as a value to see the long description of each model)");
     default_value = xbt_strdup("Cas01");
-    xbt_cfg_register(&_surf_cfg_set,
-                     "cpu/model", description, xbt_cfgelm_string,
+    xbt_cfg_register(&_surf_cfg_set, "cpu/model", description, xbt_cfgelm_string,
                      &default_value, 1, 1, &_surf_cfg_cb__cpu_model, NULL);
 
     sprintf(description,
@@ -322,10 +394,23 @@ void surf_config_init(int *argc, char **argv)
     sprintf(p,
             ".\n       (use 'help' as a value to see the long description of each optimization mode)");
     default_value = xbt_strdup("Lazy");
-    xbt_cfg_register(&_surf_cfg_set,
-                     "cpu/optim", description, xbt_cfgelm_string,
+    xbt_cfg_register(&_surf_cfg_set, "cpu/optim", description, xbt_cfgelm_string,
                      &default_value, 1, 1, &_surf_cfg_cb__optimization_mode, NULL);
 
+    sprintf(description,
+            "The model to use for the storage. Possible values: ");
+    p = description;
+    while (*(++p) != '\0');
+    for (i = 0; surf_storage_model_description[i].name; i++)
+      p += sprintf(p, "%s%s", (i == 0 ? "" : ", "),
+                   surf_storage_model_description[i].name);
+    sprintf(p,
+            ".\n       (use 'help' as a value to see the long description of each model)");
+    default_value = xbt_strdup("default");
+    xbt_cfg_register(&_surf_cfg_set, "storage/model", description, xbt_cfgelm_string,
+                     &default_value, 1, 1, &_surf_cfg_cb__storage_mode,
+                     NULL);
+
     sprintf(description,
             "The model to use for the network. Possible values: ");
     p = description;
@@ -336,8 +421,7 @@ void surf_config_init(int *argc, char **argv)
     sprintf(p,
             ".\n       (use 'help' as a value to see the long description of each model)");
     default_value = xbt_strdup("LV08");
-    xbt_cfg_register(&_surf_cfg_set,
-                     "network/model", description, xbt_cfgelm_string,
+    xbt_cfg_register(&_surf_cfg_set, "network/model", description, xbt_cfgelm_string,
                      &default_value, 1, 1, &_surf_cfg_cb__network_model,
                      NULL);
 
@@ -351,8 +435,7 @@ void surf_config_init(int *argc, char **argv)
     sprintf(p,
             ".\n       (use 'help' as a value to see the long description of each optimization mode)");
     default_value = xbt_strdup("Lazy");
-    xbt_cfg_register(&_surf_cfg_set,
-                     "network/optim", description, xbt_cfgelm_string,
+    xbt_cfg_register(&_surf_cfg_set, "network/optim", description, xbt_cfgelm_string,
                      &default_value, 1, 1, &_surf_cfg_cb__optimization_mode, NULL);
 
     sprintf(description,
@@ -364,27 +447,21 @@ void surf_config_init(int *argc, char **argv)
                    surf_workstation_model_description[i].name);
     sprintf(p,
             ".\n       (use 'help' as a value to see the long description of each model)");
-    default_value = xbt_strdup("current_default");
-    xbt_cfg_register(&_surf_cfg_set,
-                     "workstation/model", description, xbt_cfgelm_string,
+    default_value = xbt_strdup("default");
+    xbt_cfg_register(&_surf_cfg_set, "workstation/model", description, xbt_cfgelm_string,
                      &default_value, 1, 1,
                      &_surf_cfg_cb__workstation_model, NULL);
 
     xbt_free(description);
 
-    default_value = xbt_strdup("Full");
-    xbt_cfg_register(&_surf_cfg_set, "routing",
-                     "Model to use to store the routing information",
-                     xbt_cfgelm_string, &default_value, 1, 1, NULL, NULL);
-
-    xbt_cfg_register(&_surf_cfg_set, "TCP_gamma",
+    xbt_cfg_register(&_surf_cfg_set, "network/TCP_gamma",
                      "Size of the biggest TCP window (cat /proc/sys/net/ipv4/tcp_[rw]mem for recv/send window; Use the last given value, which is the max window size)",
                      xbt_cfgelm_double, NULL, 1, 1,
                      _surf_cfg_cb__tcp_gamma, NULL);
-    xbt_cfg_setdefault_double(_surf_cfg_set, "TCP_gamma", 20000.0);
+    xbt_cfg_setdefault_double(_surf_cfg_set, "network/TCP_gamma", 20000.0);
 
     xbt_cfg_register(&_surf_cfg_set, "maxmin/precision",
-                     "Minimum retained action value when updating simulation",
+                     "Numerical precision used when updating simulation models (epsilon in double comparisons)",
                      xbt_cfgelm_double, NULL, 1, 1, _surf_cfg_cb__maxmin_precision, NULL);
     xbt_cfg_setdefault_double(_surf_cfg_set, "maxmin/precision", 0.00001); // FIXME use setdefault everywhere here!
 
@@ -443,7 +520,7 @@ void surf_config_init(int *argc, char **argv)
        xbt_cfg_set_int(_surf_cfg_set, "model-check", default_value_int); */
 
     /* do verbose-exit */
-    default_value_int = 0;
+    default_value_int = 1;
     xbt_cfg_register(&_surf_cfg_set, "verbose-exit",
                      "Activate the \"do nothing\" mode in Ctrl-C",
                      xbt_cfgelm_int, &default_value_int, 0, 1,
@@ -459,37 +536,48 @@ void surf_config_init(int *argc, char **argv)
     /* stack size of contexts in Ko */
     default_value_int = 128;
     xbt_cfg_register(&_surf_cfg_set, "contexts/stack_size",
-                     "Stack size of contexts in Ko (ucontext or raw only)",
+                     "Stack size of contexts in Kib (ucontext or raw only)",
                      xbt_cfgelm_int, &default_value_int, 1, 1,
                      _surf_cfg_cb_context_stack_size, NULL);
 
     /* number of parallel threads for user processes */
     default_value_int = 1;
     xbt_cfg_register(&_surf_cfg_set, "contexts/nthreads",
-                     "Number of parallel threads for user contexts (EXPERIMENTAL)",
+                     "Number of parallel threads used to execute user contexts",
                      xbt_cfgelm_int, &default_value_int, 1, 1,
                      _surf_cfg_cb_contexts_nthreads, NULL);
 
     /* minimal number of user contexts to be run in parallel */
-    default_value_int = 1;
+    default_value_int = 2;
     xbt_cfg_register(&_surf_cfg_set, "contexts/parallel_threshold",
         "Minimal number of user contexts to be run in parallel (raw contexts only)",
         xbt_cfgelm_int, &default_value_int, 1, 1,
         _surf_cfg_cb_contexts_parallel_threshold, NULL);
 
-    /* minimal number of user contexts to be run in parallel */
+    /* synchronization mode for parallel user contexts */
+#ifdef HAVE_FUTEX_H
     default_value = xbt_strdup("futex");
-    xbt_cfg_register(&_surf_cfg_set, "contexts/parallel_mode",
-        "Synchronization mode to use when running contexts in parallel",
+#else //No futex on mac and posix is unimplememted yet
+    default_value = xbt_strdup("busy_wait");
+#endif
+    xbt_cfg_register(&_surf_cfg_set, "contexts/synchro",
+        "Synchronization mode to use when running contexts in parallel (either futex, posix or busy_wait)",
         xbt_cfgelm_string, &default_value, 1, 1,
         _surf_cfg_cb_contexts_parallel_mode, NULL);
 
+    /* number of parallel threads for Surf */
+    default_value_int = surf_get_nthreads();
+    xbt_cfg_register(&_surf_cfg_set, "surf/nthreads",
+                     "Number of parallel threads used to update Surf models",
+                     xbt_cfgelm_int, &default_value_int, 1, 1,
+                     _surf_cfg_cb_surf_nthreads, NULL);
+
     default_value = xbt_strdup("no");
-    xbt_cfg_register(&_surf_cfg_set, "coordinates",
-                     "\"yes\" or \"no\" (FIXME: document)",
+    xbt_cfg_register(&_surf_cfg_set, "network/coordinates",
+                     "\"yes\" or \"no\", specifying whether we use a coordinate-based routing (as Vivaldi)",
                      xbt_cfgelm_string, &default_value, 1, 1,
                      _surf_cfg_cb__surf_network_coordinates, NULL);
-    xbt_cfg_setdefault_string(_surf_cfg_set, "coordinates", default_value);
+    xbt_cfg_setdefault_string(_surf_cfg_set, "network/coordinates", default_value);
 
     default_value_int = 0;
     xbt_cfg_register(&_surf_cfg_set, "network/crosstraffic",
@@ -499,14 +587,14 @@ void surf_config_init(int *argc, char **argv)
     xbt_cfg_setdefault_int(_surf_cfg_set, "network/crosstraffic", default_value_int);
 
 #ifdef HAVE_GTNETS
-    xbt_cfg_register(&_surf_cfg_set, "gtnets_jitter",
+    xbt_cfg_register(&_surf_cfg_set, "gtnets/jitter",
                      "Double value to oscillate the link latency, uniformly in random interval [-latency*gtnets_jitter,latency*gtnets_jitter)",
                      xbt_cfgelm_double, NULL, 1, 1,
                      _surf_cfg_cb__gtnets_jitter, NULL);
-    xbt_cfg_setdefault_double(_surf_cfg_set, "gtnets_jitter", 0.0);
+    xbt_cfg_setdefault_double(_surf_cfg_set, "gtnets/jitter", 0.0);
 
     default_value_int = 10;
-    xbt_cfg_register(&_surf_cfg_set, "gtnets_jitter_seed",
+    xbt_cfg_register(&_surf_cfg_set, "gtnets/jitter_seed",
                      "Use a positive seed to reproduce jitted results, value must be in [1,1e8], default is 10",
                      xbt_cfgelm_int, &default_value_int, 0, 1,
                      _surf_cfg_cb__gtnets_jitter_seed, NULL);
@@ -518,6 +606,45 @@ void surf_config_init(int *argc, char **argv)
                      NULL, NULL);
     xbt_cfg_setdefault_string(_surf_cfg_set, "ns3/TcpModel", "default");
 #endif
+
+//SMPI
+    double default_reference_speed = 20000.0;
+    xbt_cfg_register(&_surf_cfg_set, "smpi/running_power",
+                     "Power of the host running the simulation (in flop/s). Used to bench the operations.",
+                     xbt_cfgelm_double, &default_reference_speed, 1, 1, NULL,
+                     NULL);
+
+    int default_display_timing = 0;
+    xbt_cfg_register(&_surf_cfg_set, "smpi/display_timing",
+                     "Boolean indicating whether we should display the timing after simulation.",
+                     xbt_cfgelm_int, &default_display_timing, 1, 1, NULL,
+                     NULL);
+
+    double default_threshold = 1e-6;
+    xbt_cfg_register(&_surf_cfg_set, "smpi/cpu_threshold",
+                     "Minimal computation time (in seconds) not discarded.",
+                     xbt_cfgelm_double, &default_threshold, 1, 1, NULL,
+                     NULL);
+
+    //For smpi/bw_factor and smpi/lat_factor
+    //Default value have to be "threshold0:value0;threshold1:value1;...;thresholdN:valueN"
+    //test is if( size >= thresholdN ) return valueN;
+    //Values can be modified with command line --cfg=smpi/bw_factor:"threshold0:value0;threshold1:value1;...;thresholdN:valueN"
+    // or with tag config put line <prop id="smpi/bw_factor" value="threshold0:value0;threshold1:value1;...;thresholdN:valueN"></prop>
+    xbt_cfg_register(&_surf_cfg_set, "smpi/bw_factor",
+                     "Bandwidth factors for smpi.",
+                     xbt_cfgelm_string, NULL, 1, 1, NULL,
+                     NULL);
+    xbt_cfg_setdefault_string(_surf_cfg_set, "smpi/bw_factor", "65472:0.940694;15424:0.697866;9376:0.58729;5776:1.08739;3484:0.77493;1426:0.608902;732:0.341987;257:0.338112;0:0.812084");
+
+    xbt_cfg_register(&_surf_cfg_set, "smpi/lat_factor",
+                     "Latency factors for smpi.",
+                     xbt_cfgelm_string, NULL, 1, 1, NULL,
+                     NULL);
+    xbt_cfg_setdefault_string(_surf_cfg_set, "smpi/lat_factor", "65472:11.6436;15424:3.48845;9376:2.59299;5776:2.18796;3484:1.88101;1426:1.61075;732:1.9503;257:1.95341;0:2.01467");
+//END SMPI
+
+
     if (!surf_path) {
       /* retrieves the current directory of the        current process */
       const char *initial_path = __surf_get_initial_path();
@@ -551,11 +678,14 @@ void surf_config_models_setup()
   int workstation_id = -1;
   char *network_model_name = NULL;
   char *cpu_model_name = NULL;
+  int storage_id = -1;
+  char *storage_model_name = NULL;
 
   workstation_model_name =
       xbt_cfg_get_string(_surf_cfg_set, "workstation/model");
   network_model_name = xbt_cfg_get_string(_surf_cfg_set, "network/model");
   cpu_model_name = xbt_cfg_get_string(_surf_cfg_set, "cpu/model");
+  storage_model_name = xbt_cfg_get_string(_surf_cfg_set, "storage/model");
 
   /* Check whether we use a net/cpu model differing from the default ones, in which case
    * we should switch to the "compound" workstation model to correctly dispatch stuff to
@@ -599,4 +729,8 @@ void surf_config_models_setup()
 
   XBT_DEBUG("Call workstation_model_init");
   surf_workstation_model_description[workstation_id].model_init_preparse();
+
+  XBT_DEBUG("Call storage_model_init");
+  storage_id = find_model_description(surf_storage_model_description, storage_model_name);
+  surf_storage_model_description[storage_id].model_init_preparse();
 }