Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
give the application a chance to not enter the deadlocks
[simgrid.git] / src / simix / smx_global.cpp
index e242207..9d33439 100644 (file)
@@ -5,11 +5,16 @@
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include <functional>
+#include <memory>
 
 #include <signal.h> /* Signal handling */
 #include <stdlib.h>
 #include "src/internal_config.h"
 
+#include <xbt/functional.hpp>
+
+#include <simgrid/s4u/host.hpp>
+
 #include "src/surf/surf_interface.hpp"
 #include "src/surf/storage_interface.hpp"
 #include "src/surf/xml/platf.hpp"
 #include "src/mc/mc_replay.h"
 #include "simgrid/sg_config.h"
 
-#include "src/simix/SynchroExec.hpp"
-#include "src/simix/SynchroComm.hpp"
-#include "src/simix/SynchroSleep.hpp"
-#include "src/simix/SynchroIo.hpp"
-#include "src/simix/SynchroRaw.hpp"
+#include "src/kernel/activity/SynchroExec.hpp"
+#include "src/kernel/activity/SynchroComm.hpp"
+#include "src/kernel/activity/SynchroSleep.hpp"
+#include "src/kernel/activity/SynchroIo.hpp"
+#include "src/kernel/activity/SynchroRaw.hpp"
 
 #if HAVE_MC
 #include "src/mc/mc_private.h"
 XBT_LOG_NEW_CATEGORY(simix, "All SIMIX categories");
 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(simix_kernel, simix, "Logging specific to SIMIX (kernel)");
 
-smx_global_t simix_global = nullptr;
+std::unique_ptr<simgrid::simix::Global> simix_global;
 static xbt_heap_t simix_timers = nullptr;
 
 /** @brief Timer datatype */
 typedef struct s_smx_timer {
   double date = 0.0;
-  std::function<void()> callback;
+  simgrid::xbt::Task<void()> callback;
 
-  s_smx_timer() {}
-  s_smx_timer(double date, std::function<void()> callback)
-    : date(date), callback(std::move(callback)) {}
+  s_smx_timer()=default;
+  s_smx_timer(double date, simgrid::xbt::Task<void()> callback) : date(date), callback(std::move(callback)) {}
 } s_smx_timer_t;
 
 void (*SMPI_switch_data_segment)(int) = nullptr;
@@ -86,8 +90,7 @@ static void segvhandler(int signum, siginfo_t *siginfo, void *context)
             "Try to increase stack size with --cfg=contexts/stack_size (current size is %d KiB).\n",
             smx_context_stack_size / 1024);
     if (XBT_LOG_ISENABLED(simix_kernel, xbt_log_priority_debug)) {
-      fprintf(stderr,
-              "siginfo = {si_signo = %d, si_errno = %d, si_code = %d, si_addr = %p}\n",
+      fprintf(stderr, "siginfo = {si_signo = %d, si_errno = %d, si_code = %d, si_addr = %p}\n",
               siginfo->si_signo, siginfo->si_errno, siginfo->si_code, siginfo->si_addr);
     }
   } else  if (siginfo->si_signo == SIGSEGV) {
@@ -95,11 +98,9 @@ static void segvhandler(int signum, siginfo_t *siginfo, void *context)
 #if HAVE_SMPI
     if (smpi_enabled() && !smpi_privatize_global_variables) {
 #if HAVE_PRIVATIZATION
-      fprintf(stderr,
-        "Try to enable SMPI variable privatization with --cfg=smpi/privatize-global-variables:yes.\n");
+      fprintf(stderr, "Try to enable SMPI variable privatization with --cfg=smpi/privatize-global-variables:yes.\n");
 #else
-      fprintf(stderr,
-        "Sadly, your system does not support --cfg=smpi/privatize-global-variables:yes (yet).\n");
+      fprintf(stderr, "Sadly, your system does not support --cfg=smpi/privatize-global-variables:yes (yet).\n");
 #endif /* HAVE_PRIVATIZATION */
     }
 #endif /* HAVE_SMPI */
@@ -113,7 +114,7 @@ char sigsegv_stack[SIGSTKSZ];   /* alternate stack for SIGSEGV handler */
  * Install signal handler for SIGSEGV.  Check that nobody has already installed
  * its own handler.  For example, the Java VM does this.
  */
-static void install_segvhandler(void)
+static void install_segvhandler()
 {
   stack_t stack, old_stack;
   stack.ss_sp = sigsegv_stack;
@@ -141,8 +142,7 @@ static void install_segvhandler(void)
   }
   if ((old_action.sa_flags & SA_SIGINFO) || old_action.sa_handler != SIG_DFL) {
     XBT_DEBUG("A signal handler was already installed for SIGSEGV (%p). Restore it.",
-             (old_action.sa_flags & SA_SIGINFO) ?
-             (void*)old_action.sa_sigaction : (void*)old_action.sa_handler);
+             (old_action.sa_flags & SA_SIGINFO) ? (void*)old_action.sa_sigaction : (void*)old_action.sa_handler);
     sigaction(SIGSEGV, &old_action, nullptr);
   }
 }
@@ -150,12 +150,12 @@ static void install_segvhandler(void)
 #endif /* _WIN32 */
 
 /********************************* SIMIX **************************************/
-double SIMIX_timer_next(void)
+double SIMIX_timer_next()
 {
   return xbt_heap_size(simix_timers) > 0 ? xbt_heap_maxkey(simix_timers) : -1.0;
 }
 
-static void kill_process(smx_process_t process)
+static void kill_process(smx_actor_t process)
 {
   SIMIX_process_kill(process, nullptr);
 }
@@ -165,6 +165,8 @@ static std::function<void()> maestro_code;
 namespace simgrid {
 namespace simix {
 
+simgrid::xbt::signal<void(void)> onDeadlock;
+
 XBT_PUBLIC(void) set_maestro(std::function<void()> code)
 {
   maestro_code = std::move(code);
@@ -194,17 +196,14 @@ void SIMIX_global_init(int *argc, char **argv)
 #endif
 
   if (!simix_global) {
-    simix_global = xbt_new0(s_smx_global_t, 1);
+    simix_global = std::unique_ptr<simgrid::simix::Global>(new simgrid::simix::Global());
 
-    simgrid::simix::Process proc;
-    simix_global->process_to_run = xbt_dynar_new(sizeof(smx_process_t), nullptr);
-    simix_global->process_that_ran = xbt_dynar_new(sizeof(smx_process_t), nullptr);
+    simgrid::simix::ActorImpl proc;
+    simix_global->process_to_run = xbt_dynar_new(sizeof(smx_actor_t), nullptr);
+    simix_global->process_that_ran = xbt_dynar_new(sizeof(smx_actor_t), nullptr);
     simix_global->process_list = xbt_swag_new(xbt_swag_offset(proc, process_hookup));
     simix_global->process_to_destroy = xbt_swag_new(xbt_swag_offset(proc, destroy_hookup));
-
     simix_global->maestro_process = nullptr;
-    simix_global->registered_functions = xbt_dict_new_homogeneous(nullptr);
-
     simix_global->create_process_function = &SIMIX_process_create;
     simix_global->kill_process_function = &kill_process;
     simix_global->cleanup_process_function = &SIMIX_process_cleanup;
@@ -261,12 +260,25 @@ int smx_cleaned = 0;
  *
  * This functions remove the memory used by SIMIX
  */
-void SIMIX_clean(void)
+void SIMIX_clean()
 {
-  if (smx_cleaned) return; // to avoid double cleaning by java and C
+  if (smx_cleaned)
+    return; // to avoid double cleaning by java and C
+
+#if HAVE_SMPI
+  if (SIMIX_process_count()>0){
+    if(smpi_process_initialized()){
+      xbt_die("Process exited without calling MPI_Finalize - Killing simulation");
+    }else{
+      XBT_WARN("Process called exit when leaving - Skipping cleanups");
+      return;
+    }
+  }
+#endif
+
   smx_cleaned = 1;
   XBT_DEBUG("SIMIX_clean called. Simulation's over.");
-  if (!xbt_dynar_is_empty(simix_global->process_to_run) && SIMIX_get_clock() == 0.0) {
+  if (!xbt_dynar_is_empty(simix_global->process_to_run) && SIMIX_get_clock() <= 0.0) {
     XBT_CRITICAL("   ");
     XBT_CRITICAL("The time is still 0, and you still have processes ready to run.");
     XBT_CRITICAL("It seems that you forgot to run the simulation that you setup.");
@@ -287,7 +299,6 @@ void SIMIX_clean(void)
   xbt_swag_free(simix_global->process_list);
   simix_global->process_list = nullptr;
   simix_global->process_to_destroy = nullptr;
-  xbt_dict_free(&(simix_global->registered_functions));
 
   xbt_os_mutex_destroy(simix_global->mutex);
   simix_global->mutex = nullptr;
@@ -303,9 +314,7 @@ void SIMIX_clean(void)
 
   surf_exit();
 
-  xbt_free(simix_global);
   simix_global = nullptr;
-
   return;
 }
 
@@ -316,7 +325,7 @@ void SIMIX_clean(void)
  *
  * \return Return the clock.
  */
-double SIMIX_get_clock(void)
+double SIMIX_get_clock()
 {
   if(MC_is_active() || MC_record_replay_is_active()){
     return MC_process_clock_get(SIMIX_process_self());
@@ -327,7 +336,7 @@ double SIMIX_get_clock(void)
 
 static int process_syscall_color(void *p)
 {
-  switch ((*(smx_process_t *)p)->simcall.call) {
+  switch ((*(smx_actor_t *)p)->simcall.call) {
   case SIMCALL_NONE:
   case SIMCALL_PROCESS_KILL:
     return 2;
@@ -338,11 +347,79 @@ static int process_syscall_color(void *p)
   }
 }
 
+/** Wake up all processes waiting for a Surf action to finish */
+static void SIMIX_wake_processes()
+{
+  surf_action_t action;
+
+  for(auto model : *all_existing_models) {
+    XBT_DEBUG("Handling the processes whose action failed (if any)");
+    while ((action = surf_model_extract_failed_action_set(model))) {
+      XBT_DEBUG("   Handling Action %p",action);
+      SIMIX_simcall_exit((smx_activity_t) action->getData());
+    }
+    XBT_DEBUG("Handling the processes whose action terminated normally (if any)");
+    while ((action = surf_model_extract_done_action_set(model))) {
+      XBT_DEBUG("   Handling Action %p",action);
+      if (action->getData() == nullptr)
+        XBT_DEBUG("probably vcpu's action %p, skip", action);
+      else
+        SIMIX_simcall_exit((smx_activity_t) action->getData());
+    }
+  }
+}
+
+/** Handle any pending timer */
+static bool SIMIX_execute_timers()
+{
+  bool result = false;
+  while (xbt_heap_size(simix_timers) > 0 && SIMIX_get_clock() >= SIMIX_timer_next()) {
+    result = true;
+     //FIXME: make the timers being real callbacks
+     // (i.e. provide dispatchers that read and expand the args)
+     smx_timer_t timer = (smx_timer_t) xbt_heap_pop(simix_timers);
+     try {
+       timer->callback();
+     }
+     catch(...) {
+       xbt_die("Exception throwed ouf of timer callback");
+     }
+     delete timer;
+  }
+  return result;
+}
+
+/** Execute all the tasks that are queued
+ *
+ *  e.g. `.then()` callbacks of futures.
+ **/
+static bool SIMIX_execute_tasks()
+{
+  xbt_assert(simix_global->tasksTemp.empty());
+
+  if (simix_global->tasks.empty())
+    return false;
+
+  using std::swap;
+  do {
+    // We don't want the callbacks to modify the vector we are iterating over:
+    swap(simix_global->tasks, simix_global->tasksTemp);
+
+    // Execute all the queued tasks:
+    for (auto& task : simix_global->tasksTemp)
+      task();
+
+    simix_global->tasksTemp.clear();
+  } while (!simix_global->tasks.empty());
+
+  return true;
+}
+
 /**
  * \ingroup SIMIX_API
  * \brief Run the main simulation loop.
  */
-void SIMIX_run(void)
+void SIMIX_run()
 {
   if (MC_record_path) {
     simgrid::mc::replay(MC_record_path);
@@ -350,18 +427,15 @@ void SIMIX_run(void)
   }
 
   double time = 0;
-  smx_process_t process;
-  surf_action_t action;
-  smx_timer_t timer;
-  surf_model_t model;
-  unsigned int iter;
+  smx_actor_t process;
 
   do {
-    XBT_DEBUG("New Schedule Round; size(queue)=%lu",
-        xbt_dynar_length(simix_global->process_to_run));
+    XBT_DEBUG("New Schedule Round; size(queue)=%lu", xbt_dynar_length(simix_global->process_to_run));
+
+    SIMIX_execute_tasks();
+
     while (!xbt_dynar_is_empty(simix_global->process_to_run)) {
-      XBT_DEBUG("New Sub-Schedule Round; size(queue)=%lu",
-              xbt_dynar_length(simix_global->process_to_run));
+      XBT_DEBUG("New Sub-Schedule Round; size(queue)=%lu", xbt_dynar_length(simix_global->process_to_run));
 
       /* Run all processes that are ready to run, possibly in parallel */
       SIMIX_process_runall();
@@ -424,91 +498,61 @@ void SIMIX_run(void)
        *   That would thus be a pure waste of time.
        */
 
+      unsigned int iter;
       xbt_dynar_foreach(simix_global->process_that_ran, iter, process) {
         if (process->simcall.call != SIMCALL_NONE) {
           SIMIX_simcall_handle(&process->simcall, 0);
         }
       }
-      /* Wake up all processes waiting for a Surf action to finish */
-      xbt_dynar_foreach(all_existing_models, iter, model) {
-        XBT_DEBUG("Handling process whose action failed");
-        while ((action = surf_model_extract_failed_action_set(model))) {
-          XBT_DEBUG("   Handling Action %p",action);
-          SIMIX_simcall_exit((smx_synchro_t) action->getData());
-        }
-        XBT_DEBUG("Handling process whose action terminated normally");
-        while ((action = surf_model_extract_done_action_set(model))) {
-          XBT_DEBUG("   Handling Action %p",action);
-          if (action->getData() == nullptr)
-            XBT_DEBUG("probably vcpu's action %p, skip", action);
-          else
-            SIMIX_simcall_exit((smx_synchro_t) action->getData());
-        }
-      }
+
+      SIMIX_execute_tasks();
+      do {
+        SIMIX_wake_processes();
+      } while (SIMIX_execute_tasks());
+
     }
 
     time = SIMIX_timer_next();
-    if (time != -1.0 || xbt_swag_size(simix_global->process_list) != 0) {
+    if (time > -1.0 || xbt_swag_size(simix_global->process_list) != 0) {
       XBT_DEBUG("Calling surf_solve");
       time = surf_solve(time);
       XBT_DEBUG("Moving time ahead : %g", time);
     }
+
     /* Notify all the hosts that have failed */
     /* FIXME: iterate through the list of failed host and mark each of them */
     /* as failed. On each host, signal all the running processes with host_fail */
 
-    /* Handle any pending timer */
-    while (xbt_heap_size(simix_timers) > 0 && SIMIX_get_clock() >= SIMIX_timer_next()) {
-       //FIXME: make the timers being real callbacks
-       // (i.e. provide dispatchers that read and expand the args)
-       timer = (smx_timer_t) xbt_heap_pop(simix_timers);
-       if (timer->callback) {
-         try {
-           timer->callback();
-         }
-         catch(...) {
-           xbt_die("Exception throwed ouf of timer callback");
-         }
-       }
-       delete timer;
-    }
-
-    /* Wake up all processes waiting for a Surf action to finish */
-    xbt_dynar_foreach(all_existing_models, iter, model) {
-      XBT_DEBUG("Handling process whose action failed");
-      while ((action = surf_model_extract_failed_action_set(model))) {
-        XBT_DEBUG("   Handling Action %p",action);
-        SIMIX_simcall_exit((smx_synchro_t) action->getData());
-      }
-      XBT_DEBUG("Handling process whose action terminated normally");
-      while ((action = surf_model_extract_done_action_set(model))) {
-        XBT_DEBUG("   Handling Action %p",action);
-        if (action->getData() == nullptr)
-          XBT_DEBUG("probably vcpu's action %p, skip", action);
-        else
-          SIMIX_simcall_exit((smx_synchro_t) action->getData());
-      }
-    }
+    // Execute timers and tasks until there isn't anything to be done:
+    bool again = false;
+    do {
+      again = SIMIX_execute_timers();
+      if (SIMIX_execute_tasks())
+        again = true;
+      SIMIX_wake_processes();
+    } while (again);
 
     /* Autorestart all process */
-    char *hostname = nullptr;
-    xbt_dynar_foreach(host_that_restart,iter,hostname) {
-      XBT_INFO("Restart processes on host: %s",hostname);
-      SIMIX_host_autorestart(sg_host_by_name(hostname));
+    for (auto host: host_that_restart) {
+      XBT_INFO("Restart processes on host: %s", sg_host_get_name(host));
+      SIMIX_host_autorestart(host);
     }
-    xbt_dynar_reset(host_that_restart);
+    host_that_restart.clear();
 
     /* Clean processes to destroy */
     SIMIX_process_empty_trash();
 
-
     XBT_DEBUG("### time %f, empty %d", time, xbt_dynar_is_empty(simix_global->process_to_run));
 
-  } while (time != -1.0 || !xbt_dynar_is_empty(simix_global->process_to_run));
+    if (xbt_dynar_is_empty(simix_global->process_to_run) &&
+        xbt_swag_size(simix_global->process_list) != 0)
+    simgrid::simix::onDeadlock();
+
+  } while (time > -1.0 || !xbt_dynar_is_empty(simix_global->process_to_run));
 
   if (xbt_swag_size(simix_global->process_list) != 0) {
 
-  TRACE_end();
+    TRACE_end();
 
     XBT_CRITICAL("Oops ! Deadlock or code not perfectly clean.");
     SIMIX_display_process_status();
@@ -525,14 +569,14 @@ void SIMIX_run(void)
  *   \param arg Parameters of the function
  *
  */
-smx_timer_t SIMIX_timer_set(double date, void (*function)(void*), void *arg)
+smx_timer_t SIMIX_timer_set(double date, void (*callback)(void*), void *arg)
 {
-  smx_timer_t timer = new s_smx_timer_t(date, std::bind(function, arg));
+  smx_timer_t timer = new s_smx_timer_t(date, [=](){ callback(arg); });
   xbt_heap_push(simix_timers, timer, date);
   return timer;
 }
 
-smx_timer_t SIMIX_timer_set(double date, std::function<void()> callback)
+smx_timer_t SIMIX_timer_set(double date, simgrid::xbt::Task<void()> callback)
 {
   smx_timer_t timer = new s_smx_timer_t(date, std::move(callback));
   xbt_heap_push(simix_timers, timer, date);
@@ -565,13 +609,12 @@ void SIMIX_function_register_process_create(smx_creation_func_t function)
 /**
  * \brief Registers a function to kill a process.
  *
- * This function registers a function to be called when a
- * process is killed. The function has to call the SIMIX_process_kill().
+ * This function registers a function to be called when a process is killed. The function has to call the
+ * SIMIX_process_kill().
  *
  * \param function Kill process function
  */
-void SIMIX_function_register_process_kill(void_pfn_smxprocess_t
-                                                     function)
+void SIMIX_function_register_process_kill(void_pfn_smxprocess_t function)
 {
   simix_global->kill_process_function = function;
 }
@@ -579,50 +622,47 @@ void SIMIX_function_register_process_kill(void_pfn_smxprocess_t
 /**
  * \brief Registers a function to cleanup a process.
  *
- * This function registers a user function to be called when
- * a process ends properly.
+ * This function registers a user function to be called when a process ends properly.
  *
  * \param function cleanup process function
  */
-void SIMIX_function_register_process_cleanup(void_pfn_smxprocess_t
-                                                        function)
+void SIMIX_function_register_process_cleanup(void_pfn_smxprocess_t function)
 {
   simix_global->cleanup_process_function = function;
 }
 
 
-void SIMIX_display_process_status(void)
+void SIMIX_display_process_status()
 {
   if (simix_global->process_list == nullptr) {
     return;
   }
 
-  smx_process_t process = nullptr;
+  smx_actor_t process = nullptr;
   int nbprocess = xbt_swag_size(simix_global->process_list);
 
   XBT_INFO("%d processes are still running, waiting for something.", nbprocess);
   /*  List the process and their state */
-  XBT_INFO
-    ("Legend of the following listing: \"Process <pid> (<name>@<host>): <status>\"");
+  XBT_INFO("Legend of the following listing: \"Process <pid> (<name>@<host>): <status>\"");
   xbt_swag_foreach(process, simix_global->process_list) {
 
     if (process->waiting_synchro) {
 
       const char* synchro_description = "unknown";
 
-      if (dynamic_cast<simgrid::simix::Exec*>(process->waiting_synchro) != nullptr)
+      if (dynamic_cast<simgrid::kernel::activity::Exec*>(process->waiting_synchro) != nullptr)
         synchro_description = "execution";
 
-      if (dynamic_cast<simgrid::simix::Comm*>(process->waiting_synchro) != nullptr)
+      if (dynamic_cast<simgrid::kernel::activity::Comm*>(process->waiting_synchro) != nullptr)
         synchro_description = "communication";
 
-      if (dynamic_cast<simgrid::simix::Sleep*>(process->waiting_synchro) != nullptr)
+      if (dynamic_cast<simgrid::kernel::activity::Sleep*>(process->waiting_synchro) != nullptr)
         synchro_description = "sleeping";
 
-      if (dynamic_cast<simgrid::simix::Raw*>(process->waiting_synchro) != nullptr)
+      if (dynamic_cast<simgrid::kernel::activity::Raw*>(process->waiting_synchro) != nullptr)
         synchro_description = "synchronization";
 
-      if (dynamic_cast<simgrid::simix::Io*>(process->waiting_synchro) != nullptr)
+      if (dynamic_cast<simgrid::kernel::activity::Io*>(process->waiting_synchro) != nullptr)
         synchro_description = "I/O";
 
 
@@ -653,7 +693,7 @@ xbt_dict_t simcall_HANDLER_asr_get_properties(smx_simcall_t simcall, const char
 }
 xbt_dict_t SIMIX_asr_get_properties(const char *name)
 {
-  return (xbt_dict_t) xbt_lib_get_or_null(as_router_lib, name, ROUTING_PROP_ASR_LEVEL);
+  return static_cast<xbt_dict_t>(xbt_lib_get_or_null(as_router_lib, name, ROUTING_PROP_ASR_LEVEL));
 }
 
 int SIMIX_is_maestro()