Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Add new entry in Release_Notes.
[simgrid.git] / src / kernel / EngineImpl.cpp
index 874c980..8b7b60a 100644 (file)
@@ -1,4 +1,4 @@
-/* Copyright (c) 2016-2022. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2016-2023. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
@@ -8,32 +8,31 @@
 #include <simgrid/kernel/routing/NetPoint.hpp>
 #include <simgrid/kernel/routing/NetZoneImpl.hpp>
 #include <simgrid/s4u/Host.hpp>
-#include <simgrid/sg_config.hpp>
 
-#include "mc/mc.h"
 #include "src/kernel/EngineImpl.hpp"
 #include "src/kernel/resource/StandardLinkImpl.hpp"
 #include "src/kernel/resource/profile/Profile.hpp"
+#include "src/kernel/xml/platf.hpp"
+#include "src/mc/mc.h"
+#include "src/mc/mc_config.hpp"
 #include "src/mc/mc_record.hpp"
 #include "src/mc/mc_replay.hpp"
+#include "src/simgrid/math_utils.h"
+#include "src/simgrid/sg_config.hpp"
 #include "src/smpi/include/smpi_actor.hpp"
-#include "src/surf/xml/platf.hpp"
-#include "xbt/module.h"
-#include "xbt/xbt_modinter.h" /* whether initialization was already done */
-
-#include <boost/algorithm/string/predicate.hpp>
-#ifndef _WIN32
-#include <dlfcn.h>
-#endif /* _WIN32 */
 
 #if SIMGRID_HAVE_MC
 #include "src/mc/remote/AppSide.hpp"
 #endif
 
+#include "xbt/log.hpp"
+
+#include <boost/algorithm/string/predicate.hpp>
+#include <dlfcn.h>
+
 XBT_LOG_NEW_DEFAULT_CATEGORY(ker_engine, "Logging specific to Engine (kernel)");
 
-namespace simgrid {
-namespace kernel {
+namespace simgrid::kernel {
 double EngineImpl::now_           = 0.0;
 EngineImpl* EngineImpl::instance_ = nullptr; /* That singleton is awful too. */
 
@@ -69,11 +68,10 @@ static inline std::string contexts_list()
 }
 
 static config::Flag<std::string> context_factory_name("contexts/factory",
-                                                      (std::string("Possible values: ") + contexts_list()).c_str(),
+                                                      ("Possible values: " + contexts_list()).c_str(),
                                                       context_factories.begin()->first);
 
-} // namespace kernel
-} // namespace simgrid
+} // namespace simgrid::kernel
 
 XBT_ATTRIB_NORETURN static void inthandler(int)
 {
@@ -87,7 +85,6 @@ XBT_ATTRIB_NORETURN static void inthandler(int)
   exit(1);
 }
 
-#ifndef _WIN32
 static void segvhandler(int signum, siginfo_t* siginfo, void* /*context*/)
 {
   if ((siginfo->si_signo == SIGSEGV && siginfo->si_code == SEGV_ACCERR) || siginfo->si_signo == SIGBUS) {
@@ -104,11 +101,11 @@ static void segvhandler(int signum, siginfo_t* siginfo, void* /*context*/)
             "If you think you've found a bug in SimGrid, please report it along with a\n"
             "Minimal Working Example (MWE) reproducing your problem and a full backtrace\n"
             "of the fault captured with gdb or valgrind.\n",
-            simgrid::kernel::context::stack_size / 1024);
+            simgrid::kernel::context::Context::stack_size / 1024);
   } else if (siginfo->si_signo == SIGSEGV) {
     fprintf(stderr, "Segmentation fault.\n");
 #if HAVE_SMPI
-    if (smpi_enabled() && smpi_cfg_privatization() == SmpiPrivStrategies::NONE) {
+    if (SMPI_is_inited() && smpi_cfg_privatization() == SmpiPrivStrategies::NONE) {
 #if HAVE_PRIVATIZATION
       fprintf(stderr, "Try to enable SMPI variable privatization with --cfg=smpi/privatization:yes.\n");
 #else
@@ -120,48 +117,33 @@ static void segvhandler(int signum, siginfo_t* siginfo, void* /*context*/)
   std::raise(signum);
 }
 
-/**
- * Install signal handler for SIGSEGV.  Check that nobody has already installed
- * its own handler.  For example, the Java VM does this.
- */
-static void install_segvhandler()
+static void install_signal_handlers()
 {
-  stack_t old_stack;
+  /* Install signal handler for SIGINT */
+  std::signal(SIGINT, inthandler);
 
-  if (simgrid::kernel::context::Context::install_sigsegv_stack(&old_stack, true) == -1) {
+  /* Install signal handler for SIGSEGV */
+  if (simgrid::kernel::context::Context::install_sigsegv_stack(true) == -1) {
     XBT_WARN("Failed to register alternate signal stack: %s", strerror(errno));
     return;
   }
-  if (not(old_stack.ss_flags & SS_DISABLE)) {
-    XBT_DEBUG("An alternate stack was already installed (sp=%p, size=%zu, flags=%x). Restore it.", old_stack.ss_sp,
-              old_stack.ss_size, (unsigned)old_stack.ss_flags);
-    sigaltstack(&old_stack, nullptr);
-  }
 
   struct sigaction action;
-  struct sigaction old_action;
   action.sa_sigaction = &segvhandler;
   action.sa_flags     = SA_ONSTACK | SA_RESETHAND | SA_SIGINFO;
   sigemptyset(&action.sa_mask);
 
   /* Linux tend to raise only SIGSEGV where other systems also raise SIGBUS on severe error */
   for (int sig : {SIGSEGV, SIGBUS}) {
-    if (sigaction(sig, &action, &old_action) == -1) {
+    if (sigaction(sig, &action, nullptr) == -1)
       XBT_WARN("Failed to register signal handler for signal %d: %s", sig, strerror(errno));
-      continue;
-    }
-    if ((old_action.sa_flags & SA_SIGINFO) || old_action.sa_handler != SIG_DFL) {
-      XBT_DEBUG("A signal handler was already installed for signal %d (%p). Restore it.", sig,
-                (old_action.sa_flags & SA_SIGINFO) ? (void*)old_action.sa_sigaction : (void*)old_action.sa_handler);
-      sigaction(sig, &old_action, nullptr);
-    }
   }
 }
 
-#endif /* _WIN32 */
+static simgrid::config::Flag<bool> cfg_dbg_clean_atexit{
+    "debug/clean-atexit", "Whether to cleanup SimGrid at exit. Disable it if your code segfaults after its end.", true};
 
-namespace simgrid {
-namespace kernel {
+namespace simgrid::kernel {
 
 EngineImpl::~EngineImpl()
 {
@@ -173,6 +155,9 @@ EngineImpl::~EngineImpl()
   for (auto const& [_, mailbox] : mailboxes_)
     delete mailbox;
 
+  for (auto const& [_, queue] : mqueues_)
+    delete queue;
+
   /* Kill all actors (but maestro) */
   maestro_->kill_all();
   run_all_actors();
@@ -181,10 +166,6 @@ EngineImpl::~EngineImpl()
   delete maestro_;
   delete context_factory_;
 
-  /* Free the remaining data structures */
-#if SIMGRID_HAVE_MC
-  xbt_dynar_free(&actors_vector_);
-#endif
   /* clear models before freeing handle, network models can use external callback defined in the handle */
   models_prio_.clear();
 }
@@ -198,29 +179,25 @@ void EngineImpl::initialize(int* argc, char** argv)
   // The communication initialization is done ASAP, as we need to get some init parameters from the MC for different
   // layers. But instance_ needs to be created, as we send the address of some of its fields to the MC that wants to
   // read them directly.
-  simgrid::mc::AppSide::initialize(actors_vector_);
+  simgrid::mc::AppSide::get(); // To ensure that it's initialized
 #endif
 
-  if (xbt_initialized == 0) {
-    xbt_init(argc, argv);
+  if (static bool inited = false; not inited) {
+    inited = true;
+    xbt_log_init(argc, argv);
+
+    simgrid::xbt::install_exception_handler();
 
     sg_config_init(argc, argv);
   }
 
-  instance_->context_mod_init();
-
-  /* Prepare to display some more info when dying on Ctrl-C pressing */
-  std::signal(SIGINT, inthandler);
+  cmdline_.assign(argv, argv + *argc);
 
-#ifndef _WIN32
-  install_segvhandler();
-#endif
+  instance_->context_mod_init();
 
-  /* register a function to be called by SURF after the environment creation */
-  sg_platf_init();
-  s4u::Engine::on_platform_created_cb([this]() { this->presolve(); });
+  install_signal_handlers();
 
-  if (config::get_value<bool>("debug/clean-atexit"))
+  if (cfg_dbg_clean_atexit)
     atexit(shutdown);
 }
 
@@ -245,11 +222,6 @@ void EngineImpl::context_mod_init() const
   }
 #endif
 
-  /* select the context factory to use to create the contexts */
-  if (context::ContextFactory::initializer) { // Give Java a chance to hijack the factory mechanism
-    instance_->set_context_factory(context::ContextFactory::initializer());
-    return;
-  }
   /* use the factory specified by --cfg=contexts/factory:value */
   for (auto const& [factory_name, factory] : context_factories)
     if (context_factory_name == factory_name) {
@@ -275,7 +247,7 @@ void EngineImpl::context_mod_init() const
     XBT_ERROR("  (boost was disabled at compilation time on this machine -- check configure logs for details. Did you "
               "install the libboost-context-dev package?)");
 #endif
-    XBT_ERROR("  thread: slow portability layer using pthreads as provided by gcc");
+    XBT_ERROR("  thread: slow portability layer using standard threads as provided by libstdc");
     xbt_die("Please use a valid factory.");
   }
 }
@@ -287,7 +259,7 @@ void EngineImpl::shutdown()
   XBT_DEBUG("EngineImpl::shutdown() called. Simulation's over.");
 #if HAVE_SMPI
   if (not instance_->actor_list_.empty()) {
-    if (smpi_process()->initialized()) {
+    if (smpi_process() && smpi_process()->initialized()) {
       xbt_die("Process exited without calling MPI_Finalize - Killing simulation");
     } else {
       XBT_WARN("Process called exit when leaving - Skipping cleanups");
@@ -309,7 +281,7 @@ void EngineImpl::shutdown()
   }
 
   tmgr_finalize();
-  sg_platf_exit();
+  sg_platf_parser_finalize();
 
   delete instance_;
   instance_ = nullptr;
@@ -331,9 +303,6 @@ void EngineImpl::load_platform(const std::string& platf)
 {
   double start = xbt_os_time();
   if (boost::algorithm::ends_with(platf, ".so") || boost::algorithm::ends_with(platf, ".dylib")) {
-#ifdef _WIN32
-    xbt_die("loading platform through shared library isn't supported on windows");
-#else
     void* handle = dlopen(platf.c_str(), RTLD_LAZY);
     xbt_assert(handle, "Impossible to open platform file: %s", platf.c_str());
     platf_handle_           = std::unique_ptr<void, std::function<int(void*)>>(handle, dlclose);
@@ -342,7 +311,6 @@ void EngineImpl::load_platform(const std::string& platf)
     const char* dlsym_error = dlerror();
     xbt_assert(not dlsym_error, "Error: %s", dlsym_error);
     callable(*simgrid::s4u::Engine::get_instance());
-#endif /* _WIN32 */
   } else {
     parse_platform_file(platf);
   }
@@ -353,12 +321,11 @@ void EngineImpl::load_platform(const std::string& platf)
 
 void EngineImpl::load_deployment(const std::string& file) const
 {
-  sg_platf_exit();
-  sg_platf_init();
+  sg_platf_parser_finalize();
 
-  surf_parse_open(file);
-  surf_parse();
-  surf_parse_close();
+  simgrid_parse_open(file);
+  simgrid_parse(false);
+  simgrid_parse_close();
 }
 
 void EngineImpl::register_function(const std::string& name, const actor::ActorCodeFactory& code)
@@ -376,7 +343,7 @@ void EngineImpl::add_model(std::shared_ptr<resource::Model> model, const std::ve
   xbt_assert(models_prio_.find(model_name) == models_prio_.end(),
              "Model %s already exists, use model.set_name() to change its name", model_name.c_str());
 
-  for (const auto dep : dependencies) {
+  for (const auto* dep : dependencies) {
     xbt_assert(models_prio_.find(dep->get_name()) != models_prio_.end(),
                "Model %s doesn't exists. Impossible to use it as dependency.", dep->get_name().c_str());
   }
@@ -384,7 +351,7 @@ void EngineImpl::add_model(std::shared_ptr<resource::Model> model, const std::ve
   models_prio_[model_name] = std::move(model);
 }
 
-/** Wake up all actors waiting for a Surf action to finish */
+/** Wake up all actors waiting for an action to finish */
 void EngineImpl::handle_ended_actions() const
 {
   for (auto const& model : models_) {
@@ -392,24 +359,27 @@ void EngineImpl::handle_ended_actions() const
     while (auto* action = model->extract_failed_action()) {
       XBT_DEBUG("   Handling Action %p", action);
       if (action->get_activity() != nullptr) { // Skip vcpu actions
+        activity::ActivityImplPtr activity(action->get_activity());
         // Action failures are not automatically reported when the action is started by maestro (as in SimDAG)
-        if (action->get_activity()->get_actor() == maestro_)
-          action->get_activity()->get_iface()->complete(s4u::Activity::State::FAILED);
+        if (activity->get_actor() == maestro_)
+          activity->get_iface()->complete(s4u::Activity::State::FAILED);
 
-        activity::ActivityImplPtr(action->get_activity())->post();
+        activity->finish();
       }
     }
     XBT_DEBUG("Handling the terminated actions (if any)");
     while (auto* action = model->extract_done_action()) {
       XBT_DEBUG("   Handling Action %p", action);
       if (action->get_activity() != nullptr) {
+        activity::ActivityImplPtr activity(action->get_activity());
+
         // Action termination are not automatically reported when the action is started by maestro (as in SimDAG)
-        action->get_activity()->set_finish_time(action->get_finish_time());
+        activity->set_finish_time(action->get_finish_time());
 
-        if (action->get_activity()->get_actor() == maestro_)
-          action->get_activity()->get_iface()->complete(s4u::Activity::State::FINISHED);
+        if (activity->get_actor() == maestro_)
+          activity->get_iface()->complete(s4u::Activity::State::FINISHED);
 
-        activity::ActivityImplPtr(action->get_activity())->post();
+        activity->finish();
       }
     }
   }
@@ -486,6 +456,9 @@ void EngineImpl::display_all_actor_status() const
       if (boost::dynamic_pointer_cast<kernel::activity::CommImpl>(actor->waiting_synchro_) != nullptr)
         synchro_description = "communication";
 
+      if (boost::dynamic_pointer_cast<kernel::activity::MessImpl>(actor->waiting_synchro_) != nullptr)
+        synchro_description = "message";
+
       if (boost::dynamic_pointer_cast<kernel::activity::SleepImpl>(actor->waiting_synchro_) != nullptr)
         synchro_description = "sleeping";
 
@@ -495,36 +468,19 @@ void EngineImpl::display_all_actor_status() const
       if (boost::dynamic_pointer_cast<kernel::activity::IoImpl>(actor->waiting_synchro_) != nullptr)
         synchro_description = "I/O";
 
-      XBT_INFO("Actor %ld (%s@%s): waiting for %s activity %#zx (%s) in state %s to finish", actor->get_pid(),
+      XBT_INFO("Actor %ld (%s@%s): waiting for %s activity %#zx (%s) in state %s to finish %s", actor->get_pid(),
                actor->get_cname(), actor->get_host()->get_cname(), synchro_description,
                (xbt_log_no_loc ? (size_t)0xDEADBEEF : (size_t)actor->waiting_synchro_.get()),
-               actor->waiting_synchro_->get_cname(), actor->waiting_synchro_->get_state_str());
+               actor->waiting_synchro_->get_cname(), actor->waiting_synchro_->get_state_str(),
+               (actor->simcall_.observer_ != nullptr && not xbt_log_no_loc
+                    ? actor->simcall_.observer_->to_string().c_str()
+                    : ""));
     } else {
       XBT_INFO("Actor %ld (%s@%s) simcall %s", actor->get_pid(), actor->get_cname(), actor->get_host()->get_cname(),
-               actor->simcall_.get_cname());
-    }
-  }
-}
-
-void EngineImpl::presolve() const
-{
-  XBT_DEBUG("Consume all trace events occurring before the starting time.");
-  double next_event_date;
-  while ((next_event_date = profile::future_evt_set.next_date()) != -1.0) {
-    if (next_event_date > now_)
-      break;
-
-    double value                 = -1.0;
-    resource::Resource* resource = nullptr;
-    while (auto* event = profile::future_evt_set.pop_leq(next_event_date, &value, &resource)) {
-      if (value >= 0)
-        resource->apply_event(event, value);
+               (actor->simcall_.observer_ != nullptr ? actor->simcall_.observer_->to_string().c_str()
+                                                     : actor->simcall_.get_cname()));
     }
   }
-
-  XBT_DEBUG("Set every models in the right state by updating them to 0.");
-  for (auto const& model : models_)
-    model->update_actions_state(now_, 0.0);
 }
 
 double EngineImpl::solve(double max_date) const
@@ -540,10 +496,10 @@ double EngineImpl::solve(double max_date) const
   }
 
   XBT_DEBUG("Looking for next event in all models");
-  for (auto model : models_) {
-    if (not model->next_occurring_event_is_idempotent()) {
+  for (auto* model : models_) {
+    if (not model->next_occurring_event_is_idempotent())
       continue;
-    }
+
     double next_event = model->next_occurring_event(now_);
     if ((time_delta < 0.0 || next_event < time_delta) && next_event >= 0.0) {
       time_delta = next_event;
@@ -558,7 +514,7 @@ double EngineImpl::solve(double max_date) const
     double next_event_date = profile::future_evt_set.next_date();
     XBT_DEBUG("Next TRACE event: %f", next_event_date);
 
-    for (auto model : models_) {
+    for (auto* model : models_) {
       /* Skip all idempotent models, they were already treated above
        * NS3 is the one to handled here */
       if (model->next_occurring_event_is_idempotent())
@@ -588,13 +544,14 @@ double EngineImpl::solve(double max_date) const
     XBT_DEBUG("Updating models (min = %g, NOW = %g, next_event_date = %g)", time_delta, now_, next_event_date);
 
     while (auto* event = profile::future_evt_set.pop_leq(next_event_date, &value, &resource)) {
-      if (resource->is_used() || (watched_hosts().find(resource->get_cname()) != watched_hosts().end())) {
+      if(value<0)
+             continue;
+      if (resource->is_used()) {
         time_delta = next_event_date - now_;
         XBT_DEBUG("This event invalidates the next_occurring_event() computation of models. Next event set to %f",
                   time_delta);
       }
-      // FIXME: I'm too lame to update now_ live, so I change it and restore it so that the real update with surf_min
-      // will work
+      // FIXME: I'm too lame to update now_ live, so I change it and restore it so that the real update works
       double round_start = now_;
       now_               = next_event_date;
       /* update state of the corresponding resource to the new value. Does not touch lmm.
@@ -633,6 +590,9 @@ void EngineImpl::run(double max_date)
 {
   seal_platform();
 
+  XBT_DEBUG("Running the main loop until t=%.3f in mode %s", max_date,
+            to_c_str(simgrid::mc::get_model_checking_mode()));
+
   if (MC_is_active()) {
 #if SIMGRID_HAVE_MC
     mc::AppSide::get()->main_loop();
@@ -743,5 +703,4 @@ double EngineImpl::get_clock()
 {
   return now_;
 }
-} // namespace kernel
-} // namespace simgrid
+} // namespace simgrid::kernel