Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
thread factory + dlopen privatization seems to be working now on osx systems (at...
[simgrid.git] / src / kernel / EngineImpl.cpp
index 9e5142e..b6269d0 100644 (file)
@@ -3,22 +3,21 @@
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
-#include "src/kernel/EngineImpl.hpp"
+#include <simgrid/Exception.hpp>
+#include <simgrid/kernel/Timer.hpp>
+#include <simgrid/kernel/routing/NetPoint.hpp>
+#include <simgrid/kernel/routing/NetZoneImpl.hpp>
+#include <simgrid/s4u/Host.hpp>
+#include <simgrid/sg_config.hpp>
+
 #include "mc/mc.h"
-#include "simgrid/Exception.hpp"
-#include "simgrid/kernel/Timer.hpp"
-#include "simgrid/kernel/routing/NetPoint.hpp"
-#include "simgrid/kernel/routing/NetZoneImpl.hpp"
-#include "simgrid/s4u/Host.hpp"
-#include "simgrid/sg_config.hpp"
-#include "src/include/surf/surf.hpp" //get_clock() and surf_solve()
-#include "src/kernel/resource/DiskImpl.hpp"
+#include "src/kernel/EngineImpl.hpp"
 #include "src/kernel/resource/profile/Profile.hpp"
 #include "src/mc/mc_record.hpp"
 #include "src/mc/mc_replay.hpp"
 #include "src/smpi/include/smpi_actor.hpp"
 #include "src/surf/network_interface.hpp"
-#include "src/surf/xml/platf.hpp" // FIXME: KILLME. There must be a better way than mimicking XML here
+#include "src/surf/xml/platf.hpp"
 #include "xbt/xbt_modinter.h"     /* whether initialization was already done */
 
 #include <boost/algorithm/string/predicate.hpp>
 #include "src/mc/remote/AppSide.hpp"
 #endif
 
+double NOW = 0;
+
 XBT_LOG_NEW_DEFAULT_CATEGORY(ker_engine, "Logging specific to Engine (kernel)");
+
 namespace simgrid {
 namespace kernel {
 EngineImpl* EngineImpl::instance_ = nullptr; /* That singleton is awful too. */
@@ -38,6 +40,56 @@ EngineImpl* EngineImpl::instance_ = nullptr; /* That singleton is awful too. */
 config::Flag<double> cfg_breakpoint{"debug/breakpoint",
                                     "When non-negative, raise a SIGTRAP after given (simulated) time", -1.0};
 config::Flag<bool> cfg_verbose_exit{"debug/verbose-exit", "Display the actor status at exit", true};
+
+xbt_dynar_t get_actors_addr()
+{
+#if SIMGRID_HAVE_MC
+  return EngineImpl::get_instance()->get_actors_vector();
+#else
+  xbt_die("This function is intended to be used when compiling with MC");
+#endif
+}
+
+xbt_dynar_t get_dead_actors_addr()
+{
+#if SIMGRID_HAVE_MC
+  return EngineImpl::get_instance()->get_dead_actors_vector();
+#else
+  xbt_die("This function is intended to be used when compiling with MC");
+#endif
+}
+
+constexpr std::initializer_list<std::pair<const char*, context::ContextFactoryInitializer>> context_factories = {
+#if HAVE_RAW_CONTEXTS
+    {"raw", &context::raw_factory},
+#endif
+#if HAVE_UCONTEXT_CONTEXTS
+    {"ucontext", &context::sysv_factory},
+#endif
+#if HAVE_BOOST_CONTEXTS
+    {"boost", &context::boost_factory},
+#endif
+    {"thread", &context::thread_factory},
+};
+
+static_assert(context_factories.size() > 0, "No context factories are enabled for this build");
+
+// Create the list of possible contexts:
+static inline std::string contexts_list()
+{
+  std::string res;
+  std::string sep = "";
+  for (auto const& factory : context_factories) {
+    res += sep + factory.first;
+    sep = ", ";
+  }
+  return res;
+}
+
+static config::Flag<std::string> context_factory_name("contexts/factory",
+                                                      (std::string("Possible values: ") + contexts_list()).c_str(),
+                                                      context_factories.begin()->first);
+
 } // namespace kernel
 } // namespace simgrid
 
@@ -70,7 +122,7 @@ static void segvhandler(int signum, siginfo_t* siginfo, void* /*context*/)
             "If you think you've found a bug in SimGrid, please report it along with a\n"
             "Minimal Working Example (MWE) reproducing your problem and a full backtrace\n"
             "of the fault captured with gdb or valgrind.\n",
-            smx_context_stack_size / 1024);
+            simgrid::kernel::context::stack_size / 1024);
   } else if (siginfo->si_signo == SIGSEGV) {
     fprintf(stderr, "Segmentation fault.\n");
 #if HAVE_SMPI
@@ -142,9 +194,8 @@ EngineImpl::~EngineImpl()
   for (auto const& kv : netpoints_)
     delete kv.second;
 
-  for (auto const& kv : links_)
-    if (kv.second)
-      kv.second->destroy();
+  while (not links_.empty())
+    links_.begin()->second->destroy();
 
   for (auto const& kv : mailboxes_)
     delete kv.second;
@@ -187,17 +238,84 @@ void EngineImpl::initialize(int* argc, char** argv)
 
   /* register a function to be called by SURF after the environment creation */
   sg_platf_init();
-  s4u::Engine::on_platform_created.connect(surf_presolve);
+  s4u::Engine::on_platform_created.connect([this]() { this->presolve(); });
 
   if (config::get_value<bool>("debug/clean-atexit"))
     atexit(shutdown);
 }
 
+void EngineImpl::context_mod_init() const
+{
+  xbt_assert(not instance_->has_context_factory());
+
+#if HAVE_SMPI && defined(__NetBSD__)
+  smpi_init_options_internal(false);
+  std::string priv = config::get_value<std::string>("smpi/privatization");
+  if (context_factory_name == "thread" && (priv == "dlopen" || priv == "yes" || priv == "default" || priv == "1")) {
+    XBT_WARN("dlopen+thread broken on Apple and BSD. Switching to raw contexts.");
+    context_factory_name = "raw";
+  }
+#endif
+
+#if HAVE_SMPI && defined(__FreeBSD__)
+  smpi_init_options_internal(false);
+  if (context_factory_name == "thread" && config::get_value<std::string>("smpi/privatization") != "no") {
+    XBT_WARN("mmap broken on FreeBSD, but dlopen+thread broken too. Switching to dlopen+raw contexts.");
+    context_factory_name = "raw";
+  }
+#endif
+
+  /* select the context factory to use to create the contexts */
+  if (context::factory_initializer != nullptr) { // Give Java a chance to hijack the factory mechanism
+    instance_->set_context_factory(context::factory_initializer());
+    return;
+  }
+  /* use the factory specified by --cfg=contexts/factory:value */
+  for (auto const& factory : context_factories)
+    if (context_factory_name == factory.first) {
+      instance_->set_context_factory(factory.second());
+      break;
+    }
+
+  if (not instance_->has_context_factory()) {
+    XBT_ERROR("Invalid context factory specified. Valid factories on this machine:");
+#if HAVE_RAW_CONTEXTS
+    XBT_ERROR("  raw: high performance context factory implemented specifically for SimGrid");
+#else
+    XBT_ERROR("  (raw contexts were disabled at compilation time on this machine -- check configure logs for details)");
+#endif
+#if HAVE_UCONTEXT_CONTEXTS
+    XBT_ERROR("  ucontext: classical system V contexts (implemented with makecontext, swapcontext and friends)");
+#else
+    XBT_ERROR("  (ucontext was disabled at compilation time on this machine -- check configure logs for details)");
+#endif
+#if HAVE_BOOST_CONTEXTS
+    XBT_ERROR("  boost: this uses the boost libraries context implementation");
+#else
+    XBT_ERROR("  (boost was disabled at compilation time on this machine -- check configure logs for details. Did you "
+              "install the libboost-context-dev package?)");
+#endif
+    XBT_ERROR("  thread: slow portability layer using pthreads as provided by gcc");
+    xbt_die("Please use a valid factory.");
+  }
+}
+
 void EngineImpl::shutdown()
 {
   if (EngineImpl::instance_ == nullptr)
     return;
   XBT_DEBUG("EngineImpl::shutdown() called. Simulation's over.");
+#if HAVE_SMPI
+  if (not instance_->actor_list_.empty()) {
+    if (smpi_process()->initialized()) {
+      xbt_die("Process exited without calling MPI_Finalize - Killing simulation");
+    } else {
+      XBT_WARN("Process called exit when leaving - Skipping cleanups");
+      return;
+    }
+  }
+#endif
+
   if (instance_->has_actors_to_run() && simgrid_get_clock() <= 0.0) {
     XBT_CRITICAL("   ");
     XBT_CRITICAL("The time is still 0, and you still have processes ready to run.");
@@ -210,17 +328,6 @@ void EngineImpl::shutdown()
   instance_->run_all_actors();
   instance_->empty_trash();
 
-#if HAVE_SMPI
-  if (not instance_->actor_list_.empty()) {
-    if (smpi_process()->initialized()) {
-      xbt_die("Process exited without calling MPI_Finalize - Killing simulation");
-    } else {
-      XBT_WARN("Process called exit when leaving - Skipping cleanups");
-      return;
-    }
-  }
-#endif
-
   /* Let's free maestro now */
   instance_->destroy_maestro();
 
@@ -442,6 +549,129 @@ void EngineImpl::display_all_actor_status() const
   }
 }
 
+void EngineImpl::presolve() const
+{
+  XBT_DEBUG("Consume all trace events occurring before the starting time.");
+  double next_event_date;
+  while ((next_event_date = profile::future_evt_set.next_date()) != -1.0) {
+    if (next_event_date > NOW)
+      break;
+
+    double value                 = -1.0;
+    resource::Resource* resource = nullptr;
+    while (auto* event = profile::future_evt_set.pop_leq(next_event_date, &value, &resource)) {
+      if (value >= 0)
+        resource->apply_event(event, value);
+    }
+  }
+
+  XBT_DEBUG("Set every models in the right state by updating them to 0.");
+  for (auto const& model : models_)
+    model->update_actions_state(NOW, 0.0);
+}
+
+double EngineImpl::solve(double max_date) const
+{
+  double time_delta            = -1.0; /* duration */
+  double value                 = -1.0;
+  resource::Resource* resource = nullptr;
+
+  if (max_date != -1.0) {
+    xbt_assert(max_date >= NOW, "You asked to simulate up to %f, but that's in the past already", max_date);
+
+    time_delta = max_date - NOW;
+  }
+
+  XBT_DEBUG("Looking for next event in all models");
+  for (auto model : models_) {
+    if (not model->next_occurring_event_is_idempotent()) {
+      continue;
+    }
+    double next_event = model->next_occurring_event(NOW);
+    if ((time_delta < 0.0 || next_event < time_delta) && next_event >= 0.0) {
+      time_delta = next_event;
+    }
+  }
+
+  XBT_DEBUG("Min for resources (remember that NS3 don't update that value): %f", time_delta);
+
+  XBT_DEBUG("Looking for next trace event");
+
+  while (true) { // Handle next occurring events until none remains
+    double next_event_date = profile::future_evt_set.next_date();
+    XBT_DEBUG("Next TRACE event: %f", next_event_date);
+
+    for (auto model : models_) {
+      /* Skip all idempotent models, they were already treated above
+       * NS3 is the one to handled here */
+      if (model->next_occurring_event_is_idempotent())
+        continue;
+
+      if (next_event_date != -1.0) {
+        time_delta = std::min(next_event_date - NOW, time_delta);
+      } else {
+        time_delta = std::max(next_event_date - NOW, time_delta); // Get the positive component
+      }
+
+      XBT_DEBUG("Run the NS3 network at most %fs", time_delta);
+      // run until min or next flow
+      double model_next_action_end = model->next_occurring_event(time_delta);
+
+      XBT_DEBUG("Min for network : %f", model_next_action_end);
+      if (model_next_action_end >= 0.0)
+        time_delta = model_next_action_end;
+    }
+
+    if (next_event_date < 0.0 || (next_event_date > NOW + time_delta)) {
+      // next event may have already occurred or will after the next resource change, then bail out
+      XBT_DEBUG("no next usable TRACE event. Stop searching for it");
+      break;
+    }
+
+    XBT_DEBUG("Updating models (min = %g, NOW = %g, next_event_date = %g)", time_delta, NOW, next_event_date);
+
+    while (auto* event = profile::future_evt_set.pop_leq(next_event_date, &value, &resource)) {
+      if (resource->is_used() || (watched_hosts().find(resource->get_cname()) != watched_hosts().end())) {
+        time_delta = next_event_date - NOW;
+        XBT_DEBUG("This event invalidates the next_occurring_event() computation of models. Next event set to %f",
+                  time_delta);
+      }
+      // FIXME: I'm too lame to update NOW live, so I change it and restore it so that the real update with surf_min
+      // will work
+      double round_start = NOW;
+      NOW                = next_event_date;
+      /* update state of the corresponding resource to the new value. Does not touch lmm.
+         It will be modified if needed when updating actions */
+      XBT_DEBUG("Calling update_resource_state for resource %s", resource->get_cname());
+      resource->apply_event(event, value);
+      NOW = round_start;
+    }
+  }
+
+  /* FIXME: Moved this test to here to avoid stopping simulation if there are actions running on cpus and all cpus are
+   * with availability = 0. This may cause an infinite loop if one cpu has a trace with periodicity = 0 and the other a
+   * trace with periodicity > 0.
+   * The options are: all traces with same periodicity(0 or >0) or we need to change the way how the events are managed
+   */
+  if (time_delta < 0) {
+    XBT_DEBUG("No next event at all. Bail out now.");
+    return -1.0;
+  }
+
+  XBT_DEBUG("Duration set to %f", time_delta);
+
+  // Bump the time: jump into the future
+  NOW = NOW + time_delta;
+
+  // Inform the models of the date change
+  for (auto const& model : models_)
+    model->update_actions_state(NOW, time_delta);
+
+  s4u::Engine::on_time_advance(time_delta);
+
+  return time_delta;
+}
+
 void EngineImpl::run()
 {
   if (MC_record_replay_is_active()) {
@@ -455,7 +685,7 @@ void EngineImpl::run()
   do {
     XBT_DEBUG("New Schedule Round; size(queue)=%zu", actors_to_run_.size());
 
-    if (cfg_breakpoint >= 0.0 && surf_get_clock() >= cfg_breakpoint) {
+    if (cfg_breakpoint >= 0.0 && simgrid_get_clock() >= cfg_breakpoint) {
       XBT_DEBUG("Breakpoint reached (%g)", cfg_breakpoint.get());
       cfg_breakpoint = -1.0;
 #ifdef SIGTRAP
@@ -498,7 +728,7 @@ void EngineImpl::run()
        *          - You are added from ActorImpl::simcall_answer() only. When this function is called depends on the
        *            resource kind (network, cpu, disk, whatever), but the same arguments hold. Let's take communications
        *            as an example.
-       *          - For communications, this function is called from SIMIX_comm_finish().
+       *          - For communications, this function is called from CommImpl::finish().
        *            This function itself don't mess with the order since simcalls are handled in FIFO order.
        *            The function is called:
        *            - before the comm starts (invalid parameters, or resource already dead or whatever).
@@ -556,8 +786,8 @@ void EngineImpl::run()
 
     time = timer::Timer::next();
     if (time > -1.0 || not actor_list_.empty()) {
-      XBT_DEBUG("Calling surf_solve");
-      time = surf_solve(time);
+      XBT_DEBUG("Calling solve");
+      time = solve(time);
       XBT_DEBUG("Moving time ahead : %g", time);
     }
 
@@ -600,5 +830,15 @@ void EngineImpl::run()
 
   simgrid::s4u::Engine::on_simulation_end();
 }
+
+double EngineImpl::get_clock()
+{
+  return NOW;
+}
 } // namespace kernel
 } // namespace simgrid
+
+void SIMIX_run() // XBT_ATTRIB_DEPRECATED_v332
+{
+  simgrid::kernel::EngineImpl::get_instance()->run();
+}