Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
thread factory + dlopen privatization seems to be working now on osx systems (at...
[simgrid.git] / src / kernel / EngineImpl.cpp
index 29f737a..b6269d0 100644 (file)
@@ -18,7 +18,6 @@
 #include "src/smpi/include/smpi_actor.hpp"
 #include "src/surf/network_interface.hpp"
 #include "src/surf/xml/platf.hpp"
-#include "surf/surf.hpp"          //surf_presolve() and surf_solve()
 #include "xbt/xbt_modinter.h"     /* whether initialization was already done */
 
 #include <boost/algorithm/string/predicate.hpp>
 #include "src/mc/remote/AppSide.hpp"
 #endif
 
+double NOW = 0;
+
 XBT_LOG_NEW_DEFAULT_CATEGORY(ker_engine, "Logging specific to Engine (kernel)");
+
 namespace simgrid {
 namespace kernel {
 EngineImpl* EngineImpl::instance_ = nullptr; /* That singleton is awful too. */
@@ -57,6 +59,37 @@ xbt_dynar_t get_dead_actors_addr()
 #endif
 }
 
+constexpr std::initializer_list<std::pair<const char*, context::ContextFactoryInitializer>> context_factories = {
+#if HAVE_RAW_CONTEXTS
+    {"raw", &context::raw_factory},
+#endif
+#if HAVE_UCONTEXT_CONTEXTS
+    {"ucontext", &context::sysv_factory},
+#endif
+#if HAVE_BOOST_CONTEXTS
+    {"boost", &context::boost_factory},
+#endif
+    {"thread", &context::thread_factory},
+};
+
+static_assert(context_factories.size() > 0, "No context factories are enabled for this build");
+
+// Create the list of possible contexts:
+static inline std::string contexts_list()
+{
+  std::string res;
+  std::string sep = "";
+  for (auto const& factory : context_factories) {
+    res += sep + factory.first;
+    sep = ", ";
+  }
+  return res;
+}
+
+static config::Flag<std::string> context_factory_name("contexts/factory",
+                                                      (std::string("Possible values: ") + contexts_list()).c_str(),
+                                                      context_factories.begin()->first);
+
 } // namespace kernel
 } // namespace simgrid
 
@@ -205,12 +238,68 @@ void EngineImpl::initialize(int* argc, char** argv)
 
   /* register a function to be called by SURF after the environment creation */
   sg_platf_init();
-  s4u::Engine::on_platform_created.connect(surf_presolve);
+  s4u::Engine::on_platform_created.connect([this]() { this->presolve(); });
 
   if (config::get_value<bool>("debug/clean-atexit"))
     atexit(shutdown);
 }
 
+void EngineImpl::context_mod_init() const
+{
+  xbt_assert(not instance_->has_context_factory());
+
+#if HAVE_SMPI && defined(__NetBSD__)
+  smpi_init_options_internal(false);
+  std::string priv = config::get_value<std::string>("smpi/privatization");
+  if (context_factory_name == "thread" && (priv == "dlopen" || priv == "yes" || priv == "default" || priv == "1")) {
+    XBT_WARN("dlopen+thread broken on Apple and BSD. Switching to raw contexts.");
+    context_factory_name = "raw";
+  }
+#endif
+
+#if HAVE_SMPI && defined(__FreeBSD__)
+  smpi_init_options_internal(false);
+  if (context_factory_name == "thread" && config::get_value<std::string>("smpi/privatization") != "no") {
+    XBT_WARN("mmap broken on FreeBSD, but dlopen+thread broken too. Switching to dlopen+raw contexts.");
+    context_factory_name = "raw";
+  }
+#endif
+
+  /* select the context factory to use to create the contexts */
+  if (context::factory_initializer != nullptr) { // Give Java a chance to hijack the factory mechanism
+    instance_->set_context_factory(context::factory_initializer());
+    return;
+  }
+  /* use the factory specified by --cfg=contexts/factory:value */
+  for (auto const& factory : context_factories)
+    if (context_factory_name == factory.first) {
+      instance_->set_context_factory(factory.second());
+      break;
+    }
+
+  if (not instance_->has_context_factory()) {
+    XBT_ERROR("Invalid context factory specified. Valid factories on this machine:");
+#if HAVE_RAW_CONTEXTS
+    XBT_ERROR("  raw: high performance context factory implemented specifically for SimGrid");
+#else
+    XBT_ERROR("  (raw contexts were disabled at compilation time on this machine -- check configure logs for details)");
+#endif
+#if HAVE_UCONTEXT_CONTEXTS
+    XBT_ERROR("  ucontext: classical system V contexts (implemented with makecontext, swapcontext and friends)");
+#else
+    XBT_ERROR("  (ucontext was disabled at compilation time on this machine -- check configure logs for details)");
+#endif
+#if HAVE_BOOST_CONTEXTS
+    XBT_ERROR("  boost: this uses the boost libraries context implementation");
+#else
+    XBT_ERROR("  (boost was disabled at compilation time on this machine -- check configure logs for details. Did you "
+              "install the libboost-context-dev package?)");
+#endif
+    XBT_ERROR("  thread: slow portability layer using pthreads as provided by gcc");
+    xbt_die("Please use a valid factory.");
+  }
+}
+
 void EngineImpl::shutdown()
 {
   if (EngineImpl::instance_ == nullptr)
@@ -460,6 +549,129 @@ void EngineImpl::display_all_actor_status() const
   }
 }
 
+void EngineImpl::presolve() const
+{
+  XBT_DEBUG("Consume all trace events occurring before the starting time.");
+  double next_event_date;
+  while ((next_event_date = profile::future_evt_set.next_date()) != -1.0) {
+    if (next_event_date > NOW)
+      break;
+
+    double value                 = -1.0;
+    resource::Resource* resource = nullptr;
+    while (auto* event = profile::future_evt_set.pop_leq(next_event_date, &value, &resource)) {
+      if (value >= 0)
+        resource->apply_event(event, value);
+    }
+  }
+
+  XBT_DEBUG("Set every models in the right state by updating them to 0.");
+  for (auto const& model : models_)
+    model->update_actions_state(NOW, 0.0);
+}
+
+double EngineImpl::solve(double max_date) const
+{
+  double time_delta            = -1.0; /* duration */
+  double value                 = -1.0;
+  resource::Resource* resource = nullptr;
+
+  if (max_date != -1.0) {
+    xbt_assert(max_date >= NOW, "You asked to simulate up to %f, but that's in the past already", max_date);
+
+    time_delta = max_date - NOW;
+  }
+
+  XBT_DEBUG("Looking for next event in all models");
+  for (auto model : models_) {
+    if (not model->next_occurring_event_is_idempotent()) {
+      continue;
+    }
+    double next_event = model->next_occurring_event(NOW);
+    if ((time_delta < 0.0 || next_event < time_delta) && next_event >= 0.0) {
+      time_delta = next_event;
+    }
+  }
+
+  XBT_DEBUG("Min for resources (remember that NS3 don't update that value): %f", time_delta);
+
+  XBT_DEBUG("Looking for next trace event");
+
+  while (true) { // Handle next occurring events until none remains
+    double next_event_date = profile::future_evt_set.next_date();
+    XBT_DEBUG("Next TRACE event: %f", next_event_date);
+
+    for (auto model : models_) {
+      /* Skip all idempotent models, they were already treated above
+       * NS3 is the one to handled here */
+      if (model->next_occurring_event_is_idempotent())
+        continue;
+
+      if (next_event_date != -1.0) {
+        time_delta = std::min(next_event_date - NOW, time_delta);
+      } else {
+        time_delta = std::max(next_event_date - NOW, time_delta); // Get the positive component
+      }
+
+      XBT_DEBUG("Run the NS3 network at most %fs", time_delta);
+      // run until min or next flow
+      double model_next_action_end = model->next_occurring_event(time_delta);
+
+      XBT_DEBUG("Min for network : %f", model_next_action_end);
+      if (model_next_action_end >= 0.0)
+        time_delta = model_next_action_end;
+    }
+
+    if (next_event_date < 0.0 || (next_event_date > NOW + time_delta)) {
+      // next event may have already occurred or will after the next resource change, then bail out
+      XBT_DEBUG("no next usable TRACE event. Stop searching for it");
+      break;
+    }
+
+    XBT_DEBUG("Updating models (min = %g, NOW = %g, next_event_date = %g)", time_delta, NOW, next_event_date);
+
+    while (auto* event = profile::future_evt_set.pop_leq(next_event_date, &value, &resource)) {
+      if (resource->is_used() || (watched_hosts().find(resource->get_cname()) != watched_hosts().end())) {
+        time_delta = next_event_date - NOW;
+        XBT_DEBUG("This event invalidates the next_occurring_event() computation of models. Next event set to %f",
+                  time_delta);
+      }
+      // FIXME: I'm too lame to update NOW live, so I change it and restore it so that the real update with surf_min
+      // will work
+      double round_start = NOW;
+      NOW                = next_event_date;
+      /* update state of the corresponding resource to the new value. Does not touch lmm.
+         It will be modified if needed when updating actions */
+      XBT_DEBUG("Calling update_resource_state for resource %s", resource->get_cname());
+      resource->apply_event(event, value);
+      NOW = round_start;
+    }
+  }
+
+  /* FIXME: Moved this test to here to avoid stopping simulation if there are actions running on cpus and all cpus are
+   * with availability = 0. This may cause an infinite loop if one cpu has a trace with periodicity = 0 and the other a
+   * trace with periodicity > 0.
+   * The options are: all traces with same periodicity(0 or >0) or we need to change the way how the events are managed
+   */
+  if (time_delta < 0) {
+    XBT_DEBUG("No next event at all. Bail out now.");
+    return -1.0;
+  }
+
+  XBT_DEBUG("Duration set to %f", time_delta);
+
+  // Bump the time: jump into the future
+  NOW = NOW + time_delta;
+
+  // Inform the models of the date change
+  for (auto const& model : models_)
+    model->update_actions_state(NOW, time_delta);
+
+  s4u::Engine::on_time_advance(time_delta);
+
+  return time_delta;
+}
+
 void EngineImpl::run()
 {
   if (MC_record_replay_is_active()) {
@@ -516,7 +728,7 @@ void EngineImpl::run()
        *          - You are added from ActorImpl::simcall_answer() only. When this function is called depends on the
        *            resource kind (network, cpu, disk, whatever), but the same arguments hold. Let's take communications
        *            as an example.
-       *          - For communications, this function is called from SIMIX_comm_finish().
+       *          - For communications, this function is called from CommImpl::finish().
        *            This function itself don't mess with the order since simcalls are handled in FIFO order.
        *            The function is called:
        *            - before the comm starts (invalid parameters, or resource already dead or whatever).
@@ -574,8 +786,8 @@ void EngineImpl::run()
 
     time = timer::Timer::next();
     if (time > -1.0 || not actor_list_.empty()) {
-      XBT_DEBUG("Calling surf_solve");
-      time = surf_solve(time);
+      XBT_DEBUG("Calling solve");
+      time = solve(time);
       XBT_DEBUG("Moving time ahead : %g", time);
     }
 
@@ -618,6 +830,11 @@ void EngineImpl::run()
 
   simgrid::s4u::Engine::on_simulation_end();
 }
+
+double EngineImpl::get_clock()
+{
+  return NOW;
+}
 } // namespace kernel
 } // namespace simgrid