Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
MC: give each state an incoming transition too
[simgrid.git] / src / mc / explo / DFSExplorer.cpp
index 8f911cc..4e9c03b 100644 (file)
@@ -4,13 +4,16 @@
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include "src/mc/explo/DFSExplorer.hpp"
-#include "src/mc/VisitedState.hpp"
 #include "src/mc/mc_config.hpp"
 #include "src/mc/mc_exit.hpp"
 #include "src/mc/mc_private.hpp"
 #include "src/mc/mc_record.hpp"
 #include "src/mc/transition/Transition.hpp"
 
+#if SIMGRID_HAVE_STATEFUL_MC
+#include "src/mc/VisitedState.hpp"
+#endif
+
 #include "src/xbt/mmalloc/mmprivate.h"
 #include "xbt/log.h"
 #include "xbt/string.hpp"
@@ -41,6 +44,7 @@ xbt::signal<void(RemoteApp&)> DFSExplorer::on_log_state_signal;
 
 void DFSExplorer::check_non_termination(const State* current_state)
 {
+#if SIMGRID_HAVE_STATEFUL_MC
   for (auto const& state : stack_) {
     if (state->get_system_state()->equals_to(*current_state->get_system_state(),
                                              *get_remote_app().get_remote_process_memory())) {
@@ -56,34 +60,45 @@ void DFSExplorer::check_non_termination(const State* current_state)
                get_record_trace().to_string().c_str());
       log_state();
 
-      throw TerminationError();
+      throw McError(ExitStatus::NON_TERMINATION);
     }
   }
+#endif
 }
 
 RecordTrace DFSExplorer::get_record_trace() // override
-{
-  return get_record_trace_of_stack(stack_);
-}
-
-RecordTrace DFSExplorer::get_record_trace_of_stack(stack_t stack)
 {
   RecordTrace res;
-  for (auto const& state : stack)
-    res.push_back(state->get_transition());
+  for (auto const& transition : stack_.back()->get_recipe())
+    res.push_back(transition);
+  res.push_back(stack_.back()->get_transition_out());
   return res;
 }
 
 std::vector<std::string> DFSExplorer::get_textual_trace() // override
 {
   std::vector<std::string> trace;
-  for (auto const& state : stack_) {
-    const auto* t = state->get_transition();
-    trace.push_back(xbt::string_printf("%ld: %s", t->aid_, t->to_string().c_str()));
+  for (auto const& transition : stack_.back()->get_recipe()) {
+    trace.push_back(xbt::string_printf("%ld: %s", transition->aid_, transition->to_string().c_str()));
   }
+  if (const auto* trans = stack_.back()->get_transition_out(); trans != nullptr)
+    trace.push_back(xbt::string_printf("%ld: %s", trans->aid_, trans->to_string().c_str()));
   return trace;
 }
 
+void DFSExplorer::restore_stack(std::shared_ptr<State> state)
+{
+  stack_.clear();
+  auto current_state = state;
+  stack_.emplace_front(current_state);
+  // condition corresponds to reaching initial state
+  while (current_state->get_parent_state() != nullptr) {
+    current_state = current_state->get_parent_state();
+    stack_.emplace_front(current_state);
+  }
+  XBT_DEBUG("Replaced stack by %s", get_record_trace().to_string().c_str());
+}
+
 void DFSExplorer::log_state() // override
 {
   on_log_state_signal(get_remote_app());
@@ -94,14 +109,6 @@ void DFSExplorer::log_state() // override
   Exploration::log_state();
 }
 
-void DFSExplorer::add_to_opened_states(stack_t stack)
-{
-  stack_t tmp_stack;
-  for (auto& state : stack)
-    tmp_stack.push_back(std::make_shared<State>(State(*state)));
-  opened_states_.emplace_back(tmp_stack);
-}
-
 void DFSExplorer::run()
 {
   on_exploration_start_signal(get_remote_app());
@@ -111,7 +118,7 @@ void DFSExplorer::run()
 
   while (not stack_.empty()) {
     /* Get current state */
-    State* state = stack_.back().get();
+    auto state = stack_.back();
 
     XBT_DEBUG("**************************************************");
     XBT_DEBUG("Exploration depth=%zu (state:#%ld; %zu interleaves todo)", stack_.size(), state->get_num(),
@@ -131,6 +138,7 @@ void DFSExplorer::run()
       continue;
     }
 
+#if SIMGRID_HAVE_STATEFUL_MC
     // Backtrack if we are revisiting a state we saw previously while applying state-equality reduction
     if (visited_state_ != nullptr) {
       XBT_DEBUG("State already visited (equal to state %ld), exploration stopped on this path.",
@@ -140,13 +148,14 @@ void DFSExplorer::run()
       this->backtrack();
       continue;
     }
+#endif
 
     // Search for the next transition
-    // next_transition returns a pair<aid_t, double> in case we want to consider multiple state
+    // next_transition returns a pair<aid_t, int> in case we want to consider multiple state (eg. during backtrack)
     auto [next, _] = state->next_transition_guided();
 
     if (next < 0) { // If there is no more transition in the current state, backtrack.
-      XBT_VERB("There remains %lu actors, but none to interleave (depth %zu).", state->get_actor_count(),
+      XBT_VERB("%lu actors remain, but none of them need to be interleaved (depth %zu).", state->get_actor_count(),
                stack_.size() + 1);
 
       if (state->get_actor_count() == 0) {
@@ -158,27 +167,24 @@ void DFSExplorer::run()
       this->backtrack();
       continue;
     }
+
     if (_sg_mc_sleep_set && XBT_LOG_ISENABLED(mc_dfs, xbt_log_priority_verbose)) {
       XBT_VERB("Sleep set actually containing:");
       for (auto& [aid, transition] : state->get_sleep_set())
         XBT_VERB("  <%ld,%s>", aid, transition.to_string().c_str());
     }
 
-    // if (stack_.back()->count_todo_multiples() <= 1)
-    //         add_to_opened_states(stack_);
-
     /* Actually answer the request: let's execute the selected request (MCed does one step) */
     state->execute_next(next, get_remote_app());
-    on_transition_execute_signal(state->get_transition(), get_remote_app());
+    on_transition_execute_signal(state->get_transition_out(), get_remote_app());
 
     // If there are processes to interleave and the maximum depth has not been
     // reached then perform one step of the exploration algorithm.
-    XBT_VERB("Execute %ld: %.60s (stack depth: %zu, state: %ld, %zu interleaves)", state->get_transition()->aid_,
-             state->get_transition()->to_string().c_str(), stack_.size(), state->get_num(), state->count_todo());
+    XBT_VERB("Execute %ld: %.60s (stack depth: %zu, state: %ld, %zu interleaves)", state->get_transition_out()->aid_,
+             state->get_transition_out()->to_string().c_str(), stack_.size(), state->get_num(), state->count_todo());
 
     /* Create the new expanded state (copy the state of MCed into our MCer data) */
-    std::shared_ptr<State> next_state;
-    next_state = std::make_shared<State>(get_remote_app(), state);
+    auto next_state = std::make_shared<State>(get_remote_app(), state);
     on_state_creation_signal(next_state.get(), get_remote_app());
 
     /* Sleep set procedure:
@@ -186,59 +192,67 @@ void DFSExplorer::run()
      * <!> Since the parent sleep set is used to compute the child sleep set, this need to be
      * done after next_state creation */
     XBT_DEBUG("Marking Transition >>%s<< of process %ld done and adding it to the sleep set",
-              state->get_transition()->to_string().c_str(), state->get_transition()->aid_);
-    state->add_sleep_set(state->get_transition()); // Actors are marked done when they are considerd in ActorState
+              state->get_transition_out()->to_string().c_str(), state->get_transition_out()->aid_);
+    state->add_sleep_set(state->get_transition_out()); // Actors are marked done when they are considerd in ActorState
 
     /* DPOR persistent set procedure:
      * for each new transition considered, check if it depends on any other previous transition executed before it
      * on another process. If there exists one, find the more recent, and add its process to the interleave set.
      * If the process is not enabled at this  point, then add every enabled process to the interleave */
     if (reduction_mode_ == ReductionMode::dpor) {
-      aid_t issuer_id   = state->get_transition()->aid_;
-      stack_t tmp_stack = std::list(stack_);
+      aid_t issuer_id   = state->get_transition_out()->aid_;
+      stack_t tmp_stack = stack_;
       while (not tmp_stack.empty()) {
-        State* prev_state = tmp_stack.back().get();
-        if (state->get_transition()->aid_ == prev_state->get_transition()->aid_) {
-          XBT_DEBUG("Simcall >>%s<< and >>%s<< with same issuer %ld", state->get_transition()->to_string().c_str(),
-                    prev_state->get_transition()->to_string().c_str(), issuer_id);
+        if (const State* prev_state = tmp_stack.back().get();
+            state->get_transition_out()->aid_ == prev_state->get_transition_out()->aid_) {
+          XBT_DEBUG("Simcall >>%s<< and >>%s<< with same issuer %ld", state->get_transition_out()->to_string().c_str(),
+                    prev_state->get_transition_out()->to_string().c_str(), issuer_id);
           tmp_stack.pop_back();
           continue;
-        } else if (prev_state->get_transition()->depends(state->get_transition())) {
+        } else if (prev_state->get_transition_out()->depends(state->get_transition_out())) {
           XBT_VERB("Dependent Transitions:");
-          XBT_VERB("  %s (state=%ld)", prev_state->get_transition()->to_string().c_str(), prev_state->get_num());
-          XBT_VERB("  %s (state=%ld)", state->get_transition()->to_string().c_str(), state->get_num());
+          XBT_VERB("  %s (state=%ld)", prev_state->get_transition_out()->to_string().c_str(), prev_state->get_num());
+          XBT_VERB("  %s (state=%ld)", state->get_transition_out()->to_string().c_str(), state->get_num());
 
           if (prev_state->is_actor_enabled(issuer_id)) {
             if (not prev_state->is_actor_done(issuer_id)) {
               prev_state->consider_one(issuer_id);
-              add_to_opened_states(tmp_stack);
+              opened_states_.emplace_back(tmp_stack.back());
             } else
               XBT_DEBUG("Actor %ld is already in done set: no need to explore it again", issuer_id);
           } else {
             XBT_DEBUG("Actor %ld is not enabled: DPOR may be failing. To stay sound, we are marking every enabled "
                       "transition as todo",
                       issuer_id);
-            prev_state->consider_all();
-            add_to_opened_states(tmp_stack);
+            // If we ended up marking at least a transition, explore it at some point
+            if (prev_state->consider_all() > 0)
+              opened_states_.emplace_back(tmp_stack.back());
           }
           break;
         } else {
           XBT_VERB("INDEPENDENT Transitions:");
-          XBT_VERB("  %s (state=%ld)", prev_state->get_transition()->to_string().c_str(), prev_state->get_num());
-          XBT_VERB("  %s (state=%ld)", state->get_transition()->to_string().c_str(), state->get_num());
+          XBT_VERB("  %s (state=%ld)", prev_state->get_transition_out()->to_string().c_str(), prev_state->get_num());
+          XBT_VERB("  %s (state=%ld)", state->get_transition_out()->to_string().c_str(), state->get_num());
         }
         tmp_stack.pop_back();
       }
     }
 
+    // Before leaving that state, if the transition we just took can be taken multiple times, we
+    // need to give it to the opened states
+    if (stack_.back()->count_todo_multiples() > 0)
+      opened_states_.emplace_back(stack_.back());
+
     if (_sg_mc_termination)
       this->check_non_termination(next_state.get());
 
+#if SIMGRID_HAVE_STATEFUL_MC
     /* Check whether we already explored next_state in the past (but only if interested in state-equality reduction) */
     if (_sg_mc_max_visited_states > 0)
       visited_state_ = visited_states_.addVisitedState(next_state->get_num(), next_state.get(), get_remote_app());
+#endif
 
-    stack_.push_back(std::move(next_state));
+    stack_.emplace_back(std::move(next_state));
 
     /* If this is a new state (or if we don't care about state-equality reduction) */
     if (visited_state_ == nullptr) {
@@ -248,87 +262,97 @@ void DFSExplorer::run()
       else {
         stack_.back()->consider_all();
       }
-      if (stack_.back()->count_todo_multiples() > 1)
-        add_to_opened_states(stack_);
+
       dot_output("\"%ld\" -> \"%ld\" [%s];\n", state->get_num(), stack_.back()->get_num(),
-                 state->get_transition()->dot_string().c_str());
-    } else
+                 state->get_transition_out()->dot_string().c_str());
+#if SIMGRID_HAVE_STATEFUL_MC
+    } else {
       dot_output("\"%ld\" -> \"%ld\" [%s];\n", state->get_num(),
                  visited_state_->original_num_ == -1 ? visited_state_->num_ : visited_state_->original_num_,
-                 state->get_transition()->dot_string().c_str());
+                 state->get_transition_out()->dot_string().c_str());
+#endif
+    }
   }
-
   log_state();
 }
 
+std::shared_ptr<State> DFSExplorer::best_opened_state()
+{
+  int best_prio = 0; // cache the value for the best priority found so far (initialized to silence gcc)
+  auto best     = end(opened_states_);   // iterator to the state to explore having the best priority
+  auto valid    = begin(opened_states_); // iterator marking the limit between states still to explore, and already
+                                         // explored ones
+
+  // Keep only still non-explored states (aid != -1), and record the one with the best (greater) priority.
+  for (auto current = begin(opened_states_); current != end(opened_states_); ++current) {
+    auto [aid, prio] = (*current)->next_transition_guided();
+    if (aid == -1)
+      continue;
+    if (valid != current)
+      *valid = std::move(*current);
+    if (best == end(opened_states_) || prio > best_prio) {
+      best_prio = prio;
+      best      = valid;
+    }
+    ++valid;
+  }
+
+  std::shared_ptr<State> best_state;
+  if (best < valid) {
+    // There are non-explored states, and one of them has the best priority.  Remove it from opened_states_ before
+    // returning.
+    best_state = std::move(*best);
+    --valid;
+    if (best != valid)
+      *best = std::move(*valid);
+  }
+  opened_states_.erase(valid, end(opened_states_));
+
+  return best_state;
+}
+
 void DFSExplorer::backtrack()
 {
-  backtrack_count_++;
   XBT_VERB("Backtracking from %s", get_record_trace().to_string().c_str());
   XBT_DEBUG("%lu alternatives are yet to be explored:", opened_states_.size());
-  for (auto& stack : opened_states_)
-    XBT_DEBUG("--> %s", get_record_trace_of_stack(stack).to_string().c_str());
+
   on_backtracking_signal(get_remote_app());
   get_remote_app().check_deadlock();
 
-  // if no backtracking point, then set the stack_ to empty so we can end the exploration
-  if (opened_states_.size() == 0) {
-    stack_ = std::list<std::shared_ptr<State>>();
-    return;
-  }
-
-  /* We may backtrack from somewhere either because it's leaf, or because every enabled process are in done/sleep set.
-   * In the first case, we need to remove the last transition corresponding to the Finalize */
-  if (stack_.back()->get_transition()->aid_ == 0)
-    stack_.pop_back();
-
-  stack_t backtrack;
-  double min_dist = std::numeric_limits<double>::infinity();
-  aid_t min_aid   = -1;
-  for (auto iter = opened_states_.begin(); iter != opened_states_.end();) {
-    auto [aid, dist] = (*iter).back()->next_transition_guided();
-    if (aid == -1) { // happens if no actors are todo anymore in this transition
-      iter = opened_states_.erase(iter);
-      continue;
-    }
-    if (dist < min_dist) {
-      min_dist  = dist;
-      min_aid   = aid;
-      backtrack = (*iter);
-    }
-    iter++;
-  }
+  // Take the point with smallest distance
+  auto backtracking_point = best_opened_state();
 
-  if (min_aid == -1) {
-    stack_ = std::list<std::shared_ptr<State>>();
+  // if no backtracking point, then set the stack_ to empty so we can end the exploration
+  if (not backtracking_point) {
+    XBT_DEBUG("No more opened point of exploration, the search will end");
+    stack_.clear();
     return;
   }
 
-  if (backtrack.back()->count_todo_multiples() <= 1)
-    opened_states_.remove(backtrack);
+  // We found a backtracking point, let's go to it
+  backtrack_count_++;
+  XBT_DEBUG("Backtracking to state#%ld", backtracking_point->get_num());
 
+#if SIMGRID_HAVE_STATEFUL_MC
   /* If asked to rollback on a state that has a snapshot, restore it */
-  State* last_state = backtrack.back().get();
-  if (const auto* system_state = last_state->get_system_state()) {
+  if (const auto* system_state = backtracking_point->get_system_state()) {
     system_state->restore(*get_remote_app().get_remote_process_memory());
-    on_restore_system_state_signal(last_state, get_remote_app());
-    stack_ = backtrack;
+    on_restore_system_state_signal(backtracking_point.get(), get_remote_app());
+    this->restore_stack(backtracking_point);
     return;
   }
+#endif
 
   /* if no snapshot, we need to restore the initial state and replay the transitions */
   get_remote_app().restore_initial_state();
   on_restore_initial_state_signal(get_remote_app());
   /* Traverse the stack from the state at position start and re-execute the transitions */
-  for (std::shared_ptr<State> const& state : backtrack) {
-    if (state == backtrack.back()) /* If we are arrived on the target state, don't replay the outgoing transition */
-      break;
-    state->get_transition()->replay(get_remote_app());
-    on_transition_replay_signal(state->get_transition(), get_remote_app());
+  for (auto& state : backtracking_point->get_recipe()) {
+    state->replay(get_remote_app());
+    on_transition_replay_signal(state, get_remote_app());
     visited_states_count_++;
   }
-  stack_ = backtrack;
-  XBT_DEBUG(">> Backtracked to %s", get_record_trace().to_string().c_str());
+  this->restore_stack(backtracking_point);
 }
 
 DFSExplorer::DFSExplorer(const std::vector<char*>& args, bool with_dpor, bool need_memory_info)
@@ -349,21 +373,21 @@ DFSExplorer::DFSExplorer(const std::vector<char*>& args, bool with_dpor, bool ne
   } else
     XBT_INFO("Start a DFS exploration. Reduction is: %s.", to_c_str(reduction_mode_));
 
-  auto initial_state = std::make_unique<State>(get_remote_app());
+  auto initial_state = std::make_shared<State>(get_remote_app());
 
   XBT_DEBUG("**************************************************");
 
-  stack_.push_back(std::move(initial_state));
+  stack_.emplace_back(std::move(initial_state));
 
   /* Get an enabled actor and insert it in the interleave set of the initial state */
-  XBT_DEBUG("Initial state. %lu actors to consider", initial_state->get_actor_count());
+  XBT_DEBUG("Initial state. %lu actors to consider", stack_.back()->get_actor_count());
   if (reduction_mode_ == ReductionMode::dpor)
     stack_.back()->consider_best();
   else {
     stack_.back()->consider_all();
   }
   if (stack_.back()->count_todo_multiples() > 1)
-    add_to_opened_states(stack_);
+    opened_states_.emplace_back(stack_.back());
 }
 
 Exploration* create_dfs_exploration(const std::vector<char*>& args, bool with_dpor)