Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'udpor-phase6' into 'master'
[simgrid.git] / src / mc / explo / udpor / Configuration.cpp
index c4bdd79..98d004b 100644 (file)
@@ -4,20 +4,29 @@
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include "src/mc/explo/udpor/Configuration.hpp"
+#include "src/mc/explo/udpor/Comb.hpp"
 #include "src/mc/explo/udpor/History.hpp"
+#include "src/mc/explo/udpor/Unfolding.hpp"
 #include "src/mc/explo/udpor/UnfoldingEvent.hpp"
+#include "src/mc/explo/udpor/maximal_subsets_iterator.hpp"
 #include "xbt/asserts.h"
 
 #include <algorithm>
-#include <stack>
 #include <stdexcept>
 
 namespace simgrid::mc::udpor {
 
-Configuration::Configuration(std::initializer_list<UnfoldingEvent*> events) : Configuration(EventSet(std::move(events)))
+Configuration::Configuration(std::initializer_list<const UnfoldingEvent*> events)
+    : Configuration(EventSet(std::move(events)))
 {
 }
 
+Configuration::Configuration(const UnfoldingEvent* e) : Configuration(e->get_history())
+{
+  // The local configuration should always be a valid configuration. We
+  // check the invariant regardless as a sanity check
+}
+
 Configuration::Configuration(const EventSet& events) : events_(events)
 {
   if (!events_.is_valid_configuration()) {
@@ -25,7 +34,9 @@ Configuration::Configuration(const EventSet& events) : events_(events)
   }
 }
 
-void Configuration::add_event(UnfoldingEvent* e)
+Configuration::Configuration(const History& history) : Configuration(history.get_all_events()) {}
+
+void Configuration::add_event(const UnfoldingEvent* e)
 {
   if (e == nullptr) {
     throw std::invalid_argument("Expected a nonnull `UnfoldingEvent*` but received NULL instead");
@@ -35,207 +46,148 @@ void Configuration::add_event(UnfoldingEvent* e)
     return;
   }
 
+  // Preserves the property that the configuration is conflict-free
+  if (e->conflicts_with(*this)) {
+    throw std::invalid_argument("The newly added event conflicts with the events already "
+                                "contained in the configuration. Adding this event violates "
+                                "the property that a configuration is conflict-free");
+  }
+
   this->events_.insert(e);
   this->newest_event = e;
 
-  // Preserves the property that the configuration is valid
-  History history(e);
-  if (!this->events_.contains(history)) {
+  // Preserves the property that the configuration is causally closed
+  if (auto history = History(e); !this->events_.contains(history)) {
     throw std::invalid_argument("The newly added event has dependencies "
                                 "which are missing from this configuration");
   }
 }
 
-std::vector<UnfoldingEvent*> Configuration::get_topologically_sorted_events() const
+bool Configuration::is_compatible_with(const UnfoldingEvent* e) const
 {
-  if (events_.empty()) {
-    return std::vector<UnfoldingEvent*>();
-  }
+  return not e->conflicts_with(*this);
+}
 
-  std::stack<UnfoldingEvent*> event_stack;
-  std::vector<UnfoldingEvent*> topological_ordering;
-  EventSet unknown_events = events_, temporarily_marked_events, permanently_marked_events;
-
-  while (not unknown_events.empty()) {
-    EventSet discovered_events;
-    event_stack.push(*unknown_events.begin());
-
-    while (not event_stack.empty()) {
-      UnfoldingEvent* evt = event_stack.top();
-      discovered_events.insert(evt);
-
-      if (not temporarily_marked_events.contains(evt)) {
-        // If this event hasn't yet been marked, do
-        // so now so that if we see it again in a child we can
-        // detect a cycle and if we see it again here
-        // we can detect that the node is re-processed
-        temporarily_marked_events.insert(evt);
-
-        EventSet immediate_causes = evt->get_immediate_causes();
-        if (!immediate_causes.empty() && immediate_causes.is_subset_of(temporarily_marked_events)) {
-          throw std::invalid_argument("Attempted to perform a topological sort on a configuration "
-                                      "whose contents contain a cycle. The configuration (and the graph "
-                                      "connecting all of the events) is an invalid event structure");
-        }
-        immediate_causes.subtract(discovered_events);
-        immediate_causes.subtract(permanently_marked_events);
-        const EventSet undiscovered_causes = std::move(immediate_causes);
-
-        for (const auto cause : undiscovered_causes) {
-          event_stack.push(cause);
-        }
-      } else {
-        // Mark this event as:
-        // 1. discovered across all DFSs performed
-        // 2. permanently marked
-        // 3. part of the topological search
-        unknown_events.remove(evt);
-        temporarily_marked_events.remove(evt);
-        permanently_marked_events.insert(evt);
-
-        // In moving this event to the end of the list,
-        // we are saying this events "happens before" other
-        // events that are added later.
-        topological_ordering.push_back(evt);
-
-        // Only now do we remove the event, i.e. once
-        // we've processed the same event again
-        event_stack.pop();
-      }
-    }
-  }
-  return topological_ordering;
+bool Configuration::is_compatible_with(const History& history) const
+{
+  return std::none_of(history.begin(), history.end(),
+                      [&](const UnfoldingEvent* e) { return e->conflicts_with(*this); });
 }
 
-std::vector<UnfoldingEvent*> Configuration::get_topologically_sorted_events_of_reverse_graph() const
+std::vector<const UnfoldingEvent*> Configuration::get_topologically_sorted_events() const
 {
-  // The method exploits the property that
-  // a topological sorting S^R of the reverse graph G^R
-  // of some graph G is simply the reverse of any
-  // topological sorting S of G.
-  auto topological_events = get_topologically_sorted_events();
-  std::reverse(topological_events.begin(), topological_events.end());
-  return topological_events;
+  return this->events_.get_topological_ordering();
 }
 
-std::unique_ptr<CompatibilityGraph>
-Configuration::make_compatibility_graph_filtered_on(std::function<bool(const UnfoldingEvent*)> pred) const
+std::vector<const UnfoldingEvent*> Configuration::get_topologically_sorted_events_of_reverse_graph() const
 {
-  auto G = std::make_unique<CompatibilityGraph>();
+  return this->events_.get_topological_ordering_of_reverse_graph();
+}
 
-  struct UnfoldingEventSearchData {
-    int immediate_children_count                          = 0;
-    CompatibilityGraphNode* potential_placement           = nullptr;
-    std::unordered_set<CompatibilityGraphNode*> conflicts = std::unordered_set<CompatibilityGraphNode*>();
-  };
-  std::unordered_map<UnfoldingEvent*, UnfoldingEventSearchData> search_data;
-
-  for (auto* e : get_topologically_sorted_events_of_reverse_graph()) {
-
-    // 1. Figure out where to place `e` in `G`
-
-    // Determine which nodes in the graph are in conflict
-    // with this event. These nodes would have been added by child
-    // events while iterating over the topological ordering of the reverse graph
-
-    const auto e_search_data_loc    = search_data.find(e);
-    const bool e_has_no_search_data = e_search_data_loc == search_data.end();
-    const auto e_search_data = e_has_no_search_data ? UnfoldingEventSearchData() : std::move(e_search_data_loc->second);
-
-    const auto& e_conflicts           = e_search_data.conflicts;
-    const auto& e_potential_placement = e_search_data.potential_placement;
-    const auto e_child_count          = e_search_data.immediate_children_count;
-
-    const bool e_should_appear          = pred(e);
-    CompatibilityGraphNode* e_placement = nullptr;
-
-    if (e_should_appear) {
-      // The justification is as follows:
-      //
-      // e_has_no_search_data:
-      //  The event `e` is a leaf node, so there are no prior
-      //  nodes in `G` to join
-      //
-      // child_count >= 2:
-      //  If there are two or more events that this event causes,
-      //  then we certainly must be part of a compatibility
-      //  graph node that conflicts with each of our children
-      //
-      // e_potential_placement == nullptr:
-      //  If nobody told us about a placement and yet still have search
-      //  data, this means means that our child `C` had more than one child itself,
-      //  so it we could not have moved into `C`'s _potential_ placement.
-      const bool new_placement_required =
-          e_has_no_search_data || e_child_count >= 2 || e_potential_placement == nullptr;
-
-      if (new_placement_required) {
-        auto new_graph_node = std::make_unique<CompatibilityGraphNode>(e_conflicts, EventSet({e}));
-        e_placement         = new_graph_node.get();
-        G->insert(std::move(new_graph_node));
-      } else {
-        xbt_assert(e_child_count == 1, "An event was informed by an immediate child of placement in "
-                                       "the same compatibility graph node, yet the child did not inform "
-                                       "the parent about its presence");
-        // A child event told us this node can be in the
-        // same compatibility node in the graph G. Add ourselves now
-        e_placement = e_potential_placement;
-        e_placement->add_event(e);
-      }
+EventSet Configuration::get_minimally_reproducible_events() const
+{
+  // The implementation exploits the following observations:
+  //
+  // To select the smallest reproducible set of events, we want
+  // to pick events that "knock out" a lot of others. Furthermore,
+  // we need to ensure that the events furthest down in the
+  // causality graph are also selected. If you combine these ideas,
+  // you're basically left with traversing the set of maximal
+  // subsets of C! And we have an iterator for that already!
+  //
+  // The next observation is that the moment we don't increase in size
+  // the current maximal set (or decrease the number of events),
+  // we know that the prior set `S` covered the entire history of C and
+  // was maximal. Subsequent sets will miss events earlier in the
+  // topological ordering that appear in `S`
+  EventSet minimally_reproducible_events = EventSet();
+
+  for (const auto& maximal_set : maximal_subsets_iterator_wrapper<Configuration>(*this)) {
+    if (maximal_set.size() > minimally_reproducible_events.size()) {
+      minimally_reproducible_events = maximal_set;
+    } else {
+      // The moment we see the iterator generate a set of size
+      // that is not monotonically increasing, we can stop:
+      // the set prior was the minimally-reproducible one
+      return minimally_reproducible_events;
     }
+  }
+  return minimally_reproducible_events;
+}
 
-    // 2. Update the children of `e`
-
-    const EventSet& e_immediate_causes = e->get_immediate_causes();
+std::optional<Configuration> Configuration::compute_alternative_to(const EventSet& D, const Unfolding& U) const
+{
+  // A full alternative can be computed by checking against everything in D
+  return compute_k_partial_alternative_to(D, U, D.size());
+}
 
-    // If there is only a single ancestor, then it MAY BE in
-    // the same "chain" of events as us. Note that the ancestor must
-    // also have only a single child (see the note on `new_placement_required`).
+std::optional<Configuration> Configuration::compute_k_partial_alternative_to(const EventSet& D, const Unfolding& U,
+                                                                             size_t k) const
+{
+  // 1. Select k (of |D|, whichever is smaller) arbitrary events e_1, ..., e_k from D
+  const auto D_hat = [&]() {
+    const size_t size = std::min(k, D.size());
+    std::vector<const UnfoldingEvent*> D_hat(size);
+    // TODO: Since any subset suffices for computing `k`-partial alternatives,
+    // potentially select intelligently here (e.g. perhaps pick events
+    // with transitions that we know are totally independent). This may be
+    // especially important if the enumeration is the slowest part of
+    // UDPOR
     //
-    // If there is more than one child, then each child is in conflict with `e`
-    // so we don't potentially place it
-    if (e_immediate_causes.size() == 1) {
-      UnfoldingEvent* only_ancestor = *e_immediate_causes.begin();
-
-      // If `e` is included in the graph, forward its placement on to
-      // the sole child. Otherwise attempt to forward `e`'s _potential_
-      // (potential is stressed) placement. We can only forward `e`'s
-      // potential placement iff `e` has only a single child; for if
-      // `e` had more children, then our sole ancestor would conflict with
-      // each one of `e`'s children and thus couldn't be in the same group
-      // as any of them
-      if (e_should_appear) {
-        search_data[only_ancestor].potential_placement = e_placement;
-      } else {
-        search_data[only_ancestor].potential_placement = e_child_count == 1 ? e_potential_placement : nullptr;
+    // For now, simply pick the first `k` events
+    std::copy_n(D.begin(), size, D_hat.begin());
+    return D_hat;
+  }();
+
+  // 2. Build a U-comb <s_1, ..., s_k> of size k, where spike `s_i` contains
+  // all events in conflict with `e_i`
+  //
+  // 3. EXCEPT those events e' for which [e'] + C is not a configuration or
+  // [e'] intersects D
+  //
+  // NOTE: This is an expensive operation as we must traverse the entire unfolding
+  // and compute `C.is_compatible_with(History)` for every event in the structure :/.
+  // A later performance improvement would be to incorporate the work of Nguyen et al.
+  // into SimGrid which associated additonal data structures with each unfolding event.
+  // Since that is a rather complicated addition, we defer it to a later time...
+  Comb comb(k);
+
+  for (const auto* e : U) {
+    for (unsigned i = 0; i < k; i++) {
+      const UnfoldingEvent* e_i = D_hat[i];
+      if (const auto e_local_config = History(e);
+          e_i->conflicts_with(e) and (not D.intersects(e_local_config)) and is_compatible_with(e_local_config)) {
+        comb[i].push_back(e);
       }
     }
+  }
 
-    // Our ancestors conflict with everyone `e` does else PLUS `e` itself
-    // ONLY IF e actually was placed
-    auto parent_conflicts = std::move(e_conflicts);
-    if (e_should_appear) {
-      parent_conflicts.insert(e_placement);
-    }
-    for (auto* cause : e_immediate_causes) {
-      search_data[cause].immediate_children_count += 1;
-
-      for (auto parent_conflict : parent_conflicts) {
-        search_data[cause].conflicts.insert(parent_conflict);
-      }
+  // 4. Find any such combination <e_1', ..., e_k'> in comb satisfying
+  // ~(e_i' # e_j') for i != j
+  //
+  // NOTE: This is a VERY expensive operation: it enumerates all possible
+  // ways to select an element from each spike. Unfortunately there's no
+  // way around the enumeration, as computing a full alternative in general is
+  // NP-complete (although computing the k-partial alternative is polynomial in
+  // the number of events)
+  const auto map_events = [](const std::vector<Spike::const_iterator>& spikes) {
+    std::vector<const UnfoldingEvent*> events;
+    for (const auto& event_in_spike : spikes) {
+      events.push_back(*event_in_spike);
     }
+    return EventSet(std::move(events));
+  };
+  const auto alternative =
+      std::find_if(comb.combinations_begin(), comb.combinations_end(),
+                   [&map_events](const auto& vector) { return map_events(vector).is_conflict_free(); });
 
-    // This event will only ever be seen once in the
-    // topological ordering. Hence, its resources do not
-    // need to be kept around
-    search_data.erase(e);
+  // No such alternative exists
+  if (alternative == comb.combinations_end()) {
+    return std::nullopt;
   }
 
-  return G;
-}
-
-std::unique_ptr<CompatibilityGraph> Configuration::make_compatibility_graph() const
-{
-  return make_compatibility_graph_filtered_on([=](const UnfoldingEvent*) { return true; });
+  // 5. J := [e_1] + [e_2] + ... + [e_k] is a k-partial alternative
+  return Configuration(History(map_events(*alternative)));
 }
 
 } // namespace simgrid::mc::udpor