Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Move common part for selective_update to System class.
[simgrid.git] / src / kernel / lmm / bmf.cpp
index 2c02312..7ec03e8 100644 (file)
@@ -4,14 +4,22 @@
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include "src/kernel/lmm/bmf.hpp"
-#include <eigen3/Eigen/LU>
+#include "xbt/config.hpp"
+
+#include <Eigen/LU>
 #include <iostream>
 #include <numeric>
 #include <sstream>
 
 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(ker_bmf, kernel, "Kernel BMF solver");
 
-int sg_bmf_max_iterations = 1000; /* Change this with --cfg=bmf/max-iterations:VALUE */
+simgrid::config::Flag<int>
+    cfg_bmf_max_iteration("bmf/max-iterations",
+                          "Maximum number of steps to be performed while searching for a BMF allocation", 1000);
+
+simgrid::config::Flag<bool> cfg_bmf_selective_update{
+    "bmf/selective-update", "Update the constraint set propagating recursively to others constraints (off by default)",
+    false};
 
 namespace simgrid {
 namespace kernel {
@@ -38,10 +46,10 @@ bool AllocationGenerator::next(std::vector<int>& next_alloc)
     return true;
   }
 
-  int n_resources = A_.rows();
+  auto n_resources = A_.rows();
   size_t idx      = 0;
   while (idx < alloc_.size()) {
-    alloc_[idx] = (++alloc_[idx]) % n_resources;
+    alloc_[idx] = (alloc_[idx] + 1) % n_resources;
     if (alloc_[idx] == 0) {
       idx++;
       continue;
@@ -66,12 +74,14 @@ BmfSolver::BmfSolver(Eigen::MatrixXd A, Eigen::MatrixXd maxA, Eigen::VectorXd C,
     , C_shared_(std::move(shared))
     , phi_(std::move(phi))
     , gen_(A_)
+    , max_iteration_(cfg_bmf_max_iteration)
+
 {
   xbt_assert(max_iteration_ > 0,
              "Invalid number of iterations for BMF solver. Please check your \"bmf/max-iterations\" configuration.");
-  xbt_assert(A_.cols() == maxA_.cols(), "Invalid number of cols in matrix A (%ld) or maxA (%ld)", A_.cols(),
+  xbt_assert(A_.cols() == maxA_.cols(), "Invalid number of cols in matrix A (%td) or maxA (%td)", A_.cols(),
              maxA_.cols());
-  xbt_assert(A_.cols() == static_cast<long>(phi_.size()), "Invalid size of phi vector (%ld)", phi_.size());
+  xbt_assert(A_.cols() == phi_.size(), "Invalid size of phi vector (%td)", phi_.size());
   xbt_assert(static_cast<long>(C_shared_.size()) == C_.size(), "Invalid size param shared (%zu)", C_shared_.size());
 }
 
@@ -108,13 +118,13 @@ double BmfSolver::get_resource_capacity(int resource, const std::vector<int>& bo
   for (int p : bounded_players) {
     capacity -= A_(resource, p) * phi_[p];
   }
-  return capacity;
+  return std::max(0.0, capacity);
 }
 
 std::vector<int> BmfSolver::alloc_map_to_vector(const allocation_map_t& alloc) const
 {
   std::vector<int> alloc_by_player(A_.cols(), -1);
-  for (auto it : alloc) {
+  for (const auto& it : alloc) {
     for (auto p : it.second) {
       alloc_by_player[p] = it.first;
     }
@@ -122,48 +132,59 @@ std::vector<int> BmfSolver::alloc_map_to_vector(const allocation_map_t& alloc) c
   return alloc_by_player;
 }
 
+std::vector<int> BmfSolver::get_bounded_players(const allocation_map_t& alloc) const
+{
+  std::vector<int> bounded_players;
+  for (const auto& e : alloc) {
+    if (e.first == NO_RESOURCE) {
+      bounded_players.insert(bounded_players.end(), e.second.begin(), e.second.end());
+    }
+  }
+  return bounded_players;
+}
+
 Eigen::VectorXd BmfSolver::equilibrium(const allocation_map_t& alloc) const
 {
-  int n_players       = A_.cols();
+  auto n_players      = A_.cols();
   Eigen::MatrixXd A_p = Eigen::MatrixXd::Zero(n_players, n_players); // square matrix with number of players
   Eigen::VectorXd C_p = Eigen::VectorXd::Zero(n_players);
 
   int row = 0;
-  std::vector<int> bounded_players;
+  auto bounded_players = get_bounded_players(alloc);
   for (const auto& e : alloc) {
     // add one row for the resource with A[r,]
     int cur_resource = e.first;
-    if (cur_resource == NO_RESOURCE) {
-      bounded_players.insert(bounded_players.end(), e.second.begin(), e.second.end());
+    /* bounded players, nothing to do */
+    if (cur_resource == NO_RESOURCE)
       continue;
-    }
-    if (C_shared_[cur_resource]) {
-      /* shared resource: fairly share it between players */
-      A_p.row(row) = A_.row(cur_resource);
-      C_p[row]     = get_resource_capacity(cur_resource, bounded_players);
-      row++;
-      if (e.second.size() > 1) {
-        // if 2 players have chosen the same resource
-        // they must have a fair sharing of this resource, adjust A_p and C_p accordingly
-        auto it = e.second.begin();
-        int i   = *it; // first player
-        /* for each other player sharing this resource */
-        for (++it; it != e.second.end(); ++it) {
-          /* player i and k on this resource j: so maxA_ji*rho_i - maxA_jk*rho_k = 0 */
-          int k       = *it;
-          C_p[row]    = 0;
-          A_p(row, i) = maxA_(cur_resource, i);
-          A_p(row, k) = -maxA_(cur_resource, k);
-          row++;
-        }
-      }
-    } else {
-      /* not shared resource, each player can receive the full capacity of the resource */
+    /* not shared resource, each player can receive the full capacity of the resource */
+    if (not C_shared_[cur_resource]) {
       for (int i : e.second) {
         C_p[row]    = get_resource_capacity(cur_resource, bounded_players);
         A_p(row, i) = A_(cur_resource, i);
         row++;
       }
+      continue;
+    }
+
+    /* shared resource: fairly share it between players */
+    A_p.row(row) = A_.row(cur_resource);
+    C_p[row]     = get_resource_capacity(cur_resource, bounded_players);
+    row++;
+    if (e.second.size() > 1) {
+      // if 2 players have chosen the same resource
+      // they must have a fair sharing of this resource, adjust A_p and C_p accordingly
+      auto it = e.second.begin();
+      int i   = *it; // first player
+      /* for each other player sharing this resource */
+      for (++it; it != e.second.end(); ++it) {
+        /* player i and k on this resource j: so maxA_ji*rho_i - maxA_jk*rho_k = 0 */
+        int k       = *it;
+        C_p[row]    = 0;
+        A_p(row, i) = maxA_(cur_resource, i);
+        A_p(row, k) = -maxA_(cur_resource, k);
+        row++;
+      }
     }
   }
   /* clear players which are externally bounded */
@@ -174,6 +195,20 @@ Eigen::VectorXd BmfSolver::equilibrium(const allocation_map_t& alloc) const
   XBT_DEBUG("A':\n%s", debug_eigen(A_p).c_str());
 
   XBT_DEBUG("C':\n%s", debug_eigen(C_p).c_str());
+  /* PartialPivLU is much faster than FullPivLU but requires that the matrix is invertible
+   * FullPivLU however assures that it finds come solution even if the matrix is singular
+   * Ideally we would like to be optimist and try Partial and in case of error, go back
+   * to FullPivLU.
+   * However, this with isNaN doesn't work if compiler uses -Ofastmath. In our case,
+   * the icc compiler raises an error when compiling the code (comparison with NaN always evaluates to false in fast
+   * floating point modes).
+   * Eigen::VectorXd rho = Eigen::PartialPivLU<Eigen::MatrixXd>(A_p).solve(C_p);
+   * if (rho.array().isNaN().any()) {
+   *   XBT_DEBUG("rho with nan values, falling back to FullPivLU, rho:\n%s", debug_eigen(rho).c_str());
+   *   rho = Eigen::FullPivLU<Eigen::MatrixXd>(A_p).solve(C_p);
+   * }
+   */
+
   Eigen::VectorXd rho = Eigen::FullPivLU<Eigen::MatrixXd>(A_p).solve(C_p);
   for (int p : bounded_players) {
     rho[p] = phi_[p];
@@ -210,7 +245,7 @@ bool BmfSolver::get_alloc(const Eigen::VectorXd& fair_sharing, const allocation_
         continue;
 
       double share = fair_sharing[cnst_idx] / A_(cnst_idx, player_idx);
-      if (min_share == -1 || double_positive(min_share - share, sg_maxmin_precision)) {
+      if (min_share == -1 || share < min_share) {
         selected_resource = cnst_idx;
         min_share         = share;
       }
@@ -222,27 +257,6 @@ bool BmfSolver::get_alloc(const Eigen::VectorXd& fair_sharing, const allocation_
     return true;
 
   std::vector<int> alloc_by_player      = alloc_map_to_vector(alloc);
-#if 0
-  std::vector<int> last_alloc_by_player = alloc_map_to_vector(last_alloc);
-  if (not initial) {
-    std::for_each(allocations_age_.begin(), allocations_age_.end(), [](int& n) { n++; });
-    std::vector<int> age_idx(allocations_age_.size());
-    std::iota(age_idx.begin(), age_idx.end(), 0);
-    std::stable_sort(age_idx.begin(), age_idx.end(),
-                     [this](auto a, auto b) { return this->allocations_age_[a] > this->allocations_age_[b]; });
-    for (int p : age_idx) {
-      if (alloc_by_player[p] != last_alloc_by_player[p]) {
-        alloc = last_alloc;
-        alloc[last_alloc_by_player[p]].erase(p);
-        if (alloc[last_alloc_by_player[p]].empty())
-          alloc.erase(last_alloc_by_player[p]);
-        alloc[alloc_by_player[p]].insert(p);
-        allocations_age_[p] = 0;
-      }
-    }
-    alloc_by_player = alloc_map_to_vector(alloc);
-  }
-#endif
   auto ret = allocations_.insert(alloc_by_player);
   /* oops, allocation already tried, let's pertube it a bit */
   if (not ret.second) {
@@ -255,6 +269,8 @@ bool BmfSolver::get_alloc(const Eigen::VectorXd& fair_sharing, const allocation_
 void BmfSolver::set_fair_sharing(const allocation_map_t& alloc, const Eigen::VectorXd& rho,
                                  Eigen::VectorXd& fair_sharing) const
 {
+  std::vector<int> bounded_players = get_bounded_players(alloc);
+
   for (int r = 0; r < fair_sharing.size(); r++) {
     auto it = alloc.find(r);
     if (it != alloc.end()) {              // resource selected by some player, fair share depends on rho
@@ -266,11 +282,10 @@ void BmfSolver::set_fair_sharing(const allocation_map_t& alloc, const Eigen::Vec
       double consumption_r = A_.row(r) * rho;
       double_update(&consumption_r, C_[r], sg_maxmin_precision);
       if (consumption_r > 0.0) {
-        int n_players   = std::count_if(A_.row(r).data(), A_.row(r).data() + A_.row(r).size(),
-                                      [](double v) { return double_positive(v, sg_maxmin_precision); });
+        auto n_players  = (A_.row(r).array() > 0).count();
         fair_sharing[r] = C_[r] / n_players;
       } else {
-        fair_sharing[r] = C_[r];
+        fair_sharing[r] = get_resource_capacity(r, bounded_players);
       }
     }
   }
@@ -302,7 +317,7 @@ bool BmfSolver::is_bmf(const Eigen::VectorXd& rho) const
   Eigen::MatrixXi player_max_share =
       ((usage.array().colwise() - max_share.array()).abs() <= sg_maxmin_precision).cast<int>();
   // but only saturated resources must be considered
-  Eigen::VectorXi saturated = ((remaining.array().abs() <= sg_maxmin_precision)).cast<int>();
+  Eigen::VectorXi saturated = (remaining.array().abs() <= sg_maxmin_precision).cast<int>();
   XBT_DEBUG("Saturated_j resources:\n%s", debug_eigen(saturated).c_str());
   player_max_share.array().colwise() *= saturated.array();
 
@@ -319,7 +334,7 @@ bool BmfSolver::is_bmf(const Eigen::VectorXd& rho) const
 
   XBT_DEBUG("Player_ji usage of saturated resources:\n%s", debug_eigen(player_max_share).c_str());
   // for all columns(players) it has to be the max at least in 1
-  bmf = bmf && (player_max_share.colwise().sum().all() >= 1);
+  bmf = bmf && (player_max_share.colwise().sum().array() >= 1).all();
   return bmf;
 }
 
@@ -339,7 +354,8 @@ Eigen::VectorXd BmfSolver::solve()
   auto fair_sharing = C_;
 
   /* BMF allocation for each player (current and last one) stop when are equal */
-  allocation_map_t last_alloc, cur_alloc;
+  allocation_map_t last_alloc;
+  allocation_map_t cur_alloc;
   Eigen::VectorXd rho;
 
   while (it < max_iteration_ && not get_alloc(fair_sharing, last_alloc, cur_alloc, it == 0)) {
@@ -369,6 +385,8 @@ Eigen::VectorXd BmfSolver::solve()
     fprintf(stderr, "A:\n%s\n", debug_eigen(A_).c_str());
     fprintf(stderr, "maxA:\n%s\n", debug_eigen(maxA_).c_str());
     fprintf(stderr, "C:\n%s\n", debug_eigen(C_).c_str());
+    fprintf(stderr, "C_shared:\n%s\n", debug_vector(C_shared_).c_str());
+    fprintf(stderr, "phi:\n%s\n", debug_eigen(phi_).c_str());
     fprintf(stderr, "rho:\n%s\n", debug_eigen(rho).c_str());
     xbt_abort();
   }
@@ -379,7 +397,8 @@ Eigen::VectorXd BmfSolver::solve()
 
 /*****************************************************************************/
 
-void BmfSystem::get_flows_data(int number_cnsts, Eigen::MatrixXd& A, Eigen::MatrixXd& maxA, Eigen::VectorXd& phi)
+void BmfSystem::get_flows_data(Eigen::Index number_cnsts, Eigen::MatrixXd& A, Eigen::MatrixXd& maxA,
+                               Eigen::VectorXd& phi)
 {
   A.resize(number_cnsts, variable_set.size());
   A.setZero();
@@ -394,18 +413,19 @@ void BmfSystem::get_flows_data(int number_cnsts, Eigen::MatrixXd& A, Eigen::Matr
     bool active = false;
     bool linked = false; // variable is linked to some constraint (specially for selective_update)
     for (const Element& elem : var.cnsts_) {
-      boost::intrusive::list_member_hook<>& cnst_hook = selective_update_active
-                                                            ? elem.constraint->modified_constraint_set_hook_
-                                                            : elem.constraint->active_constraint_set_hook_;
+      const boost::intrusive::list_member_hook<>& cnst_hook = selective_update_active
+                                                                  ? elem.constraint->modified_constraint_set_hook_
+                                                                  : elem.constraint->active_constraint_set_hook_;
       if (not cnst_hook.is_linked())
         continue;
       /* active and linked variable, lets check its consumption */
       linked             = true;
       double consumption = elem.consumption_weight;
       if (consumption > 0) {
-        int cnst_idx            = cnst2idx_[elem.constraint];
-        A(cnst_idx, var_idx)    = consumption;
-        maxA(cnst_idx, var_idx) = elem.max_consumption_weight;
+        int cnst_idx = cnst2idx_[elem.constraint];
+        A(cnst_idx, var_idx) += consumption;
+        // a variable with double penalty must receive half share, so it max weight is greater
+        maxA(cnst_idx, var_idx) = std::max(maxA(cnst_idx, var_idx), elem.max_consumption_weight * var.sharing_penalty_);
         active                  = true;
       }
     }
@@ -452,14 +472,12 @@ void BmfSystem::get_constraint_data(const CnstList& cnst_list, Eigen::VectorXd&
   }
 }
 
-void BmfSystem::solve()
+void BmfSystem::do_solve()
 {
-  if (modified_) {
-    if (selective_update_active)
-      bmf_solve(modified_constraint_set);
-    else
-      bmf_solve(active_constraint_set);
-  }
+  if (selective_update_active)
+    bmf_solve(modified_constraint_set);
+  else
+    bmf_solve(active_constraint_set);
 }
 
 template <class CnstList> void BmfSystem::bmf_solve(const CnstList& cnst_list)
@@ -467,8 +485,10 @@ template <class CnstList> void BmfSystem::bmf_solve(const CnstList& cnst_list)
   /* initialize players' weight and constraint matrices */
   idx2Var_.clear();
   cnst2idx_.clear();
-  Eigen::MatrixXd A, maxA;
-  Eigen::VectorXd C, bounds;
+  Eigen::MatrixXd A;
+  Eigen::MatrixXd maxA;
+  Eigen::VectorXd C;
+  Eigen::VectorXd bounds;
   std::vector<bool> shared;
   get_constraint_data(cnst_list, C, shared);
   get_flows_data(C.size(), A, maxA, bounds);
@@ -483,10 +503,8 @@ template <class CnstList> void BmfSystem::bmf_solve(const CnstList& cnst_list)
   for (int i = 0; i < rho.size(); i++) {
     idx2Var_[i]->value_ = rho[i];
   }
-
-  print();
 }
 
 } // namespace lmm
 } // namespace kernel
-} // namespace simgrid
\ No newline at end of file
+} // namespace simgrid