Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Completely revise the way to deal with Streamed I/Os
[simgrid.git] / src / surf / ptask_L07.cpp
index 2aabd5a..8530077 100644 (file)
@@ -7,8 +7,11 @@
 #include <simgrid/s4u/Engine.hpp>
 #include <xbt/config.hpp>
 
+#include "simgrid/config.h"
 #include "src/kernel/EngineImpl.hpp"
+#if SIMGRID_HAVE_EIGEN3
 #include "src/kernel/lmm/bmf.hpp"
+#endif
 #include "src/kernel/resource/profile/Event.hpp"
 #include "src/surf/ptask_L07.hpp"
 
 XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(res_host);
 XBT_LOG_EXTERNAL_CATEGORY(xbt_cfg);
 
+/***********
+ * Options *
+ ***********/
+static simgrid::config::Flag<std::string> cfg_ptask_solver("host/solver",
+                                                           "Set linear equations solver used by ptask model",
+                                                           "fairbottleneck",
+                                                           &simgrid::kernel::lmm::System::validate_solver);
+
 /**************************************/
 /*** Resource Creation & Destruction **/
 /**************************************/
 void surf_host_model_init_ptask_L07()
 {
   XBT_CINFO(xbt_cfg, "Switching to the L07 model to handle parallel tasks.");
+  xbt_assert(cfg_ptask_solver != "maxmin", "Invalid configuration. Cannot use maxmin solver with parallel tasks.");
 
-  auto* system    = new simgrid::kernel::lmm::FairBottleneck(true /* selective update */);
+  auto* system    = simgrid::kernel::lmm::System::build(cfg_ptask_solver.get(), true /* selective update */);
   auto host_model = std::make_shared<simgrid::kernel::resource::HostL07Model>("Host_Ptask", system);
   auto* engine    = simgrid::kernel::EngineImpl::get_instance();
   engine->add_model(host_model);
   engine->get_netzone_root()->set_host_model(host_model);
 }
 
-void surf_host_model_init_ptask_BMF()
-{
-  XBT_CINFO(xbt_cfg, "Switching to the BMF model to handle parallel tasks.");
-
-  auto* system    = new simgrid::kernel::lmm::BmfSystem(false);
-  auto host_model = std::make_shared<simgrid::kernel::resource::HostL07Model>("Host_Ptask", system);
-  auto* engine    = simgrid::kernel::EngineImpl::get_instance();
-  engine->add_model(host_model);
-  engine->get_netzone_root()->set_host_model(host_model);
-}
-
-namespace simgrid {
-namespace kernel {
-namespace resource {
+namespace simgrid::kernel::resource {
 
 HostL07Model::HostL07Model(const std::string& name, lmm::System* sys) : HostModel(name)
 {
@@ -58,6 +57,8 @@ HostL07Model::HostL07Model(const std::string& name, lmm::System* sys) : HostMode
   auto cpu_model = std::make_shared<CpuL07Model>("Cpu_Ptask", this, sys);
   engine->add_model(cpu_model);
   engine->get_netzone_root()->set_cpu_pm_model(cpu_model);
+
+  surf_disk_model_init_S19();
 }
 
 CpuL07Model::CpuL07Model(const std::string& name, HostL07Model* hmodel, lmm::System* sys)
@@ -75,10 +76,10 @@ NetworkL07Model::NetworkL07Model(const std::string& name, HostL07Model* hmodel,
     : NetworkModel(name), hostModel_(hmodel)
 {
   set_maxmin_system(sys);
-  loopback_ = create_link("__loopback__", {simgrid::config::get_value<double>("network/loopback-bw")});
+  loopback_.reset(create_link("__loopback__", {simgrid::config::get_value<double>("network/loopback-bw")}));
   loopback_->set_sharing_policy(s4u::Link::SharingPolicy::FATPIPE, {});
   loopback_->set_latency(simgrid::config::get_value<double>("network/loopback-lat"));
-  loopback_->seal();
+  loopback_->get_iface()->seal();
 }
 
 NetworkL07Model::~NetworkL07Model()
@@ -113,7 +114,7 @@ void HostL07Model::update_actions_state(double /*now*/, double delta)
         action.set_latency(0.0);
       }
       if ((action.get_latency() <= 0.0) && (action.is_suspended() == 0)) {
-        action.updateBound();
+        action.update_bound();
         get_maxmin_system()->update_variable_penalty(action.get_variable(), 1.0);
         action.set_last_update();
       }
@@ -141,8 +142,7 @@ void HostL07Model::update_actions_state(double /*now*/, double delta)
     const lmm::Constraint* cnst         = action.get_variable()->get_constraint(i);
     while (cnst != nullptr) {
       i++;
-      const Resource* constraint_id = cnst->get_id();
-      if (not constraint_id->is_on()) {
+      if (not cnst->get_id()->is_on()) {
         XBT_DEBUG("Action (%p) Failed!!", &action);
         action.finish(Action::State::FAILED);
         break;
@@ -160,29 +160,32 @@ CpuAction* HostL07Model::execute_parallel(const std::vector<s4u::Host*>& host_li
 
 L07Action::L07Action(Model* model, const std::vector<s4u::Host*>& host_list, const double* flops_amount,
                      const double* bytes_amount, double rate)
-    : CpuAction(model, 1.0, false), computationAmount_(flops_amount), communicationAmount_(bytes_amount), rate_(rate)
+    : CpuAction(model, 1.0, false)
+    , host_list_(host_list)
+    , computation_amount_(flops_amount)
+    , communication_amount_(bytes_amount)
+    , rate_(rate)
 {
-  size_t link_nb      = 0;
-  size_t used_host_nb = 0; /* Only the hosts with something to compute (>0 flops) are counted) */
-  double latency      = 0.0;
+  size_t link_nb       = 0;
+  const size_t host_nb = host_list_.size();
+  size_t used_host_nb  = 0; /* Only the hosts with something to compute (>0 flops) are counted) */
+  double latency       = 0.0;
   this->set_last_update();
 
-  hostList_.insert(hostList_.end(), host_list.begin(), host_list.end());
-
   if (flops_amount != nullptr)
-    used_host_nb += std::count_if(flops_amount, flops_amount + host_list.size(), [](double x) { return x > 0.0; });
+    used_host_nb += std::count_if(flops_amount, flops_amount + host_nb, [](double x) { return x > 0.0; });
 
   /* Compute the number of affected resources... */
   if (bytes_amount != nullptr) {
     std::unordered_set<const char*> affected_links;
 
-    for (size_t k = 0; k < host_list.size() * host_list.size(); k++) {
+    for (size_t k = 0; k < host_nb * host_nb; k++) {
       if (bytes_amount[k] <= 0)
         continue;
 
       double lat = 0.0;
       std::vector<StandardLinkImpl*> route;
-      hostList_[k / host_list.size()]->route_to(hostList_[k % host_list.size()], route, &lat);
+      host_list_[k / host_nb]->route_to(host_list_[k % host_nb], route, &lat);
       latency = std::max(latency, lat);
 
       for (auto const& link : route)
@@ -192,31 +195,30 @@ L07Action::L07Action(Model* model, const std::vector<s4u::Host*>& host_list, con
     link_nb = affected_links.size();
   }
 
-  XBT_DEBUG("Creating a parallel task (%p) with %zu hosts and %zu unique links.", this, host_list.size(), link_nb);
+  XBT_DEBUG("Creating a parallel task (%p) with %zu hosts and %zu unique links.", this, host_nb, link_nb);
   latency_ = latency;
 
-  set_variable(
-      model->get_maxmin_system()->variable_new(this, 1.0, (rate > 0 ? rate : -1.0), host_list.size() + link_nb));
+  set_variable(model->get_maxmin_system()->variable_new(this, 1.0, (rate > 0 ? rate : -1.0), host_nb + link_nb));
 
   if (latency_ > 0)
     model->get_maxmin_system()->update_variable_penalty(get_variable(), 0.0);
 
   /* Expand it for the CPUs even if there is nothing to compute, to make sure that it gets expended even if there is no
    * communication either */
-  for (size_t i = 0; i < host_list.size(); i++) {
-    model->get_maxmin_system()->expand_add(host_list[i]->get_cpu()->get_constraint(), get_variable(),
-                                           (flops_amount == nullptr ? 0.0 : flops_amount[i]));
+  for (size_t i = 0; i < host_nb; i++) {
+    model->get_maxmin_system()->expand(host_list[i]->get_cpu()->get_constraint(), get_variable(),
+                                       (flops_amount == nullptr ? 0.0 : flops_amount[i]), true);
   }
 
   if (bytes_amount != nullptr) {
-    for (size_t k = 0; k < host_list.size() * host_list.size(); k++) {
+    for (size_t k = 0; k < host_nb * host_nb; k++) {
       if (bytes_amount[k] <= 0.0)
         continue;
       std::vector<StandardLinkImpl*> route;
-      hostList_[k / host_list.size()]->route_to(hostList_[k % host_list.size()], route, nullptr);
+      host_list_[k / host_nb]->route_to(host_list_[k % host_nb], route, nullptr);
 
       for (auto const& link : route)
-        model->get_maxmin_system()->expand_add(link->get_constraint(), this->get_variable(), bytes_amount[k]);
+        model->get_maxmin_system()->expand(link->get_constraint(), this->get_variable(), bytes_amount[k]);
     }
   }
 
@@ -225,10 +227,10 @@ L07Action::L07Action(Model* model, const std::vector<s4u::Host*>& host_list, con
     this->set_remains(0.0);
   }
   /* finally calculate the initial bound value */
-  updateBound();
+  update_bound();
 }
 
-Action* NetworkL07Model::communicate(s4u::Host* src, s4u::Host* dst, double size, double rate)
+Action* NetworkL07Model::communicate(s4u::Host* src, s4u::Host* dst, double size, double rate, bool /* streamed */)
 {
   std::vector<s4u::Host*> host_list = {src, dst};
   const auto* flops_amount          = new double[2]();
@@ -295,8 +297,8 @@ void CpuL07::on_speed_change()
   get_model()->get_maxmin_system()->update_constraint_bound(get_constraint(), get_core_count() * speed_.peak * speed_.scale);
 
   while (const auto* var = get_constraint()->get_variable(&elem)) {
-    auto* action = static_cast<L07Action*>(var->get_id());
-    action->updateBound();
+    const auto* action = static_cast<L07Action*>(var->get_id());
+    action->update_bound();
   }
 
   CpuImpl::on_speed_change();
@@ -368,8 +370,8 @@ void LinkL07::set_latency(double value)
 
   latency_.peak = value;
   while (const auto* var = get_constraint()->get_variable(&elem)) {
-    auto* action = static_cast<L07Action*>(var->get_id());
-    action->updateBound();
+    const auto* action = static_cast<L07Action*>(var->get_id());
+    action->update_bound();
   }
 }
 LinkL07::~LinkL07() = default;
@@ -381,30 +383,30 @@ LinkL07::~LinkL07() = default;
 L07Action::~L07Action()
 {
   if (free_arrays_) {
-    delete[] computationAmount_;
-    delete[] communicationAmount_;
+    delete[] computation_amount_;
+    delete[] communication_amount_;
   }
 }
 
-double L07Action::calculateNetworkBound()
+double L07Action::calculate_network_bound() const
 {
   double lat_current = 0.0;
   double lat_bound   = std::numeric_limits<double>::max();
 
-  size_t host_count = hostList_.size();
+  size_t host_count = host_list_.size();
 
-  if (communicationAmount_ == nullptr) {
+  if (communication_amount_ == nullptr) {
     return lat_bound;
   }
 
   for (size_t i = 0; i < host_count; i++) {
     for (size_t j = 0; j < host_count; j++) {
-      if (communicationAmount_[i * host_count + j] > 0) {
+      if (communication_amount_[i * host_count + j] > 0) {
         double lat = 0.0;
         std::vector<StandardLinkImpl*> route;
-        hostList_.at(i)->route_to(hostList_.at(j), route, &lat);
+        host_list_.at(i)->route_to(host_list_.at(j), route, &lat);
 
-        lat_current = std::max(lat_current, lat * communicationAmount_[i * host_count + j]);
+        lat_current = std::max(lat_current, lat * communication_amount_[i * host_count + j]);
       }
     }
   }
@@ -414,26 +416,26 @@ double L07Action::calculateNetworkBound()
   return lat_bound;
 }
 
-double L07Action::calculateCpuBound()
+double L07Action::calculate_cpu_bound() const
 {
   double cpu_bound = std::numeric_limits<double>::max();
 
-  if (computationAmount_ == nullptr) {
+  if (computation_amount_ == nullptr) {
     return cpu_bound;
   }
 
-  for (size_t i = 0; i < hostList_.size(); i++) {
-    if (computationAmount_[i] > 0) {
-      cpu_bound = std::min(cpu_bound, hostList_[i]->get_cpu()->get_speed(1.0) *
-                                          hostList_[i]->get_cpu()->get_speed_ratio() / computationAmount_[i]);
+  for (size_t i = 0; i < host_list_.size(); i++) {
+    if (computation_amount_[i] > 0) {
+      cpu_bound = std::min(cpu_bound, host_list_[i]->get_cpu()->get_speed(1.0) *
+                                          host_list_[i]->get_cpu()->get_speed_ratio() / computation_amount_[i]);
     }
   }
   return cpu_bound;
 }
 
-void L07Action::updateBound()
+void L07Action::update_bound() const
 {
-  double bound = std::min(calculateNetworkBound(), calculateCpuBound());
+  double bound = std::min(calculate_network_bound(), calculate_cpu_bound());
 
   XBT_DEBUG("action (%p) : bound = %g", this, bound);
 
@@ -446,6 +448,4 @@ void L07Action::updateBound()
   }
 }
 
-} // namespace resource
-} // namespace kernel
-} // namespace simgrid
+} // namespace simgrid::kernel::resource