src/surf/plugins/host_energy.cpp

   1 /* Copyright (c) 2010-2017. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "simgrid/plugins/energy.h"
   7 #include "simgrid/simix.hpp"
   8 #include "src/plugins/vm/VirtualMachineImpl.hpp"
   9 #include "src/surf/cpu_interface.hpp"
  10
  11 #include "simgrid/s4u/Engine.hpp"
  12
  13 #include <boost/algorithm/string/classification.hpp>
  14 #include <boost/algorithm/string/split.hpp>
  15 #include <string>
  16 #include <utility>
  17 #include <vector>
  18
  19 /** @addtogroup SURF_plugin_energy
  20
  21
  22 This is the energy plugin, enabling to account not only for computation time,
  23 but also for the dissipated energy in the simulated platform.
  24
  25 The energy consumption of a CPU depends directly of its current load. Specify that consumption in your platform file as
  26 follows:
  27
  28 \verbatim
  29 <host id="HostA" power="100.0Mf" cores="8">
  30     <prop id="watt_per_state" value="100.0:120.0:200.0" />
  31     <prop id="watt_off" value="10" />
  32 </host>
  33 \endverbatim
  34
  35 The first property means that when your host is up and running, but without anything to do, it will dissipate 100 Watts.
  36 If only one care is active, it will dissipate 120 Watts. If it's fully loaded, it will dissipate 200 Watts. If its load is at 50%, then it will dissipate 153.33 Watts.
  37 The second property means that when your host is turned off, it will dissipate only 10 Watts (please note that these
  38 values are arbitrary).
  39
  40 If your CPU is using pstates, then you can provide one consumption interval per pstate.
  41
  42 \verbatim
  43 <host id="HostB" power="100.0Mf,50.0Mf,20.0Mf" pstate="0" >
  44     <prop id="watt_per_state" value="95.0:120.0:200.0, 93.0:115.0:170.0, 90.0:110.0:150.0" />
  45     <prop id="watt_off" value="10" />
  46 </host>
  47 \endverbatim
  48
  49 That host has 3 levels of performance with the following performance: 100 Mflop/s, 50 Mflop/s or 20 Mflop/s.
  50 It starts at pstate 0 (ie, at 100 Mflop/s). In this case, you have to specify one interval per pstate in the
  51 watt_per_state property.
  52 In this example, the idle consumption is 95 Watts, 93 Watts and 90 Watts in each pstate while the CPU burn consumption
  53 are at 200 Watts, 170 Watts, and 150 Watts respectively. If only one core is active, this machine consumes 120 / 115 / 110 watts.
  54
  55 To change the pstate of a given CPU, use the following functions:
  56 #MSG_host_get_nb_pstates(), simgrid#s4u#Host#setPstate(), #MSG_host_get_power_peak_at().
  57
  58 To simulate the energy-related elements, first call the simgrid#energy#sg_energy_plugin_init() before your #MSG_init(),
  59 and then use the following function to retrieve the consumption of a given host: MSG_host_get_consumed_energy().
  60  */
  61
  62 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_energy, surf, "Logging specific to the SURF energy plugin");
  63
  64 namespace simgrid {
  65 namespace energy {
  66
  67 class PowerRange {
  68 public:
  69   double idle;
  70   double min;
  71   double max;
  72
  73   PowerRange(double idle, double min, double max) : idle(idle), min(min), max(max) {}
  74 };
  75
  76 class HostEnergy {
  77 public:
  78   static simgrid::xbt::Extension<simgrid::s4u::Host, HostEnergy> EXTENSION_ID;
  79
  80   explicit HostEnergy(simgrid::s4u::Host* ptr);
  81   ~HostEnergy();
  82
  83   double getCurrentWattsValue(double cpu_load);
  84   double getConsumedEnergy();
  85   double getWattMinAt(int pstate);
  86   double getWattMaxAt(int pstate);
  87   void update();
  88
  89 private:
  90   void initWattsRangeList();
  91   simgrid::s4u::Host* host = nullptr;
  92   std::vector<PowerRange>
  93       power_range_watts_list; /*< List of (min_power,max_power) pairs corresponding to each cpu pstate */
  94
  95   /* We need to keep track of what pstate has been used, as we will sometimes
  96    * be notified only *after* a pstate has been used (but we need to update the energy consumption
  97    * with the old pstate!)
  98    */
  99   int pstate = 0;
 100
 101 public:
 102   double watts_off    = 0.0; /*< Consumption when the machine is turned off (shutdown) */
 103   double total_energy = 0.0; /*< Total energy consumed by the host */
 104   double last_updated;       /*< Timestamp of the last energy update event*/
 105 };
 106
 107 simgrid::xbt::Extension<simgrid::s4u::Host, HostEnergy> HostEnergy::EXTENSION_ID;
 108
 109 /* Computes the consumption so far.  Called lazily on need. */
 110 void HostEnergy::update()
 111 {
 112   double start_time  = this->last_updated;
 113   double finish_time = surf_get_clock();
 114   double cpu_load;
 115   double current_speed = host->speed();
 116   if (current_speed <= 0)
 117     // Some users declare a pstate of speed 0 flops (e.g., to model boot time).
 118     // We consider that the machine is then fully loaded. That's arbitrary but it avoids a NaN
 119     cpu_load = 1;
 120   else
 121     cpu_load = lmm_constraint_get_usage(host->pimpl_cpu->constraint()) / current_speed;
 122
 123   /** Divide by the number of cores here **/
 124   cpu_load /= host->pimpl_cpu->coreCount();
 125
 126   if (cpu_load > 1) // A machine with a load > 1 consumes as much as a fully loaded machine, not more
 127     cpu_load = 1;
 128
 129   /* The problem with this model is that the load is always 0 or 1, never something less.
 130    * Another possibility could be to model the total energy as
 131    *
 132    *   X/(X+Y)*W_idle + Y/(X+Y)*W_burn
 133    *
 134    * where X is the amount of idling cores, and Y the amount of computing cores.
 135    */
 136
 137   double previous_energy = this->total_energy;
 138
 139   double instantaneous_consumption;
 140   if (host->isOff())
 141     instantaneous_consumption = this->watts_off;
 142   else
 143     instantaneous_consumption = this->getCurrentWattsValue(cpu_load);
 144
 145   double energy_this_step = instantaneous_consumption * (finish_time - start_time);
 146
 147   //TODO Trace: Trace energy_this_step from start_time to finish_time in host->name()
 148
 149   this->total_energy = previous_energy + energy_this_step;
 150   this->last_updated = finish_time;
 151   this->pstate       = host->pstate();
 152   XBT_DEBUG(
 153       "[update_energy of %s] period=[%.2f-%.2f]; current power peak=%.0E flop/s; consumption change: %.2f J -> %.2f J",
 154       host->cname(), start_time, finish_time, host->pimpl_cpu->speed_.peak, previous_energy, energy_this_step);
 155 }
 156
 157 HostEnergy::HostEnergy(simgrid::s4u::Host* ptr) : host(ptr), last_updated(surf_get_clock())
 158 {
 159   initWattsRangeList();
 160
 161   const char* off_power_str = host->property("watt_off");
 162   if (off_power_str != nullptr) {
 163     char* msg       = bprintf("Invalid value for property watt_off of host %s: %%s", host->cname());
 164     this->watts_off = xbt_str_parse_double(off_power_str, msg);
 165     xbt_free(msg);
 166   }
 167   /* watts_off is 0 by default */
 168 }
 169
 170 HostEnergy::~HostEnergy() = default;
 171
 172 double HostEnergy::getWattMinAt(int pstate)
 173 {
 174   xbt_assert(not power_range_watts_list.empty(), "No power range properties specified for host %s", host->cname());
 175   return power_range_watts_list[pstate].min;
 176 }
 177
 178 double HostEnergy::getWattMaxAt(int pstate)
 179 {
 180   xbt_assert(not power_range_watts_list.empty(), "No power range properties specified for host %s", host->cname());
 181   return power_range_watts_list[pstate].max;
 182 }
 183
 184 /** @brief Computes the power consumed by the host according to the current pstate and processor load */
 185 double HostEnergy::getCurrentWattsValue(double cpu_load)
 186 {
 187   xbt_assert(not power_range_watts_list.empty(), "No power range properties specified for host %s", host->cname());
 188
 189   /* min_power corresponds to the power consumed when only one core is active */
 190   /* max_power is the power consumed at 100% cpu load       */
 191   auto range           = power_range_watts_list.at(this->pstate);
 192   double current_power = 0;
 193   double min_power     = 0;
 194   double max_power     = 0;
 195   double power_slope   = 0;
 196
 197   if (cpu_load > 0) { /* Something is going on, the machine is not idle */
 198     double min_power = range.min;
 199     double max_power = range.max;
 200
 201     /**
 202      * The min_power states how much we consume when only one single
 203      * core is working. This means that when cpu_load == 1/coreCount, then
 204      * current_power == min_power.
 205      *
 206      * The maximum must be reached when all cores are working (but 1 core was
 207      * already accounted for by min_power)
 208      * i.e., we need min_power + (maxCpuLoad-1/coreCount)*power_slope == max_power
 209      * (maxCpuLoad is by definition 1)
 210      */
 211     double power_slope;
 212     int coreCount         = host->coreCount();
 213     double coreReciprocal = static_cast<double>(1) / static_cast<double>(coreCount);
 214     if (coreCount > 1)
 215       power_slope = (max_power - min_power) / (1 - coreReciprocal);
 216     else
 217       power_slope = 0; // Should be 0, since max_power == min_power (in this case)
 218
 219     current_power = min_power + (cpu_load - coreReciprocal) * power_slope;
 220   } else { /* Our machine is idle, take the dedicated value! */
 221     current_power = range.idle;
 222   }
 223
 224   XBT_DEBUG("[get_current_watts] min_power=%f, max_power=%f, slope=%f", min_power, max_power, power_slope);
 225   XBT_DEBUG("[get_current_watts] Current power (watts) = %f, load = %f", current_power, cpu_load);
 226
 227   return current_power;
 228 }
 229
 230 double HostEnergy::getConsumedEnergy()
 231 {
 232   if (last_updated < surf_get_clock()) // We need to simcall this as it modifies the environment
 233     simgrid::simix::kernelImmediate(std::bind(&HostEnergy::update, this));
 234
 235   return total_energy;
 236 }
 237
 238 void HostEnergy::initWattsRangeList()
 239 {
 240   const char* all_power_values_str = host->property("watt_per_state");
 241   if (all_power_values_str == nullptr)
 242     return;
 243
 244   std::vector<std::string> all_power_values;
 245   boost::split(all_power_values, all_power_values_str, boost::is_any_of(","));
 246
 247   int i = 0;
 248   for (auto current_power_values_str : all_power_values) {
 249     /* retrieve the power values associated with the current pstate */
 250     std::vector<std::string> current_power_values;
 251     boost::split(current_power_values, current_power_values_str, boost::is_any_of(":"));
 252     xbt_assert(current_power_values.size() == 3, "Power properties incorrectly defined - "
 253                                                  "could not retrieve idle, min and max power values for host %s",
 254                host->cname());
 255
 256     /* min_power corresponds to the idle power (cpu load = 0) */
 257     /* max_power is the power consumed at 100% cpu load       */
 258     char* msg_idle = bprintf("Invalid idle value for pstate %d on host %s: %%s", i, host->cname());
 259     char* msg_min  = bprintf("Invalid min value for pstate %d on host %s: %%s", i, host->cname());
 260     char* msg_max  = bprintf("Invalid max value for pstate %d on host %s: %%s", i, host->cname());
 261     PowerRange range(xbt_str_parse_double((current_power_values.at(0)).c_str(), msg_idle),
 262                      xbt_str_parse_double((current_power_values.at(1)).c_str(), msg_min),
 263                      xbt_str_parse_double((current_power_values.at(2)).c_str(), msg_max));
 264     power_range_watts_list.push_back(range);
 265     xbt_free(msg_idle);
 266     xbt_free(msg_min);
 267     xbt_free(msg_max);
 268     i++;
 269   }
 270 }
 271 }
 272 }
 273
 274 using simgrid::energy::HostEnergy;
 275
 276 /* **************************** events  callback *************************** */
 277 static void onCreation(simgrid::s4u::Host& host)
 278 {
 279   if (dynamic_cast<simgrid::s4u::VirtualMachine*>(&host)) // Ignore virtual machines
 280     return;
 281
 282   //TODO Trace: set to zero the energy variable associated to host->name()
 283
 284   host.extension_set(new HostEnergy(&host));
 285 }
 286
 287 static void onActionStateChange(simgrid::surf::CpuAction* action, simgrid::surf::Action::State previous)
 288 {
 289   for (simgrid::surf::Cpu* cpu : action->cpus()) {
 290     simgrid::s4u::Host* host = cpu->getHost();
 291     if (host != nullptr) {
 292
 293       // If it's a VM, take the corresponding PM
 294       simgrid::s4u::VirtualMachine* vm = dynamic_cast<simgrid::s4u::VirtualMachine*>(host);
 295       if (vm) // If it's a VM, take the corresponding PM
 296         host = vm->pimpl_vm_->getPm();
 297
 298       // Get the host_energy extension for the relevant host
 299       HostEnergy* host_energy = host->extension<HostEnergy>();
 300
 301       if (host_energy->last_updated < surf_get_clock())
 302         host_energy->update();
 303     }
 304   }
 305 }
 306
 307 /* This callback is fired either when the host changes its state (on/off) ("onStateChange") or its speed
 308  * (because the user changed the pstate, or because of external trace events) ("onSpeedChange") */
 309 static void onHostChange(simgrid::s4u::Host& host)
 310 {
 311   if (dynamic_cast<simgrid::s4u::VirtualMachine*>(&host)) // Ignore virtual machines
 312     return;
 313
 314   HostEnergy* host_energy = host.extension<HostEnergy>();
 315
 316   host_energy->update();
 317 }
 318
 319 static void onHostDestruction(simgrid::s4u::Host& host)
 320 {
 321   if (dynamic_cast<simgrid::s4u::VirtualMachine*>(&host)) // Ignore virtual machines
 322     return;
 323
 324   HostEnergy* host_energy = host.extension<HostEnergy>();
 325   host_energy->update();
 326   XBT_INFO("Energy consumption of host %s: %f Joules", host.cname(), host_energy->getConsumedEnergy());
 327 }
 328
 329 static void onSimulationEnd()
 330 {
 331   sg_host_t* host_list     = sg_host_list();
 332   int host_count           = sg_host_count();
 333   double total_energy      = 0.0; // Total energy consumption (whole platform)
 334   double used_hosts_energy = 0.0; // Energy consumed by hosts that computed something
 335   for (int i = 0; i < host_count; i++) {
 336     if (dynamic_cast<simgrid::s4u::VirtualMachine*>(host_list[i]) == nullptr) { // Ignore virtual machines
 337
 338       bool host_was_used = (host_list[i]->extension<HostEnergy>()->last_updated != 0);
 339       double energy      = host_list[i]->extension<HostEnergy>()->getConsumedEnergy();
 340       total_energy      += energy;
 341       if (host_was_used)
 342         used_hosts_energy += energy;
 343     }
 344   }
 345   XBT_INFO("Total energy consumption: %f Joules (used hosts: %f Joules; unused/idle hosts: %f)",
 346            total_energy, used_hosts_energy, total_energy - used_hosts_energy);
 347   xbt_free(host_list);
 348 }
 349
 350 /* **************************** Public interface *************************** */
 351 SG_BEGIN_DECL()
 352
 353 /** \ingroup SURF_plugin_energy
 354  * \brief Enable host energy plugin
 355  * \details Enable energy plugin to get joules consumption of each cpu. Call this function before #MSG_init().
 356  */
 357 void sg_host_energy_plugin_init()
 358 {
 359   if (HostEnergy::EXTENSION_ID.valid())
 360     return;
 361
 362   HostEnergy::EXTENSION_ID = simgrid::s4u::Host::extension_create<HostEnergy>();
 363
 364   simgrid::s4u::Host::onCreation.connect(&onCreation);
 365   simgrid::s4u::Host::onStateChange.connect(&onHostChange);
 366   simgrid::s4u::Host::onSpeedChange.connect(&onHostChange);
 367   simgrid::s4u::Host::onDestruction.connect(&onHostDestruction);
 368   simgrid::s4u::onSimulationEnd.connect(&onSimulationEnd);
 369   simgrid::surf::CpuAction::onStateChange.connect(&onActionStateChange);
 370 }
 371
 372 /** @brief Returns the total energy consumed by the host so far (in Joules)
 373  *
 374  *  See also @ref SURF_plugin_energy.
 375  */
 376 double sg_host_get_consumed_energy(sg_host_t host)
 377 {
 378   xbt_assert(HostEnergy::EXTENSION_ID.valid(),
 379              "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 380   return host->extension<HostEnergy>()->getConsumedEnergy();
 381 }
 382
 383 /** @brief Get the amount of watt dissipated at the given pstate when the host is idling */
 384 double sg_host_get_wattmin_at(sg_host_t host, int pstate)
 385 {
 386   xbt_assert(HostEnergy::EXTENSION_ID.valid(),
 387              "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 388   return host->extension<HostEnergy>()->getWattMinAt(pstate);
 389 }
 390 /** @brief  Returns the amount of watt dissipated at the given pstate when the host burns CPU at 100% */
 391 double sg_host_get_wattmax_at(sg_host_t host, int pstate)
 392 {
 393   xbt_assert(HostEnergy::EXTENSION_ID.valid(),
 394              "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 395   return host->extension<HostEnergy>()->getWattMaxAt(pstate);
 396 }
 397
 398 SG_END_DECL()