src/surf/plugins/host_energy.cpp

   1 /* Copyright (c) 2010, 2012-2016. The SimGrid Team. All rights reserved.    */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include <simgrid/s4u/engine.hpp>
   7 #include "simgrid/plugins/energy.h"
   8 #include "simgrid/simix.hpp"
   9 #include "src/plugins/vm/VirtualMachineImpl.hpp"
  10 #include "src/surf/cpu_interface.hpp"
  11 #include <utility>
  12
  13 /** @addtogroup SURF_plugin_energy
  14
  15
  16 This is the energy plugin, enabling to account not only for computation time,
  17 but also for the dissipated energy in the simulated platform.
  18
  19 The energy consumption of a CPU depends directly of its current load. Specify that consumption in your platform file as
  20 follows:
  21
  22 \verbatim
  23 <host id="HostA" power="100.0Mf" cores="8">
  24     <prop id="watt_per_state" value="100.0:120.0:200.0" />
  25     <prop id="watt_off" value="10" />
  26 </host>
  27 \endverbatim
  28
  29 The first property means that when your host is up and running, but without anything to do, it will dissipate 100 Watts.
  30 If only one care is active, it will dissipate 120 Watts. If it's fully loaded, it will dissipate 200 Watts. If its load is at 50%, then it will dissipate 153.33 Watts.
  31 The second property means that when your host is turned off, it will dissipate only 10 Watts (please note that these
  32 values are arbitrary).
  33
  34 If your CPU is using pstates, then you can provide one consumption interval per pstate.
  35
  36 \verbatim
  37 <host id="HostB" power="100.0Mf,50.0Mf,20.0Mf" pstate="0" >
  38     <prop id="watt_per_state" value="95.0:120.0:200.0, 93.0:115.0:170.0, 90.0:110.0:150.0" />
  39     <prop id="watt_off" value="10" />
  40 </host>
  41 \endverbatim
  42
  43 That host has 3 levels of performance with the following performance: 100 Mflop/s, 50 Mflop/s or 20 Mflop/s.
  44 It starts at pstate 0 (ie, at 100 Mflop/s). In this case, you have to specify one interval per pstate in the
  45 watt_per_state property.
  46 In this example, the idle consumption is 95 Watts, 93 Watts and 90 Watts in each pstate while the CPU burn consumption
  47 are at 200 Watts, 170 Watts, and 150 Watts respectively. If only one core is active, this machine consumes 120 / 115 / 110 watts.
  48
  49 To change the pstate of a given CPU, use the following functions:
  50 #MSG_host_get_nb_pstates(), simgrid#s4u#Host#setPstate(), #MSG_host_get_power_peak_at().
  51
  52 To simulate the energy-related elements, first call the simgrid#energy#sg_energy_plugin_init() before your #MSG_init(),
  53 and then use the following function to retrieve the consumption of a given host: MSG_host_get_consumed_energy().
  54  */
  55
  56 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_energy, surf, "Logging specific to the SURF energy plugin");
  57
  58 namespace simgrid {
  59 namespace energy {
  60
  61 class PowerRange {
  62 public:
  63   double idle;
  64   double min;
  65   double max;
  66
  67   PowerRange(double idle, double min, double max) : idle(idle), min(min), max(max) {}
  68 };
  69
  70 class HostEnergy {
  71 public:
  72   static simgrid::xbt::Extension<simgrid::s4u::Host, HostEnergy> EXTENSION_ID;
  73
  74   explicit HostEnergy(simgrid::s4u::Host* ptr);
  75   ~HostEnergy();
  76
  77   double getCurrentWattsValue(double cpu_load);
  78   double getConsumedEnergy();
  79   double getWattMinAt(int pstate);
  80   double getWattMaxAt(int pstate);
  81   void update();
  82
  83 private:
  84   void initWattsRangeList();
  85   simgrid::s4u::Host* host = nullptr;
  86   std::vector<PowerRange>
  87       power_range_watts_list; /*< List of (min_power,max_power) pairs corresponding to each cpu pstate */
  88 public:
  89   double watts_off    = 0.0; /*< Consumption when the machine is turned off (shutdown) */
  90   double total_energy = 0.0; /*< Total energy consumed by the host */
  91   double last_updated;       /*< Timestamp of the last energy update event*/
  92 };
  93
  94 simgrid::xbt::Extension<simgrid::s4u::Host, HostEnergy> HostEnergy::EXTENSION_ID;
  95
  96 /* Computes the consumption so far.  Called lazily on need. */
  97 void HostEnergy::update()
  98 {
  99   double start_time  = this->last_updated;
 100   double finish_time = surf_get_clock();
 101   double cpu_load;
 102   if (host->pimpl_cpu->getPstateSpeedCurrent() <= 0)
 103     // Some users declare a pstate of speed 0 flops (e.g., to model boot time).
 104     // We consider that the machine is then fully loaded. That's arbitrary but it avoids a NaN
 105     cpu_load = 1;
 106   else
 107     cpu_load = lmm_constraint_get_usage(host->pimpl_cpu->constraint()) / host->pimpl_cpu->getPstateSpeedCurrent();
 108
 109   /** Divide by the number of cores here **/
 110   cpu_load /= host->pimpl_cpu->coreCount();
 111
 112   if (cpu_load > 1) // A machine with a load > 1 consumes as much as a fully loaded machine, not more
 113     cpu_load = 1;
 114
 115   /* The problem with this model is that the load is always 0 or 1, never something less.
 116    * Another possibility could be to model the total energy as
 117    *
 118    *   X/(X+Y)*W_idle + Y/(X+Y)*W_burn
 119    *
 120    * where X is the amount of idling cores, and Y the amount of computing cores.
 121    */
 122
 123   double previous_energy = this->total_energy;
 124
 125   double instantaneous_consumption;
 126   if (host->isOff())
 127     instantaneous_consumption = this->watts_off;
 128   else
 129     instantaneous_consumption = this->getCurrentWattsValue(cpu_load);
 130
 131   double energy_this_step = instantaneous_consumption * (finish_time - start_time);
 132
 133   this->total_energy = previous_energy + energy_this_step;
 134   this->last_updated = finish_time;
 135
 136   XBT_DEBUG(
 137       "[update_energy of %s] period=[%.2f-%.2f]; current power peak=%.0E flop/s; consumption change: %.2f J -> %.2f J",
 138       host->cname(), start_time, finish_time, host->pimpl_cpu->speed_.peak, previous_energy, energy_this_step);
 139 }
 140
 141 HostEnergy::HostEnergy(simgrid::s4u::Host* ptr) : host(ptr), last_updated(surf_get_clock())
 142 {
 143   initWattsRangeList();
 144
 145   const char* off_power_str = host->property("watt_off");
 146   if (off_power_str != nullptr) {
 147     char* msg       = bprintf("Invalid value for property watt_off of host %s: %%s", host->cname());
 148     this->watts_off = xbt_str_parse_double(off_power_str, msg);
 149     xbt_free(msg);
 150   }
 151   /* watts_off is 0 by default */
 152 }
 153
 154 HostEnergy::~HostEnergy() = default;
 155
 156 double HostEnergy::getWattMinAt(int pstate)
 157 {
 158   xbt_assert(!power_range_watts_list.empty(), "No power range properties specified for host %s", host->cname());
 159   return power_range_watts_list[pstate].min;
 160 }
 161
 162 double HostEnergy::getWattMaxAt(int pstate)
 163 {
 164   xbt_assert(!power_range_watts_list.empty(), "No power range properties specified for host %s", host->cname());
 165   return power_range_watts_list[pstate].max;
 166 }
 167
 168 /** @brief Computes the power consumed by the host according to the current pstate and processor load */
 169 double HostEnergy::getCurrentWattsValue(double cpu_load)
 170 {
 171   xbt_assert(!power_range_watts_list.empty(), "No power range properties specified for host %s", host->cname());
 172
 173   /* min_power corresponds to the power consumed when only one core is active */
 174   /* max_power is the power consumed at 100% cpu load       */
 175   auto range           = power_range_watts_list.at(host->pstate());
 176   double current_power = 0;
 177   double min_power     = 0;
 178   double max_power     = 0;
 179   double power_slope   = 0;
 180
 181   if (cpu_load > 0) { /* Something is going on, the machine is not idle */
 182     double min_power = range.min;
 183     double max_power = range.max;
 184
 185     /**
 186      * The min_power states how much we consume when only one single
 187      * core is working. This means that when cpu_load == 1/coreCount, then
 188      * current_power == min_power.
 189      *
 190      * The maximum must be reached when all cores are working (but 1 core was
 191      * already accounted for by min_power)
 192      * i.e., we need min_power + (maxCpuLoad-1/coreCount)*power_slope == max_power
 193      * (maxCpuLoad is by definition 1)
 194      */
 195     double power_slope;
 196     int coreCount         = host->coreCount();
 197     double coreReciprocal = static_cast<double>(1) / static_cast<double>(coreCount);
 198     if (coreCount > 1)
 199       power_slope = (max_power - min_power) / (1 - coreReciprocal);
 200     else
 201       power_slope = 0; // Should be 0, since max_power == min_power (in this case)
 202
 203     current_power = min_power + (cpu_load - coreReciprocal) * power_slope;
 204   } else { /* Our machine is idle, take the dedicated value! */
 205     current_power = range.idle;
 206   }
 207
 208   XBT_DEBUG("[get_current_watts] min_power=%f, max_power=%f, slope=%f", min_power, max_power, power_slope);
 209   XBT_DEBUG("[get_current_watts] Current power (watts) = %f, load = %f", current_power, cpu_load);
 210
 211   return current_power;
 212 }
 213
 214 double HostEnergy::getConsumedEnergy()
 215 {
 216   if (last_updated < surf_get_clock()) // We need to simcall this as it modifies the environment
 217     simgrid::simix::kernelImmediate(std::bind(&HostEnergy::update, this));
 218
 219   return total_energy;
 220 }
 221
 222 void HostEnergy::initWattsRangeList()
 223 {
 224   const char* all_power_values_str = host->property("watt_per_state");
 225   if (all_power_values_str == nullptr)
 226     return;
 227
 228   xbt_dynar_t all_power_values = xbt_str_split(all_power_values_str, ",");
 229   int pstate_nb                = xbt_dynar_length(all_power_values);
 230
 231   for (int i = 0; i < pstate_nb; i++) {
 232     /* retrieve the power values associated with the current pstate */
 233     xbt_dynar_t current_power_values = xbt_str_split(xbt_dynar_get_as(all_power_values, i, char*), ":");
 234     xbt_assert(xbt_dynar_length(current_power_values) == 3,
 235                "Power properties incorrectly defined - could not retrieve idle, min and max power values for host %s",
 236                host->cname());
 237
 238     /* min_power corresponds to the idle power (cpu load = 0) */
 239     /* max_power is the power consumed at 100% cpu load       */
 240     char* msg_idle = bprintf("Invalid idle value for pstate %d on host %s: %%s", i, host->cname());
 241     char* msg_min  = bprintf("Invalid min value for pstate %d on host %s: %%s", i, host->cname());
 242     char* msg_max  = bprintf("Invalid max value for pstate %d on host %s: %%s", i, host->cname());
 243     PowerRange range(xbt_str_parse_double(xbt_dynar_get_as(current_power_values, 0, char*), msg_idle),
 244                      xbt_str_parse_double(xbt_dynar_get_as(current_power_values, 1, char*), msg_min),
 245                      xbt_str_parse_double(xbt_dynar_get_as(current_power_values, 2, char*), msg_max));
 246     power_range_watts_list.push_back(range);
 247     xbt_free(msg_idle);
 248     xbt_free(msg_min);
 249     xbt_free(msg_max);
 250
 251     xbt_dynar_free(&current_power_values);
 252   }
 253   xbt_dynar_free(&all_power_values);
 254 }
 255 }
 256 }
 257
 258 using simgrid::energy::HostEnergy;
 259
 260 /* **************************** events  callback *************************** */
 261 static void onCreation(simgrid::s4u::Host& host)
 262 {
 263   if (dynamic_cast<simgrid::s4u::VirtualMachine*>(&host)) // Ignore virtual machines
 264     return;
 265   host.extension_set(new HostEnergy(&host));
 266 }
 267
 268 static void onActionStateChange(simgrid::surf::CpuAction* action, simgrid::surf::Action::State previous)
 269 {
 270   for (simgrid::surf::Cpu* cpu : action->cpus()) {
 271     simgrid::s4u::Host* host = cpu->getHost();
 272     if (host == nullptr)
 273       continue;
 274
 275     // If it's a VM, take the corresponding PM
 276     simgrid::s4u::VirtualMachine* vm = dynamic_cast<simgrid::s4u::VirtualMachine*>(host);
 277     if (vm) // If it's a VM, take the corresponding PM
 278       host = vm->pimpl_vm_->getPm();
 279
 280     // Get the host_energy extension for the relevant host
 281     HostEnergy* host_energy = host->extension<HostEnergy>();
 282
 283     if (host_energy->last_updated < surf_get_clock())
 284       host_energy->update();
 285   }
 286 }
 287
 288 /* This callback is fired either when the host change its state (on/off) or its speed
 289  * (because the user changed the pstate, or because of external trace events) */
 290 static void onHostChange(simgrid::s4u::Host& host)
 291 {
 292   if (dynamic_cast<simgrid::s4u::VirtualMachine*>(&host)) // Ignore virtual machines
 293     return;
 294
 295   HostEnergy* host_energy = host.extension<HostEnergy>();
 296
 297   if (host_energy->last_updated < surf_get_clock())
 298     host_energy->update();
 299 }
 300
 301 static void onHostDestruction(simgrid::s4u::Host& host)
 302 {
 303   if (dynamic_cast<simgrid::s4u::VirtualMachine*>(&host)) // Ignore virtual machines
 304     return;
 305
 306   HostEnergy* host_energy = host.extension<HostEnergy>();
 307   host_energy->update();
 308   XBT_INFO("Total energy of host %s: %f Joules", host.cname(), host_energy->getConsumedEnergy());
 309 }
 310
 311 static void onSimulationEnd()
 312 {
 313   sg_host_t* host_list     = sg_host_list();
 314   int host_count           = sg_host_count();
 315   double total_energy      = 0.0; // Total energy consumption (whole plattform)
 316   double used_hosts_energy = 0.0; // Energy consumed by hosts that computed something
 317   for (int i = 0; i < host_count; i++) {
 318     bool host_was_used = (host_list[i]->extension<HostEnergy>()->last_updated != 0);
 319     double energy      = 0.0;
 320     energy             = host_list[i]->extension<HostEnergy>()->getConsumedEnergy();
 321     total_energy      += energy;
 322     if (host_was_used)
 323       used_hosts_energy += energy;
 324   }
 325   XBT_INFO("Summed energy consumption: %f Joules; used hosts consumed: %f Joules; unused (idle) hosts consumed: %f",
 326            total_energy, used_hosts_energy, total_energy - used_hosts_energy);
 327 }
 328
 329 static int monitor_DVFS(int argc, char **argv);
 330 static int monitor_DVFS(int argc, char **argv)
 331 {
 332   while (1) {
 333     MSG_process_sleep(5);
 334   }
 335
 336   return 0;
 337 }
 338
 339 static void onPlatformCreated()
 340 {
 341   sg_host_t* host_list = sg_host_list();
 342   int host_count       = sg_host_count();
 343   for (int i = 0; i < host_count; i++) {
 344     MSG_process_create("dvfs", &monitor_DVFS, NULL, host_list[i]);
 345     XBT_INFO("Created new MSG processes!");
 346   }
 347 }
 348
 349 /* **************************** Public interface *************************** */
 350 SG_BEGIN_DECL()
 351
 352 /** \ingroup SURF_plugin_energy
 353  * \brief Enable host energy plugin
 354  * \details Enable energy plugin to get joules consumption of each cpu. Call this function before #MSG_init().
 355  */
 356 void sg_host_energy_plugin_init()
 357 {
 358   if (HostEnergy::EXTENSION_ID.valid())
 359     return;
 360
 361   HostEnergy::EXTENSION_ID = simgrid::s4u::Host::extension_create<HostEnergy>();
 362
 363   simgrid::s4u::Host::onCreation.connect(&onCreation);
 364   simgrid::s4u::Host::onStateChange.connect(&onHostChange);
 365   simgrid::s4u::Host::onSpeedChange.connect(&onHostChange);
 366   simgrid::s4u::Host::onDestruction.connect(&onHostDestruction);
 367   simgrid::s4u::onPlatformCreated.connect(&onPlatformCreated);
 368   simgrid::s4u::onSimulationEnd.connect(&onSimulationEnd);
 369   simgrid::surf::CpuAction::onStateChange.connect(&onActionStateChange);
 370 }
 371
 372 /** @brief Returns the total energy consumed by the host so far (in Joules)
 373  *
 374  *  See also @ref SURF_plugin_energy.
 375  */
 376 double sg_host_get_consumed_energy(sg_host_t host)
 377 {
 378   xbt_assert(HostEnergy::EXTENSION_ID.valid(),
 379              "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 380   return host->extension<HostEnergy>()->getConsumedEnergy();
 381 }
 382
 383 /** @brief Get the amount of watt dissipated at the given pstate when the host is idling */
 384 double sg_host_get_wattmin_at(sg_host_t host, int pstate)
 385 {
 386   xbt_assert(HostEnergy::EXTENSION_ID.valid(),
 387              "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 388   return host->extension<HostEnergy>()->getWattMinAt(pstate);
 389 }
 390 /** @brief  Returns the amount of watt dissipated at the given pstate when the host burns CPU at 100% */
 391 double sg_host_get_wattmax_at(sg_host_t host, int pstate)
 392 {
 393   xbt_assert(HostEnergy::EXTENSION_ID.valid(),
 394              "The Energy plugin is not active. Please call sg_energy_plugin_init() during initialization.");
 395   return host->extension<HostEnergy>()->getWattMaxAt(pstate);
 396 }
 397
 398 SG_END_DECL()