src/kernel/resource/profile/Profile.cpp

   1 /* Copyright (c) 2004-2019. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "src/kernel/resource/profile/Profile.hpp"
   7 #include "simgrid/forward.h"
   8 #include "src/kernel/resource/profile/DatedValue.hpp"
   9 #include "src/kernel/resource/profile/Event.hpp"
  10 #include "src/kernel/resource/profile/FutureEvtSet.hpp"
  11 #include "src/kernel/resource/profile/StochasticDatedValue.hpp"
  12 #include "src/surf/surf_interface.hpp"
  13
  14 #include <boost/algorithm/string.hpp>
  15 #include <fstream>
  16 #include <ostream>
  17 #include <sstream>
  18 #include <unordered_map>
  19 #include <vector>
  20
  21 static std::unordered_map<std::string, simgrid::kernel::profile::Profile*> trace_list;
  22
  23 namespace simgrid {
  24 namespace kernel {
  25 namespace profile {
  26
  27 Profile::Profile()
  28 {
  29   /* Add the first fake event storing the time at which the trace begins */
  30   DatedValue val(0, -1);
  31   StochasticDatedValue stoval(0, -1);
  32   event_list.push_back(val);
  33   stochastic_event_list.push_back(stoval);
  34 }
  35 Profile::~Profile() = default;
  36
  37 /** @brief Register this profile for that resource onto that FES,
  38  * and get an iterator over the integrated trace  */
  39 Event* Profile::schedule(FutureEvtSet* fes, resource::Resource* resource)
  40 {
  41   Event* event    = new Event();
  42   event->profile  = this;
  43   event->idx      = 0;
  44   event->resource = resource;
  45   event->free_me  = false;
  46
  47   xbt_assert((event->idx < event_list.size()), "Your profile should have at least one event!");
  48
  49   fes_ = fes;
  50   fes_->add_event(0.0 /* start time */, event);
  51   if (stochastic > 0) {
  52     xbt_assert((event->idx < stochastic_event_list.size()), "Your profile should have at least one stochastic event!");
  53     futureDV = stochastic_event_list.at(event->idx).get_datedvalue();
  54   }
  55
  56   return event;
  57 }
  58
  59 /** @brief Gets the next event from a profile */
  60 DatedValue Profile::next(Event* event)
  61 {
  62   double event_date  = fes_->next_date();
  63
  64   if (not stochastic) {
  65     DatedValue dateVal = event_list.at(event->idx);
  66
  67     if (event->idx < event_list.size() - 1) {
  68       fes_->add_event(event_date + dateVal.date_, event);
  69       event->idx++;
  70     } else if (dateVal.date_ > 0) { /* Last element. Shall we loop? */
  71       fes_->add_event(event_date + dateVal.date_, event);
  72       event->idx = 1; /* idx=0 is a placeholder to store when events really start */
  73     } else {          /* If we don't loop, we don't need this event anymore */
  74       event->free_me = true;
  75     }
  76     return dateVal;
  77   } else {
  78     DatedValue dateVal = futureDV;
  79     if (event->idx < stochastic_event_list.size() - 1) {
  80       event->idx++;
  81     } else if (stochasticloop > 0) { /* We have reached the last element and we have to loop. */
  82       event->idx = 1;
  83     } else {
  84       event->free_me = true; /* We have reached the last element, but we don't need to loop. */
  85     }
  86
  87     if (event->free_me == false) { // In the case there is an element, we draw the next event
  88       StochasticDatedValue stodateVal = stochastic_event_list.at(event->idx);
  89       futureDV                        = stochastic_event_list.at(event->idx).get_datedvalue();
  90       fes_->add_event(event_date + futureDV.date_, event);
  91     }
  92     return dateVal;
  93   }
  94 }
  95
  96 Profile* Profile::from_string(const std::string& name, const std::string& input, double periodicity)
  97 {
  98   int linecount                                    = 0;
  99   simgrid::kernel::profile::Profile* profile       = new simgrid::kernel::profile::Profile();
 100   simgrid::kernel::profile::DatedValue* last_event = &(profile->event_list.back());
 101
 102   xbt_assert(trace_list.find(name) == trace_list.end(), "Refusing to define trace %s twice", name.c_str());
 103
 104   std::vector<std::string> list;
 105   boost::split(list, input, boost::is_any_of("\n\r"));
 106   for (auto val : list) {
 107     simgrid::kernel::profile::DatedValue event;
 108     simgrid::kernel::profile::StochasticDatedValue stochevent;
 109     linecount++;
 110     boost::trim(val);
 111     if (val[0] == '#' || val[0] == '\0' || val[0] == '%') // pass comments
 112       continue;
 113     if (sscanf(val.c_str(), "PERIODICITY %lg\n", &periodicity) == 1)
 114       continue;
 115     if (sscanf(val.c_str(), "LOOPAFTER %lg\n", &periodicity) == 1)
 116       continue;
 117     if (val == "STOCHASTIC LOOP") {
 118       profile->stochastic     = true;
 119       profile->stochasticloop = true;
 120       continue;
 121     }
 122     if (val == "STOCHASTIC") {
 123       profile->stochastic = true;
 124       continue;
 125     }
 126
 127     if (profile->stochastic) {
 128       unsigned int i;
 129       unsigned int j;
 130       std::istringstream iss(val);
 131       std::vector<std::string> splittedval((std::istream_iterator<std::string>(iss)),
 132                                            std::istream_iterator<std::string>());
 133
 134       xbt_assert(splittedval.size() > 0, "Invalid profile line");
 135
 136       if (splittedval[0] == "DET") {
 137         stochevent.date_law = Dist_Det;
 138         i                   = 2;
 139       } else if (splittedval[0] == "NORM" || splittedval[0] == "NORMAL" || splittedval[0] == "GAUSS" ||
 140                  splittedval[0] == "GAUSSIAN") {
 141         stochevent.date_law = Dist_Norm;
 142         i                   = 3;
 143       } else if (splittedval[0] == "EXP" || splittedval[0] == "EXPONENTIAL") {
 144         stochevent.date_law = Dist_Exp;
 145         i                   = 2;
 146       } else if (splittedval[0] == "UNIF" || splittedval[0] == "UNIFORM") {
 147         stochevent.date_law = Dist_Unif;
 148         i                   = 3;
 149       } else {
 150         xbt_assert(false, "Unknown law %s", splittedval[0].c_str());
 151         i = 0;
 152       }
 153
 154       xbt_assert(splittedval.size() > i, "Invalid profile line");
 155       if (i == 2) {
 156         stochevent.date_params = {std::atof(splittedval[1].c_str())};
 157       } else if (i == 3) {
 158         stochevent.date_params = {std::atof(splittedval[1].c_str()), std::atof(splittedval[2].c_str())};
 159       }
 160
 161       if (splittedval[i] == "DET") {
 162         stochevent.value_law = Dist_Det;
 163         j                    = 1;
 164       } else if (splittedval[i] == "NORM" || splittedval[i] == "NORMAL" || splittedval[i] == "GAUSS" ||
 165                  splittedval[i] == "GAUSSIAN") {
 166         stochevent.value_law = Dist_Norm;
 167         j                    = 2;
 168       } else if (splittedval[i] == "EXP" || splittedval[i] == "EXPONENTIAL") {
 169         stochevent.value_law = Dist_Exp;
 170         j                    = 1;
 171       } else if (splittedval[i] == "UNIF" || splittedval[i] == "UNIFORM") {
 172         stochevent.value_law = Dist_Unif;
 173         j                    = 2;
 174       } else {
 175         xbt_assert(false, "Unknown law %s", splittedval[i].c_str());
 176         j = 0;
 177       }
 178
 179       xbt_assert(splittedval.size() > i + j, "Invalid profile line");
 180       if (j == 1) {
 181         stochevent.value_params = {std::atof(splittedval[i + 1].c_str())};
 182       } else if (j == 2) {
 183         stochevent.value_params = {std::atof(splittedval[i + 1].c_str()), std::atof(splittedval[i + 2].c_str())};
 184       }
 185
 186       profile->stochastic_event_list.push_back(stochevent);
 187     } else {
 188       XBT_ATTRIB_UNUSED int res = sscanf(val.c_str(), "%lg  %lg\n", &event.date_, &event.value_);
 189       xbt_assert(res == 2, "%s:%d: Syntax error in trace\n%s", name.c_str(), linecount, input.c_str());
 190
 191       xbt_assert(last_event->date_ <= event.date_,
 192                  "%s:%d: Invalid trace: Events must be sorted, but time %g > time %g.\n%s", name.c_str(), linecount,
 193                  last_event->date_, event.date_, input.c_str());
 194       last_event->date_ = event.date_ - last_event->date_;
 195
 196       profile->event_list.push_back(event);
 197       last_event = &(profile->event_list.back());
 198     }
 199   }
 200   if (last_event) {
 201     if (periodicity > 0) {
 202       last_event->date_ = periodicity + profile->event_list.at(0).date_;
 203     } else {
 204       last_event->date_ = -1;
 205     }
 206   }
 207
 208   trace_list.insert({name, profile});
 209
 210   return profile;
 211 }
 212 Profile* Profile::from_file(const std::string& path)
 213 {
 214   xbt_assert(not path.empty(), "Cannot parse a trace from an empty filename");
 215   xbt_assert(trace_list.find(path) == trace_list.end(), "Refusing to define trace %s twice", path.c_str());
 216
 217   std::ifstream* f = surf_ifsopen(path);
 218   xbt_assert(not f->fail(), "Cannot open file '%s' (path=%s)", path.c_str(), (boost::join(surf_path, ":")).c_str());
 219
 220   std::stringstream buffer;
 221   buffer << f->rdbuf();
 222   delete f;
 223
 224   return Profile::from_string(path, buffer.str(), -1);
 225 }
 226
 227 } // namespace profile
 228 } // namespace kernel
 229 } // namespace simgrid
 230
 231 void tmgr_finalize()
 232 {
 233   for (auto const& kv : trace_list)
 234     delete kv.second;
 235   trace_list.clear();
 236 }
 237
 238 void tmgr_trace_event_unref(simgrid::kernel::profile::Event** event)
 239 {
 240   if ((*event)->free_me) {
 241     delete *event;
 242     *event = nullptr;
 243   }
 244 }