Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
6722a2d000d10c33b53caea0a91352331239c3b5
[simgrid.git] / src / surf / surf_interface.hpp
1 /* Copyright (c) 2004-2017. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #ifndef SURF_MODEL_H_
7 #define SURF_MODEL_H_
8
9 #include "xbt/signal.hpp"
10 #include "xbt/utility.hpp"
11
12 #include "src/surf/surf_private.hpp"
13 #include "surf/surf.hpp"
14 #include "xbt/str.h"
15
16 #include <boost/heap/pairing_heap.hpp>
17 #include <boost/intrusive/list.hpp>
18 #include <boost/optional.hpp>
19 #include <cmath>
20 #include <set>
21 #include <string>
22 #include <unordered_map>
23
24 #define NO_MAX_DURATION -1.0
25
26 /*********
27  * Utils *
28  *********/
29
30 /* user-visible parameters */
31 XBT_PUBLIC_DATA(double) sg_maxmin_precision;
32 XBT_PUBLIC_DATA(double) sg_surf_precision;
33 XBT_PUBLIC_DATA(int) sg_concurrency_limit;
34
35 extern XBT_PRIVATE double sg_tcp_gamma;
36 extern XBT_PRIVATE double sg_latency_factor;
37 extern XBT_PRIVATE double sg_bandwidth_factor;
38 extern XBT_PRIVATE double sg_weight_S_parameter;
39 extern XBT_PRIVATE int sg_network_crosstraffic;
40 extern XBT_PRIVATE std::vector<std::string> surf_path;
41 extern XBT_PRIVATE std::unordered_map<std::string, tmgr_trace_t> traces_set_list;
42 extern XBT_PRIVATE std::set<std::string> watched_hosts;
43
44 static inline void double_update(double* variable, double value, double precision)
45 {
46   // printf("Updating %g -= %g +- %g\n",*variable,value,precision);
47   // xbt_assert(value==0  || value>precision);
48   // Check that precision is higher than the machine-dependent size of the mantissa. If not, brutal rounding  may
49   // happen, and the precision mechanism is not active...
50   // xbt_assert(*variable< (2<<DBL_MANT_DIG)*precision && FLT_RADIX==2);
51   *variable -= value;
52   if (*variable < precision)
53     *variable = 0.0;
54 }
55
56 static inline int double_positive(double value, double precision)
57 {
58   return (value > precision);
59 }
60
61 static inline int double_equals(double value1, double value2, double precision)
62 {
63   return (fabs(value1 - value2) < precision);
64 }
65
66 extern "C" {
67 XBT_PUBLIC(double) surf_get_clock();
68 }
69 /** \ingroup SURF_simulation
70  *  \brief List of hosts that have just restarted and whose autorestart process should be restarted.
71  */
72 XBT_PUBLIC_DATA(std::vector<sg_host_t>) host_that_restart;
73
74 int XBT_PRIVATE __surf_is_absolute_file_path(const char *file_path);
75
76 /**********
77  * Action *
78  **********/
79
80 /** \ingroup SURF_models
81  *  \brief List of initialized models
82  */
83 XBT_PUBLIC_DATA(std::vector<surf_model_t>*) all_existing_models;
84
85 namespace simgrid {
86 namespace surf {
87
88 typedef std::pair<double, simgrid::surf::Action*> heap_element_type;
89 typedef boost::heap::pairing_heap<heap_element_type, boost::heap::constant_time_size<false>, boost::heap::stable<true>,
90                                   boost::heap::compare<simgrid::xbt::HeapComparator<heap_element_type>>>
91     heap_type;
92
93 /** @ingroup SURF_interface
94  * @brief SURF action interface class
95  * @details An action is an event generated by a resource (e.g.: a communication for the network)
96  */
97 XBT_PUBLIC_CLASS Action {
98 public:
99   boost::intrusive::list_member_hook<> action_hook;
100   boost::intrusive::list_member_hook<> action_lmm_hook;
101   typedef boost::intrusive::member_hook<
102     Action, boost::intrusive::list_member_hook<>, &Action::action_hook> ActionOptions;
103   typedef boost::intrusive::list<Action, ActionOptions> ActionList;
104
105   enum class State {
106     ready = 0,        /**< Ready        */
107     running,          /**< Running      */
108     failed,           /**< Task Failure */
109     done,             /**< Completed    */
110     to_free,          /**< Action to free in next cleanup */
111     not_in_the_system /**< Not in the system anymore. Why did you ask ? */
112   };
113
114   enum class SuspendStates {
115     not_suspended = 0, /**< Action currently not suspended **/
116     suspended,
117     sleeping
118   };
119
120   enum class Type { LATENCY = 100, MAX_DURATION, NORMAL, NOTSET };
121
122   /**
123    * @brief Action constructor
124    *
125    * @param model The Model associated to this Action
126    * @param cost The cost of the Action
127    * @param failed If the action is impossible (e.g.: execute something on a switched off host)
128    */
129   Action(simgrid::surf::Model* model, double cost, bool failed);
130
131   /**
132    * @brief Action constructor
133    *
134    * @param model The Model associated to this Action
135    * @param cost The cost of the Action
136    * @param failed If the action is impossible (e.g.: execute something on a switched off host)
137    * @param var The lmm variable associated to this Action if it is part of a LMM component
138    */
139   Action(simgrid::surf::Model * model, double cost, bool failed, kernel::lmm::Variable* var);
140
141   /** @brief Destructor */
142   virtual ~Action();
143
144   /**
145    * @brief Mark that the action is now finished
146    *
147    * @param state the new [state](\ref simgrid::surf::Action::State) of the current Action
148    */
149   void finish(Action::State state);
150
151   /** @brief Get the [state](\ref simgrid::surf::Action::State) of the current Action */
152   Action::State getState() const; /**< get the state*/
153   /** @brief Set the [state](\ref simgrid::surf::Action::State) of the current Action */
154   virtual void setState(Action::State state);
155
156   /** @brief Get the bound of the current Action */
157   double getBound() const;
158   /** @brief Set the bound of the current Action */
159   void setBound(double bound);
160
161   /** @brief Get the start time of the current action */
162   double getStartTime() const { return start_; }
163   /** @brief Get the finish time of the current action */
164   double getFinishTime() const { return finishTime_; }
165
166   /** @brief Get the user data associated to the current action */
167   void* getData() const { return data_; }
168   /** @brief Set the user data associated to the current action */
169   void setData(void* data) { data_ = data; }
170
171   /** @brief Get the cost of the current action */
172   double getCost() const { return cost_; }
173   /** @brief Set the cost of the current action */
174   void setCost(double cost) {cost_ = cost;}
175
176   /** @brief Update the maximum duration of the current action
177    *  @param delta Amount to remove from the MaxDuration */
178   void updateMaxDuration(double delta) {double_update(&maxDuration_, delta,sg_surf_precision);}
179
180   /** @brief Update the remaining time of the current action
181    *  @param delta Amount to remove from the remaining time */
182   void updateRemains(double delta) {double_update(&remains_, delta, sg_maxmin_precision*sg_surf_precision);}
183
184   /** @brief Set the remaining time of the current action */
185   void setRemains(double value) {remains_ = value;}
186   /** @brief Get the remaining time of the current action after updating the resource */
187   virtual double getRemains();
188   /** @brief Get the remaining time of the current action without updating the resource */
189   double getRemainsNoUpdate() const { return remains_; }
190
191   /** @brief Set the finish time of the current action */
192   void setFinishTime(double value) {finishTime_ = value;}
193
194   /**@brief Add a reference to the current action (refcounting) */
195   void ref();
196   /** @brief Unref that action (and destroy it if refcount reaches 0)
197    *  @return true if the action was destroyed and false if someone still has references on it
198    */
199   virtual int unref();
200
201   /** @brief Cancel the current Action if running */
202   virtual void cancel();
203
204   /** @brief Suspend the current Action */
205   virtual void suspend();
206
207   /** @brief Resume the current Action */
208   virtual void resume();
209
210   /** @brief Returns true if the current action is running */
211   virtual bool isSuspended();
212
213   /** @brief Get the maximum duration of the current action */
214   double getMaxDuration() const { return maxDuration_; }
215   /** @brief Set the maximum duration of the current Action */
216   virtual void setMaxDuration(double duration);
217
218   /** @brief Get the tracing category associated to the current action */
219   char* getCategory() const { return category_; }
220   /** @brief Set the tracing category of the current Action */
221   void setCategory(const char *category);
222
223   /** @brief Get the priority of the current Action */
224   double getPriority() const { return sharingWeight_; };
225   /** @brief Set the priority of the current Action */
226   virtual void setSharingWeight(double priority);
227   void setSharingWeightNoUpdate(double weight) { sharingWeight_ = weight; }
228
229   /** @brief Get the state set in which the action is */
230   ActionList* getStateSet() const { return stateSet_; };
231
232   simgrid::surf::Model* getModel() const { return model_; }
233
234 protected:
235   ActionList* stateSet_;
236   int    refcount_ = 1;
237
238 private:
239   double sharingWeight_ = 1.0;             /**< priority (1.0 by default) */
240   double maxDuration_ = NO_MAX_DURATION; /*< max_duration (may fluctuate until the task is completed) */
241   double remains_;                       /**< How much of that cost remains to be done in the currently running task */
242   double start_; /**< start time  */
243   char *category_ = nullptr;            /**< tracing category for categorized resource utilization monitoring */
244   double finishTime_ =
245       -1; /**< finish time : this is modified during the run and fluctuates until the task is completed */
246
247   double    cost_;
248   simgrid::surf::Model *model_;
249   void *data_ = nullptr; /**< for your convenience */
250
251   /* LMM */
252   double lastUpdate_                                  = 0;
253   double lastValue_                                   = 0;
254   kernel::lmm::Variable* variable_                    = nullptr;
255   Action::Type hat_                                   = Action::Type::NOTSET;
256   boost::optional<heap_type::handle_type> heapHandle_ = boost::none;
257
258 public:
259   virtual void updateRemainingLazy(double now) { THROW_IMPOSSIBLE; };
260   void heapInsert(heap_type & heap, double key, Action::Type hat);
261   void heapRemove(heap_type& heap);
262   void heapUpdate(heap_type & heap, double key, Action::Type hat);
263   void clearHeapHandle() { heapHandle_ = boost::none; }
264   kernel::lmm::Variable* getVariable() const { return variable_; }
265   void setVariable(kernel::lmm::Variable * var) { variable_ = var; }
266   double getLastUpdate() const { return lastUpdate_; }
267   void refreshLastUpdate() {lastUpdate_ = surf_get_clock();}
268   double getLastValue() const { return lastValue_; }
269   void setLastValue(double val) { lastValue_ = val; }
270   Action::Type getHat() const { return hat_; }
271   bool is_linked() const { return action_lmm_hook.is_linked(); }
272 protected:
273   Action::SuspendStates suspended_ = Action::SuspendStates::not_suspended;
274 };
275
276 typedef Action::ActionList ActionList;
277
278 typedef boost::intrusive::member_hook<
279   Action, boost::intrusive::list_member_hook<>, &Action::action_lmm_hook> ActionLmmOptions;
280 typedef boost::intrusive::list<Action, ActionLmmOptions> ActionLmmList;
281 typedef ActionLmmList* ActionLmmListPtr;
282
283 /*********
284  * Model *
285  *********/
286
287 /** @ingroup SURF_interface
288  * @brief SURF model interface class
289  * @details A model is an object which handle the interactions between its Resources and its Actions
290  */
291 XBT_PUBLIC_CLASS Model {
292 public:
293   Model();
294   virtual ~Model();
295
296   /** @brief Get the set of [actions](@ref Action) in *ready* state */
297   virtual ActionList* getReadyActionSet() const { return readyActionSet_; }
298
299   /** @brief Get the set of [actions](@ref Action) in *running* state */
300   virtual ActionList* getRunningActionSet() const { return runningActionSet_; }
301
302   /** @brief Get the set of [actions](@ref Action) in *failed* state */
303   virtual ActionList* getFailedActionSet() const { return failedActionSet_; }
304
305   /** @brief Get the set of [actions](@ref Action) in *done* state */
306   virtual ActionList* getDoneActionSet() const { return doneActionSet_; }
307
308   /** @brief Get the set of modified [actions](@ref Action) */
309   virtual ActionLmmListPtr getModifiedSet() const { return modifiedSet_; }
310
311   /** @brief Get the maxmin system of the current Model */
312   lmm_system_t getMaxminSystem() const { return maxminSystem_; }
313
314   /**
315    * @brief Get the update mechanism of the current Model
316    * @see e_UM_t
317    */
318   e_UM_t getUpdateMechanism() const { return updateMechanism_; }
319   void setUpdateMechanism(e_UM_t mechanism) { updateMechanism_ = mechanism; }
320
321   /** @brief Get Action heap */
322   heap_type& getActionHeap() { return actionHeap_; }
323
324   double actionHeapTopDate() const { return actionHeap_.top().first; }
325   Action* actionHeapPop();
326   bool actionHeapIsEmpty() const { return actionHeap_.empty(); }
327
328   /**
329    * @brief Share the resources between the actions
330    *
331    * @param now The current time of the simulation
332    * @return The delta of time till the next action will finish
333    */
334   virtual double nextOccuringEvent(double now);
335   virtual double nextOccuringEventLazy(double now);
336   virtual double nextOccuringEventFull(double now);
337
338   /**
339    * @brief Update action to the current time
340    *
341    * @param now The current time of the simulation
342    * @param delta The delta of time since the last update
343    */
344   virtual void updateActionsState(double now, double delta);
345   virtual void updateActionsStateLazy(double now, double delta);
346   virtual void updateActionsStateFull(double now, double delta);
347
348   /** @brief Returns whether this model have an idempotent shareResource()
349    *
350    * The only model that is not is NS3: computing the next timestamp moves the model up to that point,
351    * so we need to call it only when the next timestamp of other sources is computed.
352    */
353   virtual bool nextOccuringEventIsIdempotent() { return true;}
354
355 protected:
356   ActionLmmListPtr modifiedSet_;
357   lmm_system_t maxminSystem_ = nullptr;
358   bool selectiveUpdate_;
359
360 private:
361   e_UM_t updateMechanism_ = UM_UNDEFINED;
362   ActionList* readyActionSet_; /**< Actions in state SURF_ACTION_READY */
363   ActionList* runningActionSet_; /**< Actions in state SURF_ACTION_RUNNING */
364   ActionList* failedActionSet_; /**< Actions in state SURF_ACTION_FAILED */
365   ActionList* doneActionSet_; /**< Actions in state SURF_ACTION_DONE */
366   heap_type actionHeap_;
367 };
368
369 }
370 }
371
372 /************
373  * Resource *
374  ************/
375
376 /** @ingroup SURF_interface
377  * @brief Resource which have a metric handled by a maxmin system
378  */
379 struct s_surf_metric_t {
380   double peak;              /**< The peak of the metric, ie its max value */
381   double scale;             /**< Current availability of the metric according to the traces, in [0,1] */
382   tmgr_trace_event_t event; /**< The associated trace event associated to the metric */
383 };
384
385 namespace simgrid {
386 namespace surf {
387
388 /** @ingroup SURF_interface
389  * @brief SURF resource interface class
390  * @details This is the ancestor class of every resources in SimGrid, such as links, CPU or storage
391  */
392 XBT_PUBLIC_CLASS Resource {
393 public:
394   /**
395    * @brief Constructor of LMM Resources
396    *
397    * @param model Model associated to this Resource
398    * @param name The name of the Resource
399    * @param constraint The lmm constraint associated to this Resource if it is part of a LMM component
400    */
401   Resource(Model * model, const std::string& name, kernel::lmm::Constraint* constraint);
402
403   virtual ~Resource();
404
405   /** @brief Get the Model of the current Resource */
406   Model* model() const;
407
408   /** @brief Get the name of the current Resource */
409   const std::string& getName() const;
410   /** @brief Get the name of the current Resource */
411   const char* getCname() const;
412
413   bool operator==(const Resource &other) const;
414
415   /**
416    * @brief Apply an event of external load event to that resource
417    *
418    * @param event What happened
419    * @param value [TODO]
420    */
421   virtual void apply_event(tmgr_trace_event_t event, double value) = 0;
422
423   /** @brief Check if the current Resource is used (if it currently serves an action) */
424   virtual bool isUsed()=0;
425
426   /** @brief returns the current load (in flops per second, byte per second or similar) */
427   virtual double getLoad();
428
429   /** @brief Check if the current Resource is active */
430   virtual bool isOn() const;
431   /** @brief Check if the current Resource is shut down */
432   virtual bool isOff() const;
433   /** @brief Turn on the current Resource */
434   virtual void turnOn();
435   /** @brief Turn off the current Resource */
436   virtual void turnOff();
437
438 private:
439   std::string name_;
440   Model *model_;
441   bool isOn_ = true;
442
443 public: /* LMM */
444   /** @brief Get the lmm constraint associated to this Resource if it is part of a LMM component (or null if none) */
445   kernel::lmm::Constraint* constraint() const;
446
447 protected:
448   const kernel::lmm::Constraint* constraint_ = nullptr;
449 };
450
451 }
452 }
453
454 namespace std {
455 template <> class hash<simgrid::surf::Resource> {
456 public:
457   std::size_t operator()(const simgrid::surf::Resource& r) const { return (std::size_t)xbt_str_hash(r.getCname()); }
458 };
459 }
460
461 #endif /* SURF_MODEL_H_ */