Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
3de212bc1beaa504c320b0bc0d6e36ec8a06a62e
[simgrid.git] / src / include / surf / surf.h
1 /* Copyright (c) 2004, 2005, 2006, 2007, 2008, 2009, 2010. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #ifndef _SURF_SURF_H
8 #define _SURF_SURF_H
9
10 #include "xbt/swag.h"
11 #include "xbt/dynar.h"
12 #include "xbt/dict.h"
13 #include "xbt/misc.h"
14 #include "portable.h"
15 #include "xbt/config.h"
16 #include "surf/datatypes.h"
17
18 SG_BEGIN_DECL()
19 /* Actions and models are highly connected structures... */
20      typedef enum {
21        SURF_RESOURCE_ON = 1,              /**< Up & ready        */
22        SURF_RESOURCE_OFF = 0              /**< Down & broken     */
23      } e_surf_resource_state_t;
24
25 /** @Brief Specify that we use that action */
26 XBT_PUBLIC(void) surf_action_ref(surf_action_t action);
27 /** @brief Creates a new action.
28  *
29  * @param size The size is the one of the subtype you want to create
30  * @param cost initial value
31  * @param model to which model we should attach this action
32  * @param failed whether we should start this action in failed mode
33  */
34 XBT_PUBLIC(void *) surf_action_new(size_t size, double cost,
35                                    surf_model_t model, int failed);
36
37
38
39 /** \brief Resource model description
40  */
41      typedef struct surf_model_description {
42        const char *name;
43        const char *description;
44        surf_model_t model;
45        void (*model_init_preparse) (const char *filename);
46        void (*model_init_postparse) (void);
47      } s_surf_model_description_t, *surf_model_description_t;
48
49 XBT_PUBLIC(void) update_model_description(s_surf_model_description_t * table,
50                                           const char *name,
51                                           surf_model_t model);
52 XBT_PUBLIC(int) find_model_description(s_surf_model_description_t * table,
53                                        const char *name);
54 XBT_PUBLIC(void) model_help(const char* category, s_surf_model_description_t * table);
55
56 /** \brief Action structure
57  * \ingroup SURF_actions
58  *
59  *  Never create s_surf_action_t by yourself ! The actions are created
60  *  on the fly when you call execute or communicate on a model.
61  *
62  *  \see e_surf_action_state_t
63  */
64      typedef struct surf_action {
65        s_xbt_swag_hookup_t state_hookup;
66        xbt_swag_t state_set;
67        double cost;             /**< cost        */
68        double priority;         /**< priority (1.0 by default) */
69        double max_duration;     /**< max_duration (may fluctuate until
70                                    the task is completed) */
71        double remains;          /**< How much of that cost remains to
72                                  * be done in the currently running task */
73        double start;            /**< start time  */
74        double finish;           /**< finish time : this is modified during the run
75                                  * and fluctuates until the task is completed */
76        void *data;              /**< for your convenience */
77        int refcount;
78        surf_model_t model_type;
79      } s_surf_action_t;
80
81      typedef struct surf_action_lmm {
82        s_surf_action_t generic_action;
83        lmm_variable_t variable;
84        int suspended;
85      } s_surf_action_lmm_t, *surf_action_lmm_t;
86
87 /** \brief Action states
88  *  \ingroup SURF_actions
89  *
90  *  Action states.
91  *
92  *  \see surf_action_t, surf_action_state_t
93  */
94      typedef enum {
95        SURF_ACTION_READY = 0,   /**< Ready        */
96        SURF_ACTION_RUNNING,     /**< Running      */
97        SURF_ACTION_FAILED,      /**< Task Failure */
98        SURF_ACTION_DONE,        /**< Completed    */
99        SURF_ACTION_TO_FREE,     /**< Action to free in next cleanup */
100        SURF_ACTION_NOT_IN_THE_SYSTEM
101                                 /**< Not in the system anymore. Why did you ask ? */
102      } e_surf_action_state_t;
103
104 /** \brief Action state sets
105  *  \ingroup SURF_actions
106  *
107  *  This structure contains some sets of actions.
108  *  It provides a fast access to the actions in each state.
109  *
110  *  \see surf_action_t, e_surf_action_state_t
111  */
112      typedef struct surf_action_state {
113        xbt_swag_t ready_action_set;
114                                  /**< Actions in state SURF_ACTION_READY */
115        xbt_swag_t running_action_set;
116                                  /**< Actions in state SURF_ACTION_RUNNING */
117        xbt_swag_t failed_action_set;
118                                  /**< Actions in state SURF_ACTION_FAILED */
119        xbt_swag_t done_action_set;
120                                  /**< Actions in state SURF_ACTION_DONE */
121      } s_surf_action_state_t, *surf_action_state_t;
122
123 /***************************/
124 /* Generic model object */
125 /***************************/
126      typedef struct s_routing s_routing_t, *routing_t;
127 XBT_PUBLIC_DATA(routing_t) used_routing;
128
129 /** \brief Private data available on all models
130  *  \ingroup SURF_models
131  */
132      typedef struct surf_model_private *surf_model_private_t;
133
134      /** \brief Timer model extension public
135       * \ingroup SURF_model
136       *
137       * Additionnal functions specific to the timer model
138       */
139      typedef struct surf_timer_model_extension_public {
140        void (*set) (double date, void *function, void *arg);
141        int (*get) (void **function, void **arg);
142      } s_surf_model_extension_timer_t;
143
144      /* Cpu model */
145
146      /** \brief CPU model extension public
147       *  \ingroup SURF_models
148       *
149       *  Public functions specific to the CPU model.
150       */
151      typedef struct surf_cpu_model_extension_public {
152        surf_action_t(*execute) (void *cpu, double size);
153        surf_action_t(*sleep) (void *cpu, double duration);
154        e_surf_resource_state_t(*get_state) (void *cpu);
155        double (*get_speed) (void *cpu, double load);
156        double (*get_available_speed) (void *cpu);
157      } s_surf_model_extension_cpu_t;
158
159      /* Network model */
160
161      /** \brief Network model extension public
162       *  \ingroup SURF_models
163       *
164       *  Public functions specific to the network model
165       */
166      typedef struct surf_network_model_extension_public {
167        surf_action_t(*communicate) (const char *src_name,
168                                     const char *dst_name, int src, int dst,
169                                     double size, double rate);
170        xbt_dynar_t(*get_route) (int src, int dst);
171        double (*get_link_bandwidth) (const void *link);
172        double (*get_link_latency) (const void *link);
173        int (*link_shared) (const void *link);
174      } s_surf_model_extension_network_t;
175
176      /** \brief Workstation model extension public
177       *  \ingroup SURF_models
178       *
179       *  Public functions specific to the workstation model.
180       */
181      typedef struct surf_workstation_model_extension_public {
182        surf_action_t(*execute) (void *workstation, double size);                           /**< Execute a computation amount on a workstation
183                                                                                         and create the corresponding action */
184        surf_action_t(*sleep) (void *workstation, double duration);                         /**< Make a workstation sleep during a given duration */
185        e_surf_resource_state_t(*get_state) (void *workstation);                                 /**< Return the CPU state of a workstation */
186        double (*get_speed) (void *workstation, double load);                               /**< Return the speed of a workstation */
187        double (*get_available_speed) (void *workstation);                                  /**< Return tha available speed of a workstation */
188          surf_action_t(*communicate) (void *workstation_src,                               /**< Execute a communication amount between two workstations */
189                                       void *workstation_dst, double size,
190                                       double max_rate);
191          xbt_dynar_t(*get_route) (void *workstation_src, void *workstation_dst);           /**< Get the list of links between two ws */
192
193          surf_action_t(*execute_parallel_task) (int workstation_nb,                        /**< Execute a parallel task on several workstations */
194                                                 void **workstation_list,
195                                                 double *computation_amount,
196                                                 double *communication_amount,
197                                                 double amount, double rate);
198        double (*get_link_bandwidth) (const void *link);                                    /**< Return the current bandwidth of a network link */
199        double (*get_link_latency) (const void *link);                                      /**< Return the current latency of a network link */
200        int (*link_shared) (const void *link);
201          xbt_dict_t(*get_properties) (const void *resource);
202      } s_surf_model_extension_workstation_t;
203
204 /** \brief Model datatype
205  *  \ingroup SURF_models
206  *
207  *  Generic data structure for a model. The workstations,
208  *  the CPUs and the network links are examples of models.
209  */
210      typedef struct surf_model {
211        const char *name;/**< Name of this model */
212        s_surf_action_state_t states; /**< Any living action on this model */
213
214          e_surf_action_state_t(*action_state_get) (surf_action_t action);
215                                                                        /**< Return the state of an action */
216        void (*action_state_set) (surf_action_t action,
217                                  e_surf_action_state_t state);
218                                                                   /**< Change an action state*/
219
220        double (*action_get_start_time) (surf_action_t action);/**< Return the start time of an action */
221        double (*action_get_finish_time) (surf_action_t action);/**< Return the finish time of an action */
222        int (*action_unref) (surf_action_t action);/**< Specify that we don't use that action anymore */
223        void (*action_cancel) (surf_action_t action);/**< Cancel a running action */
224        void (*action_recycle) (surf_action_t action);/**< Recycle an action */
225        void (*action_data_set) (surf_action_t action, void *data);/**< Set the user data of an action */
226        void (*suspend) (surf_action_t action);/**< Suspend an action */
227        void (*resume) (surf_action_t action);/**< Resume a suspended action */
228        int (*is_suspended) (surf_action_t action);/**< Return whether an action is suspended */
229        void (*set_max_duration) (surf_action_t action, double duration);/**< Set the max duration of an action*/
230        void (*set_priority) (surf_action_t action, double priority);/**< Set the priority of an action */
231        double (*get_remains) (surf_action_t action);/**< Get the remains of an action */
232
233        xbt_dict_t resource_set;
234
235
236
237        surf_model_private_t model_private;
238
239
240
241        union extension {
242          s_surf_model_extension_timer_t timer;
243          s_surf_model_extension_cpu_t cpu;
244          s_surf_model_extension_network_t network;
245          s_surf_model_extension_workstation_t workstation;
246        } extension;
247      } s_surf_model_t;
248
249      surf_model_t surf_model_init(void);
250      void surf_model_exit(surf_model_t model);
251
252      void *surf_model_resource_by_name(surf_model_t model, const char *name);
253 #define surf_model_resource_set(model) (model)->resource_set
254
255      typedef struct surf_resource {
256        surf_model_t model;
257        char *name;
258        xbt_dict_t properties;
259      } s_surf_resource_t, *surf_resource_t;
260
261
262
263 /**
264  * Resource which have a metric handled by a maxmin system
265  */
266      typedef struct {
267        double scale;
268        double peak;
269        tmgr_trace_event_t event;
270      } s_surf_metric_t;
271
272      typedef struct surf_resource_lmm {
273        s_surf_resource_t generic_resource;
274        lmm_constraint_t constraint;
275        e_surf_resource_state_t state_current;
276        tmgr_trace_event_t state_event;
277        s_surf_metric_t power;
278      } s_surf_resource_lmm_t, *surf_resource_lmm_t;
279
280 /**************************************/
281 /* Implementations of model object */
282 /**************************************/
283
284
285 /** \brief The timer model
286  *  \ingroup SURF_models
287  */
288 XBT_PUBLIC_DATA(surf_model_t) surf_timer_model;
289
290 /** \brief Initializes the timer model
291  *  \ingroup SURF_models
292  */
293 XBT_PUBLIC(void) surf_timer_model_init(const char *filename);
294
295 /** \brief The CPU model
296  *  \ingroup SURF_models
297  */
298 XBT_PUBLIC_DATA(surf_model_t) surf_cpu_model;
299
300 /** \brief Initializes the CPU model with the model Cas01
301  *  \ingroup SURF_models
302  *
303  *  This function is called by surf_workstation_model_init_CLM03
304  *  so you shouldn't have to call it by yourself.
305  *
306  *  \see surf_workstation_model_init_CLM03()
307  */
308 XBT_PUBLIC(void) surf_cpu_model_init_Cas01(const char *filename);
309
310 /** \brief Initializes the CPU model with trace integration
311  *  \ingroup SURF_models
312  *
313  */
314 XBT_PUBLIC(void) surf_cpu_model_init_ti(const char *filename);
315
316 /** \brief Initializes the CPU model with the model Cas01 Improved. This model uses a heap to order the events, decreasing the time complexity to get the minimum next event.
317  *  \ingroup SURF_models
318  *
319  *  This function is called by surf_workstation_model_init_CLM03
320  *  so you shouldn't have to call it by yourself.
321  *
322  *  \see surf_workstation_model_init_CLM03()
323  */
324 XBT_PUBLIC(void) surf_cpu_model_init_Cas01_im(const char *filename);
325
326 /** \brief The list of all available cpu model models
327  *  \ingroup SURF_models
328  */
329 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_cpu_model_description[];
330
331 XBT_PUBLIC(void) create_workstations(void);
332
333 /** \brief The network model
334  *  \ingroup SURF_models
335  *
336  *  When creating a new API on top on SURF, you shouldn't use the
337  *  network model unless you know what you are doing. Only the workstation
338  *  model should be accessed because depending on the platform model,
339  *  the network model can be NULL.
340  */
341 XBT_PUBLIC_DATA(surf_model_t) surf_network_model;
342
343 /** \brief Initializes the platform with the network model 'LagrangeVelho'
344  *  \ingroup SURF_models
345  *  \param filename XML platform file name
346  *
347  * This model is proposed by Arnaud Legrand and Pedro Velho based on
348  * the results obtained with the GTNets simulator for onelink and
349  * dogbone sharing scenarios.
350  *
351  *  \see surf_workstation_model_init_LegrandVelho()
352  */
353 XBT_PUBLIC(void) surf_network_model_init_LegrandVelho(const char *filename);
354
355 /** \brief Initializes the platform with the network model 'Constant'
356  *  \ingroup SURF_models
357  *  \param filename XML platform file name
358  *
359  *  In this model, the communication time between two network cards is
360  *  constant, hence no need for a routing table. This is particularly
361  *  usefull when simulating huge distributed algorithms where
362  *  scalability is really an issue. This function is called in
363  *  conjunction with surf_workstation_model_init_compound.
364  *
365  *  \see surf_workstation_model_init_compound()
366  */
367 XBT_PUBLIC(void) surf_network_model_init_Constant(const char *filename);
368
369 XBT_PUBLIC(void) surf_network_model_init_Vivaldi(const char *filename);
370
371 /** \brief Initializes the platform with the network model CM02
372  *  \ingroup SURF_models
373  *  \param filename XML platform file name
374  *
375  *  This function is called by surf_workstation_model_init_CLM03
376  *  or by yourself only if you plan using surf_workstation_model_init_compound
377  *
378  *  \see surf_workstation_model_init_CLM03()
379  */
380 XBT_PUBLIC(void) surf_network_model_init_CM02(const char *filename);
381
382 #ifdef HAVE_GTNETS
383 /** \brief Initializes the platform with the network model GTNETS
384  *  \ingroup SURF_models
385  *  \param filename XML platform file name
386  *
387  *  This function is called by surf_workstation_model_init_GTNETS
388  *  or by yourself only if you plan using surf_workstation_model_init_compound
389  *
390  *  \see surf_workstation_model_init_GTNETS()
391  */
392 XBT_PUBLIC(void) surf_network_model_init_GTNETS(const char *filename);
393 #endif
394
395 /** \brief Initializes the platform with the network model Reno
396  *  \ingroup SURF_models
397  *  \param filename XML platform file name
398  *
399  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
400  *
401  *  Reference:
402  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
403  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
404  *
405  *  Call this function only if you plan using surf_workstation_model_init_compound.
406  *
407  */
408 XBT_PUBLIC(void) surf_network_model_init_Reno(const char *filename);
409
410 /** \brief Initializes the platform with the network model Reno2
411  *  \ingroup SURF_models
412  *  \param filename XML platform file name
413  *
414  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
415  *
416  *  Reference:
417  *  [LOW01] S. H. Low. A duality model of TCP and queue management algorithms.
418  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
419  *
420  *  Call this function only if you plan using surf_workstation_model_init_compound.
421  *
422  */
423 XBT_PUBLIC(void) surf_network_model_init_Reno2(const char *filename);
424
425 /** \brief Initializes the platform with the network model Vegas
426  *  \ingroup SURF_models
427  *  \param filename XML platform file name
428  *
429  *  This problem is related to max( sum( a * Df * ln(xi) ) ) which is equivalent
430  *  to the proportional fairness.
431  *
432  *  Reference:
433  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
434  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
435  *
436  *  Call this function only if you plan using surf_workstation_model_init_compound.
437  *
438  */
439 XBT_PUBLIC(void) surf_network_model_init_Vegas(const char *filename);
440
441 /** \brief The list of all available network model models
442  *  \ingroup SURF_models
443  */
444 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_network_model_description[];
445
446
447 /** \brief The workstation model
448  *  \ingroup SURF_models
449  *
450  *  Note that when you create an API on top of SURF,
451  *  the workstation model should be the only one you use
452  *  because depending on the platform model, the network model and the CPU model
453  *  may not exist.
454  */
455 XBT_PUBLIC_DATA(surf_model_t) surf_workstation_model;
456
457 /** \brief Initializes the platform with a compound workstation model
458  *  \ingroup SURF_models
459  *  \param filename XML platform file name
460  *
461  *  This function should be called after a cpu_model and a
462  *  network_model have been set up.
463  *
464  */
465 XBT_PUBLIC(void) surf_workstation_model_init_compound(const char *filename);
466
467 /** \brief Initializes the platform with the workstation model CLM03
468  *  \ingroup SURF_models
469  *  \param filename XML platform file name
470  *
471  *  This platform model seperates the workstation model and the network model.
472  *  The workstation model will be initialized with the model CLM03, the network
473  *  model with the model CM02 and the CPU model with the model Cas01.
474  *  In future releases, some other network models will be implemented and will be
475  *  combined with the workstation model CLM03.
476  *
477  *  \see surf_workstation_model_init_KCCFLN05()
478  */
479 XBT_PUBLIC(void) surf_workstation_model_init_CLM03(const char *filename);
480
481 /** \brief Initializes the platform with the model KCCFLN05
482  *  \ingroup SURF_models
483  *  \param filename XML platform file name
484  *
485  *  With this model, the workstations and the network are handled
486  *  together. The network model is roughly the same as in CM02 but
487  *  interference between computations and communications can be taken
488  *  into account. This platform model is the default one for MSG and
489  *  SimDag.
490  *
491  */
492 XBT_PUBLIC(void) surf_workstation_model_init_KCCFLN05(const char *filename);
493
494 /** \brief Initializes the platform with the model KCCFLN05
495  *  \ingroup SURF_models
496  *  \param filename XML platform file name
497  *
498  *  With this model, only parallel tasks can be used. Resource sharing
499  *  is done by identifying bottlenecks and giving an equal share of
500  *  the model to each action.
501  *
502  */
503 XBT_PUBLIC(void) surf_workstation_model_init_ptask_L07(const char *filename);
504
505 /** \brief The list of all available workstation model models
506  *  \ingroup SURF_models
507  */
508 XBT_PUBLIC_DATA(s_surf_model_description_t)
509   surf_workstation_model_description[];
510
511 /** \brief List of initialized models
512  *  \ingroup SURF_models
513  */
514 XBT_PUBLIC_DATA(xbt_dynar_t) model_list;
515
516 /*******************************************/
517 /*** SURF Globals **************************/
518 /*******************************************/
519 XBT_PUBLIC_DATA(xbt_cfg_t) _surf_cfg_set;
520
521 /** \brief Initialize SURF
522  *  \ingroup SURF_simulation
523  *  \param argc argument number
524  *  \param argv arguments
525  *
526  *  This function has to be called to initialize the common
527  *  structures.  Then you will have to create the environment by
528  *  calling surf_timer_model_init() and
529  *  e.g. surf_workstation_model_init_CLM03() or
530  *  surf_workstation_model_init_KCCFLN05().
531  *
532  *  \see surf_timer_model_init(), surf_workstation_model_init_CLM03(),
533  *  surf_workstation_model_init_KCCFLN05(), surf_workstation_model_init_compound(), surf_exit()
534  */
535 XBT_PUBLIC(void) surf_init(int *argc, char **argv);     /* initialize common structures */
536
537 /** \brief Initialize the used models.
538  *
539  * Must be called after the surf_init so that configuration infrastructure is created
540  * Must be called before parsing/creating the environment
541  * Must not be called within the initialization process so that the use get a chance to change the settings from
542  * its code between, say, MSG_init and MSG_create_environment using MSG_config
543  */
544 XBT_PUBLIC(void) surf_config_models_setup(const char *platform_file);
545
546 /** \brief create the elements of the models
547  *
548  * Must be called after parsing the platform file and before using any elements
549  */
550 XBT_PUBLIC(void) surf_config_models_create_elms(void);
551
552 /** \brief Finish simulation initialization
553  *  \ingroup SURF_simulation
554  *
555  *  This function must be called before the first call to surf_solve()
556  */
557 XBT_PUBLIC(void) surf_presolve(void);
558
559 /** \brief Performs a part of the simulation
560  *  \ingroup SURF_simulation
561  *  \return the elapsed time, or -1.0 if no event could be executed
562  *
563  *  This function execute all possible events, update the action states
564  *  and returns the time elapsed.
565  *  When you call execute or communicate on a model, the corresponding actions
566  *  are not executed immediately but only when you call surf_solve.
567  *  Note that the returned elapsed time can be zero.
568  */
569 XBT_PUBLIC(double) surf_solve(void);
570
571 /** \brief Return the current time
572  *  \ingroup SURF_simulation
573  *
574  *  Return the current time in millisecond.
575  */
576 XBT_PUBLIC(double) surf_get_clock(void);
577
578 /** \brief Exit SURF
579  *  \ingroup SURF_simulation
580  *
581  *  Clean everything.
582  *
583  *  \see surf_init()
584  */
585 XBT_PUBLIC(void) surf_exit(void);
586
587 /* Prototypes of the functions that handle the properties */
588 XBT_PUBLIC_DATA(xbt_dict_t) current_property_set;       /* the prop set for the currently parsed element (also used in SIMIX) */
589 XBT_PUBLIC_DATA(void) parse_properties(void);
590
591 /* surf parse file related (public because called from a test suite) */
592 XBT_PUBLIC(void) parse_platform_file(const char *file);
593
594 /* Stores the sets */
595 XBT_PUBLIC_DATA(xbt_dict_t) set_list;
596
597 XBT_PUBLIC_DATA(void) manage_route(xbt_dict_t route_table,
598                                    const char *route_name, int action,
599                                    int isMultiRoute);
600 XBT_PUBLIC_DATA(int) route_action;
601
602 /* This is used by all models when creating the routing table while parsing */
603 XBT_PUBLIC_DATA(xbt_dict_t) route_table;
604 XBT_PUBLIC_DATA(xbt_dict_t) route_multi_table;
605
606
607 /* For the trace and trace:connect tag (store their content till the end of the parsing) */
608 XBT_PUBLIC_DATA(xbt_dict_t) traces_set_list;
609 XBT_PUBLIC_DATA(xbt_dict_t) trace_connect_list_host_avail;
610 XBT_PUBLIC_DATA(xbt_dict_t) trace_connect_list_power;
611 XBT_PUBLIC_DATA(xbt_dict_t) trace_connect_list_link_avail;
612 XBT_PUBLIC_DATA(xbt_dict_t) trace_connect_list_bandwidth;
613 XBT_PUBLIC_DATA(xbt_dict_t) trace_connect_list_latency;
614
615
616 XBT_PUBLIC(double) get_cpu_power(const char *power);
617
618 #include "surf/surf_resource.h"
619 #include "surf/surf_resource_lmm.h"
620
621 SG_END_DECL()
622 #endif /* _SURF_SURF_H */