Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid
[simgrid.git] / src / include / surf / surf.h
1 /* Copyright (c) 2004-2017. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #ifndef SURF_SURF_H
7 #define SURF_SURF_H
8
9 #include "xbt/swag.h"
10 #include "xbt/dynar.h"
11 #include "xbt/dict.h"
12 #include "xbt/graph.h"
13 #include "xbt/misc.h"
14 #include "xbt/config.h"
15 #include "src/internal_config.h"
16 #include "surf/datatypes.h"
17 #include "simgrid/datatypes.h"
18 #include "simgrid/forward.h"
19
20 SG_BEGIN_DECL()
21 /* Actions and models are highly connected structures... */
22
23 /* user-visible parameters */
24 extern XBT_PRIVATE double sg_tcp_gamma;
25 extern XBT_PRIVATE double sg_sender_gap;
26 extern XBT_PRIVATE double sg_latency_factor;
27 extern XBT_PRIVATE double sg_bandwidth_factor;
28 extern XBT_PRIVATE double sg_weight_S_parameter;
29 extern XBT_PRIVATE int sg_network_crosstraffic;
30
31 #ifdef __cplusplus
32
33 namespace simgrid {
34 namespace surf {
35
36 class Model;
37 class CpuModel;
38 class HostModel;
39 class NetworkModel;
40 class StorageModel;
41 class Resource;
42 class NetworkCm02Link;
43 class Action;
44 }
45 }
46
47 typedef simgrid::surf::Model surf_Model;
48 typedef simgrid::surf::CpuModel surf_CpuModel;
49 typedef simgrid::surf::Cpu surf_Cpu;
50 typedef simgrid::surf::HostModel surf_HostModel;
51 typedef simgrid::surf::NetworkModel surf_NetworkModel;
52 typedef simgrid::surf::StorageImpl surf_Storage;
53 typedef simgrid::surf::StorageModel surf_StorageModel;
54 typedef simgrid::surf::Resource surf_Resource;
55 typedef simgrid::surf::HostImpl surf_Host;
56 typedef simgrid::surf::Action surf_Action;
57 typedef simgrid::surf::FileImpl surf_File;
58
59 #else
60
61 typedef struct surf_Model surf_Model;
62 typedef struct surf_CpuModel surf_CpuModel;
63 typedef struct surf_Cpu surf_Cpu;
64 typedef struct surf_HostModel surf_HostModel;
65 typedef struct surf_NetworkModel surf_NetworkModel;
66 typedef struct surf_StorageImpl surf_Storage;
67 typedef struct surf_StorageModel surf_StorageModel;
68 typedef struct surf_Resource surf_Resource;
69 typedef struct surf_Host surf_Host;
70 typedef struct surf_Action surf_Action;
71 typedef struct surf_File surf_File;
72
73 #endif
74
75 /** @ingroup SURF_c_bindings
76  *  \brief Model datatype
77  *
78  *  Generic data structure for a model. The hosts,
79  *  the CPUs and the network links are examples of models.
80  */
81 typedef surf_Model *surf_model_t;
82 typedef surf_CpuModel *surf_cpu_model_t;
83 typedef surf_HostModel *surf_host_model_t;
84 typedef surf_NetworkModel *surf_network_model_t;
85 typedef surf_StorageModel *surf_storage_model_t;
86 typedef surf_Storage* surf_storage_t;
87 typedef surf_File* surf_file_t;
88
89 /** @ingroup SURF_c_bindings
90  *  \brief Action structure
91  *
92  *  Never create s_surf_action_t by yourself ! The actions are created
93  *  on the fly when you call execute or communicate on a model.
94  *
95  *  \see e_surf_action_state_t
96  */
97 typedef surf_Action *surf_action_t;
98
99
100 /** \brief Resource model description
101  */
102 struct surf_model_description {
103   const char *name;
104   const char *description;
105   void_f_void_t model_init_preparse;
106 };
107 typedef struct surf_model_description  s_surf_model_description_t;
108 typedef struct surf_model_description* surf_model_description_t;
109
110 XBT_PUBLIC(int) find_model_description(s_surf_model_description_t * table, const char *name);
111 XBT_PUBLIC(void) model_help(const char *category, s_surf_model_description_t * table);
112
113 /***************************/
114 /* Generic model object */
115 /***************************/
116
117 /** @{ @ingroup SURF_c_bindings */
118
119 /**
120  * @brief Pop an action from the done actions set
121  *
122  * @param model The model from which the action is extracted
123  * @return An action in done state
124  */
125 XBT_PUBLIC(surf_action_t) surf_model_extract_done_action_set(surf_model_t model);
126
127 /**
128  * @brief Pop an action from the failed actions set
129  *
130  * @param model The model from which the action is extracted
131  * @return An action in failed state
132  */
133 XBT_PUBLIC(surf_action_t) surf_model_extract_failed_action_set(surf_model_t model);
134
135 /**
136  * @brief Get the size of the running action set of a model
137  *
138  * @param model The model
139  * @return The size of the running action set
140  */
141 XBT_PUBLIC(int) surf_model_running_action_set_size(surf_model_t model);
142
143 /** @brief Create a file closing action on the given host */
144 XBT_PUBLIC(surf_action_t) surf_host_close(sg_host_t host, surf_file_t fd);
145
146 /** @brief Create a file reading action on the given host */
147 XBT_PUBLIC(surf_action_t) surf_host_read(sg_host_t host, surf_file_t fd, sg_size_t size);
148
149 /** @brief Create a file writing action on the given host  */
150 XBT_PUBLIC(surf_action_t) surf_host_write(sg_host_t host, surf_file_t fd, sg_size_t size);
151
152 /**
153  * @brief Get the information of a file descriptor
154  * @details The returned xbt_dynar_t contains:
155  *  - the size of the file,
156  *  - the mount point,
157  *  - the storage name,
158  *  - the storage typeId,
159  *  - the storage content type
160  *
161  * @param host The surf host
162  * @param fd The file descriptor
163  * @return An xbt_dynar_t with the file information
164  */
165 XBT_PUBLIC(xbt_dynar_t) surf_host_get_info(sg_host_t host, surf_file_t fd);
166
167 /**
168  * @brief Get the available space of the storage at the mount point
169  *
170  * @param resource The surf host
171  * @param name The mount point
172  * @return The amount of available space in bytes
173  */
174 XBT_PUBLIC(sg_size_t) surf_host_get_free_size(sg_host_t resource, const char* name);
175
176 /**
177  * @brief Get the used space of the storage at the mount point
178  *
179  * @param resource The surf host
180  * @param name The mount point
181  * @return The amount of used space in bytes
182  */
183 XBT_PUBLIC(sg_size_t) surf_host_get_used_size(sg_host_t resource, const char* name);
184
185 /**
186  * @brief Unlink a file descriptor
187  *
188  * @param host The surf host
189  * @param fd The file descriptor
190  *
191  * @return 0 if failed to unlink, 1 otherwise
192  */
193 XBT_PUBLIC(int) surf_host_unlink(sg_host_t host, surf_file_t fd);
194
195 /**
196  * @brief Get the size of a file on a host
197  *
198  * @param host The surf host
199  * @param fd The file descriptor
200  *
201  * @return The size in bytes of the file
202  */
203 XBT_PUBLIC(size_t) surf_host_get_size(sg_host_t host, surf_file_t fd);
204
205 /**
206  * @brief Get the current position of the file descriptor
207  *
208  * @param host The surf host
209  * @param fd The file descriptor
210  * @return The current position of the file descriptor
211  */
212 XBT_PUBLIC(size_t) surf_host_file_tell(sg_host_t host, surf_file_t fd);
213
214 /**
215  * @brief Move a file to another location on the *same mount point*.
216  * @details [long description]
217  *
218  * @param host The surf host
219  * @param fd The file descriptor
220  * @param fullpath The new full path
221  *
222  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
223  */
224 XBT_PUBLIC(int) surf_host_file_move(sg_host_t host, surf_file_t fd, const char* fullpath);
225
226 /**
227  * @brief Set the position indictator assiociated with the file descriptor to a new position
228  * @details [long description]
229  *
230  * @param host The surf host
231  * @param fd The file descriptor
232  * @param offset The offset from the origin
233  * @param origin Position used as a reference for the offset
234  *  - SEEK_SET: beginning of the file
235  *  - SEEK_CUR: current position indicator
236  *  - SEEK_END: end of the file
237  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
238  */
239 XBT_PUBLIC(int) surf_host_file_seek(sg_host_t host, surf_file_t fd, sg_offset_t offset, int origin);
240
241 /**
242  * @brief Get the size in bytes of a storage
243  *
244  * @param resource The surf storage
245  * @return The size in bytes of the storage
246  */
247 XBT_PUBLIC(sg_size_t) surf_storage_get_size(surf_storage_t resource);
248
249 /**
250  * @brief Get the available size in bytes of a storage
251  *
252  * @param resource The surf storage
253  * @return The available size in bytes of the storage
254  */
255 XBT_PUBLIC(sg_size_t) surf_storage_get_free_size(surf_storage_t resource);
256
257 /**
258  * @brief Get the size in bytes of a storage
259  *
260  * @param resource The surf storage
261  * @return The used size in bytes of the storage
262  */
263 XBT_PUBLIC(sg_size_t) surf_storage_get_used_size(surf_storage_t resource);
264
265 /** @brief return the properties set associated to that storage */
266 XBT_PUBLIC(xbt_dict_t) surf_storage_get_properties(surf_storage_t resource);
267
268 /**
269  * @brief [brief description]
270  * @details [long description]
271  *
272  * @param action The surf cpu action
273  * @param bound [description]
274  */
275 XBT_PUBLIC(void) surf_cpu_action_set_bound(surf_action_t action, double bound);
276
277 /**
278  * @brief [brief description]
279  * @details [long description]
280  *
281  * @param action The surf network action
282  */
283 XBT_PUBLIC(double) surf_network_action_get_latency_limited(surf_action_t action);
284
285 /**
286  * @brief Get the file associated to a storage action
287  *
288  * @param action The surf storage action
289  * @return The file associated to a storage action
290  */
291 XBT_PUBLIC(surf_file_t) surf_storage_action_get_file(surf_action_t action);
292
293 /**
294  * @brief Get the result dictionary of an ls action
295  *
296  * @param action The surf storage action
297  * @return The dictionry listing a path
298  */
299 XBT_PUBLIC(xbt_dict_t) surf_storage_action_get_ls_dict(surf_action_t action);
300
301
302 /**
303  * @brief Get the host the storage is attached to
304  *
305  * @param resource The surf storage
306  * @return The host name
307  * may not exist.
308  */
309 XBT_PUBLIC(const char*) surf_storage_get_host(surf_storage_t resource);
310 XBT_PUBLIC(const char*) surf_storage_get_name(surf_storage_t resource);
311
312 /** @} */
313
314 /**************************************/
315 /* Implementations of model object */
316 /**************************************/
317
318 /** \ingroup SURF_models
319  *  \brief The CPU model object for the physical machine layer
320  */
321 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_pm;
322
323 /** \ingroup SURF_models
324  *  \brief The CPU model object for the virtual machine layer
325  */
326 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_vm;
327
328
329 /** \ingroup SURF_models
330  *  \brief Initializes the CPU model with the model Cas01
331  *
332  *  By default, this model uses the lazy optimization mechanism that relies on partial invalidation in LMM and a heap
333  *  for lazy action update.
334  *  You can change this behavior by setting the cpu/optim configuration variable to a different value.
335  *
336  *  You shouldn't have to call it by yourself.
337  */
338 XBT_PUBLIC(void) surf_cpu_model_init_Cas01();
339
340 /** \ingroup SURF_models
341  *  \brief Initializes the CPU model with trace integration [Deprecated]
342  *
343  *  You shouldn't have to call it by yourself.
344  */
345 XBT_PUBLIC(void) surf_cpu_model_init_ti();
346
347 /** \ingroup SURF_models
348  *  \brief The list of all available optimization modes (both for cpu and networks).
349  *  These optimization modes can be set using --cfg=cpu/optim:... and --cfg=network/optim:...
350  */
351 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_optimization_mode_description[];
352
353 /** \ingroup SURF_plugins
354  *  \brief The list of all available surf plugins
355  */
356 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_plugin_description[];
357
358 /** \ingroup SURF_models
359  *  \brief The list of all available cpu model models
360  */
361 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_cpu_model_description[];
362
363 /** \ingroup SURF_models
364  *  \brief The network model
365  *
366  *  When creating a new API on top on SURF, you shouldn't use the network model unless you know what you are doing.
367  *  Only the host model should be accessed because depending on the platform model, the network model can be NULL.
368  */
369 XBT_PUBLIC_DATA(surf_network_model_t) surf_network_model;
370
371 /** \ingroup SURF_models
372  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
373  *
374  * This model is proposed by Pierre-Nicolas Clauss and Martin Quinson and Stéphane Génaud based on the model 'LV08' and
375  * different correction factors depending on the communication size (< 1KiB, < 64KiB, >= 64KiB).
376  * See comments in the code for more information.
377  *
378  *  \see surf_host_model_init_SMPI()
379  */
380 XBT_PUBLIC(void) surf_network_model_init_SMPI();
381
382 /** \ingroup SURF_models
383  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
384  *
385  * This model impelments a variant of the contention model on Infinband networks based on
386  * the works of Jérôme Vienne : http://mescal.imag.fr/membres/jean-marc.vincent/index.html/PhD/Vienne.pdf
387  *
388  *  \see surf_host_model_init_IB()
389  */
390 XBT_PUBLIC(void) surf_network_model_init_IB();
391
392 /** \ingroup SURF_models
393  *  \brief Initializes the platform with the network model 'LegrandVelho'
394  *
395  * This model is proposed by Arnaud Legrand and Pedro Velho based on the results obtained with the GTNets simulator for
396  * onelink and dogbone sharing scenarios. See comments in the code for more information.
397  *
398  *  \see surf_host_model_init_LegrandVelho()
399  */
400 XBT_PUBLIC(void) surf_network_model_init_LegrandVelho();
401
402 /** \ingroup SURF_models
403  *  \brief Initializes the platform with the network model 'Constant'
404  *
405  *  In this model, the communication time between two network cards is constant, hence no need for a routing table.
406  *  This is particularly useful when simulating huge distributed algorithms where scalability is really an issue. This
407  *  function is called in conjunction with surf_host_model_init_compound.
408  *
409  *  \see surf_host_model_init_compound()
410  */
411 XBT_PUBLIC(void) surf_network_model_init_Constant();
412
413 /** \ingroup SURF_models
414  *  \brief Initializes the platform with the network model CM02
415  *
416  *  You sould call this function by yourself only if you plan using surf_host_model_init_compound.
417  *  See comments in the code for more information.
418  */
419 XBT_PUBLIC(void) surf_network_model_init_CM02();
420
421 /** \ingroup SURF_models
422  *  \brief Initializes the platform with the network model NS3
423  *
424  *  This function is called by surf_host_model_init_NS3 or by yourself only if you plan using
425  *  surf_host_model_init_compound
426  *
427  *  \see surf_host_model_init_NS3()
428  */
429 XBT_PUBLIC(void) surf_network_model_init_NS3();
430
431 /** \ingroup SURF_models
432  *  \brief Initializes the platform with the network model Reno
433  *
434  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
435  *
436  *  Reference:
437  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
438  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
439  *
440  *  Call this function only if you plan using surf_host_model_init_compound.
441  */
442 XBT_PUBLIC(void) surf_network_model_init_Reno();
443
444 /** \ingroup SURF_models
445  *  \brief Initializes the platform with the network model Reno2
446  *
447  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
448  *
449  *  Reference:
450  *  [LOW01] S. H. Low. A duality model of TCP and queue management algorithms.
451  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
452  *
453  *  Call this function only if you plan using surf_host_model_init_compound.
454  */
455 XBT_PUBLIC(void) surf_network_model_init_Reno2();
456
457 /** \ingroup SURF_models
458  *  \brief Initializes the platform with the network model Vegas
459  *
460  *  This problem is related to max( sum( a * Df * ln(xi) ) ) which is equivalent  to the proportional fairness.
461  *
462  *  Reference:
463  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
464  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
465  *
466  *  Call this function only if you plan using surf_host_model_init_compound.
467  */
468 XBT_PUBLIC(void) surf_network_model_init_Vegas();
469
470 /** \ingroup SURF_models
471  *  \brief The list of all available network model models
472  */
473 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_network_model_description[];
474
475 /** \ingroup SURF_models
476  *  \brief The storage model
477  */
478 XBT_PUBLIC(void) surf_storage_model_init_default();
479
480 /** \ingroup SURF_models
481  *  \brief The list of all available storage modes.
482  *  This storage mode can be set using --cfg=storage/model:...
483  */
484 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_storage_model_description[];
485
486 XBT_PUBLIC_DATA(surf_storage_model_t) surf_storage_model;
487
488 /** \ingroup SURF_models
489  *  \brief The host model
490  *
491  *  Note that when you create an API on top of SURF, the host model should be the only one you use
492  *  because depending on the platform model, the network model and the CPU model may not exist.
493  */
494 XBT_PUBLIC_DATA(surf_host_model_t) surf_host_model;
495
496 /** \ingroup SURF_models
497  *  \brief Initializes the platform with a compound host model
498  *
499  *  This function should be called after a cpu_model and a network_model have been set up.
500  */
501 XBT_PUBLIC(void) surf_host_model_init_compound();
502
503 /** \ingroup SURF_models
504  *  \brief Initializes the platform with the current best network and cpu models at hand
505  *
506  *  This platform model separates the host model and the network model.
507  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
508  *  traffic support) and the CPU model with the model Cas01.
509  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
510  */
511 XBT_PUBLIC(void) surf_host_model_init_current_default();
512
513 /** \ingroup SURF_models
514  *  \brief Initializes the platform with the model L07
515  *
516  *  With this model, only parallel tasks can be used. Resource sharing is done by identifying bottlenecks and giving an
517  *  equal share of the model to each action.
518  */
519 XBT_PUBLIC(void) surf_host_model_init_ptask_L07();
520
521 /** \ingroup SURF_models
522  *  \brief The list of all available host model models
523  */
524 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_host_model_description[];
525
526 /** \ingroup SURF_models
527  *  \brief Initializes the platform with the current best network and cpu models at hand
528  *
529  *  This platform model seperates the host model and the network model.
530  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
531  *  traffic support) and the CPU model with the model Cas01.
532  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
533  */
534 XBT_PUBLIC(void) surf_vm_model_init_HL13();
535
536 /** \ingroup SURF_simulation
537  *  \brief List of hosts for which one want to be notified if they ever restart.
538  */
539 XBT_PUBLIC_DATA(xbt_dict_t) watched_hosts_lib;
540
541 /*** SURF Globals **************************/
542
543 /** \ingroup SURF_simulation
544  *  \brief Initialize SURF
545  *  \param argc argument number
546  *  \param argv arguments
547  *
548  *  This function has to be called to initialize the common structures. Then you will have to create the environment by
549  *  calling  e.g. surf_host_model_init_CM02()
550  *
551  *  \see surf_host_model_init_CM02(), surf_host_model_init_compound(), surf_exit()
552  */
553 XBT_PUBLIC(void) surf_init(int *argc, char **argv);     /* initialize common structures */
554
555 /** \ingroup SURF_simulation
556  *  \brief Finish simulation initialization
557  *
558  *  This function must be called before the first call to surf_solve()
559  */
560 XBT_PUBLIC(void) surf_presolve();
561
562 /** \ingroup SURF_simulation
563  *  \brief Performs a part of the simulation
564  *  \param max_date Maximum date to update the simulation to, or -1
565  *  \return the elapsed time, or -1.0 if no event could be executed
566  *
567  *  This function execute all possible events, update the action states  and returns the time elapsed.
568  *  When you call execute or communicate on a model, the corresponding actions are not executed immediately but only
569  *  when you call surf_solve.
570  *  Note that the returned elapsed time can be zero.
571  */
572 XBT_PUBLIC(double) surf_solve(double max_date);
573
574 /** \ingroup SURF_simulation
575  *  \brief Return the current time
576  *
577  *  Return the current time in millisecond.
578  */
579 XBT_PUBLIC(double) surf_get_clock();
580
581 /** \ingroup SURF_simulation
582  *  \brief Exit SURF
583  *
584  *  Clean everything.
585  *
586  *  \see surf_init()
587  */
588 XBT_PUBLIC(void) surf_exit();
589
590 /* Prototypes of the functions that handle the properties */
591 XBT_PUBLIC_DATA(xbt_dict_t) current_property_set;// the prop set for the currently parsed element (also used in SIMIX)
592
593 /* surf parse file related (public because called from a test suite) */
594 XBT_PUBLIC(void) parse_platform_file(const char *file);
595
596 /* For the trace and trace:connect tag (store their content till the end of the parsing) */
597 XBT_PUBLIC_DATA(xbt_dict_t) traces_set_list;
598
599 /*
600  * Returns the initial path. On Windows the initial path is the current directory for the current process in the other
601  * case the function returns "./" that represents the current directory on Unix/Linux platforms.
602  */
603 const char *__surf_get_initial_path();
604
605 /********** Tracing **********/
606 /* from surf_instr.c */
607 void TRACE_surf_action(surf_action_t surf_action, const char *category);
608 void TRACE_surf_alloc();
609 void TRACE_surf_release();
610
611 /* instr_routing.c */
612 void instr_routing_define_callbacks ();
613 void instr_new_variable_type (const char *new_typename, const char *color);
614 void instr_new_user_variable_type  (const char *father_type, const char *new_typename, const char *color);
615 void instr_new_user_state_type (const char *father_type, const char *new_typename);
616 void instr_new_value_for_user_state_type (const char *_typename, const char *value, const char *color);
617 int instr_platform_traced ();
618 xbt_graph_t instr_routing_platform_graph ();
619 void instr_routing_platform_graph_export_graphviz (xbt_graph_t g, const char *filename);
620
621 SG_END_DECL()
622
623 #endif