Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
massive cleanups in the storage world.
[simgrid.git] / src / include / surf / surf.h
1 /* Copyright (c) 2004-2017. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #ifndef SURF_SURF_H
7 #define SURF_SURF_H
8
9 #include "xbt/swag.h"
10 #include "xbt/dynar.h"
11 #include "xbt/dict.h"
12 #include "xbt/graph.h"
13 #include "xbt/misc.h"
14 #include "xbt/config.h"
15 #include "src/internal_config.h"
16 #include "surf/datatypes.h"
17 #include "simgrid/datatypes.h"
18 #include "simgrid/forward.h"
19
20 SG_BEGIN_DECL()
21 /* Actions and models are highly connected structures... */
22
23 /* user-visible parameters */
24 extern XBT_PRIVATE double sg_tcp_gamma;
25 extern XBT_PRIVATE double sg_sender_gap;
26 extern XBT_PRIVATE double sg_latency_factor;
27 extern XBT_PRIVATE double sg_bandwidth_factor;
28 extern XBT_PRIVATE double sg_weight_S_parameter;
29 extern XBT_PRIVATE int sg_network_crosstraffic;
30
31 #ifdef __cplusplus
32
33 namespace simgrid {
34 namespace surf {
35
36 class Model;
37 class CpuModel;
38 class HostModel;
39 class NetworkModel;
40 class StorageModel;
41 class Resource;
42 class NetworkCm02Link;
43 class Action;
44 }
45 }
46
47 typedef simgrid::surf::Model surf_Model;
48 typedef simgrid::surf::CpuModel surf_CpuModel;
49 typedef simgrid::surf::Cpu surf_Cpu;
50 typedef simgrid::surf::HostModel surf_HostModel;
51 typedef simgrid::surf::NetworkModel surf_NetworkModel;
52 typedef simgrid::surf::StorageImpl surf_Storage;
53 typedef simgrid::surf::StorageModel surf_StorageModel;
54 typedef simgrid::surf::Resource surf_Resource;
55 typedef simgrid::surf::HostImpl surf_Host;
56 typedef simgrid::surf::Action surf_Action;
57
58 #else
59
60 typedef struct surf_Model surf_Model;
61 typedef struct surf_CpuModel surf_CpuModel;
62 typedef struct surf_Cpu surf_Cpu;
63 typedef struct surf_HostModel surf_HostModel;
64 typedef struct surf_NetworkModel surf_NetworkModel;
65 typedef struct surf_StorageImpl surf_Storage;
66 typedef struct surf_StorageModel surf_StorageModel;
67 typedef struct surf_Resource surf_Resource;
68 typedef struct surf_Host surf_Host;
69 typedef struct surf_Action surf_Action;
70
71 #endif
72
73 /** @ingroup SURF_c_bindings
74  *  \brief Model datatype
75  *
76  *  Generic data structure for a model. The hosts,
77  *  the CPUs and the network links are examples of models.
78  */
79 typedef surf_Model *surf_model_t;
80 typedef surf_CpuModel *surf_cpu_model_t;
81 typedef surf_HostModel *surf_host_model_t;
82 typedef surf_NetworkModel *surf_network_model_t;
83 typedef surf_StorageModel *surf_storage_model_t;
84 typedef surf_Storage* surf_storage_t;
85
86 /** @ingroup SURF_c_bindings
87  *  \brief Action structure
88  *
89  *  Never create s_surf_action_t by yourself ! The actions are created
90  *  on the fly when you call execute or communicate on a model.
91  *
92  *  \see e_surf_action_state_t
93  */
94 typedef surf_Action *surf_action_t;
95
96 typedef struct surf_file *surf_file_t;
97
98 /** \brief Resource model description
99  */
100 struct surf_model_description {
101   const char *name;
102   const char *description;
103   void_f_void_t model_init_preparse;
104 };
105 typedef struct surf_model_description  s_surf_model_description_t;
106 typedef struct surf_model_description* surf_model_description_t;
107
108 XBT_PUBLIC(int) find_model_description(s_surf_model_description_t * table, const char *name);
109 XBT_PUBLIC(void) model_help(const char *category, s_surf_model_description_t * table);
110
111 /***************************/
112 /* Generic model object */
113 /***************************/
114
115 /** @{ @ingroup SURF_c_bindings */
116
117 /**
118  * @brief Pop an action from the done actions set
119  *
120  * @param model The model from which the action is extracted
121  * @return An action in done state
122  */
123 XBT_PUBLIC(surf_action_t) surf_model_extract_done_action_set(surf_model_t model);
124
125 /**
126  * @brief Pop an action from the failed actions set
127  *
128  * @param model The model from which the action is extracted
129  * @return An action in failed state
130  */
131 XBT_PUBLIC(surf_action_t) surf_model_extract_failed_action_set(surf_model_t model);
132
133 /**
134  * @brief Get the size of the running action set of a model
135  *
136  * @param model The model
137  * @return The size of the running action set
138  */
139 XBT_PUBLIC(int) surf_model_running_action_set_size(surf_model_t model);
140
141 /** @brief Create a file closing action on the given host */
142 XBT_PUBLIC(surf_action_t) surf_host_close(sg_host_t host, surf_file_t fd);
143
144 /** @brief Create a file reading action on the given host */
145 XBT_PUBLIC(surf_action_t) surf_host_read(sg_host_t host, surf_file_t fd, sg_size_t size);
146
147 /** @brief Create a file writing action on the given host  */
148 XBT_PUBLIC(surf_action_t) surf_host_write(sg_host_t host, surf_file_t fd, sg_size_t size);
149
150 /**
151  * @brief Get the information of a file descriptor
152  * @details The returned xbt_dynar_t contains:
153  *  - the size of the file,
154  *  - the mount point,
155  *  - the storage name,
156  *  - the storage typeId,
157  *  - the storage content type
158  *
159  * @param host The surf host
160  * @param fd The file descriptor
161  * @return An xbt_dynar_t with the file information
162  */
163 XBT_PUBLIC(xbt_dynar_t) surf_host_get_info(sg_host_t host, surf_file_t fd);
164
165 /**
166  * @brief Get the available space of the storage at the mount point
167  *
168  * @param resource The surf host
169  * @param name The mount point
170  * @return The amount of available space in bytes
171  */
172 XBT_PUBLIC(sg_size_t) surf_host_get_free_size(sg_host_t resource, const char* name);
173
174 /**
175  * @brief Get the used space of the storage at the mount point
176  *
177  * @param resource The surf host
178  * @param name The mount point
179  * @return The amount of used space in bytes
180  */
181 XBT_PUBLIC(sg_size_t) surf_host_get_used_size(sg_host_t resource, const char* name);
182
183 /**
184  * @brief Unlink a file descriptor
185  *
186  * @param host The surf host
187  * @param fd The file descriptor
188  *
189  * @return 0 if failed to unlink, 1 otherwise
190  */
191 XBT_PUBLIC(int) surf_host_unlink(sg_host_t host, surf_file_t fd);
192
193 /**
194  * @brief Get the size of a file on a host
195  *
196  * @param host The surf host
197  * @param fd The file descriptor
198  *
199  * @return The size in bytes of the file
200  */
201 XBT_PUBLIC(size_t) surf_host_get_size(sg_host_t host, surf_file_t fd);
202
203 /**
204  * @brief Get the current position of the file descriptor
205  *
206  * @param host The surf host
207  * @param fd The file descriptor
208  * @return The current position of the file descriptor
209  */
210 XBT_PUBLIC(size_t) surf_host_file_tell(sg_host_t host, surf_file_t fd);
211
212 /**
213  * @brief Move a file to another location on the *same mount point*.
214  * @details [long description]
215  *
216  * @param host The surf host
217  * @param fd The file descriptor
218  * @param fullpath The new full path
219  *
220  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
221  */
222 XBT_PUBLIC(int) surf_host_file_move(sg_host_t host, surf_file_t fd, const char* fullpath);
223
224 /**
225  * @brief Set the position indictator assiociated with the file descriptor to a new position
226  * @details [long description]
227  *
228  * @param host The surf host
229  * @param fd The file descriptor
230  * @param offset The offset from the origin
231  * @param origin Position used as a reference for the offset
232  *  - SEEK_SET: beginning of the file
233  *  - SEEK_CUR: current position indicator
234  *  - SEEK_END: end of the file
235  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
236  */
237 XBT_PUBLIC(int) surf_host_file_seek(sg_host_t host, surf_file_t fd, sg_offset_t offset, int origin);
238
239 /**
240  * @brief Get the size in bytes of a storage
241  *
242  * @param resource The surf storage
243  * @return The size in bytes of the storage
244  */
245 XBT_PUBLIC(sg_size_t) surf_storage_get_size(surf_storage_t resource);
246
247 /**
248  * @brief Get the available size in bytes of a storage
249  *
250  * @param resource The surf storage
251  * @return The available size in bytes of the storage
252  */
253 XBT_PUBLIC(sg_size_t) surf_storage_get_free_size(surf_storage_t resource);
254
255 /**
256  * @brief Get the size in bytes of a storage
257  *
258  * @param resource The surf storage
259  * @return The used size in bytes of the storage
260  */
261 XBT_PUBLIC(sg_size_t) surf_storage_get_used_size(surf_storage_t resource);
262
263 /** @brief return the properties set associated to that storage */
264 XBT_PUBLIC(xbt_dict_t) surf_storage_get_properties(surf_storage_t resource);
265
266 /**
267  * @brief [brief description]
268  * @details [long description]
269  *
270  * @param action The surf cpu action
271  * @param bound [description]
272  */
273 XBT_PUBLIC(void) surf_cpu_action_set_bound(surf_action_t action, double bound);
274
275 /**
276  * @brief [brief description]
277  * @details [long description]
278  *
279  * @param action The surf network action
280  */
281 XBT_PUBLIC(double) surf_network_action_get_latency_limited(surf_action_t action);
282
283 /**
284  * @brief Get the file associated to a storage action
285  *
286  * @param action The surf storage action
287  * @return The file associated to a storage action
288  */
289 XBT_PUBLIC(surf_file_t) surf_storage_action_get_file(surf_action_t action);
290
291 /**
292  * @brief Get the result dictionary of an ls action
293  *
294  * @param action The surf storage action
295  * @return The dictionry listing a path
296  */
297 XBT_PUBLIC(xbt_dict_t) surf_storage_action_get_ls_dict(surf_action_t action);
298
299
300 /**
301  * @brief Get the host the storage is attached to
302  *
303  * @param resource The surf storage
304  * @return The host name
305  * may not exist.
306  */
307 XBT_PUBLIC(const char*) surf_storage_get_host(surf_storage_t resource);
308 XBT_PUBLIC(const char*) surf_storage_get_name(surf_storage_t resource);
309
310 /** @} */
311
312 /**************************************/
313 /* Implementations of model object */
314 /**************************************/
315
316 /** \ingroup SURF_models
317  *  \brief The CPU model object for the physical machine layer
318  */
319 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_pm;
320
321 /** \ingroup SURF_models
322  *  \brief The CPU model object for the virtual machine layer
323  */
324 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_vm;
325
326
327 /** \ingroup SURF_models
328  *  \brief Initializes the CPU model with the model Cas01
329  *
330  *  By default, this model uses the lazy optimization mechanism that relies on partial invalidation in LMM and a heap
331  *  for lazy action update.
332  *  You can change this behavior by setting the cpu/optim configuration variable to a different value.
333  *
334  *  You shouldn't have to call it by yourself.
335  */
336 XBT_PUBLIC(void) surf_cpu_model_init_Cas01();
337
338 /** \ingroup SURF_models
339  *  \brief Initializes the CPU model with trace integration [Deprecated]
340  *
341  *  You shouldn't have to call it by yourself.
342  */
343 XBT_PUBLIC(void) surf_cpu_model_init_ti();
344
345 /** \ingroup SURF_models
346  *  \brief The list of all available optimization modes (both for cpu and networks).
347  *  These optimization modes can be set using --cfg=cpu/optim:... and --cfg=network/optim:...
348  */
349 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_optimization_mode_description[];
350
351 /** \ingroup SURF_plugins
352  *  \brief The list of all available surf plugins
353  */
354 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_plugin_description[];
355
356 /** \ingroup SURF_models
357  *  \brief The list of all available cpu model models
358  */
359 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_cpu_model_description[];
360
361 /** \ingroup SURF_models
362  *  \brief The network model
363  *
364  *  When creating a new API on top on SURF, you shouldn't use the network model unless you know what you are doing.
365  *  Only the host model should be accessed because depending on the platform model, the network model can be NULL.
366  */
367 XBT_PUBLIC_DATA(surf_network_model_t) surf_network_model;
368
369 /** \ingroup SURF_models
370  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
371  *
372  * This model is proposed by Pierre-Nicolas Clauss and Martin Quinson and Stéphane Génaud based on the model 'LV08' and
373  * different correction factors depending on the communication size (< 1KiB, < 64KiB, >= 64KiB).
374  * See comments in the code for more information.
375  *
376  *  \see surf_host_model_init_SMPI()
377  */
378 XBT_PUBLIC(void) surf_network_model_init_SMPI();
379
380 /** \ingroup SURF_models
381  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
382  *
383  * This model impelments a variant of the contention model on Infinband networks based on
384  * the works of Jérôme Vienne : http://mescal.imag.fr/membres/jean-marc.vincent/index.html/PhD/Vienne.pdf
385  *
386  *  \see surf_host_model_init_IB()
387  */
388 XBT_PUBLIC(void) surf_network_model_init_IB();
389
390 /** \ingroup SURF_models
391  *  \brief Initializes the platform with the network model 'LegrandVelho'
392  *
393  * This model is proposed by Arnaud Legrand and Pedro Velho based on the results obtained with the GTNets simulator for
394  * onelink and dogbone sharing scenarios. See comments in the code for more information.
395  *
396  *  \see surf_host_model_init_LegrandVelho()
397  */
398 XBT_PUBLIC(void) surf_network_model_init_LegrandVelho();
399
400 /** \ingroup SURF_models
401  *  \brief Initializes the platform with the network model 'Constant'
402  *
403  *  In this model, the communication time between two network cards is constant, hence no need for a routing table.
404  *  This is particularly useful when simulating huge distributed algorithms where scalability is really an issue. This
405  *  function is called in conjunction with surf_host_model_init_compound.
406  *
407  *  \see surf_host_model_init_compound()
408  */
409 XBT_PUBLIC(void) surf_network_model_init_Constant();
410
411 /** \ingroup SURF_models
412  *  \brief Initializes the platform with the network model CM02
413  *
414  *  You sould call this function by yourself only if you plan using surf_host_model_init_compound.
415  *  See comments in the code for more information.
416  */
417 XBT_PUBLIC(void) surf_network_model_init_CM02();
418
419 /** \ingroup SURF_models
420  *  \brief Initializes the platform with the network model NS3
421  *
422  *  This function is called by surf_host_model_init_NS3 or by yourself only if you plan using
423  *  surf_host_model_init_compound
424  *
425  *  \see surf_host_model_init_NS3()
426  */
427 XBT_PUBLIC(void) surf_network_model_init_NS3();
428
429 /** \ingroup SURF_models
430  *  \brief Initializes the platform with the network model Reno
431  *
432  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
433  *
434  *  Reference:
435  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
436  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
437  *
438  *  Call this function only if you plan using surf_host_model_init_compound.
439  */
440 XBT_PUBLIC(void) surf_network_model_init_Reno();
441
442 /** \ingroup SURF_models
443  *  \brief Initializes the platform with the network model Reno2
444  *
445  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
446  *
447  *  Reference:
448  *  [LOW01] S. H. Low. A duality model of TCP and queue management algorithms.
449  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
450  *
451  *  Call this function only if you plan using surf_host_model_init_compound.
452  */
453 XBT_PUBLIC(void) surf_network_model_init_Reno2();
454
455 /** \ingroup SURF_models
456  *  \brief Initializes the platform with the network model Vegas
457  *
458  *  This problem is related to max( sum( a * Df * ln(xi) ) ) which is equivalent  to the proportional fairness.
459  *
460  *  Reference:
461  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
462  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
463  *
464  *  Call this function only if you plan using surf_host_model_init_compound.
465  */
466 XBT_PUBLIC(void) surf_network_model_init_Vegas();
467
468 /** \ingroup SURF_models
469  *  \brief The list of all available network model models
470  */
471 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_network_model_description[];
472
473 /** \ingroup SURF_models
474  *  \brief The storage model
475  */
476 XBT_PUBLIC(void) surf_storage_model_init_default();
477
478 /** \ingroup SURF_models
479  *  \brief The list of all available storage modes.
480  *  This storage mode can be set using --cfg=storage/model:...
481  */
482 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_storage_model_description[];
483
484 XBT_PUBLIC_DATA(surf_storage_model_t) surf_storage_model;
485
486 /** \ingroup SURF_models
487  *  \brief The host model
488  *
489  *  Note that when you create an API on top of SURF, the host model should be the only one you use
490  *  because depending on the platform model, the network model and the CPU model may not exist.
491  */
492 XBT_PUBLIC_DATA(surf_host_model_t) surf_host_model;
493
494 /** \ingroup SURF_models
495  *  \brief Initializes the platform with a compound host model
496  *
497  *  This function should be called after a cpu_model and a network_model have been set up.
498  */
499 XBT_PUBLIC(void) surf_host_model_init_compound();
500
501 /** \ingroup SURF_models
502  *  \brief Initializes the platform with the current best network and cpu models at hand
503  *
504  *  This platform model separates the host model and the network model.
505  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
506  *  traffic support) and the CPU model with the model Cas01.
507  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
508  */
509 XBT_PUBLIC(void) surf_host_model_init_current_default();
510
511 /** \ingroup SURF_models
512  *  \brief Initializes the platform with the model L07
513  *
514  *  With this model, only parallel tasks can be used. Resource sharing is done by identifying bottlenecks and giving an
515  *  equal share of the model to each action.
516  */
517 XBT_PUBLIC(void) surf_host_model_init_ptask_L07();
518
519 /** \ingroup SURF_models
520  *  \brief The list of all available host model models
521  */
522 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_host_model_description[];
523
524 /** \ingroup SURF_models
525  *  \brief Initializes the platform with the current best network and cpu models at hand
526  *
527  *  This platform model seperates the host model and the network model.
528  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
529  *  traffic support) and the CPU model with the model Cas01.
530  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
531  */
532 XBT_PUBLIC(void) surf_vm_model_init_HL13();
533
534 /** \ingroup SURF_simulation
535  *  \brief List of hosts for which one want to be notified if they ever restart.
536  */
537 XBT_PUBLIC_DATA(xbt_dict_t) watched_hosts_lib;
538
539 /*** SURF Globals **************************/
540
541 /** \ingroup SURF_simulation
542  *  \brief Initialize SURF
543  *  \param argc argument number
544  *  \param argv arguments
545  *
546  *  This function has to be called to initialize the common structures. Then you will have to create the environment by
547  *  calling  e.g. surf_host_model_init_CM02()
548  *
549  *  \see surf_host_model_init_CM02(), surf_host_model_init_compound(), surf_exit()
550  */
551 XBT_PUBLIC(void) surf_init(int *argc, char **argv);     /* initialize common structures */
552
553 /** \ingroup SURF_simulation
554  *  \brief Finish simulation initialization
555  *
556  *  This function must be called before the first call to surf_solve()
557  */
558 XBT_PUBLIC(void) surf_presolve();
559
560 /** \ingroup SURF_simulation
561  *  \brief Performs a part of the simulation
562  *  \param max_date Maximum date to update the simulation to, or -1
563  *  \return the elapsed time, or -1.0 if no event could be executed
564  *
565  *  This function execute all possible events, update the action states  and returns the time elapsed.
566  *  When you call execute or communicate on a model, the corresponding actions are not executed immediately but only
567  *  when you call surf_solve.
568  *  Note that the returned elapsed time can be zero.
569  */
570 XBT_PUBLIC(double) surf_solve(double max_date);
571
572 /** \ingroup SURF_simulation
573  *  \brief Return the current time
574  *
575  *  Return the current time in millisecond.
576  */
577 XBT_PUBLIC(double) surf_get_clock();
578
579 /** \ingroup SURF_simulation
580  *  \brief Exit SURF
581  *
582  *  Clean everything.
583  *
584  *  \see surf_init()
585  */
586 XBT_PUBLIC(void) surf_exit();
587
588 /* Prototypes of the functions that handle the properties */
589 XBT_PUBLIC_DATA(xbt_dict_t) current_property_set;// the prop set for the currently parsed element (also used in SIMIX)
590
591 /* surf parse file related (public because called from a test suite) */
592 XBT_PUBLIC(void) parse_platform_file(const char *file);
593
594 /* For the trace and trace:connect tag (store their content till the end of the parsing) */
595 XBT_PUBLIC_DATA(xbt_dict_t) traces_set_list;
596
597 /*
598  * Returns the initial path. On Windows the initial path is the current directory for the current process in the other
599  * case the function returns "./" that represents the current directory on Unix/Linux platforms.
600  */
601 const char *__surf_get_initial_path();
602
603 /********** Tracing **********/
604 /* from surf_instr.c */
605 void TRACE_surf_action(surf_action_t surf_action, const char *category);
606 void TRACE_surf_alloc();
607 void TRACE_surf_release();
608
609 /* instr_routing.c */
610 void instr_routing_define_callbacks ();
611 void instr_new_variable_type (const char *new_typename, const char *color);
612 void instr_new_user_variable_type  (const char *father_type, const char *new_typename, const char *color);
613 void instr_new_user_state_type (const char *father_type, const char *new_typename);
614 void instr_new_value_for_user_state_type (const char *_typename, const char *value, const char *color);
615 int instr_platform_traced ();
616 xbt_graph_t instr_routing_platform_graph ();
617 void instr_routing_platform_graph_export_graphviz (xbt_graph_t g, const char *filename);
618
619 SG_END_DECL()
620
621 #endif