Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
getting closer: no more MSG_STORAGE_LEVEL
[simgrid.git] / src / include / surf / surf.h
1 /* Copyright (c) 2004-2017. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #ifndef SURF_SURF_H
7 #define SURF_SURF_H
8
9 #include "xbt/swag.h"
10 #include "xbt/dynar.h"
11 #include "xbt/dict.h"
12 #include "xbt/graph.h"
13 #include "xbt/misc.h"
14 #include "xbt/config.h"
15 #include "src/internal_config.h"
16 #include "surf/surf_routing.h"
17 #include "surf/datatypes.h"
18 #include "simgrid/datatypes.h"
19 #include "simgrid/forward.h"
20
21 SG_BEGIN_DECL()
22 /* Actions and models are highly connected structures... */
23
24 /* user-visible parameters */
25 extern XBT_PRIVATE double sg_tcp_gamma;
26 extern XBT_PRIVATE double sg_sender_gap;
27 extern XBT_PRIVATE double sg_latency_factor;
28 extern XBT_PRIVATE double sg_bandwidth_factor;
29 extern XBT_PRIVATE double sg_weight_S_parameter;
30 extern XBT_PRIVATE int sg_network_crosstraffic;
31
32 #ifdef __cplusplus
33
34 namespace simgrid {
35 namespace surf {
36
37 class Model;
38 class CpuModel;
39 class HostModel;
40 class NetworkModel;
41 class StorageModel;
42 class Resource;
43 class NetworkCm02Link;
44 class Action;
45 }
46 }
47
48 typedef simgrid::surf::Model surf_Model;
49 typedef simgrid::surf::CpuModel surf_CpuModel;
50 typedef simgrid::surf::Cpu surf_Cpu;
51 typedef simgrid::surf::HostModel surf_HostModel;
52 typedef simgrid::surf::NetworkModel surf_NetworkModel;
53 typedef simgrid::surf::StorageImpl surf_Storage;
54 typedef simgrid::surf::StorageModel surf_StorageModel;
55 typedef simgrid::surf::Resource surf_Resource;
56 typedef simgrid::surf::HostImpl surf_Host;
57 typedef simgrid::surf::Action surf_Action;
58
59 #else
60
61 typedef struct surf_Model surf_Model;
62 typedef struct surf_CpuModel surf_CpuModel;
63 typedef struct surf_Cpu surf_Cpu;
64 typedef struct surf_HostModel surf_HostModel;
65 typedef struct surf_NetworkModel surf_NetworkModel;
66 typedef struct surf_StorageImpl surf_Storage;
67 typedef struct surf_StorageModel surf_StorageModel;
68 typedef struct surf_Resource surf_Resource;
69 typedef struct surf_Host surf_Host;
70 typedef struct surf_Action surf_Action;
71
72 #endif
73
74 /** @ingroup SURF_c_bindings
75  *  \brief Model datatype
76  *
77  *  Generic data structure for a model. The hosts,
78  *  the CPUs and the network links are examples of models.
79  */
80 typedef surf_Model *surf_model_t;
81 typedef surf_CpuModel *surf_cpu_model_t;
82 typedef surf_HostModel *surf_host_model_t;
83 typedef surf_NetworkModel *surf_network_model_t;
84 typedef surf_StorageModel *surf_storage_model_t;
85 typedef surf_Storage* surf_storage_t;
86
87 /** @ingroup SURF_c_bindings
88  *  \brief Action structure
89  *
90  *  Never create s_surf_action_t by yourself ! The actions are created
91  *  on the fly when you call execute or communicate on a model.
92  *
93  *  \see e_surf_action_state_t
94  */
95 typedef surf_Action *surf_action_t;
96
97 typedef struct surf_file *surf_file_t;
98
99 /** \brief Resource model description
100  */
101 struct surf_model_description {
102   const char *name;
103   const char *description;
104   void_f_void_t model_init_preparse;
105 };
106 typedef struct surf_model_description  s_surf_model_description_t;
107 typedef struct surf_model_description* surf_model_description_t;
108
109 XBT_PUBLIC(int) find_model_description(s_surf_model_description_t * table, const char *name);
110 XBT_PUBLIC(void) model_help(const char *category, s_surf_model_description_t * table);
111
112 /***************************/
113 /* Generic model object */
114 /***************************/
115
116 /** @{ @ingroup SURF_c_bindings */
117
118 /**
119  * @brief Pop an action from the done actions set
120  *
121  * @param model The model from which the action is extracted
122  * @return An action in done state
123  */
124 XBT_PUBLIC(surf_action_t) surf_model_extract_done_action_set(surf_model_t model);
125
126 /**
127  * @brief Pop an action from the failed actions set
128  *
129  * @param model The model from which the action is extracted
130  * @return An action in failed state
131  */
132 XBT_PUBLIC(surf_action_t) surf_model_extract_failed_action_set(surf_model_t model);
133
134 /**
135  * @brief Get the size of the running action set of a model
136  *
137  * @param model The model
138  * @return The size of the running action set
139  */
140 XBT_PUBLIC(int) surf_model_running_action_set_size(surf_model_t model);
141
142 /** @brief Create a file opening action on the given host */
143 XBT_PUBLIC(surf_action_t) surf_host_open(sg_host_t host, const char* fullpath);
144
145 /** @brief Create a file closing action on the given host */
146 XBT_PUBLIC(surf_action_t) surf_host_close(sg_host_t host, surf_file_t fd);
147
148 /** @brief Create a file reading action on the given host */
149 XBT_PUBLIC(surf_action_t) surf_host_read(sg_host_t host, surf_file_t fd, sg_size_t size);
150
151 /** @brief Create a file writing action on the given host  */
152 XBT_PUBLIC(surf_action_t) surf_host_write(sg_host_t host, surf_file_t fd, sg_size_t size);
153
154 /**
155  * @brief Get the information of a file descriptor
156  * @details The returned xbt_dynar_t contains:
157  *  - the size of the file,
158  *  - the mount point,
159  *  - the storage name,
160  *  - the storage typeId,
161  *  - the storage content type
162  *
163  * @param host The surf host
164  * @param fd The file descriptor
165  * @return An xbt_dynar_t with the file information
166  */
167 XBT_PUBLIC(xbt_dynar_t) surf_host_get_info(sg_host_t host, surf_file_t fd);
168
169 /**
170  * @brief Get the available space of the storage at the mount point
171  *
172  * @param resource The surf host
173  * @param name The mount point
174  * @return The amount of available space in bytes
175  */
176 XBT_PUBLIC(sg_size_t) surf_host_get_free_size(sg_host_t resource, const char* name);
177
178 /**
179  * @brief Get the used space of the storage at the mount point
180  *
181  * @param resource The surf host
182  * @param name The mount point
183  * @return The amount of used space in bytes
184  */
185 XBT_PUBLIC(sg_size_t) surf_host_get_used_size(sg_host_t resource, const char* name);
186
187 /**
188  * @brief Unlink a file descriptor
189  *
190  * @param host The surf host
191  * @param fd The file descriptor
192  *
193  * @return 0 if failed to unlink, 1 otherwise
194  */
195 XBT_PUBLIC(int) surf_host_unlink(sg_host_t host, surf_file_t fd);
196
197 /**
198  * @brief Get the size of a file on a host
199  *
200  * @param host The surf host
201  * @param fd The file descriptor
202  *
203  * @return The size in bytes of the file
204  */
205 XBT_PUBLIC(size_t) surf_host_get_size(sg_host_t host, surf_file_t fd);
206
207 /**
208  * @brief Get the current position of the file descriptor
209  *
210  * @param host The surf host
211  * @param fd The file descriptor
212  * @return The current position of the file descriptor
213  */
214 XBT_PUBLIC(size_t) surf_host_file_tell(sg_host_t host, surf_file_t fd);
215
216 /**
217  * @brief Move a file to another location on the *same mount point*.
218  * @details [long description]
219  *
220  * @param host The surf host
221  * @param fd The file descriptor
222  * @param fullpath The new full path
223  *
224  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
225  */
226 XBT_PUBLIC(int) surf_host_file_move(sg_host_t host, surf_file_t fd, const char* fullpath);
227
228 /**
229  * @brief Set the position indictator assiociated with the file descriptor to a new position
230  * @details [long description]
231  *
232  * @param host The surf host
233  * @param fd The file descriptor
234  * @param offset The offset from the origin
235  * @param origin Position used as a reference for the offset
236  *  - SEEK_SET: beginning of the file
237  *  - SEEK_CUR: current position indicator
238  *  - SEEK_END: end of the file
239  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
240  */
241 XBT_PUBLIC(int) surf_host_file_seek(sg_host_t host, surf_file_t fd, sg_offset_t offset, int origin);
242
243 /**
244  * @brief Get the size in bytes of a storage
245  *
246  * @param resource The surf storage
247  * @return The size in bytes of the storage
248  */
249 XBT_PUBLIC(sg_size_t) surf_storage_get_size(surf_storage_t resource);
250
251 /**
252  * @brief Get the available size in bytes of a storage
253  *
254  * @param resource The surf storage
255  * @return The available size in bytes of the storage
256  */
257 XBT_PUBLIC(sg_size_t) surf_storage_get_free_size(surf_storage_t resource);
258
259 /**
260  * @brief Get the size in bytes of a storage
261  *
262  * @param resource The surf storage
263  * @return The used size in bytes of the storage
264  */
265 XBT_PUBLIC(sg_size_t) surf_storage_get_used_size(surf_storage_t resource);
266
267 /** @brief return the properties set associated to that storage */
268 XBT_PUBLIC(xbt_dict_t) surf_storage_get_properties(surf_storage_t resource);
269
270 /**
271  * @brief [brief description]
272  * @details [long description]
273  *
274  * @param action The surf cpu action
275  * @param bound [description]
276  */
277 XBT_PUBLIC(void) surf_cpu_action_set_bound(surf_action_t action, double bound);
278
279 /**
280  * @brief [brief description]
281  * @details [long description]
282  *
283  * @param action The surf network action
284  */
285 XBT_PUBLIC(double) surf_network_action_get_latency_limited(surf_action_t action);
286
287 /**
288  * @brief Get the file associated to a storage action
289  *
290  * @param action The surf storage action
291  * @return The file associated to a storage action
292  */
293 XBT_PUBLIC(surf_file_t) surf_storage_action_get_file(surf_action_t action);
294
295 /**
296  * @brief Get the result dictionary of an ls action
297  *
298  * @param action The surf storage action
299  * @return The dictionry listing a path
300  */
301 XBT_PUBLIC(xbt_dict_t) surf_storage_action_get_ls_dict(surf_action_t action);
302
303
304 /**
305  * @brief Get the host the storage is attached to
306  *
307  * @param resource The surf storage
308  * @return The host name
309  * may not exist.
310  */
311 XBT_PUBLIC(const char*) surf_storage_get_host(surf_storage_t resource);
312 XBT_PUBLIC(const char*) surf_storage_get_name(surf_storage_t resource);
313
314 /** @} */
315
316 /**************************************/
317 /* Implementations of model object */
318 /**************************************/
319
320 /** \ingroup SURF_models
321  *  \brief The CPU model object for the physical machine layer
322  */
323 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_pm;
324
325 /** \ingroup SURF_models
326  *  \brief The CPU model object for the virtual machine layer
327  */
328 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_vm;
329
330
331 /** \ingroup SURF_models
332  *  \brief Initializes the CPU model with the model Cas01
333  *
334  *  By default, this model uses the lazy optimization mechanism that relies on partial invalidation in LMM and a heap
335  *  for lazy action update.
336  *  You can change this behavior by setting the cpu/optim configuration variable to a different value.
337  *
338  *  You shouldn't have to call it by yourself.
339  */
340 XBT_PUBLIC(void) surf_cpu_model_init_Cas01();
341
342 /** \ingroup SURF_models
343  *  \brief Initializes the CPU model with trace integration [Deprecated]
344  *
345  *  You shouldn't have to call it by yourself.
346  */
347 XBT_PUBLIC(void) surf_cpu_model_init_ti();
348
349 /** \ingroup SURF_models
350  *  \brief The list of all available optimization modes (both for cpu and networks).
351  *  These optimization modes can be set using --cfg=cpu/optim:... and --cfg=network/optim:...
352  */
353 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_optimization_mode_description[];
354
355 /** \ingroup SURF_plugins
356  *  \brief The list of all available surf plugins
357  */
358 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_plugin_description[];
359
360 /** \ingroup SURF_models
361  *  \brief The list of all available cpu model models
362  */
363 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_cpu_model_description[];
364
365 /** \ingroup SURF_models
366  *  \brief The network model
367  *
368  *  When creating a new API on top on SURF, you shouldn't use the network model unless you know what you are doing.
369  *  Only the host model should be accessed because depending on the platform model, the network model can be NULL.
370  */
371 XBT_PUBLIC_DATA(surf_network_model_t) surf_network_model;
372
373 /** \ingroup SURF_models
374  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
375  *
376  * This model is proposed by Pierre-Nicolas Clauss and Martin Quinson and Stéphane Génaud based on the model 'LV08' and
377  * different correction factors depending on the communication size (< 1KiB, < 64KiB, >= 64KiB).
378  * See comments in the code for more information.
379  *
380  *  \see surf_host_model_init_SMPI()
381  */
382 XBT_PUBLIC(void) surf_network_model_init_SMPI();
383
384 /** \ingroup SURF_models
385  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
386  *
387  * This model impelments a variant of the contention model on Infinband networks based on
388  * the works of Jérôme Vienne : http://mescal.imag.fr/membres/jean-marc.vincent/index.html/PhD/Vienne.pdf
389  *
390  *  \see surf_host_model_init_IB()
391  */
392 XBT_PUBLIC(void) surf_network_model_init_IB();
393
394 /** \ingroup SURF_models
395  *  \brief Initializes the platform with the network model 'LegrandVelho'
396  *
397  * This model is proposed by Arnaud Legrand and Pedro Velho based on the results obtained with the GTNets simulator for
398  * onelink and dogbone sharing scenarios. See comments in the code for more information.
399  *
400  *  \see surf_host_model_init_LegrandVelho()
401  */
402 XBT_PUBLIC(void) surf_network_model_init_LegrandVelho();
403
404 /** \ingroup SURF_models
405  *  \brief Initializes the platform with the network model 'Constant'
406  *
407  *  In this model, the communication time between two network cards is constant, hence no need for a routing table.
408  *  This is particularly useful when simulating huge distributed algorithms where scalability is really an issue. This
409  *  function is called in conjunction with surf_host_model_init_compound.
410  *
411  *  \see surf_host_model_init_compound()
412  */
413 XBT_PUBLIC(void) surf_network_model_init_Constant();
414
415 /** \ingroup SURF_models
416  *  \brief Initializes the platform with the network model CM02
417  *
418  *  You sould call this function by yourself only if you plan using surf_host_model_init_compound.
419  *  See comments in the code for more information.
420  */
421 XBT_PUBLIC(void) surf_network_model_init_CM02();
422
423 /** \ingroup SURF_models
424  *  \brief Initializes the platform with the network model NS3
425  *
426  *  This function is called by surf_host_model_init_NS3 or by yourself only if you plan using
427  *  surf_host_model_init_compound
428  *
429  *  \see surf_host_model_init_NS3()
430  */
431 XBT_PUBLIC(void) surf_network_model_init_NS3();
432
433 /** \ingroup SURF_models
434  *  \brief Initializes the platform with the network model Reno
435  *
436  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
437  *
438  *  Reference:
439  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
440  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
441  *
442  *  Call this function only if you plan using surf_host_model_init_compound.
443  */
444 XBT_PUBLIC(void) surf_network_model_init_Reno();
445
446 /** \ingroup SURF_models
447  *  \brief Initializes the platform with the network model Reno2
448  *
449  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
450  *
451  *  Reference:
452  *  [LOW01] S. H. Low. A duality model of TCP and queue management algorithms.
453  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
454  *
455  *  Call this function only if you plan using surf_host_model_init_compound.
456  */
457 XBT_PUBLIC(void) surf_network_model_init_Reno2();
458
459 /** \ingroup SURF_models
460  *  \brief Initializes the platform with the network model Vegas
461  *
462  *  This problem is related to max( sum( a * Df * ln(xi) ) ) which is equivalent  to the proportional fairness.
463  *
464  *  Reference:
465  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
466  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
467  *
468  *  Call this function only if you plan using surf_host_model_init_compound.
469  */
470 XBT_PUBLIC(void) surf_network_model_init_Vegas();
471
472 /** \ingroup SURF_models
473  *  \brief The list of all available network model models
474  */
475 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_network_model_description[];
476
477 /** \ingroup SURF_models
478  *  \brief The storage model
479  */
480 XBT_PUBLIC(void) surf_storage_model_init_default();
481
482 /** \ingroup SURF_models
483  *  \brief The list of all available storage modes.
484  *  This storage mode can be set using --cfg=storage/model:...
485  */
486 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_storage_model_description[];
487
488 XBT_PUBLIC_DATA(surf_storage_model_t) surf_storage_model;
489
490 /** \ingroup SURF_models
491  *  \brief The host model
492  *
493  *  Note that when you create an API on top of SURF, the host model should be the only one you use
494  *  because depending on the platform model, the network model and the CPU model may not exist.
495  */
496 XBT_PUBLIC_DATA(surf_host_model_t) surf_host_model;
497
498 /** \ingroup SURF_models
499  *  \brief Initializes the platform with a compound host model
500  *
501  *  This function should be called after a cpu_model and a network_model have been set up.
502  */
503 XBT_PUBLIC(void) surf_host_model_init_compound();
504
505 /** \ingroup SURF_models
506  *  \brief Initializes the platform with the current best network and cpu models at hand
507  *
508  *  This platform model separates the host model and the network model.
509  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
510  *  traffic support) and the CPU model with the model Cas01.
511  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
512  */
513 XBT_PUBLIC(void) surf_host_model_init_current_default();
514
515 /** \ingroup SURF_models
516  *  \brief Initializes the platform with the model L07
517  *
518  *  With this model, only parallel tasks can be used. Resource sharing is done by identifying bottlenecks and giving an
519  *  equal share of the model to each action.
520  */
521 XBT_PUBLIC(void) surf_host_model_init_ptask_L07();
522
523 /** \ingroup SURF_models
524  *  \brief The list of all available host model models
525  */
526 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_host_model_description[];
527
528 /** \ingroup SURF_models
529  *  \brief Initializes the platform with the current best network and cpu models at hand
530  *
531  *  This platform model seperates the host model and the network model.
532  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
533  *  traffic support) and the CPU model with the model Cas01.
534  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
535  */
536 XBT_PUBLIC(void) surf_vm_model_init_HL13();
537
538 /** \ingroup SURF_simulation
539  *  \brief List of hosts for which one want to be notified if they ever restart.
540  */
541 XBT_PUBLIC_DATA(xbt_dict_t) watched_hosts_lib;
542
543 /*** SURF Globals **************************/
544
545 /** \ingroup SURF_simulation
546  *  \brief Initialize SURF
547  *  \param argc argument number
548  *  \param argv arguments
549  *
550  *  This function has to be called to initialize the common structures. Then you will have to create the environment by
551  *  calling  e.g. surf_host_model_init_CM02()
552  *
553  *  \see surf_host_model_init_CM02(), surf_host_model_init_compound(), surf_exit()
554  */
555 XBT_PUBLIC(void) surf_init(int *argc, char **argv);     /* initialize common structures */
556
557 /** \ingroup SURF_simulation
558  *  \brief Finish simulation initialization
559  *
560  *  This function must be called before the first call to surf_solve()
561  */
562 XBT_PUBLIC(void) surf_presolve();
563
564 /** \ingroup SURF_simulation
565  *  \brief Performs a part of the simulation
566  *  \param max_date Maximum date to update the simulation to, or -1
567  *  \return the elapsed time, or -1.0 if no event could be executed
568  *
569  *  This function execute all possible events, update the action states  and returns the time elapsed.
570  *  When you call execute or communicate on a model, the corresponding actions are not executed immediately but only
571  *  when you call surf_solve.
572  *  Note that the returned elapsed time can be zero.
573  */
574 XBT_PUBLIC(double) surf_solve(double max_date);
575
576 /** \ingroup SURF_simulation
577  *  \brief Return the current time
578  *
579  *  Return the current time in millisecond.
580  */
581 XBT_PUBLIC(double) surf_get_clock();
582
583 /** \ingroup SURF_simulation
584  *  \brief Exit SURF
585  *
586  *  Clean everything.
587  *
588  *  \see surf_init()
589  */
590 XBT_PUBLIC(void) surf_exit();
591
592 /* Prototypes of the functions that handle the properties */
593 XBT_PUBLIC_DATA(xbt_dict_t) current_property_set;// the prop set for the currently parsed element (also used in SIMIX)
594
595 /* surf parse file related (public because called from a test suite) */
596 XBT_PUBLIC(void) parse_platform_file(const char *file);
597
598 /* For the trace and trace:connect tag (store their content till the end of the parsing) */
599 XBT_PUBLIC_DATA(xbt_dict_t) traces_set_list;
600
601 /*
602  * Returns the initial path. On Windows the initial path is the current directory for the current process in the other
603  * case the function returns "./" that represents the current directory on Unix/Linux platforms.
604  */
605 const char *__surf_get_initial_path();
606
607 /********** Tracing **********/
608 /* from surf_instr.c */
609 void TRACE_surf_action(surf_action_t surf_action, const char *category);
610 void TRACE_surf_alloc();
611 void TRACE_surf_release();
612
613 /* instr_routing.c */
614 void instr_routing_define_callbacks ();
615 void instr_new_variable_type (const char *new_typename, const char *color);
616 void instr_new_user_variable_type  (const char *father_type, const char *new_typename, const char *color);
617 void instr_new_user_state_type (const char *father_type, const char *new_typename);
618 void instr_new_value_for_user_state_type (const char *_typename, const char *value, const char *color);
619 int instr_platform_traced ();
620 xbt_graph_t instr_routing_platform_graph ();
621 void instr_routing_platform_graph_export_graphviz (xbt_graph_t g, const char *filename);
622
623 SG_END_DECL()
624
625 #endif