Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
cast once for all at surf level and not in the APIs
[simgrid.git] / src / include / surf / surf.h
1 /* Copyright (c) 2004-2017. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #ifndef SURF_SURF_H
7 #define SURF_SURF_H
8
9 #include "xbt/swag.h"
10 #include "xbt/dynar.h"
11 #include "xbt/dict.h"
12 #include "xbt/graph.h"
13 #include "xbt/misc.h"
14 #include "xbt/config.h"
15 #include "src/internal_config.h"
16 #include "surf/surf_routing.h"
17 #include "surf/datatypes.h"
18 #include "xbt/lib.h"
19 #include "surf/surf_routing.h"
20 #include "simgrid/datatypes.h"
21 #include "simgrid/forward.h"
22
23 SG_BEGIN_DECL()
24 /* Actions and models are highly connected structures... */
25
26 /* user-visible parameters */
27 extern XBT_PRIVATE double sg_tcp_gamma;
28 extern XBT_PRIVATE double sg_sender_gap;
29 extern XBT_PRIVATE double sg_latency_factor;
30 extern XBT_PRIVATE double sg_bandwidth_factor;
31 extern XBT_PRIVATE double sg_weight_S_parameter;
32 extern XBT_PRIVATE int sg_network_crosstraffic;
33
34 #ifdef __cplusplus
35
36 namespace simgrid {
37 namespace surf {
38
39 class Model;
40 class CpuModel;
41 class HostModel;
42 class NetworkModel;
43 class StorageModel;
44 class Resource;
45 class NetworkCm02Link;
46 class Action;
47 }
48 }
49
50 typedef simgrid::surf::Model surf_Model;
51 typedef simgrid::surf::CpuModel surf_CpuModel;
52 typedef simgrid::surf::Cpu surf_Cpu;
53 typedef simgrid::surf::HostModel surf_HostModel;
54 typedef simgrid::surf::NetworkModel surf_NetworkModel;
55 typedef simgrid::surf::Storage surf_Storage;
56 typedef simgrid::surf::StorageModel surf_StorageModel;
57 typedef simgrid::surf::Resource surf_Resource;
58 typedef simgrid::surf::HostImpl surf_Host;
59 typedef simgrid::surf::Action surf_Action;
60
61 #else
62
63 typedef struct surf_Model surf_Model;
64 typedef struct surf_CpuModel surf_CpuModel;
65 typedef struct surf_Cpu surf_Cpu;
66 typedef struct surf_HostModel surf_HostModel;
67 typedef struct surf_NetworkModel surf_NetworkModel;
68 typedef struct surf_Storage surf_Storage;
69 typedef struct surf_StorageModel surf_StorageModel;
70 typedef struct surf_Resource surf_Resource;
71 typedef struct surf_Host surf_Host;
72 typedef struct surf_Action surf_Action;
73
74 #endif
75
76 /** @ingroup SURF_c_bindings
77  *  \brief Model datatype
78  *
79  *  Generic data structure for a model. The hosts,
80  *  the CPUs and the network links are examples of models.
81  */
82 typedef surf_Model *surf_model_t;
83 typedef surf_CpuModel *surf_cpu_model_t;
84 typedef surf_HostModel *surf_host_model_t;
85 typedef surf_NetworkModel *surf_network_model_t;
86 typedef surf_StorageModel *surf_storage_model_t;
87 typedef surf_Storage* surf_storage_t;
88
89 typedef xbt_dictelm_t surf_resource_t;
90
91 /** @ingroup SURF_c_bindings
92  *  \brief Action structure
93  *
94  *  Never create s_surf_action_t by yourself ! The actions are created
95  *  on the fly when you call execute or communicate on a model.
96  *
97  *  \see e_surf_action_state_t
98  */
99 typedef surf_Action *surf_action_t;
100
101 typedef struct surf_file *surf_file_t;
102
103 /** \brief Resource model description
104  */
105 struct surf_model_description {
106   const char *name;
107   const char *description;
108   void_f_void_t model_init_preparse;
109 };
110 typedef struct surf_model_description  s_surf_model_description_t;
111 typedef struct surf_model_description* surf_model_description_t;
112
113 XBT_PUBLIC(int) find_model_description(s_surf_model_description_t * table, const char *name);
114 XBT_PUBLIC(void) model_help(const char *category, s_surf_model_description_t * table);
115
116 /***************************/
117 /* Generic model object */
118 /***************************/
119
120 static inline surf_storage_t surf_storage_resource_priv(const void* storage)
121 {
122   return (surf_storage_t)xbt_lib_get_level((xbt_dictelm_t)storage, SURF_STORAGE_LEVEL);
123 }
124
125 static inline void *surf_storage_resource_by_name(const char *name){
126   return xbt_lib_get_elm_or_null(storage_lib, name);
127 }
128
129 /** @{ @ingroup SURF_c_bindings */
130
131 /**
132  * @brief Pop an action from the done actions set
133  *
134  * @param model The model from which the action is extracted
135  * @return An action in done state
136  */
137 XBT_PUBLIC(surf_action_t) surf_model_extract_done_action_set(surf_model_t model);
138
139 /**
140  * @brief Pop an action from the failed actions set
141  *
142  * @param model The model from which the action is extracted
143  * @return An action in failed state
144  */
145 XBT_PUBLIC(surf_action_t) surf_model_extract_failed_action_set(surf_model_t model);
146
147 /**
148  * @brief Get the size of the running action set of a model
149  *
150  * @param model The model
151  * @return The size of the running action set
152  */
153 XBT_PUBLIC(int) surf_model_running_action_set_size(surf_model_t model);
154
155 /** @brief Create a file opening action on the given host */
156 XBT_PUBLIC(surf_action_t) surf_host_open(sg_host_t host, const char* fullpath);
157
158 /** @brief Create a file closing action on the given host */
159 XBT_PUBLIC(surf_action_t) surf_host_close(sg_host_t host, surf_file_t fd);
160
161 /** @brief Create a file reading action on the given host */
162 XBT_PUBLIC(surf_action_t) surf_host_read(sg_host_t host, surf_file_t fd, sg_size_t size);
163
164 /** @brief Create a file writing action on the given host  */
165 XBT_PUBLIC(surf_action_t) surf_host_write(sg_host_t host, surf_file_t fd, sg_size_t size);
166
167 /**
168  * @brief Get the information of a file descriptor
169  * @details The returned xbt_dynar_t contains:
170  *  - the size of the file,
171  *  - the mount point,
172  *  - the storage name,
173  *  - the storage typeId,
174  *  - the storage content type
175  *
176  * @param host The surf host
177  * @param fd The file descriptor
178  * @return An xbt_dynar_t with the file information
179  */
180 XBT_PUBLIC(xbt_dynar_t) surf_host_get_info(sg_host_t host, surf_file_t fd);
181
182 /**
183  * @brief Get the available space of the storage at the mount point
184  *
185  * @param resource The surf host
186  * @param name The mount point
187  * @return The amount of available space in bytes
188  */
189 XBT_PUBLIC(sg_size_t) surf_host_get_free_size(sg_host_t resource, const char* name);
190
191 /**
192  * @brief Get the used space of the storage at the mount point
193  *
194  * @param resource The surf host
195  * @param name The mount point
196  * @return The amount of used space in bytes
197  */
198 XBT_PUBLIC(sg_size_t) surf_host_get_used_size(sg_host_t resource, const char* name);
199
200 /**
201  * @brief Unlink a file descriptor
202  *
203  * @param host The surf host
204  * @param fd The file descriptor
205  *
206  * @return 0 if failed to unlink, 1 otherwise
207  */
208 XBT_PUBLIC(int) surf_host_unlink(sg_host_t host, surf_file_t fd);
209
210 /**
211  * @brief Get the size of a file on a host
212  *
213  * @param host The surf host
214  * @param fd The file descriptor
215  *
216  * @return The size in bytes of the file
217  */
218 XBT_PUBLIC(size_t) surf_host_get_size(sg_host_t host, surf_file_t fd);
219
220 /**
221  * @brief Get the current position of the file descriptor
222  *
223  * @param host The surf host
224  * @param fd The file descriptor
225  * @return The current position of the file descriptor
226  */
227 XBT_PUBLIC(size_t) surf_host_file_tell(sg_host_t host, surf_file_t fd);
228
229 /**
230  * @brief Move a file to another location on the *same mount point*.
231  * @details [long description]
232  *
233  * @param host The surf host
234  * @param fd The file descriptor
235  * @param fullpath The new full path
236  *
237  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
238  */
239 XBT_PUBLIC(int) surf_host_file_move(sg_host_t host, surf_file_t fd, const char* fullpath);
240
241 /**
242  * @brief Set the position indictator assiociated with the file descriptor to a new position
243  * @details [long description]
244  *
245  * @param host The surf host
246  * @param fd The file descriptor
247  * @param offset The offset from the origin
248  * @param origin Position used as a reference for the offset
249  *  - SEEK_SET: beginning of the file
250  *  - SEEK_CUR: current position indicator
251  *  - SEEK_END: end of the file
252  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
253  */
254 XBT_PUBLIC(int) surf_host_file_seek(sg_host_t host, surf_file_t fd, sg_offset_t offset, int origin);
255
256 /**
257  * @brief Get the size in bytes of a storage
258  *
259  * @param resource The surf storage
260  * @return The size in bytes of the storage
261  */
262 XBT_PUBLIC(sg_size_t) surf_storage_get_size(surf_resource_t resource);
263
264 /**
265  * @brief Get the available size in bytes of a storage
266  *
267  * @param resource The surf storage
268  * @return The available size in bytes of the storage
269  */
270 XBT_PUBLIC(sg_size_t) surf_storage_get_free_size(surf_resource_t resource);
271
272 /**
273  * @brief Get the size in bytes of a storage
274  *
275  * @param resource The surf storage
276  * @return The used size in bytes of the storage
277  */
278 XBT_PUBLIC(sg_size_t) surf_storage_get_used_size(surf_resource_t resource);
279
280 /** @brief return the properties set associated to that storage */
281 XBT_PUBLIC(xbt_dict_t) surf_storage_get_properties(surf_resource_t resource);
282
283 /**
284  * @brief [brief description]
285  * @details [long description]
286  *
287  * @param action The surf cpu action
288  * @param bound [description]
289  */
290 XBT_PUBLIC(void) surf_cpu_action_set_bound(surf_action_t action, double bound);
291
292 /**
293  * @brief [brief description]
294  * @details [long description]
295  *
296  * @param action The surf network action
297  */
298 XBT_PUBLIC(double) surf_network_action_get_latency_limited(surf_action_t action);
299
300 /**
301  * @brief Get the file associated to a storage action
302  *
303  * @param action The surf storage action
304  * @return The file associated to a storage action
305  */
306 XBT_PUBLIC(surf_file_t) surf_storage_action_get_file(surf_action_t action);
307
308 /**
309  * @brief Get the result dictionary of an ls action
310  *
311  * @param action The surf storage action
312  * @return The dictionry listing a path
313  */
314 XBT_PUBLIC(xbt_dict_t) surf_storage_action_get_ls_dict(surf_action_t action);
315
316
317 /**
318  * @brief Get the host the storage is attached to
319  *
320  * @param resource The surf storage
321  * @return The host name
322  * may not exist.
323  */
324 XBT_PUBLIC(const char * ) surf_storage_get_host(surf_resource_t resource);
325
326 /** @} */
327
328 /**************************************/
329 /* Implementations of model object */
330 /**************************************/
331
332 /** \ingroup SURF_models
333  *  \brief The CPU model object for the physical machine layer
334  */
335 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_pm;
336
337 /** \ingroup SURF_models
338  *  \brief The CPU model object for the virtual machine layer
339  */
340 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_vm;
341
342
343 /** \ingroup SURF_models
344  *  \brief Initializes the CPU model with the model Cas01
345  *
346  *  By default, this model uses the lazy optimization mechanism that relies on partial invalidation in LMM and a heap
347  *  for lazy action update.
348  *  You can change this behavior by setting the cpu/optim configuration variable to a different value.
349  *
350  *  You shouldn't have to call it by yourself.
351  */
352 XBT_PUBLIC(void) surf_cpu_model_init_Cas01();
353
354 /** \ingroup SURF_models
355  *  \brief Initializes the CPU model with trace integration [Deprecated]
356  *
357  *  You shouldn't have to call it by yourself.
358  */
359 XBT_PUBLIC(void) surf_cpu_model_init_ti();
360
361 /** \ingroup SURF_models
362  *  \brief The list of all available optimization modes (both for cpu and networks).
363  *  These optimization modes can be set using --cfg=cpu/optim:... and --cfg=network/optim:...
364  */
365 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_optimization_mode_description[];
366
367 /** \ingroup SURF_plugins
368  *  \brief The list of all available surf plugins
369  */
370 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_plugin_description[];
371
372 /** \ingroup SURF_models
373  *  \brief The list of all available cpu model models
374  */
375 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_cpu_model_description[];
376
377 /** \ingroup SURF_models
378  *  \brief The network model
379  *
380  *  When creating a new API on top on SURF, you shouldn't use the network model unless you know what you are doing.
381  *  Only the host model should be accessed because depending on the platform model, the network model can be NULL.
382  */
383 XBT_PUBLIC_DATA(surf_network_model_t) surf_network_model;
384
385 /** \ingroup SURF_models
386  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
387  *
388  * This model is proposed by Pierre-Nicolas Clauss and Martin Quinson and Stéphane Génaud based on the model 'LV08' and
389  * different correction factors depending on the communication size (< 1KiB, < 64KiB, >= 64KiB).
390  * See comments in the code for more information.
391  *
392  *  \see surf_host_model_init_SMPI()
393  */
394 XBT_PUBLIC(void) surf_network_model_init_SMPI();
395
396 /** \ingroup SURF_models
397  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
398  *
399  * This model impelments a variant of the contention model on Infinband networks based on
400  * the works of Jérôme Vienne : http://mescal.imag.fr/membres/jean-marc.vincent/index.html/PhD/Vienne.pdf
401  *
402  *  \see surf_host_model_init_IB()
403  */
404 XBT_PUBLIC(void) surf_network_model_init_IB();
405
406 /** \ingroup SURF_models
407  *  \brief Initializes the platform with the network model 'LegrandVelho'
408  *
409  * This model is proposed by Arnaud Legrand and Pedro Velho based on the results obtained with the GTNets simulator for
410  * onelink and dogbone sharing scenarios. See comments in the code for more information.
411  *
412  *  \see surf_host_model_init_LegrandVelho()
413  */
414 XBT_PUBLIC(void) surf_network_model_init_LegrandVelho();
415
416 /** \ingroup SURF_models
417  *  \brief Initializes the platform with the network model 'Constant'
418  *
419  *  In this model, the communication time between two network cards is constant, hence no need for a routing table.
420  *  This is particularly useful when simulating huge distributed algorithms where scalability is really an issue. This
421  *  function is called in conjunction with surf_host_model_init_compound.
422  *
423  *  \see surf_host_model_init_compound()
424  */
425 XBT_PUBLIC(void) surf_network_model_init_Constant();
426
427 /** \ingroup SURF_models
428  *  \brief Initializes the platform with the network model CM02
429  *
430  *  You sould call this function by yourself only if you plan using surf_host_model_init_compound.
431  *  See comments in the code for more information.
432  */
433 XBT_PUBLIC(void) surf_network_model_init_CM02();
434
435 /** \ingroup SURF_models
436  *  \brief Initializes the platform with the network model NS3
437  *
438  *  This function is called by surf_host_model_init_NS3 or by yourself only if you plan using
439  *  surf_host_model_init_compound
440  *
441  *  \see surf_host_model_init_NS3()
442  */
443 XBT_PUBLIC(void) surf_network_model_init_NS3();
444
445 /** \ingroup SURF_models
446  *  \brief Initializes the platform with the network model Reno
447  *
448  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
449  *
450  *  Reference:
451  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
452  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
453  *
454  *  Call this function only if you plan using surf_host_model_init_compound.
455  */
456 XBT_PUBLIC(void) surf_network_model_init_Reno();
457
458 /** \ingroup SURF_models
459  *  \brief Initializes the platform with the network model Reno2
460  *
461  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
462  *
463  *  Reference:
464  *  [LOW01] S. H. Low. A duality model of TCP and queue management algorithms.
465  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
466  *
467  *  Call this function only if you plan using surf_host_model_init_compound.
468  */
469 XBT_PUBLIC(void) surf_network_model_init_Reno2();
470
471 /** \ingroup SURF_models
472  *  \brief Initializes the platform with the network model Vegas
473  *
474  *  This problem is related to max( sum( a * Df * ln(xi) ) ) which is equivalent  to the proportional fairness.
475  *
476  *  Reference:
477  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
478  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
479  *
480  *  Call this function only if you plan using surf_host_model_init_compound.
481  */
482 XBT_PUBLIC(void) surf_network_model_init_Vegas();
483
484 /** \ingroup SURF_models
485  *  \brief The list of all available network model models
486  */
487 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_network_model_description[];
488
489 /** \ingroup SURF_models
490  *  \brief The storage model
491  */
492 XBT_PUBLIC(void) surf_storage_model_init_default();
493
494 /** \ingroup SURF_models
495  *  \brief The list of all available storage modes.
496  *  This storage mode can be set using --cfg=storage/model:...
497  */
498 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_storage_model_description[];
499
500 XBT_PUBLIC_DATA(surf_storage_model_t) surf_storage_model;
501
502 /** \ingroup SURF_models
503  *  \brief The host model
504  *
505  *  Note that when you create an API on top of SURF, the host model should be the only one you use
506  *  because depending on the platform model, the network model and the CPU model may not exist.
507  */
508 XBT_PUBLIC_DATA(surf_host_model_t) surf_host_model;
509
510 /** \ingroup SURF_models
511  *  \brief Initializes the platform with a compound host model
512  *
513  *  This function should be called after a cpu_model and a network_model have been set up.
514  */
515 XBT_PUBLIC(void) surf_host_model_init_compound();
516
517 /** \ingroup SURF_models
518  *  \brief Initializes the platform with the current best network and cpu models at hand
519  *
520  *  This platform model separates the host model and the network model.
521  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
522  *  traffic support) and the CPU model with the model Cas01.
523  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
524  */
525 XBT_PUBLIC(void) surf_host_model_init_current_default();
526
527 /** \ingroup SURF_models
528  *  \brief Initializes the platform with the model L07
529  *
530  *  With this model, only parallel tasks can be used. Resource sharing is done by identifying bottlenecks and giving an
531  *  equal share of the model to each action.
532  */
533 XBT_PUBLIC(void) surf_host_model_init_ptask_L07();
534
535 /** \ingroup SURF_models
536  *  \brief The list of all available host model models
537  */
538 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_host_model_description[];
539
540 /** \ingroup SURF_models
541  *  \brief Initializes the platform with the current best network and cpu models at hand
542  *
543  *  This platform model seperates the host model and the network model.
544  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
545  *  traffic support) and the CPU model with the model Cas01.
546  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
547  */
548 XBT_PUBLIC(void) surf_vm_model_init_HL13();
549
550 /** \ingroup SURF_simulation
551  *  \brief List of hosts for which one want to be notified if they ever restart.
552  */
553 XBT_PUBLIC_DATA(xbt_dict_t) watched_hosts_lib;
554
555 /*** SURF Globals **************************/
556
557 /** \ingroup SURF_simulation
558  *  \brief Initialize SURF
559  *  \param argc argument number
560  *  \param argv arguments
561  *
562  *  This function has to be called to initialize the common structures. Then you will have to create the environment by
563  *  calling  e.g. surf_host_model_init_CM02()
564  *
565  *  \see surf_host_model_init_CM02(), surf_host_model_init_compound(), surf_exit()
566  */
567 XBT_PUBLIC(void) surf_init(int *argc, char **argv);     /* initialize common structures */
568
569 /** \ingroup SURF_simulation
570  *  \brief Finish simulation initialization
571  *
572  *  This function must be called before the first call to surf_solve()
573  */
574 XBT_PUBLIC(void) surf_presolve();
575
576 /** \ingroup SURF_simulation
577  *  \brief Performs a part of the simulation
578  *  \param max_date Maximum date to update the simulation to, or -1
579  *  \return the elapsed time, or -1.0 if no event could be executed
580  *
581  *  This function execute all possible events, update the action states  and returns the time elapsed.
582  *  When you call execute or communicate on a model, the corresponding actions are not executed immediately but only
583  *  when you call surf_solve.
584  *  Note that the returned elapsed time can be zero.
585  */
586 XBT_PUBLIC(double) surf_solve(double max_date);
587
588 /** \ingroup SURF_simulation
589  *  \brief Return the current time
590  *
591  *  Return the current time in millisecond.
592  */
593 XBT_PUBLIC(double) surf_get_clock();
594
595 /** \ingroup SURF_simulation
596  *  \brief Exit SURF
597  *
598  *  Clean everything.
599  *
600  *  \see surf_init()
601  */
602 XBT_PUBLIC(void) surf_exit();
603
604 /* Prototypes of the functions that handle the properties */
605 XBT_PUBLIC_DATA(xbt_dict_t) current_property_set;// the prop set for the currently parsed element (also used in SIMIX)
606
607 /* surf parse file related (public because called from a test suite) */
608 XBT_PUBLIC(void) parse_platform_file(const char *file);
609
610 /* For the trace and trace:connect tag (store their content till the end of the parsing) */
611 XBT_PUBLIC_DATA(xbt_dict_t) traces_set_list;
612
613 /*
614  * Returns the initial path. On Windows the initial path is the current directory for the current process in the other
615  * case the function returns "./" that represents the current directory on Unix/Linux platforms.
616  */
617 const char *__surf_get_initial_path();
618
619 /********** Tracing **********/
620 /* from surf_instr.c */
621 void TRACE_surf_action(surf_action_t surf_action, const char *category);
622 void TRACE_surf_alloc();
623 void TRACE_surf_release();
624
625 /* instr_routing.c */
626 void instr_routing_define_callbacks ();
627 void instr_new_variable_type (const char *new_typename, const char *color);
628 void instr_new_user_variable_type  (const char *father_type, const char *new_typename, const char *color);
629 void instr_new_user_state_type (const char *father_type, const char *new_typename);
630 void instr_new_value_for_user_state_type (const char *_typename, const char *value, const char *color);
631 int instr_platform_traced ();
632 xbt_graph_t instr_routing_platform_graph ();
633 void instr_routing_platform_graph_export_graphviz (xbt_graph_t g, const char *filename);
634
635 SG_END_DECL()
636
637 #endif