Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Remove remaining mentions of RngStream.
[simgrid.git] / docs / source / app_msg.rst
1 .. _MSG_doc:
2
3 The MSG Interface (legacy interface)
4 ####################################
5
6 .. warning::
7
8    MSG used to be the main API of SimGrid 3, but we are currently in
9    the process of releasing SimGrid 4. So MSG is frozen and will
10    probably never evolve. If you are starting a new project, you
11    should consider S4U instead. Note that the support for MSG will not
12    be removed from SimGrid before 2020 at least.
13
14 MSG is a simple API to write algorithms organized with Concurrent
15 Sequential Processes (CSP) that interact by exchanging messages. It
16 constitutes a convenient simplification of the reality of distributed
17 systems. It can be used to build rather realistic simulations, but
18 remains simple to use: most unpleasant technical elements can be
19 abstracted away rather easily.
20
21 C API reference
22 ***************
23
24 Main MSG Functions
25 ==================
26
27 The basic workflow is the following:
28
29  - Initialize the library with :c:macro:`MSG_init`
30  - Create a platform (usually by parsing a file with :cpp:func:`MSG_create_environment`)
31  - Register the functions that your processes are supposed to run with
32    :cpp:func:`MSG_function_register` (and maybe :cpp:func:`MSG_function_register_default`) 
33  - Launch your processes from a deployment file with :cpp:func:`MSG_launch_application`
34  - Run the simulation with :cpp:func:`MSG_main`
35
36 .. doxygenenum:: msg_error_t
37
38 .. doxygenfunction:: MSG_config
39 .. doxygenfunction:: MSG_create_environment
40 .. doxygenfunction:: MSG_function_register
41 .. doxygenfunction:: MSG_function_register_default
42 .. doxygenfunction:: MSG_get_clock
43 .. doxygenfunction:: MSG_get_sent_msg
44 .. doxygendefine:: MSG_init
45 .. doxygenfunction:: MSG_launch_application
46 .. doxygenfunction:: MSG_main
47 .. doxygenfunction:: MSG_set_function
48
49 Process Management
50 ==================
51
52 This describes the process structure :cpp:type:`msg_process_t` and the functions for managing it.
53
54 .. doxygentypedef:: msg_process_t
55 .. doxygenfunction:: MSG_process_attach
56 .. doxygenfunction:: MSG_process_auto_restart_set
57 .. doxygenfunction:: MSG_process_create
58 .. doxygenfunction:: MSG_process_create_with_arguments
59 .. doxygenfunction:: MSG_process_create_with_environment
60 .. doxygenfunction:: MSG_process_daemonize
61 .. doxygenfunction:: MSG_process_detach
62 .. doxygenfunction:: MSG_processes_as_dynar
63 .. doxygenfunction:: MSG_process_from_PID
64 .. doxygenfunction:: MSG_process_get_data
65 .. doxygenfunction:: MSG_process_get_host
66 .. doxygenfunction:: MSG_process_get_name
67 .. doxygenfunction:: MSG_process_get_number
68 .. doxygenfunction:: MSG_process_get_PID
69 .. doxygenfunction:: MSG_process_get_PPID
70 .. doxygenfunction:: MSG_process_get_properties
71 .. doxygenfunction:: MSG_process_get_property_value
72 .. doxygenfunction:: MSG_process_is_suspended
73 .. doxygenfunction:: MSG_process_join
74 .. doxygenfunction:: MSG_process_kill
75 .. doxygenfunction:: MSG_process_killall
76 .. doxygenfunction:: MSG_process_migrate
77 .. doxygenfunction:: MSG_process_on_exit
78 .. doxygenfunction:: MSG_process_ref
79 .. doxygenfunction:: MSG_process_restart
80 .. doxygenfunction:: MSG_process_resume
81 .. doxygenfunction:: MSG_process_self
82 .. doxygenfunction:: MSG_process_self_name
83 .. doxygenfunction:: MSG_process_self_PID
84 .. doxygenfunction:: MSG_process_self_PPID
85 .. doxygenfunction:: MSG_process_set_data
86 .. doxygenfunction:: MSG_process_set_data_cleanup
87 .. doxygenfunction:: MSG_process_set_kill_time
88 .. doxygenfunction:: MSG_process_sleep
89 .. doxygenfunction:: MSG_process_suspend
90 .. doxygenfunction:: MSG_process_unref
91 .. doxygenfunction:: MSG_process_userdata_init
92 .. doxygenfunction:: MSG_process_yield
93
94 Host Management
95 ===============
96
97 .. doxygentypedef:: msg_host_t
98 .. doxygenfunction:: MSG_host_by_name
99 .. doxygenfunction:: MSG_get_host_by_name
100 .. doxygenfunction:: MSG_get_host_number
101 .. doxygenfunction:: MSG_host_get_attached_storage_lists
102 .. doxygenfunction:: MSG_host_get_core_number
103 .. doxygenfunction:: MSG_host_get_data
104 .. doxygenfunction:: MSG_host_get_mounted_storage_list
105 .. doxygenfunction:: MSG_host_get_name
106 .. doxygenfunction:: MSG_host_get_nb_pstates
107 .. doxygenfunction:: MSG_host_get_load
108 .. doxygenfunction:: MSG_host_get_power_peak_at
109 .. doxygenfunction:: MSG_host_get_process_list
110 .. doxygenfunction:: MSG_host_get_properties
111 .. doxygenfunction:: MSG_host_get_property_value
112 .. doxygenfunction:: MSG_host_get_pstate
113 .. doxygenfunction:: MSG_host_get_speed
114 .. doxygenfunction:: MSG_host_is_on
115 .. doxygenfunction:: MSG_host_off
116 .. doxygenfunction:: MSG_host_on
117 .. doxygenfunction:: MSG_hosts_as_dynar
118 .. doxygenfunction:: MSG_host_self
119 .. doxygenfunction:: MSG_host_set_data
120 .. doxygenfunction:: MSG_host_set_property_value
121 .. doxygenfunction:: MSG_host_set_pstate
122
123 Task Management
124 ===============
125
126 Task structure of MSG :cpp:type:`msg_task_t` and associated functions.
127
128 .. doxygentypedef:: msg_task_t
129 .. doxygendefine:: MSG_TASK_UNINITIALIZED
130
131 .. doxygenfunction:: MSG_parallel_task_create
132 .. doxygenfunction:: MSG_parallel_task_execute
133 .. doxygenfunction:: MSG_parallel_task_execute_with_timeout
134 .. doxygenfunction:: MSG_task_cancel
135 .. doxygenfunction:: MSG_task_create
136 .. doxygenfunction:: MSG_task_destroy
137 .. doxygenfunction:: MSG_task_dsend
138 .. doxygenfunction:: MSG_task_dsend_bounded
139 .. doxygenfunction:: MSG_task_execute
140 .. doxygenfunction:: MSG_task_get_bytes_amount
141 .. doxygenfunction:: MSG_task_get_category
142 .. doxygenfunction:: MSG_task_get_data
143 .. doxygenfunction:: MSG_task_get_flops_amount
144 .. doxygenfunction:: MSG_task_get_name
145 .. doxygenfunction:: MSG_task_get_remaining_communication
146 .. doxygenfunction:: MSG_task_get_remaining_work_ratio
147 .. doxygenfunction:: MSG_task_get_sender
148 .. doxygenfunction:: MSG_task_get_source
149 .. doxygenfunction:: MSG_task_irecv
150 .. doxygenfunction:: MSG_task_irecv_bounded
151 .. doxygenfunction:: MSG_task_isend
152 .. doxygenfunction:: MSG_task_isend_bounded
153 .. doxygenfunction:: MSG_task_listen
154 .. doxygenfunction:: MSG_task_listen_from
155 .. doxygenfunction:: MSG_task_receive
156 .. doxygenfunction:: MSG_task_receive_bounded
157 .. doxygenfunction:: MSG_task_receive_with_timeout
158 .. doxygenfunction:: MSG_task_receive_with_timeout_bounded
159 .. doxygendefine:: MSG_task_recv
160 .. doxygendefine:: MSG_task_recv_bounded
161 .. doxygenfunction:: MSG_task_send
162 .. doxygenfunction:: MSG_task_send_bounded
163 .. doxygenfunction:: MSG_task_send_with_timeout
164 .. doxygenfunction:: MSG_task_send_with_timeout_bounded
165 .. doxygenfunction:: MSG_task_set_bound
166 .. doxygenfunction:: MSG_task_set_bytes_amount
167 .. doxygenfunction:: MSG_task_set_category
168 .. doxygenfunction:: MSG_task_set_data
169 .. doxygenfunction:: MSG_task_set_flops_amount
170 .. doxygenfunction:: MSG_task_set_name
171 .. doxygenfunction:: MSG_task_set_priority
172
173                    
174 Mailbox Management
175 ==================
176
177 .. doxygenfunction:: MSG_mailbox_set_async
178
179 Communications
180 ==============
181
182 .. doxygentypedef:: msg_comm_t
183
184 .. doxygenfunction:: MSG_comm_destroy
185 .. doxygenfunction:: MSG_comm_get_status
186 .. doxygenfunction:: MSG_comm_get_task
187 .. doxygenfunction:: MSG_comm_test
188 .. doxygenfunction:: MSG_comm_testany
189 .. doxygenfunction:: MSG_comm_wait
190 .. doxygenfunction:: MSG_comm_waitall
191 .. doxygenfunction:: MSG_comm_waitany
192
193 Explicit Synchronization
194 ========================
195
196 Explicit synchronization mechanisms: semaphores (:cpp:type:`msg_sem_t`) and friends.
197
198 In some situations, these things are very helpful to synchronize processes without message exchanges.
199
200 Barriers
201 --------
202
203 .. doxygentypedef:: msg_bar_t
204 .. doxygenfunction:: MSG_barrier_destroy
205 .. doxygenfunction:: MSG_barrier_init
206 .. doxygenfunction:: MSG_barrier_wait
207
208 Semaphores
209 ----------
210                      
211 .. doxygentypedef:: msg_sem_t
212 .. doxygenfunction:: MSG_sem_acquire
213 .. doxygenfunction:: MSG_sem_acquire_timeout
214 .. doxygenfunction:: MSG_sem_destroy
215 .. doxygenfunction:: MSG_sem_get_capacity
216 .. doxygenfunction:: MSG_sem_init
217 .. doxygenfunction:: MSG_sem_release
218 .. doxygenfunction:: MSG_sem_would_block
219
220 Virtual Machines
221 ================
222
223 This interface mimics IaaS clouds.
224 With it, you can create virtual machines to put your processes
225 into, and interact directly with the VMs to manage groups of
226 processes.
227
228 .. doxygentypedef:: msg_vm_t
229 .. doxygenfunction:: MSG_vm_create_core
230 .. doxygenfunction:: MSG_vm_create_multicore
231 .. doxygenfunction:: MSG_vm_destroy
232 .. doxygenfunction:: MSG_vm_get_name
233 .. doxygenfunction:: MSG_vm_get_pm
234 .. doxygenfunction:: MSG_vm_get_ramsize
235 .. doxygenfunction:: MSG_vm_is_created
236 .. doxygenfunction:: MSG_vm_is_running
237 .. doxygenfunction:: MSG_vm_is_suspended
238 .. doxygenfunction:: MSG_vm_resume
239 .. doxygenfunction:: MSG_vm_set_bound
240 .. doxygenfunction:: MSG_vm_set_ramsize
241 .. doxygenfunction:: MSG_vm_shutdown
242 .. doxygenfunction:: MSG_vm_start
243 .. doxygenfunction:: MSG_vm_suspend
244
245 Storage Management
246 ==================
247 Storage structure of MSG (:cpp:type:`msg_storage_t`) and associated functions, inspired from POSIX.
248
249 .. doxygentypedef:: msg_storage_t
250 .. doxygenfunction:: MSG_storage_get_by_name
251 .. doxygenfunction:: MSG_storage_get_data
252 .. doxygenfunction:: MSG_storage_get_host
253 .. doxygenfunction:: MSG_storage_get_name
254 .. doxygenfunction:: MSG_storage_get_properties
255 .. doxygenfunction:: MSG_storage_get_property_value
256 .. doxygenfunction:: MSG_storage_read
257 .. doxygenfunction:: MSG_storages_as_dynar
258 .. doxygenfunction:: MSG_storage_set_data
259 .. doxygenfunction:: MSG_storage_set_property_value
260 .. doxygenfunction:: MSG_storage_write
261
262 NetZone Management
263 ==================
264 Network Zone (:cpp:class:`msg_file_t`) and associated functions.
265
266 .. doxygentypedef:: msg_netzone_t
267 .. doxygenfunction:: MSG_zone_get_by_name
268 .. doxygenfunction:: MSG_zone_get_hosts
269 .. doxygenfunction:: MSG_zone_get_name
270 .. doxygenfunction:: MSG_zone_get_property_value
271 .. doxygenfunction:: MSG_zone_get_root
272 .. doxygenfunction:: MSG_zone_get_sons
273 .. doxygenfunction:: MSG_zone_set_property_value
274
275 Java bindings
276 *************
277
278 This section describes jMSG, the Java API to Simgrid. This API mimicks 
279 :ref:`MSG <MSG_doc>`, which is a simple yet somehow realistic interface.
280 The full reference documentation is provided at the end of this page.
281
282 Most of the documentation of the :ref:`MSG API <MSG_doc>` in C applies
283 directly to the Java bindings (any divergence is seen as a bug that we
284 should fix). MSG structures are mapped to Java objects as expected,
285 and the MSG functions are methods in these objects.
286
287 Installing the Java bindings
288 ============================
289
290 The easiest is to use a :ref:`precompiled jarfile <install_java_precompiled>`,
291 but some people may prefer to :ref:`compile it from the sources <install_src>`.
292
293
294 Using the Java bindings
295 =======================
296
297 In most cases, you can use the SimGrid bindings as if it was a Java
298 library:
299
300 .. code-block:: shell
301
302    $ javac -classpath .:path/to/simgrid.jar your/java/Code.java
303    $ java -classpath .:path/to/simgrid.jar your.java.Code the/parameter/to/your/code
304
305 For example:
306
307 .. code-block:: shell
308
309    $ cd examples/deprecated/java
310    $ java -classpath ../../simgrid.jar:. .:../../simgrid.jar app.pingpong.Main ../platforms/platform.xml 
311
312 Any SimGrid simulation (java or not) is usually constituted of several
313 kind of actors or processes (classes extending @c Msg.Process) that
314 are deployed over the hosts of the virtual platform. So, your code
315 should declare these actors, plus a Main class in charge of deploying
316 your actors on the platform. Please refer to the examples for details.
317
318 Troubleshooting
319 ===============
320
321 Actually, these bindings are not only implemented in Java. They do use
322 the C implementation of SimGrid. This should be transparent as this
323 library is directly included in the ``simgrid.jar`` file but things can
324 still go wrong is several ways.
325
326 Error: library simgrid not found
327 --------------------------------
328
329 This means that the JVM fails to load the native library. If you use a
330 precompiled jarfile, please report this bug.
331
332 If you built it yourself, you can try to use an installed version of
333 the library instead of the one included in the jar. For that, add the
334 path to the native library into the ``LD_LIBRARY_PATH`` variable (or in
335 the ``DYLD_LIBRARY_PATH`` on macOS).
336
337 pthread_create failed
338 ---------------------
339
340 You reached the amount of threads that can be run on your system. Try
341 increasing the thread limits of your operating system.
342
343 Other errors
344 ------------
345
346 When using jMSG, your program can crash for 3 main reasons:
347
348 - Your Java part is not good: you'll have a good old java exception thrown,
349   and hence you should be able to correct it by yourself.
350 - Our java part is not good: you'll also have a java exception thrown, but
351   we have real doubts this can happen, since the java part is only a JNI
352   binding. The other option is that it crashed because you used incorrectly
353   the MSG API, so this means also you should have an MSGException. It means
354   you should read carefully MSG samples and/or documentation.
355 - Something has crashed in the C part. Okay, here comes the tricky
356   thing. It happens mainly for 2 reasons:
357   
358   - When something goes wrong in your simulation, sometimes the C part stops
359     because you used SimGrid incorrectly, and JNI bindings are not fond of that.
360     It means that you'll have something that looks ugly, but you should be able
361     to identify what's going wrong in your code by carefully reading the whole
362     error message
363   - It may happen that the problem comes directly from SimGrid: in this case,
364     the error should be uglier. In that case, you may submit a bug directly to
365     SimGrid.
366
367 API Reference
368 =============
369
370 Package org.simgrid.msg
371 -----------------------
372
373 .. java:package:: org.simgrid.msg
374
375 .. toctree::
376    :maxdepth: 1
377
378    Class org.simgrid.msg.As <java/org/simgrid/msg/As>
379    Class org.simgrid.msg.Comm <java/org/simgrid/msg/Comm>
380    Class org.simgrid.msg.File <java/org/simgrid/msg/File>
381    Class org.simgrid.msg.Host <java/org/simgrid/msg/Host>
382    Class org.simgrid.msg.HostFailureException <java/org/simgrid/msg/HostFailureException>
383    Class org.simgrid.msg.HostNotFoundException <java/org/simgrid/msg/HostNotFoundException>
384    Class org.simgrid.msg.JniException <java/org/simgrid/msg/JniException>
385    Class org.simgrid.msg.Msg <java/org/simgrid/msg/Msg>
386    Class org.simgrid.msg.MsgException <java/org/simgrid/msg/MsgException>
387    Class org.simgrid.msg.Mutex <java/org/simgrid/msg/Mutex>
388    Class org.simgrid.msg.Process <java/org/simgrid/msg/Process>
389    Class org.simgrid.msg.ProcessKilledError <java/org/simgrid/msg/ProcessKilledError>
390    Class org.simgrid.msg.ProcessNotFoundException <java/org/simgrid/msg/ProcessNotFoundException>
391    Class org.simgrid.msg.Semaphore <java/org/simgrid/msg/Semaphore>
392    Class org.simgrid.msg.Storage <java/org/simgrid/msg/Storage>
393    Class org.simgrid.msg.StorageNotFoundException <java/org/simgrid/msg/StorageNotFoundException>
394    Class org.simgrid.msg.Task <java/org/simgrid/msg/Task>
395    Class org.simgrid.msg.TaskCancelledException <java/org/simgrid/msg/TaskCancelledException>
396    Class org.simgrid.msg.TimeoutException <java/org/simgrid/msg/TimeoutException>
397    Class org.simgrid.msg.TransferFailureException <java/org/simgrid/msg/TransferFailureException>
398    Class org.simgrid.msg.VM <java/org/simgrid/msg/VM>