examples/msg/README.doc

   1 This file follows the Doxygen syntax to be included in the
   2 documentation, but it should remain readable directly.
   3
   4 /**
   5  @defgroup MSG_examples MSG examples
   6  @ingroup MSG_API
   7  @brief Find the MSG example fitting your needs from the extensive set provided in the archive.
   8
   9   - @ref msg_ex_basic
  10   - @ref msg_ex_async
  11   - @ref msg_ex_process
  12   - @ref msg_ex_tracing
  13     - @ref msg_ex_tracing_user_variables
  14   - @ref msg_ex_models
  15     - @ref msg_ex_ns3
  16     - @ref msg_ex_io
  17   - @ref msg_ex_actions
  18   - @ref msg_ex_apps
  19   - @ref msg_ex_misc
  20
  21 @section msg_ex_basic Basic examples and features
  22
  23  - <b>Ping Pong</b>: @ref examples/msg/app-pingpong/app-pingpong.c\n
  24    It's hard to think of a simpler example: it is just sending one
  25    message back and forth.
  26    The tesh file laying in the directory show how to start the
  27    simulator binary, enlighting how to pass options to the simulators
  28    (as detailed in Section \ref options).
  29
  30  - <b>Token Ring</b>.
  31    @ref examples/msg/app-token-ring/app-token-ring.c\n
  32    Classical communication pattern, where a token is exchanged
  33    along a ring to reach every participant.
  34    The tesh file laying in the directory shows how to run the same
  35    example on different virtual platforms.
  36
  37  - <b>Master Workers</b>.
  38    @ref examples/msg/app-masterworker/app-masterworker.c\n
  39    Another good old example, where one Master process has a bunch of
  40    task to dispatch to a set of several Worker processes. It is fully
  41    commented in @ref MSG_ex_master_worker.
  42
  43 @section msg_ex_async Asynchronous communications
  44
  45 In addition to the fully documented example of @ref
  46 MSG_ex_asynchronous_communications, there are several other examples
  47 shipped in the archive:
  48
  49  - <b>Basic asynchronous communications</b>.
  50    @ref examples/msg/async-wait/async-wait.c \n
  51    Illustrates how to have non-blocking communications, that are
  52    communications running in the background leaving the process free
  53    to do something else during their completion. The main functions
  54    involved are @ref MSG_task_isend, @ref MSG_task_irecv, and @ref
  55    MSG_comm_wait.
  56
  57  - <b>Waiting for all communications in a set</b>.
  58    @ref examples/msg/async-waitall/async-waitall.c\n
  59    The @ref MSG_comm_waitall function is useful when you want to block
  60    until all activities in a given set have completed.
  61
  62  - <b>Waiting for the first completed communication in a set</b>.
  63    @ref examples/msg/async-waitall/async-waitany.c\n
  64    The @ref MSG_comm_waitany function is useful when you want to block
  65    until one activity of the set completes, no matter which terminates
  66    first.
  67
  68 @section msg_ex_process Acting on Processes
  69
  70   - <b>Creating processes</b>.
  71     @ref examples/msg/process-create/process-create.c \n
  72     Most processes are started from the deployment XML file, but they
  73     can also be used with the @ref MSG_process_create() function.
  74
  75   - <b>Suspend and Resume processes</b>.
  76     @ref examples/msg/process-suspend/process-suspend.c \n
  77     Processes can be suspended and resumed during their executions
  78     thanks to the @ref MSG_process_suspend and @ref MSG_process_resume functions.
  79
  80   - <b>Kill processes</b>.
  81     @ref examples/msg/process-kill/process-kill.c \n
  82     Processes can forcefully stop other processes with the @ref MSG_process_kill function.
  83
  84   - <b>Migrating processes</b>.
  85     @ref examples/msg/process-migration/process-migration.c \n
  86     Processes can move or be moved from a host to another with the @ref MSG_process_migrate function.
  87
  88   - <b>Controling the process life cycle from the XML</b>.
  89     @ref examples/msg/process-startkilltime/process-startkilltime.c \n
  90     You can specify a start time and a kill time in the deployment
  91     file. See all *_d.xml files in this directory.
  92
  93 @section msg_ex_tracing Tracing and visualization features
  94
  95 Tracing can be activated by various configuration options which
  96 are illustrated in these example. See also the
  97 @ref tracing_tracing_options "full list of options related to tracing".
  98
  99 It is interesting to run the process-create example with the following
 100 options to see the task executions:
 101
 102   - <b>Platform tracing</b>.
 103     @ref examples/msg/trace-platform/trace-platform.c \n
 104     This program is a toy example just loading the platform, so that
 105     you can play with the platform visualization. Recommanded options:
 106     @verbatim --cfg=tracing:yes --cfg=tracing/categorized:yes
 107     @endverbatim
 108
 109   - <b>Setting Categories</b>.
 110     @ref examples/msg/trace-categories/trace-categories.c \n
 111     This example declares several tracing categories
 112     to that are used to classify its tasks. When the program is executed,
 113     the tracing mechanism registers the resource utilization of hosts
 114     and links according to these categories. Recommanded options:
 115     @verbatim --cfg=tracing:yes --cfg=tracing/categorized:yes --cfg=tracing/uncategorized:yes --cfg=viva/categorized:viva_cat.plist --cfg=viva/uncategorized:viva_uncat.plist
 116     @endverbatim
 117
 118   - <b>Master Workers tracing</b>.
 119     @ref examples/msg/trace-masterworker/trace-masterworker.c \n
 120     This is an augmented version of our basic master/worker example
 121     using several tracing features. It traces resource usage, sorted
 122     out in several categories; Trace marks and user variables are also
 123     used. Recommanded options:
 124     @verbatim --cfg=tracing/categorized:yes --cfg=tracing/uncategorized:yes --cfg=viva/categorized:viva_cat.plist --cfg=viva/uncategorized:viva_uncat.plist
 125     @endverbatim
 126
 127   - <b>Process migration tracing</b>.
 128     @ref examples/msg/trace-process-migration/trace-process-migration.c \n
 129     This version is enhanced so that the process migrations can be
 130     displayed as arrows in a Gantt-chart visualization. Recommanded
 131     options to that extend:
 132     @verbatim -cfg=tracing:yes --cfg=tracing/msg/process:yes
 133     @endverbatim
 134
 135 TODO: These tracing examples should be integrated in the examples to
 136 not dupplicate the C files. A full command line to see the result in
 137 the right tool (viva/vite/FrameSoc) should be given along with some
 138 screenshots.
 139
 140 @subsection msg_ex_tracing_user_variables Tracing user variables
 141
 142 You can also attach your own variables to a any resource described in
 143 the platform file. The following examples illustrate this feature.
 144 They have to be run with the following options:
 145 @verbatim --cfg=tracing:yes --cfg=tracing/platform:yes
 146 @endverbatim
 147
 148   - <b>Attaching variables to Hosts</b>.
 149     @ref examples/msg/trace-user-variables/trace-user-variables.c
 150
 151   - <b>Attaching variables to Links</b>.
 152     @ref examples/msg/trace-link-user-variables/trace-link-user-variables.c \n
 153     The tricky part is that you have to know the name of the link you
 154     want to enhance with a variable.
 155
 156   - <b>Attaching variables to network Routes</b>
 157     @ref examples/msg/trace-link-srcdst-user-variables/trace-link-srcdst-user-variables.c \n
 158     It is often easier to update a given variable for all links of a
 159     given network path (identified by its source and destination
 160     hosts) instead of knowing the name of each specific link.
 161
 162 TODO: rename trace-user-variables to trace-host-user-variables
 163
 164 TODO: rename trace-link-srcdst-user-variables to trace-route-user-variables
 165
 166 @section msg_ex_models Models-related examples
 167
 168 @subsection msg_ex_ns3 NS3 as a SimGrid Network Model
 169
 170 This example demonstrates how to use the bindings to the Network
 171 Simulator, as explained in @ref pls. The most
 172 interesting is probably not the C files since they are unchanged from
 173 the other simulations, but the associated files, such as the platform
 174 file to see how to declare a platform to be used with the PLS bindings
 175 of SimGrid and the tesh file to see how to actually start a simulation
 176 in these settings.
 177
 178   - @ref examples/msg/network-ns3/network-ns3.c. Simple ping-pong using
 179     ns-3 instead of the SimGrid network models.
 180
 181 TODO: merge the C files
 182
 183 TODO: show the XML files instead if it's what is interesting. On a "XML example files" page that does not exist yet.
 184
 185 @subsection msg_ex_io Simulating disks and files
 186
 187 The examples of this section demonstrate how to interact with the
 188 simulated storages.
 189
 190   - <b>Basic example</b>.
 191     @ref examples/msg/io-storage/io-storage.c \n
 192     All main storage and file functions are demoed.
 193
 194   - <b>File Management</b>. @ref examples/msg/io-file/io-file.c \n
 195     This example illustrates the use of operations on file
 196     (@ref MSG_file_open, @ref MSG_file_read, @ref MSG_file_write,
 197     or @ref MSG_file_close).
 198
 199   - <b>Remote I/O</b>. @ref examples/msg/io-remote/io-remote.c \n
 200     I/O operations can also be done in a remote, i.e. when the
 201     accessed disk is not mounted on the caller's host.
 202
 203 @section msg_ex_actions Following Workload Traces
 204
 205 This section details how to run trace-driven simulations. It is very
 206 handy when you want to test an algorithm or protocol that only react
 207 to external events. For example, many P2P protocols react to user
 208 requests, but do nothing if there is no such event.
 209
 210 In such situations, you should write your protocol in C, and separate
 211 the workload that you want to play onto your protocol in a separate
 212 text file. Declare a function handling each type of the events in your
 213 trace, register them using @ref xbt_replay_action_register in your
 214 main, and then use @ref MSG_action_trace_run to launch the simulation.
 215
 216 Then, you can either have one trace file containing all your events,
 217 or a file per simulated process: the former may be easier to work
 218 with, but the second is more efficient on very large traces. Check
 219 also the tesh files in the example directories for details.
 220
 221   - <b>Communication replay</b>.
 222     @ref examples/msg/actions-comm/actions-comm.c \n
 223     Presents a set of event handlers reproducing classical communication
 224     primitives (synchronous and asynchronous send/receive, broadcast,
 225     barrier, etc).
 226
 227   - <b>I/O replay</b>.
 228     @ref examples/msg/actions-storage/actions-storage.c \n
 229     Presents a set of event handlers reproducing classical I/O
 230     primitives (open, read, write, close, etc).
 231
 232 @section msg_ex_apps Examples of Full Applications
 233
 234   - <b>Parallel Matrix Multiplication</b>.
 235     @ref examples/msg/app-pmm/app-pmm.c \n
 236     This little application multiplies two matrices in parallel. Each
 237     of the 9 processes computes a sub-block of the result, with the
 238     sub-blocks of the input matrices exchanged between the processes. \n
 239     This is a classical assignment in MPI lectures, here implemented
 240     in MSG.
 241
 242   - <b>Chord P2P protocol</b>.
 243     @ref examples/msg/dht-chord/dht-chord.c \n
 244     This example implements the well known Chord protocol,
 245     constituting a fully working non-trivial example. This
 246     implementation is also very efficient, as demonstrated in
 247     http://hal.inria.fr/inria-00602216/
 248
 249 @section msg_ex_misc Miscellaneous
 250
 251  - <b>Task priorities</b>.
 252    @ref examples/msg/task-priority/task-priority.c \n
 253    Demonstrates the use of @ref MSG_task_set_priority to change the
 254    computation priority of  a given task.
 255
 256  - <b>User-defined properties</b>.
 257    @ref examples/msg/platform-properties/platform-properties.c \n
 258    Attaching arbitrary information to host, processes and
 259    such, and retrieving them with @ref MSG_host_get_properties,
 260    @ref MSG_host_get_property_value, @ref MSG_process_get_properties, and
 261    @ref MSG_process_get_property_value. Also make sure to read the
 262    platform and deployment XML files to see how to declare these data.
 263
 264 TODO: Document the many other examples that we have
 265 */
 266
 267 As a human, you can stop reading at this point. The rest is garbage:
 268
 269 Every example must be listed in the following, but it's not possible
 270 to move this content upper as each @example directive seems to eat
 271 everything until the next */ marker (and the content is placed at the
 272 top of the example file).
 273
 274
 275 /**
 276 @defgroup MSG_ex_examples ignored
 277 @example examples/msg/app-pingpong/app-pingpong.c
 278 @example examples/msg/app-token-ring/app-token-ring.c
 279 @example examples/msg/app-masterworker/app-masterworker.c
 280
 281 @example examples/msg/async-wait/async-wait.c
 282 @example examples/msg/async-waitall/async-waitall.c
 283 @example examples/msg/async-waitall/async-waitany.c
 284
 285 @example examples/msg/process-create/process-create.c
 286 @example examples/msg/process-suspend/process-suspend.c
 287 @example examples/msg/process-kill/process-kill.c
 288 @example examples/msg/process-migration/process-migration.c
 289 @example examples/msg/process-startkilltime/process-startkilltime.c
 290
 291 @example examples/msg/trace-platform/trace-platform.c
 292 @example examples/msg/trace-categories/trace-categories.c
 293 @example examples/msg/trace-masterworker/trace-masterworker.c
 294 @example examples/msg/trace-process-migration/trace-process-migration.c
 295 @example examples/msg/trace-user-variables/trace-user-variables.c
 296 @example examples/msg/trace-link-user-variables/trace-link-user-variables.c
 297 @example examples/msg/trace-link-srcdst-user-variables/trace-link-srcdst-user-variables.c
 298
 299 @example examples/msg/network-ns3/network-ns3.c
 300
 301 @example examples/msg/io-storage/io-storage.c
 302 @example examples/msg/io-file/io-file.c
 303 @example examples/msg/io-remote/io-remote.c
 304
 305 @example examples/msg/actions-comm/actions-comm.c
 306 @example examples/msg/actions-storage/actions-storage.c
 307
 308 @example examples/msg/app-pmm/app-pmm.c
 309 @example examples/msg/dht-chord
 310
 311 @example examples/msg/task-priority/task-priority.c
 312 @example examples/msg/properties/properties.c
 313
 314 */
 315