examples/s4u/README.rst

   1 .. S4U (Simgrid for you) is the next interface of SimGrid, expected to be released with SimGrid 4.0.
   2 ..
   3 .. Even if it is not completely rock stable yet, it may well already fit
   4 .. your needs. You are welcome to try it and report any interface
   5 .. glitches that you see. Be however warned that the interface may change
   6 .. until the final release.  You will have to adapt your code on the way.
   7 ..
   8 .. This file follows the ReStructured syntax to be included in the
   9 .. documentation, but it should remain readable directly.
  10
  11
  12 S4U Examples
  13 ************
  14
  15 SimGrid comes with an extensive set of examples, documented on this
  16 page. Most of them only demonstrate one single feature, with some
  17 larger examplars listed below.
  18
  19 The C++ examples can be found under examples/s4u while python examples
  20 are in examples/python. Each such directory contains the source code (also listed
  21 from this page), and the so-called tesh file containing how to call
  22 the binary obtained by compiling this example and also the expected
  23 output. Tesh files are used to turn each of our examples into an
  24 integration test. Some examples also contain other files, on need.
  25
  26 A good way to bootstrap your own project is to copy and combine some
  27 of the provided examples to constitute the skeleton of what you plan
  28 to simulate.
  29
  30 ===========================
  31 Actors: the Active Entities
  32 ===========================
  33
  34
  35 Starting and Stoping Actors
  36 ---------------------------
  37
  38   - **Creating actors:**
  39     Most actors are started from the deployment XML file, but there is other methods.
  40     This example show them all.
  41     |br| |cpp| `examples/s4u/actor-create/s4u-actor-create.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-create/s4u-actor-create.cpp>`_
  42     |br|  |py| `examples/python/actor-create/actor-create.py <https://framagit.org/simgrid/simgrid/tree/master/examples/python/actor-create/actor-create.py>`_
  43
  44   - **Kill actors:**
  45     Actors can forcefully stop other actors with the
  46     :cpp:func:`void simgrid::s4u::Actor::kill(void)` or the
  47     :cpp:func:`void simgrid::s4u::Actor::kill(aid_t)` methods.
  48     |br| `examples/s4u/actor-kill/s4u-actor-kill.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-kill/s4u-actor-kill.cpp>`_
  49
  50   - **Controling the actor life cycle from the XML:**
  51     You can specify a start time and a kill time in the deployment
  52     file.
  53     |br| `examples/s4u/actor-lifetime/s4u-actor-lifetime.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-lifetime/s4u-actor-lifetime.cpp>`_
  54     |br| `examples/s4u/actor-lifetime/s4u-actor-lifetime_d.xml <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-lifetime/s4u-actor-lifetime_d.xml>`_
  55
  56   - **Daemonize actors:**
  57     Some actors may be intended to simulate daemons that run in background. This example show how to transform a regular
  58     actor into a daemon that will be automatically killed once the simulation is over.
  59     |br| `examples/s4u/actor-daemon/s4u-actor-daemon.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-daemon/s4u-actor-daemon.cpp>`_
  60
  61 Inter-Actors Interactions
  62 -------------------------
  63
  64   - **Suspend and Resume actors:**
  65     Actors can be suspended and resumed during their executions thanks
  66     to :cpp:func:`simgrid::s4u::Actor::suspend()` and
  67     :cpp:func:`simgrid::s4u::Actor::resume()`.
  68     |br| `examples/s4u/actor-suspend/s4u-actor-suspend.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-suspend/s4u-actor-suspend.cpp>`_
  69
  70   - **Migrating Actors:**
  71     Actors can move or be moved from a host to another very easily.
  72     |br| |cpp| `examples/s4u/actor-migration/s4u-actor-migration.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-migration/s4u-actor-migration.cpp>`_
  73     :cpp:func:`simgrid::s4u::this_actor::migrate()` |cpp|
  74     |br|  |py| `examples/python/actor-migration/actor-migration.py <https://framagit.org/simgrid/simgrid/tree/master/examples/python/actor-migration/actor-migration.py>`_
  75     :py:func:`simgrid.this_actor.migrate()` |py|
  76
  77   - **Waiting for the termination of an actor:** (joining on it)
  78     :cpp:func:`simgrid::s4u::Actor::join()` allows to block the current
  79     actor until the end of the receiving actor.
  80     |br| `examples/s4u/actor-join/s4u-actor-join.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-join/s4u-actor-join.cpp>`_
  81
  82   - **Yielding to other actors**.
  83     The ```yield()``` function interrupts the execution of the current
  84     actor, leaving a chance to the other actors that are ready to run
  85     at this timestamp.
  86     |br| |cpp| `examples/s4u/actor-yield/s4u-actor-yield.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/actor-yield/s4u-actor-yield.cpp>`_
  87     :cpp:func:`simgrid::s4u::this_actor::yield()` |cpp|
  88     |br|  |py| `examples/python/actor-yield/actor-yield.py <https://framagit.org/simgrid/simgrid/tree/master/examples/python/actor-yield/actor-yield.py>`_
  89     :py:func:`simgrid.this_actor.yield_()` |py|
  90
  91 Traces Replay as a Workload
  92 ---------------------------
  93
  94 This section details how to run trace-driven simulations. It is very
  95 handy when you want to test an algorithm or protocol that only react
  96 to external events. For example, many P2P protocols react to user
  97 requests, but do nothing if there is no such event.
  98
  99 In such situations, you should write your protocol in C++, and separate
 100 the workload that you want to play onto your protocol in a separate
 101 text file. Declare a function handling each type of the events in your
 102 trace, register them using :cpp:func:`xbt_replay_action_register()` in
 103 your main, and then run the simulation.
 104
 105 Then, you can either have one trace file containing all your events,
 106 or a file per simulated process: the former may be easier to work
 107 with, but the second is more efficient on very large traces. Check
 108 also the tesh files in the example directories for details.
 109
 110   - **Communication replay:**
 111     Presents a set of event handlers reproducing classical communication
 112     primitives (asynchronous send/receive at the moment).
 113     |br| `examples/s4u/replay-comm/s4u-replay-comm.cpp  <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/replay-comm/s4u-replay-comm.cpp>`_
 114
 115   - **I/O replay:**
 116     Presents a set of event handlers reproducing classical I/O
 117     primitives (open, read, close).
 118     |br| `examples/s4u/replay-storage/s4u-replay-storage.cpp  <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/replay-storage/s4u-replay-storage.cpp>`_
 119
 120 ==========================
 121 Activities: what Actors do
 122 ==========================
 123
 124 Communications on the Network
 125 -----------------------------
 126
 127  - **Basic asynchronous communications:**
 128    Illustrates how to have non-blocking communications, that are
 129    communications running in the background leaving the process free
 130    to do something else during their completion. The main functions
 131    involved are :cpp:func:`simgrid::s4u::Mailbox::put_async()` and
 132    :cpp:func:`simgrid::s4u::Comm::wait()`.
 133    |br| `examples/s4u/async-wait/s4u-async-wait.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/async-wait/s4u-async-wait.cpp>`_
 134
 135  - **Waiting for all communications in a set:**
 136    The :cpp:func:`simgrid::s4u::Comm::wait_all()` function is useful
 137    when you want to block until all activities in a given set have
 138    completed.
 139    |br| `examples/s4u/async-waitall/s4u-async-waitall.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/async-waitall/s4u-async-waitall.cpp>`_
 140
 141  - **Waiting for the first completed communication in a set:**
 142    The :cpp:func:`simgrid::s4u::Comm::wait_any()` function is useful
 143    when you want to block until one activity of the set completes, no
 144    matter which terminates first.
 145    |br| `examples/s4u/async-waitany/s4u-async-waitany.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/async-waitany/s4u-async-waitany.cpp>`_
 146
 147 .. todo:: add the `ready` example here
 148
 149 .. _s4u_ex_execution:
 150
 151 Executions on the CPU
 152 ---------------------
 153
 154   - **Basic execution:**
 155     The computations done in your program are not reported to the
 156     simulated world, unless you explicitely request the simulator to pause
 157     the actor until a given amount of flops gets computed on its simulated
 158     host. Some executions can be given an higher priority so that they
 159     get more resources.
 160     |br| |cpp| `examples/s4u/exec-basic/s4u-exec-basic.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/exec-basic/s4u-exec-basic.cpp>`_
 161     |br|  |py| `examples/python/exec-basic/exec-basic.py <https://framagit.org/simgrid/simgrid/tree/master/examples/python/exec-basic/exec-basic.py>`_
 162
 163   - **Asynchronous execution:**
 164     You can start asynchronous executions, just like you would fire
 165     background threads.
 166     |br| `examples/s4u/exec-async/s4u-exec-async.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/exec-async/s4u-exec-async.cpp>`_
 167
 168   - **Monitoring asynchronous executions:**
 169     This example shows how to start an asynchronous execution, and
 170     monitor its status.
 171     |br| `examples/s4u/exec-monitor/s4u-exec-monitor.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/exec-monitor/s4u-exec-monitor.cpp>`_
 172
 173   - **Remote execution:**
 174     Before its start, you can change the host on which a given execution will occur.
 175     |br| `examples/s4u/exec-remote/s4u-exec-remote.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/exec-remote/s4u-exec-remote.cpp>`_
 176
 177   - **Using Pstates on a host:**
 178     Shows how define a set of pstatesfor a host in the XML, and how the current
 179     pstate can be accessed/changed with :cpp:func:`simgrid::s4u::Host::get_pstate_speed` and :cpp:func:`simgrid::s4u::Host::set_pstate`.
 180     |br| `examples/s4u/exec-dvfs/s4u-exec-dvfs.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/exec-dvfs/s4u-exec-dvfs.cpp>`_
 181     |br| `examples/platforms/energy_platform.xml <https://framagit.org/simgrid/simgrid/tree/master/examples/platforms/energy_platform.xml>`_
 182
 183   - **Parallel executions:**
 184     These objects are convenient abstractions of parallel
 185     computational kernels that span over several machines, such as a
 186     PDGEM and the other ScaLAPACK routines.
 187     |br| `examples/s4u/exec-ptask/s4u-exec-ptask.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/exec-ptask/s4u-exec-ptask.cpp>`_
 188
 189 I/O on Disks and Files
 190 ----------------------
 191
 192 SimGrid provides two levels of abstraction to interact with the
 193 simulated storages. At the simplest level, you simply create read and
 194 write actions on the storage resources.
 195
 196   - **Access to raw storage devices:**
 197     This example illustrates how to simply read and write data on a
 198     simulated storage resource.
 199     |br| `examples/s4u/io-storage-raw/s4u-io-storage-raw.cpp  <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/io-storage-raw/s4u-io-storage-raw.cpp>`_
 200
 201 The FileSystem plugin provides a more detailed view, with the
 202 classical operations over files: open, move, unlink, and of course
 203 read and write. The file and disk sizes are also dealt with and can
 204 result in short reads and short write, as in reality.
 205
 206   - **File Management:**
 207     This example illustrates the use of operations on files
 208     (read, write, seek, tell, unlink, etc).
 209     |br| `examples/s4u/io-file-system/s4u-io-file-system.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/io-file-system/s4u-io-file-system.cpp>`_
 210
 211   - **Remote I/O:**
 212     I/O operations on files can also be done in a remote fashion,
 213     i.e. when the accessed disk is not mounted on the caller's host.
 214     |br| `examples/s4u/io-file-remote/s4u-io-file-remote.cpp  <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/io-file-remote/s4u-io-file-remote.cpp>`_
 215
 216 Classical synchronization objects
 217 ---------------------------------
 218
 219  - **Mutex:**
 220    Shows how to use simgrid::s4u::Mutex synchronization objects.
 221    |br| `examples/s4u/synchro-mutex/s4u-synchro-mutex.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/synchro-mutex/s4u-synchro-mutex.cpp>`_
 222
 223  - **Barrier:**
 224    Shows how to use simgrid::s4u::Barrier synchronization objects.
 225    |br| `examples/s4u/synchro-barrier/s4u-synchro-barrier.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/synchro-barrier/s4u-synchro-barrier.cpp>`_
 226
 227  - **Semaphore:**
 228    Shows how to use simgrid::s4u::Semaphore synchronization objects.
 229    |br| `examples/s4u/synchro-semaphore/s4u-synchro-semaphore.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/synchro-semaphore/s4u-synchro-semaphore.cpp>`_
 230
 231 =============================
 232 Interacting with the Platform
 233 =============================
 234
 235  - **Retrieving the list of hosts matching a given criteria:**
 236    Shows how to filter the actors that match a given criteria.
 237    |br| `examples/s4u/engine-filtering/s4u-engine-filtering.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/engine-filtering/s4u-engine-filtering.cpp>`_
 238
 239  - **User-defined properties:**
 240    You can attach arbitrary information to most platform elements from
 241    the XML file, and then interact with these values from your
 242    program. Note that the changes are not written permanently on disk,
 243    in the XML file nor anywhere else. They only last until the end of
 244    your simulation.
 245
 246    - :cpp:func:`simgrid::s4u::Actor::get_property()` and :cpp:func:`simgrid::s4u::Actor::set_property()`
 247    - :cpp:func:`simgrid::s4u::Host::get_property()` and :cpp:func:`simgrid::s4u::Host::set_property()`
 248    - :cpp:func:`simgrid::s4u::Link::get_property()` and :cpp:func:`simgrid::s4u::Link::set_property()`
 249    - :cpp:func:`simgrid::s4u::NetZone::get_property()` and :cpp:func:`simgrid::s4u::NetZone::set_property()`
 250
 251    |br| `examples/s4u/platform-properties/s4u-platform-properties.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/platform-properties/s4u-platform-properties.cpp>`_
 252    |br| `examples/s4u/platform-properties/s4u-platform-properties_d.xml <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/platform-properties/s4u-platform-properties_d.xml>`_
 253    |br| `examples/platforms/prop.xml <https://framagit.org/simgrid/simgrid/tree/master/examples/platforms/prop.xml>`_
 254
 255 =================
 256 Energy Simulation
 257 =================
 258
 259   - **Describing the energy profiles in the platform:**
 260     This platform file contains the energy profile of each links and
 261     hosts, which is necessary to get energy consumption predictions.
 262     As usual, you should not trust our example, and you should strive
 263     to double-check that your instanciation matches your target platform.
 264     |br| `examples/platforms/energy_platform.xml <https://framagit.org/simgrid/simgrid/tree/master/examples/platforms/energy_platform.xml>`_
 265
 266   - **Consumption due to the CPU:**
 267     This example shows how to retrieve the amount of energy consumed
 268     by the CPU during computations, and the impact of the pstate.
 269     |br| `examples/s4u/energy-exec/s4u-energy-exec.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/energy-exec/s4u-energy-exec.cpp>`_
 270
 271   - **Consumption due to the network:**
 272     This example shows how to retrieve and display the energy consumed
 273     by the network during communications.
 274     |br| `examples/s4u/energy-link/s4u-energy-link.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/energy-link/s4u-energy-link.cpp>`_
 275
 276   - **Modeling the shutdown and boot of hosts:**
 277     Simple example of model of model for the energy consumption during
 278     the host boot and shutdown periods.
 279     |br| `examples/s4u/energy-boot/platform_boot.xml <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/energy-boot/platform_boot.xml>`_
 280     |br| `examples/s4u/energy-boot/s4u-energy-boot.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/energy-boot/s4u-energy-boot.cpp>`_
 281
 282 =======================
 283 Tracing and Visualizing
 284 =======================
 285
 286 Tracing can be activated by various configuration options which
 287 are illustrated in these example. See also the
 288 :ref:`full list of options related to tracing <tracing_tracing_options>`.
 289
 290 It is interesting to run the process-create example with the following
 291 options to see the task executions:
 292
 293   - **Platform Tracing:**
 294     This program is a toy example just loading the platform, so that
 295     you can play with the platform visualization. Recommanded options:
 296     ``--cfg=tracing:yes --cfg=tracing/categorized:yes``
 297     |br| `examples/s4u/trace-platform/s4u-trace-platform.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/trace-platform/s4u-trace-platform.cpp>`_
 298
 299 ========================
 300 Larger SimGrid Examplars
 301 ========================
 302
 303 This section contains application examples that are somewhat larger
 304 than the previous examples.
 305
 306   - **Ping Pong:**
 307     This simple example just sends one message back and forth.
 308     The tesh file laying in the directory show how to start the simulator binary, highlighting how to pass options to
 309     the simulators (as detailed in Section :ref:`options`).
 310     |br| `examples/s4u/app-pingpong/s4u-app-pingpong.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/app-pingpong/s4u-app-pingpong.cpp>`_
 311
 312   - **Token ring:**
 313     Shows how to implement a classical communication pattern, where a
 314     token is exchanged along a ring to reach every participant.
 315     |br| `examples/s4u/app-token-ring/s4u-app-token-ring.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/app-token-ring/s4u-app-token-ring.cpp>`_
 316
 317   - **Master Workers:**
 318     Another good old example, where one Master process has a bunch of task to dispatch to a set of several Worker
 319     processes. This example comes in two equivalent variants, one
 320     where the actors are specified as simple functions (which is easier to
 321     understand for newcomers) and one where the actors are specified
 322     as classes (which is more powerful for the users wanting to build
 323     their own projects upon the example).
 324     |br| `examples/s4u/app-masterworkers/s4u-app-masterworkers-class.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/app-masterworkers/s4u-app-masterworkers-class.cpp>`_
 325     |br| `examples/s4u/app-masterworkers/s4u-app-masterworkers-fun.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/app-masterworkers/s4u-app-masterworkers-fun.cpp>`_
 326
 327 Data diffusion
 328 --------------
 329
 330   - **Bit Torrent:**
 331     Classical protocol for Peer-to-Peer data diffusion.
 332     |br| `examples/s4u/app-bittorrent/s4u-bittorrent.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/app-bittorrent/s4u-bittorrent.cpp>`_
 333
 334   - **Chained Send:**
 335     Data broadcast over a ring of processes.
 336     |br| `examples/s4u/app-chainsend/s4u-app-chainsend.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/app-chainsend/s4u-app-chainsend.cpp>`_
 337
 338 Distributed Hash Tables (DHT)
 339 -----------------------------
 340
 341   - **Chord Protocol**
 342     One of the most famous DHT protocol.
 343     |br| `examples/s4u/dht-chord/s4u-dht-chord.cpp <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/dht-chord/s4u-dht-chord.cpp>`_
 344
 345 .. TODO:: document here the examples about plugins
 346
 347 .. |br| raw:: html
 348
 349    <br />
 350
 351 .. |cpp| image:: /img/lang_cpp.png
 352    :align: middle
 353    :width: 12
 354
 355 .. |py| image:: /img/lang_python.png
 356    :align: middle
 357    :width: 12