Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
021adbe2bba86386bccba07dac81294d503bae1f
[simgrid.git] / doc / doxygen / platform.doc
1 /*! \page platform Platform Description
2
3 @tableofcontents
4
5 In order to run any simulation, SimGrid must be provided with three things:
6 something to run (i.e., your code), a description of the platform on which you
7 want to simulate your application and lastly information about the deployment
8 process: Which process should be deployed to which processor/core?
9
10 For the last two items, there are essentially two possible ways you can provide
11 this information as an input:
12 \li You can program it, either by using the Lua console (
13     \ref MSG_Lua_funct) or, if you're using MSG, some of MSG's platform and
14     deployment functions (\ref msg_simulation). If you want to use this,
15     check the particular documentation. (You can also check the section
16     \ref pf_flexml_bypassing, however, this documentation is deprecated;
17     there is a new, but undocumented, way to do it properly).
18 \li You can use two XML files: one contains the platform description while
19     the other contains the deployment instructions.
20
21 For more information on SimGrid's deployment features, please refer to
22 the \ref deployment documentation.
23
24 The platform description may be intricate. This documentation is all
25 about how to write this file: The basic concepts are introduced. Furthermore,
26 advanced options are explained. Additionally, some hints and tips on how to
27 write a good platform description are given.
28
29 \section pf_overview Some words about XML and DTD
30
31 We chose to use XML not only because it's extensible but also because many
32 tools (and plugins for existing tools) are available that facilitate editing and
33 validating XML files. Furthermore, libraries that parse XML are often already
34 available and very well tested.
35
36 The XML checking is done based on the Document Type Definition (DTD) file,
37 available at
38 <a href="http://simgrid.gforge.inria.fr/simgrid.dtd">http://simgrid.gforge.inria.fr/simgrid.dtd</a>.
39
40 If you read the DTD, you should notice the following:
41 \li The platform tags contain a version attribute; the current version is 3.
42     This property might be used in the future to provide backwards
43     compatibility.
44 \li The DTD contains definitions for the two files used by SimGrid (i.e.,
45     platform description and deployment).
46
47 \section pf_basics Basic concepts
48
49 Nowadays, the Internet is composed of a bunch of independently managed
50 networks. Within each of those networks, there are entry and exit
51 points (most of the time, you can both enter and exit through the same
52 point); this allows to leave the current network and reach other
53 networks, possibly even in other locations.
54 At the upper level, such a network is called
55 <b>Autonomous System (AS)</b>, while at the lower level it is named
56 sub-network, or LAN (local area network).
57 They are indeed autonomous: routing is defined
58 (within the limits of his network) by the administrator, and so, those
59 networks can operate without a connection to other
60 networks. So-called gateways allow you to go from one network to
61 another, if such a (physical) connection exists. Every node in one network
62 that can be directly reached (i.e., without traversing other nodes) from
63 another network is called a gateway.
64 Each autonomous system consists of equipment such as cables (network links),
65 routers and switches as well as computers.
66
67 The structure of the SimGrid platform description relies exactly on the same
68 concept as a real-life platform (see above).  Every resource (computers,
69 network equipment etc.) belongs to an AS, which can be defined by using the
70 \<AS\> tag. Within an AS, the routing between its elements can be defined
71 abitrarily. There are several modes for routing, and exactly one mode must be
72 selected by specifying the routing attribute in the AS tag:
73
74 \verbatim
75 <AS id="AS0" routing="Full">
76 \endverbatim
77
78 \remark
79 Other supported values for the routing attribute can be found below, Section
80 \ref pf_raf.
81 \endremark
82
83 There is also the ``<route>`` tag; this tag takes two attributes, ``src`` (source)
84 and ``dst`` (destination). Both source and destination must be valid identifiers
85 for routers (these will be introduced later). Contained by the ``<route>`` are
86 network links; these links must be used in order to communicate from the source
87 to the destination specified in the tag. Hence, a route merely describes
88 how to reach a router from another router.
89
90 \remark
91 More information and (code-)examples can be found in the Section \ref pf_rm.
92 \endremark
93
94 An AS can also contain one or more AS; this allows you to
95 define the hierarchy of your platform.
96
97 Within each AS, the following types of resources exist:
98 \li <b>host</b>: a hostmachine; contains processors/cores etc.
99 \li <b>router</b>: a router or a gateway.
100 \li <b>link</b>: a link that defines a connection between two (or
101     more) resources. Every link has a bandwidth and a latency.
102 \li <b>cluster</b>: like a real cluster, contains many hosts
103     interconnected by some dedicated network. Each cluster is itself an AS.
104
105 Between these elements, a routing has to be defined. The AS is
106 supposed to be Autonomous, hence this has to be done at the AS level. The AS
107 handles two different types of entities (<b>host/router</b> and
108 <b>AS</b>); you are responsible to define routes between those elements,
109 otherwise entities will be unconnected and therefore unreachable from other
110 entities. Although several algorithms for routing are built into SimGrid (see
111 \ref pf_rm), you might encounter a case where you want to define
112 routes manually (for instance, due to specific requirements of your
113 platform).
114
115 There are three tags to use:
116 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
117 \li <b>route</b>: to define routes between two <b>host/router</b>
118 \li <b>bypassRoute</b>: to define routes between two <b>AS</b> that
119     will bypass default routing (as specified by the ``routing`` attribute
120     supplied to ``<AS>``, see above).
121
122 Here is an illustration of these concepts:
123
124 ![An illustration of an AS hierarchy. Here, AS1 contains 5 other AS' who in turn may contain other AS' as well.](AS_hierarchy.png)
125  Circles represent processing units and squares represent network routers. Bold
126     lines represent communication links. AS2 models the core of a national
127     network interconnecting a small flat cluster (AS4) and a larger
128     hierarchical cluster (AS5), a subset of a LAN (AS6), and a set of peers
129     scattered around the world (AS7).
130
131 \section pf_pftags Resource description
132
133 \subsection  pf_As Platform: The \<AS\> tag
134
135 The concept of an AS was already outlined above (Section \ref pf_basics);
136 recall that the AS is so important because it groups other resources (such
137 as routers/hosts) together (in fact, these resources must be contained by
138 an AS).
139
140 Available attributes :
141
142 Attribute name  | Mandatory | Values | Description
143 --------------- | --------- | ------ | -----------
144 id              | yes       | String | The identifier of an AS; facilitates referring to this AS. ID must be unique.
145 routing         | yes       | Full\| Floyd\| Dijkstra\| DijkstraCache\| none\| Vivaldi\| Cluster | See Section \ref pf_rm for details.
146
147
148 <b>Example:</b>
149 \verbatim
150 <AS id="AS0" routing="Full">
151    <host id="host1" power="1000000000"/>
152    <host id="host2" power="1000000000"/>
153    <link id="link1" bandwidth="125000000" latency="0.000100"/>
154    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
155 </AS>
156 \endverbatim
157
158 In this example, AS0 contains two hosts (host1 and host2). The route
159 between the hosts goes through link1.
160
161 \subsection pf_Cr Computing resources: hosts, clusters and peers.
162
163 \subsubsection pf_host The tag <host/>
164
165 A <b>host</b> represents a computer/node card. Every host is able to execute
166 code and it can send and receive data to/from other hosts. Most importantly,
167 a host can contain more than 1 core.
168
169 ### Attributes: ###
170
171 Attribute name  | Mandatory | Values | Description
172 --------------- | --------- | ------ | -----------
173 id              | yes       | String | The identifier of the host. facilitates referring to this AS.
174 power           | yes       | double (must be > 0.0) | Computational power of every core of this host in FLOPS. Must be larger than 0.0.
175 core            | no        | int (Default: 1) | The number of cores of this host. If more than one core is specified, the "power" parameter refers to every core, i.e., the total computational power is #cores*power.<br /> If 6 cores are specified, up to 6 tasks can be executed without sharing the computational power; if more than 6 tasks are executed, computational power will be shared among these tasks. <br /> <b>Warning:</b> Although functional, this model was never scientifically assessed.
176 availability    | no        | int    | <b>Specify if the percentage of power available.</b> (What? TODO)
177 availability_file| no       | string | (Relative or absolute) filename to use as input; must contain availability traces for this host. The syntax of this file is defined below. <br /> <b>Note:</b> The filename must be specified with your system's format.
178 state           | no        | ON\|OFF<br/> (Default: ON) | Is this host running or not?
179 state_file      | no        | string |  Same mechanism as availability_file.<br /> <b>Note:</b> The filename must be specified with your system's format.
180 coordinates     | no        | string | Must be provided when choosing the Vivaldi, coordinate-based routing model for the AS the host belongs to. More details can be found in the Section \ref pf_P2P_tags.
181
182 ### Possible children: ###
183
184 Tag name        | Description | Documentation
185 ------------    | ----------- | -------------
186 <mount/>        | Defines mounting points between some storage resource and the host. | \ref pf_sto_mo
187 <prop/>         | The prop tag allows you to define additional information on this host following the attribute/value schema. You may want to use it to give information to the tool you use for rendering your simulation, for example. | N/A
188
189 ### Example ###
190
191 \verbatim
192    <host id="host1" power="1000000000"/>
193    <host id="host2" power="1000000000">
194         <prop id="color" value="blue"/>
195         <prop id="rendershape" value="square"/>
196    </host>
197 \endverbatim
198
199
200 \anchor pf_host_dynamism
201 ### Expressing dynamism ###
202
203 SimGrid provides mechanisms to change a hosts' availability over
204 time, using the ``availability_file`` attribute to the ``<host>`` tag
205 and a separate text file whose syntax is exemplified below.
206
207 #### Adding a trace file ####
208
209 \verbatim
210 <platform version="1">
211   <host id="bob" power="500000000" availability_file="bob.trace" />
212 </platform>
213 \endverbatim
214
215 #### Example of "bob.trace" file ####
216
217 ~~~~~~~~~~~~~~{.py}
218 PERIODICITY 1.0
219   0.0 1.0
220   11.0 0.5
221   20.0 0.8
222 ~~~~~~~~~~~~~~
223
224 Let us begin to explain this example by looking at line 2. (Line 1 will become clear soon).
225 The first column describes points in time, in this case, time 0. The second column
226 describes the relative amount of power this host is able to deliver (relative
227 to the maximum performance specified in the ``<host>`` tag). (Clearly, the
228 second column needs to contain values that are not smaller than 0 and not larger than 1).
229 In this example, our host will deliver 500 Mflop/s at time 0, as 500 Mflop/s is the
230 maximum performance of this host. At time 11.0, it will
231 deliver half of its maximum performance, i.e., 250 Mflop/s until time 20.0 when it will
232 will start delivering 80\% of its power. In this example, this amounts to 400 Mflop/s.
233
234 Since the periodicity in line 1 was set to be 1.0, i.e., 1 timestep, this host will
235 continue to provide 500 Mflop/s from time 21. From time 32 it will provide 250 MFlop/s and so on.
236
237 ### Changing initial state ###
238
239 It is also possible to specify whether the host is up or down by setting the
240 ``state`` attribute to either <b>ON</b> (default value) or <b>OFF</b>.
241
242 #### Example: Expliciting the default value "ON" ####
243
244 \verbatim
245 <platform version="1">
246    <host id="bob" power="500000000" state="ON" />
247 </platform>
248 \endverbatim
249
250 If you want this host to be unavailable, simply substitute ON with OFF.
251
252 ### Expressing churn ###
253
254 To express the fact that a host can change state over time (as in P2P
255 systems, for instance), it is possible to use a file describing the time
256 at which the host is turned on or off. An example of the content
257 of such a file is presented below.
258
259 #### Adding a state file ####
260
261 \verbatim
262 <platform version="1">
263   <host id="bob" power="500000000" state_file="bob.fail" />
264 </platform>
265 \endverbatim
266
267 #### Example of "bob.fail" file ####
268
269 ~~~{.py}
270   PERIODICITY 10.0
271   1.0 -1.0
272   2.0 1.0
273 ~~~
274
275 A negative value means <b>down</b> (i.e., OFF) while a positive one means <b>up and
276   running</b> (i.e., ON). From time 0.0 to time 1.0, the host is on. At time 1.0, it is
277 turned off and at time 2.0, it is turned on again until time 12 (2.0 plus the
278 periodicity 10.0). It will be turned on again at time 13.0 until time 23.0, and
279 so on.
280
281
282
283 \subsubsection pf_cluster <cluster>
284
285 ``<cluster />`` represents a machine-cluster. It is most commonly used
286 when one wants to define many hosts and a network quickly. Technically,
287 ``cluster`` is a meta-tag: <b>from the inner SimGrid point of
288 view, a cluster is an AS where some optimized routing is defined</b>.
289 The default inner organization of the cluster is as follow:
290
291 \verbatim
292                  __________
293                 |          |
294                 |  router  |
295     ____________|__________|_____________ backbone
296       |   |   |              |     |   |
297     l0| l1| l2|           l97| l96 |   | l99
298       |   |   |   ........   |     |   |
299       |                                |
300     c-0.me                             c-99.me
301 \endverbatim
302
303 Here, a set of <b>host</b>s is defined. Each of them has a <b>link</b>
304 to a central backbone (backbone is a link itself, as a link can
305 be used to represent a switch, see the switch / link section
306 below for more details about it). A <b>router</b> allows to connect a
307 <b>cluster</b> to the outside world. Internally,
308 SimGrid treats a cluster as an AS containing all hosts: the router is the default
309 gateway for the cluster.
310
311 There is an alternative organization, which is as follows:
312 \verbatim
313                  __________
314                 |          |
315                 |  router  |
316                 |__________|
317                     / | \
318                    /  |  \
319                l0 / l1|   \l2
320                  /    |    \
321                 /     |     \
322             host0   host1   host2
323 \endverbatim
324
325 The principle is the same, except that there is no backbone. This representation
326 can be obtained easily: just do not set the bb_* attributes.
327
328
329 Attribute name  | Mandatory | Values | Description
330 --------------- | --------- | ------ | -----------
331 id              | yes       | string | The identifier of the cluster. Facilitates referring to this cluster.
332 prefix          | yes       | string | Each node of the cluster has to have a name. This name will be prefixed with this prefix.
333 suffix          | yes       | string | Each node of the cluster will be suffixed with this suffix
334 radical         | yes       | string | Regexp used to generate cluster nodes name. Syntax: "10-20" will give you 11 machines numbered from 10 to 20, "10-20;2" will give you 12 machines, one with the number 2, others numbered as before. The produced number is concatenated between prefix and suffix to form machine names.
335 power           | yes       | int    | Same as the ``power`` attribute of the ``<host>`` tag.
336 core            | no        | int (default: 1) | Same as the ``core`` attribute of the ``<host>`` tag.
337 bw              | yes       | int    | Bandwidth for the links between nodes and backbone (if any). <b>See <b>link</b> section for syntax/details.</b>
338 lat             | yes       | int    | Latency for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
339 sharing_policy  | no        | string | Sharing policy for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
340 bb_bw           | no        | int    | Bandwidth for backbone (if any). See <b>link</b> section for syntax/details. If bb_bw and bb_lat (see below) attributes are omitted, no backbone is created (alternative cluster architecture <b>described before</b>).
341 bb_lat          | no        | int    | Latency for backbone (if any). See <b>link</b> section for syntax/details. If bb_lat and bb_bw (see above) attributes are omitted, no backbone is created (alternative cluster architecture <b>described before</b>).
342 bb_sharing_policy | no      | string | Sharing policy for the backbone (if any). See <b>link</b> section for syntax/details.
343 availability_file | no      | string | Allows you to use a file as input for availability. Similar to <b>hosts</b> attribute.
344 state_file        | no      | string | Allows you to use a file as input for states.  Similar to <b>hosts</b> attribute.
345 loopback_bw       | no      | int    | Bandwidth for loopback (if any). See <b>link</b> section for syntax/details. If loopback_bw and loopback_lat (see below) attributes are omitted, no loopback link is created and all intra-node communication will use the main network link of the node. Loopback link is a <b>FATPIPE</b>.
346 loopback_lat      | no      | int    | Latency for loopback (if any). See <b>link</b> section for syntax/details. See loopback_bw for more info.
347 topology          | no      | FLAT\|TORUS\|FAT_TREE (default: FLAT) | Network topology to use. SimGrid currently supports FLAT (with or without backbone, as described before), <a href="http://en.wikipedia.org/wiki/Torus_interconnect">TORUS </a> and FAT_TREE attributes for this tag.
348 topo_parameters   | no      | string | Specific parameters to pass for the topology defined in the topology tag. For torus networks, comma-separated list of the number of nodes in each dimension of the torus. For fat trees, refer to \ref AsClusterFatTree "AsClusterFatTree documentation".
349
350 TODO
351
352 the router name is defined as the resulting String in the following
353 java line of code:
354
355 @verbatim
356 router_name = prefix + clusterId + _router + suffix;
357 @endverbatim
358
359
360 #### Cluster example ####
361
362 Consider the following two (and independent) uses of the ``cluster`` tag:
363
364 \verbatim
365 <cluster id="my_cluster_1" prefix="" suffix="" radical="0-262144"
366          power="1e9" bw="125e6" lat="5E-5"/>
367
368 <cluster id="my_cluster_2" prefix="c-" suffix=".me" radical="0-99"
369          power="1e9" bw="125e6" lat="5E-5"
370          bb_bw="2.25e9" bb_lat="5E-4"/>
371 \endverbatim
372
373 The second example creates one router and 100 machines with the following names:
374 \verbatim
375 c-my_cluster_2_router.me
376 c-0.me
377 c-1.me
378 c-2.me
379 ...
380 c-99.me
381 \endverbatim
382
383 \subsubsection pf_peer <peer/>
384
385 This tag represents a peer, as in Peer-to-Peer (P2P) networks. However, internally,
386 SimGrid transforms a peer into an AS (similar to Cluster). Hence, this tag
387 is virtually only a shortcut that comes with some pre-defined resources
388 and values. These are:
389
390 \li A tiny AS whose routing type is cluster is created
391 \li A host
392 \li Two links: One for download and one for upload. This is
393     convenient to use and simulate stuff under the last mile model (e.g., ADSL peers).
394 \li It connects the two links to the host
395 \li It creates a router (a gateway) that serves as an entry point for this peer zone.
396     This router has coordinates.
397
398 #### Attributes ####
399
400 Attribute name  | Mandatory | Values | Description
401 --------------- | --------- | ------ | -----------
402 id              | yes       | string | The identifier of the peer. Facilitates referring to this peer.
403 power           | yes       | int    | See the description of the ``host`` tag for this attribute
404 bw_in           | yes       | int    | Bandwidth downstream
405 bw_out          | yes       | int    | Bandwidth upstream
406 lat             | yes       | double | Latency for both up- and downstream, in seconds.
407 coordinates     | no        | string | Coordinates of the gateway for this peer. Example value: 12.8 14.4 6.4
408 sharing_policy  | no        | SHARED\|FULLDUPLEX (default: FULLDUPLEX) | Sharing policy for links. See <b>link</b> description for details.
409 availability_file| no       | string | Availability file for the peer. Same as host availability file. See <b>host</b> description for details.
410 state_file      | no        | string | State file for the peer. Same as host state file. See <b>host</b> description for details.
411
412 Internally, SimGrid transforms any ``<peer/>`` construct such as
413 \verbatim
414 <peer id="FOO"
415   coordinates="12.8 14.4 6.4"
416   power="1.5Gf"
417   bw_in="2.25GBps"
418   bw_out="2.25GBps"
419   lat="500us" />
420 \endverbatim
421 into an ``<AS>`` (see Sections \ref pf_basics and \ref pf_As). In fact, this example of the ``<peer/>`` tag
422 is completely equivalent to the following declaration:
423
424 \verbatim
425 <AS id="as_FOO" routing="Cluster">
426    <host id="peer_FOO" power="1.5Gf"/>
427    <link id="link_FOO_UP" bandwidth="2.25GBps" latency="500us"/>
428    <link id="link_FOO_DOWN" bandwidth="2.25GBps" latency="500us"/>
429    <router id="router_FOO" coordinates="25.5 9.4 1.4"/>
430    <host_link id="peer_FOO" up="link_FOO_UP" down="link_FOO_DOWN"/>
431 </AS>
432 \endverbatim
433
434
435 \subsection pf_ne Network equipments: links and routers
436
437 There are two tags available to represent network entities:
438 1. ``<link>``: Represents a entity that has a limited bandwidth, a
439     latency, and that can be shared according to TCP way to share this
440     bandwidth.
441 \remark
442 The concept of links in SimGrid may not be intuitive, as links are not limited
443 to connecting (exactly) two entities; in fact, you can have more than two equipments
444 connected to it. (In graph theoretical terms: A link in SimGrid is not an edge,
445 but a hyperedge)
446 \endremark
447
448 2. ``<router/>``: Represents an entity that a message can be routed
449     to, but that is unable to execute any code. In SimGrid, routers have also
450     no impact on the performance: Routers do not limit any bandwidth nor
451     do they increase latency. As a matter of fact, routers are (almost) ignored
452     by the simulator when the simulation has begun.
453
454 \remark
455     If you want to represent an entity like a switch, you must use ``<link>`` (see section). Routers are used
456     to run some routing algorithm and determine routes (see Section \ref pf_routing for details).
457 \endremark
458
459 \subsubsection pf_router <router/>
460
461 %As said before, <b>router</b> is used only to give some information
462 for routing algorithms. So, it does not have any attributes except :
463
464 #### Attributes ####
465
466 Attribute name  | Mandatory | Values | Description
467 --------------- | --------- | ------ | -----------
468 id              | yes       | string | The identifier of the router to be used when referring to it.
469 coordinates     | yes       | string | Must be provided when choosing the Vivaldi, coordinate-based routing model for the AS the router belongs to. More details can be found in the Section \ref pf_P2P_tags.
470
471 #### Example ####
472
473 \verbatim
474  <router id="gw_dc1_horizdist"/>
475 \endverbatim
476
477 \subsubsection pf_link <link>
478
479 Network links can represent one-hop network connections. They are
480 characterized by their id and their bandwidth; links can (but may not) be subject
481 to latency.
482
483 #### Attributes ####
484
485 Attribute name  | Mandatory | Values | Description
486 --------------- | --------- | ------ | -----------
487 id              | yes       | string | The identifier of the link to be used when referring to it.
488 bandwidth       | yes       | int    | Maximum bandwidth for this link, given in bytes/s
489 latency         | no        | double (default: 0.0) | Latency for this link.
490 sharing_policy  | no        | SHARED\|FATPIPE\|FULLDUPLEX (default: SHARED) | Sharing policy for the link.
491 state           | no        | ON\|OFF (default: ON) | Allows you to to turn this link on or off (working / not working)
492 bandwidth_file  | no        | string | Allows you to use a file as input for bandwidth.
493 latency_file    | no        | string | Allows you to use a file as input for latency.
494 state_file      | no        | string | Allows you to use a file as input for states.
495
496
497 #### Possible shortcuts for ``latency`` ####
498
499 When using the latency attribute, you can specify the latency by using the scientific
500 notation or by using common abbreviations. For instance, the following three tags
501 are equivalent:
502
503 \verbatim
504  <link id="LINK1" bandwidth="125000000" latency="5E-6"/>
505  <link id="LINK1" bandwidth="125000000" latency="5us"/>
506  <link id="LINK1" bandwidth="125000000" latency="0.000005"/>
507 \endverbatim
508
509 Here, the second tag uses "us", meaning "microseconds". Other shortcuts are:
510
511 Name | Abbreviation | Time (in seconds)
512 ---- | ------------ | -----------------
513 Week | w | 7 * 24 * 60 * 60
514 Day  | d | 24 * 60 * 60
515 Hour | h | 60 * 60
516 Minute | m | 60
517 Second | s | 1
518 Millisecond | ms | 0.001 = 10^(-3)
519 Microsecond | us | 0.000001 = 10^(-6)
520 Nanosecond  | ns | 0.000000001 = 10^(-9)
521 Picosecond  | ps | 0.000000000001 = 10^(-12)
522
523 #### Sharing policy ####
524
525 By default a network link is SHARED, i.e., if two or more data flows go
526 through a link, the bandwidth is shared fairly among the data flows. This
527 is similar to the sharing policy TCP uses.
528
529 On the other hand, if a link is defined as a FATPIPE,
530 each flow going through this link will be allocated the complete bandwidth,
531 i.e., no sharing occurs and the bandwidth is only limiting single flows:
532 The complete bandwidth provided by this link in this mode
533 is ``#flows*bandwidth``.
534
535 The last mode available is FULLDUPLEX. This means that SimGrid will
536 automatically generate two links (one carrying the suffix _UP and the other the
537 suffix _DOWN) for each ``<link>`` tag. This models situations when the direction
538 of traffic is important.
539
540 \remark
541 Transfers from one side to the other will interact similarly as
542 TCP when ACK returning packets circulate on the other direction. More
543 discussion about it is available in the description of link_ctn description.
544 \endremark
545
546 In other words: The SHARED policy defines a physical limit for the bandwidth.
547 The FATPIPE mode defines a limit for each application,
548 with no upper total limit.
549
550 \remark
551 Tip: By using the FATPIPE mode, you can model big backbones that
552 won't affect performance (except latency).
553 \endremark
554
555 #### Example ####
556
557 \verbatim
558  <link id="SWITCH" bandwidth="125000000" latency="5E-5" sharing_policy="FATPIPE" />
559 \endverbatim
560
561 #### Expressing dynamism and failures ####
562
563 Similar to hosts, it is possible to declare links whose state, bandwidth
564 or latency changes over time (see Section \ref pf_hosts_dynamism for details).
565
566 In the case of network links, the ``bandwidth`` and ``latency`` attributes are
567 replaced by the ``bandwidth_file`` and ``latency_file`` attributes.
568 The following XML snippet demonstrates how to use this feature in the platform
569 file. The structure of the files "link1.bw" and "link1.lat" is shown below.
570
571 \verbatim
572 <link id="LINK1" state_file="link1.fail" bandwidth="80000000" latency=".0001" bandwidth_file="link1.bw" latency_file="link1.lat" />
573 \endverbatim
574
575 \note
576 Even if the syntax is the same, the semantic of bandwidth and latency
577 trace files differs from that of host availability files. For bandwidth and
578 latency, the corresponding files do not
579 express availability as a fraction of the available capacity but directly in
580     bytes per seconds for the bandwidth and in seconds for the latency. This is
581 because most tools allowing to capture traces on real platforms (such as NWS)
582     express their results this way.
583     \endnote
584
585 ##### Example of "link1.bw" file #####
586
587 ~~~{.py}
588 PERIODICITY 12.0
589 4.0 40000000
590 8.0 60000000
591 ~~~
592
593 In this example, the bandwidth changes repeatedly, with all changes
594 being repeated every 12 seconds.
595
596 At the beginning of the the simulation, the link's bandwidth is 80,000,000
597 B/s (i.e., 80 Mb/s); this value was defined in the XML snippet above.
598 After four seconds, it drops to 40 Mb/s (line 2), and climbs
599 back to 60 Mb/s after another 4 seconds (line 3). The value does not change any
600 more until the end of the period, that is, after 12 seconds have been simulated).
601 At this point, periodicity kicks in and this behavior is repeated: Seconds
602 12-16 will experience 80 Mb/s, 16-20 40 Mb/s etc.).
603
604 ##### Example of "link1.lat" file #####
605
606 ~~~{.py}
607 PERIODICITY 5.0
608 1.0 0.001
609 2.0 0.01
610 3.0 0.001
611 ~~~
612
613 In this example, the latency varies with a period of 5 seconds.
614 In the xml snippet above, the latency is initialized to be 0.0001s (100µs). This
615 value will be kept during the first second, since the latency_file contains
616 changes to this value at second one, two and three.
617 At second one, the value will be 0.001, i.e., 1ms. One second later it will
618 be adjusted to 0.01 (or 10ms) and one second later it will be set again to 1ms. The
619 value will not change until second 5, when the periodicity defined in line 1
620 kicks in. It then loops back, starting at 100µs (the initial value) for one second.
621
622
623 #### The ``<prop/>`` tag ####
624
625 Similar to ``<host>``, the link may also contain the ``<prop/>`` tag; see the host
626 documentation (Section \ref pf_host) for an example.
627
628
629 TODO
630
631 \subsection pf_storage Storage
632
633 \note
634 This is a prototype version that should evolve quickly, this
635 is just some doc valuable only at the time of writing this doc</b>
636 This section describes the storage management under SimGrid ; nowadays
637 it's only usable with MSG. It relies basically on linux-like concepts.
638 You also may want to have a look to its corresponding section in \ref
639 msg_file_management ; functions access are organized as a POSIX-like
640 interface.
641 \endnote
642
643 \subsubsection pf_sto_conc Storage Main concepts
644 Basically there is 3 different entities to know :
645 \li the <b>storage_type</b>: here you define some kind of storage that
646     you will instantiate many type on your platform. Think of it like
647     a definition of throughput of a specific disk.
648 \li the <b>storage</b>: instance of a <b>storage_type</b>. Defines a
649     new storage of <b>storage_type</b>
650 \li the <b>mount</b>: says that the storage is located into this
651     specific resource.
652
653 the content of a storage has to be defined in a content file that
654 contains the content. The path to this file has to be passed within
655 the <b>content</b> attribute . Here is a way to generate it:
656
657 \verbatim
658 find /path/you/want -type f -exec ls -l {} \; 2>/dev/null > ./content.txt
659 \endverbatim
660
661 \subsubsection pf_sto_sttp storage_type
662
663
664 <b>storage_type</b> attributes :
665 \li <b>id (mandatory)</b>: the identifier of the storage_type to be
666     used when referring to it.
667 \li <b>model (mandatory)</b>: Unused for now by the simulator (but
668     mandatory, ok)
669 \li <b>content</b>: default value 0. The file containing the disk
670     content. (may be moved soon or later to <b>storage</b> tag.
671
672 The tag must contains some predefined model prop, as may do some other
673 resources tags.
674 <b>storage_type</b> mandatory <b>model_prop</b> :
675 \li <b>Bwrite</b>: value in B/s. Write throughput
676 \li <b>Bread</b>: value in B/s. Read throughput
677 \li <b>Bconnexion</b>: value in B/s. Connection throughput (i.e. the
678     throughput of the storage connector).
679
680 A storage_type can also contain the <b>prop</b> tag. The prop tag allows you
681 to define additional information on this storage_type following the
682 attribute/value schema. You may want to use it to give information to
683 the tool you use for rendering your simulation, for example.
684
685 \verbatim
686 <storage_type id="single_HDD" model="linear_no_lat" size="4000" content_type="txt_unix">
687   <model_prop id="Bwrite" value="30MBps" />
688   <model_prop id="Bread" value="100MBps" />
689   <model_prop id="Bconnection" value="150MBps" />
690   <b><prop id="Brand" value="Western Digital" /></b>
691 </storage_type>
692 \endverbatim
693
694 \subsubsection pf_sto_st storage
695
696 <b>storage_type</b> attributes :
697 \li <b>id (mandatory)</b>: the identifier of the storage to be used
698     when referring to it.
699 \li <b>typeId (mandatory)</b>: the identifier of the storage_type that
700     this storage belongs to.
701 \li <b>attach (mandatory)</b>: the host (name) to which the storage is
702         attached to.
703
704 \subsubsection pf_sto_mo mount
705
706 <b>mount</b> attributes :
707 \li <b>id (mandatory)</b>: the id of the <b>storage</b> that must be
708     mounted on that computer.
709 \li <b>name (mandatory)</b>: the name that will be the logical
710     reference to this disk (the mount point).
711
712 \subsubsection pf_sto_mst mstorage
713 <b>Note : unused for now</b>
714 <b>mstorage</b> attributes :
715 \li <b>typeId (mandatory)</b>: the id of the <b>storage</b> that must
716     be mounted on that computer.
717 \li <b>name (mandatory)</b>: the name that will be the logical
718     reference to this disk (the mount point).
719
720 \section pf_routing Routing
721
722 To achieve high performance, the routing tables used within SimGrid are
723 static. This means that routing between two nodes is calculated once
724 and will not change during execution. The SimGrid team chose to use this
725 approach as it is rare to have a real deficiency of a resource;
726 most of the time, a communication fails because the links experience too much
727 congestion and hence, your connection stops before the timeout or
728 because the computer designated to be the destination of that message
729 is not responding.
730
731 We also chose to use shortest paths algorithms in order to emulate
732 routing. Doing so is consistent with the reality: RIP, OSPF, BGP are
733 all calculating shortest paths. They have some convergence time, but
734 at the end, so when the platform is stable (and this should be the
735 moment you want to simulate something using SimGrid) your packets will
736 follow the shortest paths.
737
738 \subsection pf_rm Routing models
739
740 Within each AS, you have to define a routing model to use. You have
741 basically 3 main kind of routing models :
742
743 \li Shortest-path based models: you let SimGrid calculates shortest
744     paths and manage it. Behaves more or less as most real life
745     routing.
746 \li Manually-entered route models: you'll have to define all routes
747     manually by yourself into the platform description file.
748     Consistent with some manually managed real life routing.
749 \li Simple/fast models: those models offers fast, low memory routing
750     algorithms. You should consider to use it if you can make some
751     assumptions about your AS. Routing in this case is more or less
752     ignored
753
754 \subsubsection pf_raf The router affair
755
756 Expressing routers becomes mandatory when using shortest-path based
757 models or when using ns-3 or the bindings to the GTNetS packet-level
758 simulator instead of the native analytical network model implemented
759 in SimGrid.
760
761 For graph-based shortest path algorithms, routers are mandatory,
762 because both algorithms need a graph, and so we need to have source
763 and destination for each edge.
764
765 Routers are naturally an important concept in GTNetS or ns-3 since the
766 way they run the packet routing algorithms is actually simulated.
767 Instead, the SimGrid’s analytical models aggregate the routing time
768 with the transfer time. Rebuilding a graph representation only from
769 the route information turns to be a very difficult task, because of
770 the missing information about how routes intersect. That is why we
771 introduced a \<router\> tag, which is simply used to express these
772 intersection points. The only attribute accepted by this tag an id. It
773 is important to understand that the \<router\> tag is only used to
774 provide topological information.
775
776 To express those topological information, some <b>route</b> have to be
777 defined saying which link is between which routers. Description or the
778 route syntax is given below, as well as example for the different
779 models.
780
781 \subsubsection pf_rm_sh Shortest-path based models
782
783 Here is the complete list of such models, that computes routes using
784 classic shortest-paths algorithms. How to choose the best suited
785 algorithm is discussed later in the section devoted to it.
786
787 \li <b>Floyd</b>: Floyd routing data. Pre-calculates all routes once.
788 \li <b>Dijkstra</b>: Dijkstra routing data ,calculating routes when
789     necessary.
790 \li <b>DijkstraCache</b>: Dijkstra routing data. Handle some cache for
791     already calculated routes.
792
793 All those shortest-path models are instanciated the same way. Here are
794 some example of it:
795
796 Floyd example :
797 \verbatim
798 <AS  id="AS0"  routing="Floyd">
799
800   <cluster id="my_cluster_1" prefix="c-" suffix=""
801                 radical="0-1"   power="1000000000"    bw="125000000"     lat="5E-5"
802         router_id="router1"/>
803
804  <AS id="AS1" routing="none">
805     <host id="host1" power="1000000000"/>
806  </AS>
807
808   <link id="link1" bandwidth="100000" latency="0.01"/>
809
810   <ASroute src="my_cluster_1" dst="AS1"
811     gw_src="router1"
812     gw_dst="host1">
813     <link_ctn id="link1"/>
814   </ASroute>
815
816 </AS>
817 \endverbatim
818
819 ASroute given at the end gives a topological information: link1 is
820 between router1 and host1.
821
822 Dijsktra example :
823 \verbatim
824  <AS id="AS_2" routing="Dijsktra">
825      <host id="AS_2_host1" power="1000000000"/>
826      <host id="AS_2_host2" power="1000000000"/>
827      <host id="AS_2_host3" power="1000000000"/>
828      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
829      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
830      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
831      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
832      <router id="central_router"/>
833      <router id="AS_2_gateway"/>
834      <!-- routes providing topological information -->
835      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
836      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
837      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
838      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
839   </AS>
840 \endverbatim
841
842 DijsktraCache example :
843 \verbatim
844 <AS id="AS_2" routing="DijsktraCache">
845      <host id="AS_2_host1" power="1000000000"/>
846      ...
847 (platform unchanged compared to upper example)
848 \endverbatim
849
850 \subsubsection pf_rm_me Manually-entered route models
851
852 \li <b>Full</b>: You have to enter all necessary routes manually
853
854 Full example :
855 \verbatim
856 <AS  id="AS0"  routing="Full">
857    <host id="host1" power="1000000000"/>
858    <host id="host2" power="1000000000"/>
859    <link id="link1" bandwidth="125000000" latency="0.000100"/>
860    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
861  </AS>
862 \endverbatim
863
864 \subsubsection pf_rm_sf Simple/fast models
865
866 \li <b>none</b>: No routing (Unless you know what you are doing, avoid
867 using this mode in combination with a non Constant network model).
868 None Example :
869 \verbatim
870 <AS id="exitAS"  routing="none">
871         <router id="exit_gateway"/>
872 </AS>\endverbatim
873
874 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use
875     coordinates. See the corresponding section P2P below for details.
876 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
877     not be used, except internally.
878
879 \subsection ps_dec Defining routes
880
881 The principle of route definition is the same for the 4 available tags
882 for doing it. Those for tags are:
883
884 \li <b>route</b>: to define route between host/router
885 \li <b>ASroute</b>: to define route between AS
886 \li <b>bypassRoute</b>: to bypass normal routes as calculated by the
887     network model between host/router
888 \li <b>bypassASroute</b>: same as bypassRoute, but for AS
889
890 Basically all those tags will contain an (ordered) list of references
891 to link that compose the route you want to define.
892
893 Consider the example below:
894
895 \verbatim
896 <route src="Alice" dst="Bob">
897         <link_ctn id="link1"/>
898         <link_ctn id="link2"/>
899         <link_ctn id="link3"/>
900    </route>
901 \endverbatim
902
903 The route here from host Alice to Bob will be first link1, then link2,
904 and finally link3. What about the reverse route ? <b>route</b> and
905 <b>ASroute</b> have an optional attribute <b>symmetrical</b>, that can
906 be either YES or NO. YES means that the reverse route is the same
907 route in the inverse order, and is set to YES by default. Note that
908 this is not the case for bypass*Route, as it is more probable that you
909 want to bypass only one default route.
910
911 For an ASroute, things are just slightly more complicated, as you have
912 to give the id of the gateway which is inside the AS you're talking
913 about you want to access ... So it looks like this :
914
915
916 \verbatim
917   <ASroute src="AS1" dst="AS2"
918     gw_src="router1" gw_dst="router2">
919     <link_ctn id="link1"/>
920   </ASroute>
921 \endverbatim
922
923 gw == gateway, so when any message are trying to go from AS1 to AS2,
924 it means that it must pass through router1 to get out of the AS, then
925 pass through link1, and get into AS2 by being received by router2.
926 router1 must belong to AS1 and router2 must belong to AS2.
927
928 \subsubsection pf_linkctn link_ctn
929
930 a <b>link_ctn</b> is the tag that is used in order to reference a
931 <b>link</b> in a route. Its id is the link id it refers to.
932
933 <b>link_ctn</b> attributes :
934 \li <b>id (mandatory)</b>: Id of the link this tag refers to
935 \li <b>direction</b>: if the link referenced by <b>id</b> has been
936     declared as FULLDUPLEX, this is used to indicate in which
937     direction the route you're defining is going through this link.
938     Possible values "UP" or "DOWN".
939
940 \subsubsection pf_asro ASroute
941
942 ASroute tag purpose is to let people write manually their routes
943 between AS. It's useful when you're in Full model.
944
945 <b>ASroute</b> attributes :
946 \li <b>src (mandatory)</b>: the source AS id.
947 \li <b>dst (mandatory)</b>: the destination AS id.
948 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
949     Can be any <b>host</b> or \b router defined into the \b src AS or
950     into one of the AS it includes.
951 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
952     Can be any <b>host</b> or \b router defined into the \b dst AS or
953     into one of the AS it includes.
954 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
955     will be the opposite of the one defined. Can be either YES or NO,
956     default is YES.
957
958 <b>Example of ASroute with Full</b>
959 \verbatim
960 <AS  id="AS0"  routing="Full">
961   <cluster id="my_cluster_1" prefix="c-" suffix=".me"
962                 radical="0-149" power="1000000000"    bw="125000000"     lat="5E-5"
963         bb_bw="2250000000" bb_lat="5E-4"/>
964
965   <cluster id="my_cluster_2" prefix="c-" suffix=".me"
966             radical="150-299" power="1000000000"        bw="125000000"  lat="5E-5"
967             bb_bw="2250000000" bb_lat="5E-4"/>
968
969      <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
970
971      <ASroute src="my_cluster_1" dst="my_cluster_2"
972          gw_src="c-my_cluster_1_router.me"
973          gw_dst="c-my_cluster_2_router.me">
974                 <link_ctn id="backbone"/>
975      </ASroute>
976      <ASroute src="my_cluster_2" dst="my_cluster_1"
977          gw_src="c-my_cluster_2_router.me"
978          gw_dst="c-my_cluster_1_router.me">
979                 <link_ctn id="backbone"/>
980      </ASroute>
981 </AS>
982 \endverbatim
983
984 \subsubsection pf_ro route
985 The principle is the same as ASroute : <b>route</b> contains list of
986 links that are in the path between src and dst, except that it is for
987 routes between a src that can be either <b>host</b> or \b router and a
988 dst that can be either <b>host</b> or \b router. Useful for Full
989 as well as for the shortest-paths based models, where you
990 have to give topological information.
991
992
993 <b>route</b> attributes :
994 \li <b>src (mandatory)</b>: the source id.
995 \li <b>dst (mandatory)</b>: the destination id.
996 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
997     will be the opposite of the one defined. Can be either YES or NO,
998     default is YES.
999
1000 <b>route example in Full</b>
1001 \verbatim
1002  <route src="Tremblay" dst="Bourassa">
1003      <link_ctn id="4"/><link_ctn id="3"/><link_ctn id="2"/><link_ctn id="0"/><link_ctn id="1"/><link_ctn id="6"/><link_ctn id="7"/>
1004    </route>
1005 \endverbatim
1006
1007 <b>route example in a shortest-path model</b>
1008 \verbatim
1009  <route src="Tremblay" dst="Bourassa">
1010      <link_ctn id="3"/>
1011    </route>
1012 \endverbatim
1013 Note that when using route to give topological information, you have
1014 to give routes with one link only in it, as SimGrid needs to know
1015 which host are at the end of the link.
1016
1017 \subsubsection pf_byASro bypassASroute
1018
1019 <b>Note : bypassASroute and bypassRoute are under rewriting to perform
1020 better ; so you may not use it yet</b> As said before, once you choose
1021 a model, it (if so) calculates routes for you. But maybe you want to
1022 define some of your routes, which will be specific. You may also want
1023 to bypass some routes defined in lower level AS at an upper stage :
1024 <b>bypassASroute</b> is the tag you're looking for. It allows to
1025 bypass routes defined between already defined between AS (if you want
1026 to bypass route for a specific host, you should just use byPassRoute).
1027 The principle is the same as ASroute : <b>bypassASroute</b> contains
1028 list of links that are in the path between src and dst.
1029
1030 <b>bypassASroute</b> attributes :
1031 \li <b>src (mandatory)</b>: the source AS id.
1032 \li <b>dst (mandatory)</b>: the destination AS id.
1033 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
1034     Can be any <b>host</b> or \b router defined into the \b src AS or
1035     into one of the AS it includes.
1036 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
1037     Can be any <b>host</b> or \b router defined into the \b dst AS or
1038     into one of the AS it includes.
1039 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1040     will be the opposite of the one defined. Can be either YES or NO,
1041     default is YES.
1042
1043 <b>bypassASroute Example</b>
1044 \verbatim
1045     <bypassASRoute src="my_cluster_1" dst="my_cluster_2"
1046      gw_src="my_cluster_1_router"
1047      gw_dst="my_cluster_2_router">
1048         <link_ctn id="link_tmp"/>
1049      </bypassASroute>
1050 \endverbatim
1051
1052 \subsubsection pf_byro bypassRoute
1053 <b>Note : bypassASRoute and bypassRoute are under rewriting to perform
1054 better ; so you may not use it yet</b> As said before, once you choose
1055 a model, it (if so) calculates routes for you. But maybe you want to
1056 define some of your routes, which will be specific. You may also want
1057 to bypass some routes defined in lower level AS at an upper stage :
1058 <b>bypassRoute</b> is the tag you're looking for. It allows to bypass
1059 routes defined between <b>host/router</b>. The principle is the same
1060 as route : <b>bypassRoute</b> contains list of links references of
1061 links that are in the path between src and dst.
1062
1063 <b>bypassRoute</b> attributes :
1064 \li <b>src (mandatory)</b>: the source AS id.
1065 \li <b>dst (mandatory)</b>: the destination AS id.
1066 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1067     will be the opposite of the one defined. Can be either YES or NO,
1068     default is YES.
1069
1070 <b>bypassRoute Example</b>
1071 \verbatim
1072     <bypassRoute src="host_1" dst="host_2">
1073         <link_ctn id="link_tmp"/>
1074      </bypassRoute>
1075 \endverbatim
1076
1077
1078 \subsection pb_baroex Basic Routing Example
1079
1080 Let's say you have an AS named AS_Big that contains two other AS, AS_1
1081 and AS_2. If you want to make a host (h1) from AS_1 with another one
1082 (h2) from AS_2 then you'll have to proceed as follows:
1083 \li First, you have to ensure that a route is defined from h1 to the
1084     AS_1's exit gateway and from h2 to AS_2's exit gateway.
1085 \li Then, you'll have to define a route between AS_1 to AS_2. As those
1086     AS are both resources belonging to AS_Big, then it has to be done
1087     at AS_big level. To define such a route, you have to give the
1088     source AS (AS_1), the destination AS (AS_2), and their respective
1089     gateway (as the route is effectively defined between those two
1090     entry/exit points). Elements of this route can only be elements
1091     belonging to AS_Big, so links and routers in this route should be
1092     defined inside AS_Big. If you choose some shortest-path model,
1093     this route will be computed automatically.
1094
1095 As said before, there are mainly 2 tags for routing :
1096 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
1097 \li <b>route</b>: to define routes between two <b>host/router</b>
1098
1099 As we are dealing with routes between AS, it means that those we'll
1100 have some definition at AS_Big level. Let consider AS_1 contains 1
1101 host, 1 link and one router and AS_2 3 hosts, 4 links and one router.
1102 There will be a central router, and a cross-like topology. At the end
1103 of the crosses arms, you'll find the 3 hosts and the router that will
1104 act as a gateway. We have to define routes inside those two AS. Let
1105 say that AS_1 contains full routes, and AS_2 contains some Floyd
1106 routing (as we don't want to bother with defining all routes). As
1107 we're using some shortest path algorithms to route into AS_2, we'll
1108 then have to define some <b>route</b> to gives some topological
1109 information to SimGrid. Here is a file doing it all :
1110
1111 \verbatim
1112 <AS  id="AS_Big"  routing="Dijsktra">
1113   <AS id="AS_1" routing="Full">
1114      <host id="AS_1_host1" power="1000000000"/>
1115      <link id="AS_1_link" bandwidth="1250000000" latency="5E-4"/>
1116      <router id="AS_1_gateway"/>
1117      <route src="AS_1_host1" dst="AS_1_gateway">
1118             <link_ctn id="AS_1_link"/>
1119      </route>
1120   </AS>
1121   <AS id="AS_2" routing="Floyd">
1122      <host id="AS_2_host1" power="1000000000"/>
1123      <host id="AS_2_host2" power="1000000000"/>
1124      <host id="AS_2_host3" power="1000000000"/>
1125      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
1126      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
1127      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
1128      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
1129      <router id="central_router"/>
1130      <router id="AS_2_gateway"/>
1131      <!-- routes providing topological information -->
1132      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
1133      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
1134      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
1135      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
1136   </AS>
1137     <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
1138
1139      <ASroute src="AS_1" dst="AS_2"
1140          gw_src="AS_1_gateway"
1141          gw_dst="AS_2_gateway">
1142                 <link_ctn id="backbone"/>
1143      </ASroute>
1144 </AS>
1145 \endverbatim
1146
1147 \section pf_other_tags Tags not (directly) describing the platform
1148
1149 There are 3 tags, that you can use inside a \<platform\> tag that are
1150 not describing the platform:
1151 \li random: it allows you to define random generators you want to use
1152     for your simulation.
1153 \li config: it allows you to pass some configuration stuff like, for
1154     example, the network model and so on. It follows the
1155 \li include: simply allows you to include another file into the
1156     current one.
1157
1158 \subsection pf_conf config
1159 <b>config</b> attributes :
1160 \li <b>id (mandatory)</b>: the identifier of the config to be used
1161     when referring to it.
1162
1163
1164 <b>config</b> tag only purpose is to include <b>prop</b> tags. Valid
1165 id are basically the same as the list of possible parameters you can
1166 use by command line, except that "/" are used for namespace
1167 definition. See the \ref options config and options page for more
1168 information.
1169
1170
1171 <b>config example</b>
1172 \verbatim
1173 <?xml version='1.0'?>
1174 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1175 <platform version="3">
1176 <config id="General">
1177         <prop id="maxmin/precision" value="0.000010"></prop>
1178         <prop id="cpu/optim" value="TI"></prop>
1179         <prop id="workstation/model" value="compound"></prop>
1180         <prop id="network/model" value="SMPI"></prop>
1181         <prop id="path" value="~/"></prop>
1182         <prop id="smpi/bw_factor" value="65472:0.940694;15424:0.697866;9376:0.58729"></prop>
1183 </config>
1184
1185 <AS  id="AS0"  routing="Full">
1186 ...
1187 \endverbatim
1188
1189
1190 \subsection pf_rand random
1191 Not yet in use, and possibly subject to huge modifications.
1192
1193 \subsection pf_incl include
1194 <b>include</b> tag allows to import into a file platform parts located
1195 in another file. This is done with the intention to help people
1196 combine their different AS and provide new platforms. Those files
1197 should contains XML part that contains either
1198 <b>include,cluster,peer,AS,trace,trace_connect</b> tags.
1199
1200 <b>include</b> attributes :
1201 \li <b>file (mandatory)</b>: filename of the file to include. Possible
1202     values: absolute or relative path, syntax similar to the one in
1203     use on your system.
1204
1205 <b>Note</b>: due to some obscure technical reasons, you have to open
1206 and close tag in order to let it work.
1207 <b>include Example</b>
1208 \verbatim
1209 <?xml version='1.0'?>
1210 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1211 <platform version="3">
1212         <AS id="main" routing="Full">
1213                 <include file="clusterA.xml"></include>
1214                 <include file="clusterB.xml"></include>
1215         </AS>
1216 </platform>
1217 \endverbatim
1218
1219 \subsection pf_tra trace and trace_connect
1220 Both tags are an alternate way to passe availability, state, and so on
1221 files to entity. Instead of referring to the file directly in the host,
1222 link, or cluster tag, you proceed by defining a trace with an id
1223 corresponding to a file, later a host/link/cluster, and finally using
1224 trace_connect you say that the file trace must be used by the entity.
1225 Get it ? Let's have a look at an example :
1226
1227 \verbatim
1228 <AS  id="AS0"  routing="Full">
1229   <host id="bob" power="1000000000"/>
1230 </AS>
1231   <trace id="myTrace" file="bob.trace" periodicity="1.0"/>
1232   <trace_connect trace="myTrace" element="bob" kind="POWER"/>
1233 \endverbatim
1234
1235 All constraints you have is that <b>trace_connect</b> is after
1236 <b>trace</b> and <b>host</b> definitions.
1237
1238
1239 <b>trace</b> attributes :
1240 \li <b>id (mandatory)</b>: the identifier of the trace to be used when
1241     referring to it.
1242 \li <b>file</b>: filename of the file to include. Possible values :
1243     absolute or relative path, syntax similar to the one in use on
1244     your system. If omitted, the system expects that you provide the
1245     trace values inside the trace tags (see below).
1246 \li <b>trace periodicity (mandatory)</b>: trace periodicity, same
1247     definition as in hosts (see upper for details).
1248
1249 Here is an example  of trace when no file name is provided:
1250
1251 \verbatim
1252  <trace id="myTrace" periodicity="1.0">
1253     0.0 1.0
1254     11.0 0.5
1255     20.0 0.8
1256   </trace>
1257 \endverbatim
1258
1259 <b>trace_connect</b> attributes :
1260 \li <b>kind</b>: the type of trace, possible values
1261     <b>HOST_AVAIL|POWER|LINK_AVAIL|BANDWIDTH|LATENCY,</b>  default:
1262     <b>HOST_AVAIL</b>
1263 \li <b>trace (mandatory)</b>: the identifier of the trace referenced.
1264 \li <b>element (mandatory)</b>: the identifier of the entity referenced.
1265
1266
1267
1268 \section pf_hints Hints and tips, or how to write a platform efficiently
1269
1270 Now you should know at least the syntax and be able to create a
1271 platform by your own. However, after having ourselves wrote some platforms, there
1272 are some best practices you should pay attention to in order to
1273 produce good platform and some choices you can make in order to have
1274 faster simulations. Here's some hints and tips, then.
1275
1276 \subsection pf_as_h AS Hierarchy
1277 The AS design allows SimGrid to go fast, because computing route is
1278 done only for the set of resources defined in this AS. If you're using
1279 only a big AS containing all resource with no AS into it and you're
1280 using Full model, then ... you'll loose all interest into it. On the
1281 other hand, designing a binary tree of AS with, at the lower level,
1282 only one host, then you'll also loose all the good AS hierarchy can
1283 give you. Remind you should always be "reasonable" in your platform
1284 definition when choosing the hierarchy. A good choice if you try to
1285 describe a real life platform is to follow the AS described in
1286 reality, since this kind of trade-off works well for real life
1287 platforms.
1288
1289 \subsection pf_exit_as Exit AS: why and how
1290 Users that have looked at some of our platforms may have notice a
1291 non-intuitive schema ... Something like that :
1292
1293
1294 \verbatim
1295 <AS id="AS_4"  routing="Full">
1296 <AS id="exitAS_4"  routing="Full">
1297         <router id="router_4"/>
1298 </AS>
1299 <cluster id="cl_4_1" prefix="c_4_1-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1300 <cluster id="cl_4_2" prefix="c_4_2-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1301 <link id="4_1" bandwidth="2250000000" latency="5E-5"/>
1302 <link id="4_2" bandwidth="2250000000" latency="5E-5"/>
1303 <link id="bb_4" bandwidth="2250000000" latency="5E-4"/>
1304 <ASroute src="cl_4_1"
1305         dst="cl_4_2"
1306         gw_src="c_4_1-cl_4_1_router"
1307         gw_dst="c_4_2-cl_4_2_router"
1308         symmetrical="YES">
1309                 <link_ctn id="4_1"/>
1310                 <link_ctn id="bb_4"/>
1311                 <link_ctn id="4_2"/>
1312 </ASroute>
1313 <ASroute src="cl_4_1"
1314         dst="exitAS_4"
1315         gw_src="c_4_1-cl_4_1_router"
1316         gw_dst="router_4"
1317         symmetrical="YES">
1318                 <link_ctn id="4_1"/>
1319                 <link_ctn id="bb_4"/>
1320 </ASroute>
1321 <ASroute src="cl_4_2"
1322         dst="exitAS_4"
1323         gw_src="c_4_2-cl_4_2_router"
1324         gw_dst="router_4"
1325         symmetrical="YES">
1326                 <link_ctn id="4_2"/>
1327                 <link_ctn id="bb_4"/>
1328 </ASroute>
1329 </AS>
1330 \endverbatim
1331
1332 In the AS_4, you have an exitAS_4 defined, containing only one router,
1333 and routes defined to that AS from all other AS (as cluster is only a
1334 shortcut for an AS, see cluster description for details). If there was
1335 an upper AS, it would define routes to and from AS_4 with the gateway
1336 router_4. It's just because, as we did not allowed (for performances
1337 issues) to have routes from an AS to a single host/router, you have to
1338 enclose your gateway, when you have AS included in your AS, within an
1339 AS to define routes to it.
1340
1341 \subsection pf_P2P_tags P2P or how to use coordinates
1342 SimGrid allows you to use some coordinated-based system, like vivaldi,
1343 to describe a platform. The main concept is that you have some peers
1344 that are located somewhere: this is the function of the
1345 <b>coordinates</b> of the \<peer\> or \<host\> tag. There's nothing
1346 complicated in using it, here is an example of it:
1347
1348 \verbatim
1349 <?xml version='1.0'?>
1350 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1351 <platform version="3">
1352
1353 <config id="General">
1354         <prop id="network/coordinates" value="yes"></prop>
1355 </config>
1356  <AS  id="AS0"  routing="Vivaldi">
1357         <host id="100030591" coordinates="25.5 9.4 1.4" power="1500000000.0" />
1358         <host id="100036570" coordinates="-12.7 -9.9 2.1" power="730000000.0" />
1359         ...
1360         <host id="100429957" coordinates="17.5 6.7 18.8" power="830000000.0" />
1361         </AS>
1362 </platform>
1363 \endverbatim
1364
1365 Coordinates are then used to calculate latency between two hosts by
1366 calculating the euclidean distance between the two hosts coordinates.
1367 The results express the latency in ms.
1368
1369 Note that the previous example defines a routing directly between hosts but it could be also used to define a routing between AS.
1370 That is for example what is commonly done when using peers (see Section \ref pf_peer).
1371 \verbatim
1372 <?xml version='1.0'?>
1373 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1374 <platform version="3">
1375
1376 <config id="General">
1377         <prop id="network/coordinates" value="yes"></prop>
1378 </config>
1379  <AS  id="AS0"  routing="Vivaldi">
1380    <peer id="peer-0" coordinates="173.0 96.8 0.1" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us"/>
1381    <peer id="peer-1" coordinates="247.0 57.3 0.6" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
1382    <peer id="peer-2" coordinates="243.4 58.8 1.4" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
1383 </AS>
1384 </platform>
1385 \endverbatim
1386 In such a case though, we connect the AS created by the <b>peer</b> tag with the Vivaldi routing mechanism.
1387 This means that to route between AS1 and AS2, it will use the coordinates of router_AS1 and router_AS2.
1388 This is currently a convention and we may offer to change this convention in the DTD later if needed.
1389 You may have noted that conveniently, a peer named FOO defines an AS named FOO and a router named router_FOO, which is why it works seamlessly with the <b>peer</b> tag.
1390
1391
1392 \subsection pf_wisely Choosing wisely the routing model to use
1393
1394
1395 Choosing wisely the routing model to use can significantly fasten your
1396 simulation/save your time when writing the platform/save tremendous
1397 disk space. Here is the list of available model and their
1398 characteristics (lookup : time to resolve a route):
1399
1400 \li <b>Full</b>: Full routing data (fast, large memory requirements,
1401     fully expressive)
1402 \li <b>Floyd</b>: Floyd routing data (slow initialization, fast
1403     lookup, lesser memory requirements, shortest path routing only).
1404     Calculates all routes at once at the beginning.
1405 \li <b>Dijkstra</b>: Dijkstra routing data (fast initialization, slow
1406     lookup, small memory requirements, shortest path routing only).
1407     Calculates a route when necessary.
1408 \li <b>DijkstraCache</b>: Dijkstra routing data (fast initialization,
1409     fast lookup, small memory requirements, shortest path routing
1410     only). Same as Dijkstra, except it handles a cache for latest used
1411     routes.
1412 \li <b>none</b>: No routing (usable with Constant network only).
1413     Defines that there is no routes, so if you try to determine a
1414     route without constant network within this AS, SimGrid will raise
1415     an exception.
1416 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use coordinates
1417 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
1418     not be used.
1419
1420 \subsection pf_switch Hey, I want to describe a switch but there is no switch tag !
1421
1422 Actually we did not include switch tag, ok. But when you're trying to
1423 simulate a switch, the only major impact it has when you're using
1424 fluid model (and SimGrid uses fluid model unless you activate GTNetS,
1425 ns-3, or constant network mode) is the impact of the upper limit of
1426 the switch motherboard speed that will eventually be reached if you're
1427 using intensively your switch. So, the switch impact is similar to a
1428 link one. That's why we are used to describe a switch using a link tag
1429 (as a link is not an edge by a hyperedge, you can connect more than 2
1430 other links to it).
1431
1432 \subsection pf_platform_multipath How to express multipath routing in platform files?
1433
1434 It is unfortunately impossible to express the fact that there is more
1435 than one routing path between two given hosts. Let's consider the
1436 following platform file:
1437
1438 \verbatim
1439 <route src="A" dst="B">
1440    <link_ctn id="1"/>
1441 </route>
1442 <route src="B" dst="C">
1443   <link_ctn id="2"/>
1444 </route>
1445 <route src="A" dst="C">
1446   <link_ctn id="3"/>
1447 </route>
1448 \endverbatim
1449
1450 Although it is perfectly valid, it does not mean that data traveling
1451 from A to C can either go directly (using link 3) or through B (using
1452 links 1 and 2). It simply means that the routing on the graph is not
1453 trivial, and that data do not following the shortest path in number of
1454 hops on this graph. Another way to say it is that there is no implicit
1455 in these routing descriptions. The system will only use the routes you
1456 declare (such as &lt;route src="A" dst="C"&gt;&lt;link_ctn
1457 id="3"/&gt;&lt;/route&gt;), without trying to build new routes by aggregating
1458 the provided ones.
1459
1460 You are also free to declare platform where the routing is not
1461 symmetric. For example, add the following to the previous file:
1462
1463 \verbatim
1464 <route src="C" dst="A">
1465   <link_ctn id="2"/>
1466   <link_ctn id="1"/>
1467 </route>
1468 \endverbatim
1469
1470 This makes sure that data from C to A go through B where data from A
1471 to C go directly. Don't worry about realism of such settings since
1472 we've seen ways more weird situation in real settings (in fact, that's
1473 the realism of very regular platforms which is questionable, but
1474 that's another story).
1475
1476 \section pf_flexml_bypassing Bypassing the XML parser with your own C functions
1477 <b>NOTE THAT THIS DOCUMENTATION, WHILE STILL WORKING, IS STRONGLY DEPRECATED</b>
1478
1479 So you want to bypass the XML files parser, uh? Maybe doing some parameter
1480 sweep experiments on your simulations or so? This is possible, and
1481 it's not even really difficult (well. Such a brutal idea could be
1482 harder to implement). Here is how it goes.
1483
1484 For this, you have to first remember that the XML parsing in SimGrid is done
1485 using a tool called FleXML. Given a DTD, this gives a flex-based parser. If
1486 you want to bypass the parser, you need to provide some code mimicking what
1487 it does and replacing it in its interactions with the SURF code. So, let's
1488 have a look at these interactions.
1489
1490 FleXML parser are close to classical SAX parsers. It means that a
1491 well-formed SimGrid platform XML file might result in the following
1492 "events":
1493
1494   - start "platform_description" with attribute version="2"
1495   - start "host" with attributes id="host1" power="1.0"
1496   - end "host"
1497   - start "host" with attributes id="host2" power="2.0"
1498   - end "host"
1499   - start "link" with ...
1500   - end "link"
1501   - start "route" with ...
1502   - start "link_ctn" with ...
1503   - end "link_ctn"
1504   - end "route"
1505   - end "platform_description"
1506
1507 The communication from the parser to the SURF code uses two means:
1508 Attributes get copied into some global variables, and a surf-provided
1509 function gets called by the parser for each event. For example, the event
1510   - start "host" with attributes id="host1" power="1.0"
1511
1512 let the parser do something roughly equivalent to:
1513 \verbatim
1514   strcpy(A_host_id,"host1");
1515   A_host_power = 1.0;
1516   STag_host();
1517 \endverbatim
1518
1519 In SURF, we attach callbacks to the different events by initializing the
1520 pointer functions to some the right surf functions. Since there can be
1521 more than one callback attached to the same event (if more than one
1522 model is in use, for example), they are stored in a dynar. Example in
1523 workstation_ptask_L07.c:
1524 \verbatim
1525   /* Adding callback functions */
1526   surf_parse_reset_parser();
1527   surfxml_add_callback(STag_surfxml_host_cb_list, &parse_cpu_init);
1528   surfxml_add_callback(STag_surfxml_prop_cb_list, &parse_properties);
1529   surfxml_add_callback(STag_surfxml_link_cb_list, &parse_link_init);
1530   surfxml_add_callback(STag_surfxml_route_cb_list, &parse_route_set_endpoints);
1531   surfxml_add_callback(ETag_surfxml_link_c_ctn_cb_list, &parse_route_elem);
1532   surfxml_add_callback(ETag_surfxml_route_cb_list, &parse_route_set_route);
1533
1534   /* Parse the file */
1535   surf_parse_open(file);
1536   xbt_assert(!surf_parse(), "Parse error in %s", file);
1537   surf_parse_close();
1538 \endverbatim
1539
1540 So, to bypass the FleXML parser, you need to write your own version of the
1541 surf_parse function, which should do the following:
1542    - Fill the A_<tag>_<attribute> variables with the wanted values
1543    - Call the corresponding STag_<tag>_fun function to simulate tag start
1544    - Call the corresponding ETag_<tag>_fun function to simulate tag end
1545    - (do the same for the next set of values, and loop)
1546
1547 Then, tell SimGrid that you want to use your own "parser" instead of the stock one:
1548 \verbatim
1549   surf_parse = surf_parse_bypass_environment;
1550   MSG_create_environment(NULL);
1551   surf_parse = surf_parse_bypass_application;
1552   MSG_launch_application(NULL);
1553 \endverbatim
1554
1555 A set of macros are provided at the end of
1556 include/surf/surfxml_parse.h to ease the writing of the bypass
1557 functions. An example of this trick is distributed in the file
1558 examples/msg/masterslave/masterslave_bypass.c
1559
1560
1561 */