Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Updated description and presentation of available resources.
[simgrid.git] / doc / doxygen / platform.doc
1 /*! \page platform Platform Description
2
3 @tableofcontents
4
5 In order to run any simulation, SimGrid must be provided with three things:
6 something to run (i.e., your code), a description of the platform on which you
7 want to simulate your application and lastly information about the deployment
8 process: Which process should be deployed to which processor/core?
9
10 For the last two items, there are essentially two possible ways you can provide
11 this information as an input:
12 \li You can program it, either by using the Lua console (
13     \ref MSG_Lua_funct) or, if you're using MSG, some of MSG's platform and
14     deployment functions (\ref msg_simulation). If you want to use this,
15     check the particular documentation. (You can also check the section
16     \ref pf_flexml_bypassing, however, this documentation is deprecated;
17     there is a new, but undocumented, way to do it properly).
18 \li You can use two XML files: one contains the platform description while
19     the other contains the deployment instructions.
20
21 For more information on SimGrid's deployment features, please refer to
22 the \ref deployment documentation.
23
24 The platform description may be intricate. This documentation is all
25 about how to write this file: The basic concepts are introduced. Furthermore,
26 advanced options are explained. Additionally, some hints and tips on how to
27 write a good platform description are given.
28
29 \section pf_overview Some words about XML and DTD
30
31 We chose to use XML not only because it's extensible but also because many
32 tools (and plugins for existing tools) are available that facilitate editing and
33 validating XML files. Furthermore, libraries that parse XML are often already
34 available and very well tested.
35
36 The XML checking is done based on the Document Type Definition (DTD) file,
37 available at
38 <a href="http://simgrid.gforge.inria.fr/simgrid.dtd">http://simgrid.gforge.inria.fr/simgrid.dtd</a>.
39
40 If you read the DTD, you should notice the following:
41 \li The platform tags contain a version attribute; the current version is 3.
42     This property might be used in the future to provide backwards
43     compatibility.
44 \li The DTD contains definitions for the two files used by SimGrid (i.e.,
45     platform description and deployment).
46
47 \section pf_basics Basic concepts
48
49 Nowadays, the Internet is composed of a bunch of independently managed
50 networks. Within each of those networks, there are entry and exit
51 points (most of the time, you can both enter and exit through the same
52 point); this allows to leave the current network and reach other
53 networks, possibly even in other locations.
54 At the upper level, such a network is called
55 <b>Autonomous System (AS)</b>, while at the lower level it is named
56 sub-network, or LAN (local area network).
57 They are indeed autonomous: routing is defined
58 (within the limits of his network) by the administrator, and so, those
59 networks can operate without a connection to other
60 networks. So-called gateways allow you to go from one network to
61 another, if such a (physical) connection exists. Every node in one network
62 that can be directly reached (i.e., without traversing other nodes) from
63 another network is called a gateway.
64 Each autonomous system consists of equipment such as cables (network links),
65 routers and switches as well as computers.
66
67 The structure of the SimGrid platform description relies exactly on the same
68 concept as a real-life platform (see above).  Every resource (computers,
69 network equipment etc.) belongs to an AS, which can be defined by using the
70 \<AS\> tag. Within an AS, the routing between its elements can be defined
71 abitrarily. There are several modes for routing, and exactly one mode must be
72 selected by specifying the routing attribute in the AS tag:
73
74 \verbatim
75 <AS id="AS0" routing="Full">
76 \endverbatim
77
78 \remark
79   Other supported values for the routing attribute can be found below, Section
80   \ref pf_raf.
81
82 There is also the ``<route>`` tag; this tag takes two attributes, ``src`` (source)
83 and ``dst`` (destination). Both source and destination must be valid identifiers
84 for routers (these will be introduced later). Contained by the ``<route>`` are
85 network links; these links must be used in order to communicate from the source
86 to the destination specified in the tag. Hence, a route merely describes
87 how to reach a router from another router.
88
89 \remark
90   More information and (code-)examples can be found in Section \ref pf_rm.
91
92 An AS can also contain itself one or more AS; this allows you to
93 model the hierarchy of your platform.
94
95 ### Within each AS, the following types of resources exist:
96
97 %Resource        | Documented in Section | Description
98 --------------- | --------------------- | -----------
99 AS              |                       | Every Autonomous System (AS) may contain one or more AS.
100 host            | \ref pf_host          | This entity carries out the actual computation. For this reason, it contains processors (with potentially multiple cores).
101 router          | \ref pf_router        | In SimGrid, routers are used to provide helpful information to routing algorithms.  Routers may also act as gateways, connecting several autonomous systems with each other.
102 link            | \ref pf_link          | In SimGrid, (network)links define a connection between two or potentially even more resources. Every link has a bandwidth and a latency and may potentially experience congestion.
103 cluster         | \ref pf_cluster       | In SimGrid, clusters were introduced to model large and homogenous environments. They are not really a resource by themselves - technically, they are only a shortcut, as they will internally set up all the hosts, network and routing for you, i.e., using this resource, one can easily setup thousands of hosts and links in a few lines of code. Each cluster is itself an AS.
104
105 %As it is desirable to interconnect these resources, a routing has to be
106 defined. The AS is supposed to be Autonomous, hence this has to be done at the
107 AS level. The AS handles two different types of entities (<b>host/router</b>
108 and <b>AS</b>). However, the user is responsible to define routes between those resources,
109 otherwise entities will be unconnected and therefore unreachable from other
110 entities. Although several routing algorithms are built into SimGrid (see
111 \ref pf_rm), you might encounter a case where you want to define routes
112 manually (for instance, due to specific requirements of your platform).
113
114 There are three tags to use:
115 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
116 \li <b>route</b>: to define routes between two <b>host/router</b>
117 \li <b>bypassRoute</b>: to define routes between two <b>AS</b> that
118     will bypass default routing (as specified by the ``routing`` attribute
119     supplied to ``<AS>``, see above).
120
121 Here is an illustration of these concepts:
122
123 ![An illustration of an AS hierarchy. Here, AS1 contains 5 other AS' who in turn may contain other AS' as well.](AS_hierarchy.png)
124  Circles represent processing units and squares represent network routers. Bold
125     lines represent communication links. AS2 models the core of a national
126     network interconnecting a small flat cluster (AS4) and a larger
127     hierarchical cluster (AS5), a subset of a LAN (AS6), and a set of peers
128     scattered around the world (AS7).
129
130 \section pf_pftags Resource description
131
132 \subsection  pf_As Platform: The \<AS\> tag
133
134 The concept of an AS was already outlined above (Section \ref pf_basics);
135 recall that the AS is so important because it groups other resources (such
136 as routers/hosts) together (in fact, these resources must be contained by
137 an AS).
138
139 Available attributes :
140
141 Attribute name  | Mandatory | Values | Description
142 --------------- | --------- | ------ | -----------
143 id              | yes       | String | The identifier of an AS; facilitates referring to this AS. ID must be unique.
144 routing         | yes       | Full\| Floyd\| Dijkstra\| DijkstraCache\| none\| Vivaldi\| Cluster | See Section \ref pf_rm for details.
145
146
147 <b>Example:</b>
148 \verbatim
149 <AS id="AS0" routing="Full">
150    <host id="host1" power="1000000000"/>
151    <host id="host2" power="1000000000"/>
152    <link id="link1" bandwidth="125000000" latency="0.000100"/>
153    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
154 </AS>
155 \endverbatim
156
157 In this example, AS0 contains two hosts (host1 and host2). The route
158 between the hosts goes through link1.
159
160 \subsection pf_Cr Computing resources: hosts, clusters and peers.
161
162 \subsubsection pf_host The tag <host/>
163
164 A <b>host</b> represents a computer/node card. Every host is able to execute
165 code and it can send and receive data to/from other hosts. Most importantly,
166 a host can contain more than 1 core.
167
168 ### Attributes: ###
169
170 Attribute name  | Mandatory | Values | Description
171 --------------- | --------- | ------ | -----------
172 id              | yes       | String | The identifier of the host. facilitates referring to this AS.
173 power           | yes       | double (must be > 0.0) | Computational power of every core of this host in FLOPS. Must be larger than 0.0.
174 core            | no        | int (Default: 1) | The number of cores of this host. If more than one core is specified, the "power" parameter refers to every core, i.e., the total computational power is #cores*power.<br /> If 6 cores are specified, up to 6 tasks can be executed without sharing the computational power; if more than 6 tasks are executed, computational power will be shared among these tasks. <br /> <b>Warning:</b> Although functional, this model was never scientifically assessed.
175 availability    | no        | int    | <b>Specify if the percentage of power available.</b> (What? TODO)
176 availability_file| no       | string | (Relative or absolute) filename to use as input; must contain availability traces for this host. The syntax of this file is defined below. <br /> <b>Note:</b> The filename must be specified with your system's format.
177 state           | no        | ON\|OFF<br/> (Default: ON) | Is this host running or not?
178 state_file      | no        | string |  Same mechanism as availability_file.<br /> <b>Note:</b> The filename must be specified with your system's format.
179 coordinates     | no        | string | Must be provided when choosing the Vivaldi, coordinate-based routing model for the AS the host belongs to. More details can be found in the Section \ref pf_P2P_tags.
180
181 ### Possible children: ###
182
183 Tag name        | Description | Documentation
184 ------------    | ----------- | -------------
185 <mount/>        | Defines mounting points between some storage resource and the host. | \ref pf_sto_mo
186 <prop/>         | The prop tag allows you to define additional information on this host following the attribute/value schema. You may want to use it to give information to the tool you use for rendering your simulation, for example. | N/A
187
188 ### Example ###
189
190 \verbatim
191    <host id="host1" power="1000000000"/>
192    <host id="host2" power="1000000000">
193         <prop id="color" value="blue"/>
194         <prop id="rendershape" value="square"/>
195    </host>
196 \endverbatim
197
198
199 \anchor pf_host_dynamism
200 ### Expressing dynamism ###
201
202 SimGrid provides mechanisms to change a hosts' availability over
203 time, using the ``availability_file`` attribute to the ``<host>`` tag
204 and a separate text file whose syntax is exemplified below.
205
206 #### Adding a trace file ####
207
208 \verbatim
209 <platform version="1">
210   <host id="bob" power="500000000" availability_file="bob.trace" />
211 </platform>
212 \endverbatim
213
214 #### Example of "bob.trace" file ####
215
216 ~~~~~~~~~~~~~~{.py}
217 PERIODICITY 1.0
218   0.0 1.0
219   11.0 0.5
220   20.0 0.8
221 ~~~~~~~~~~~~~~
222
223 Let us begin to explain this example by looking at line 2. (Line 1 will become clear soon).
224 The first column describes points in time, in this case, time 0. The second column
225 describes the relative amount of power this host is able to deliver (relative
226 to the maximum performance specified in the ``<host>`` tag). (Clearly, the
227 second column needs to contain values that are not smaller than 0 and not larger than 1).
228 In this example, our host will deliver 500 Mflop/s at time 0, as 500 Mflop/s is the
229 maximum performance of this host. At time 11.0, it will
230 deliver half of its maximum performance, i.e., 250 Mflop/s until time 20.0 when it will
231 will start delivering 80\% of its power. In this example, this amounts to 400 Mflop/s.
232
233 Since the periodicity in line 1 was set to be 1.0, i.e., 1 timestep, this host will
234 continue to provide 500 Mflop/s from time 21. From time 32 it will provide 250 MFlop/s and so on.
235
236 ### Changing initial state ###
237
238 It is also possible to specify whether the host is up or down by setting the
239 ``state`` attribute to either <b>ON</b> (default value) or <b>OFF</b>.
240
241 #### Example: Expliciting the default value "ON" ####
242
243 \verbatim
244 <platform version="1">
245    <host id="bob" power="500000000" state="ON" />
246 </platform>
247 \endverbatim
248
249 If you want this host to be unavailable, simply substitute ON with OFF.
250
251 ### Expressing churn ###
252
253 To express the fact that a host can change state over time (as in P2P
254 systems, for instance), it is possible to use a file describing the time
255 at which the host is turned on or off. An example of the content
256 of such a file is presented below.
257
258 #### Adding a state file ####
259
260 \verbatim
261 <platform version="1">
262   <host id="bob" power="500000000" state_file="bob.fail" />
263 </platform>
264 \endverbatim
265
266 #### Example of "bob.fail" file ####
267
268 ~~~{.py}
269   PERIODICITY 10.0
270   1.0 -1.0
271   2.0 1.0
272 ~~~
273
274 A negative value means <b>down</b> (i.e., OFF) while a positive one means <b>up and
275   running</b> (i.e., ON). From time 0.0 to time 1.0, the host is on. At time 1.0, it is
276 turned off and at time 2.0, it is turned on again until time 12 (2.0 plus the
277 periodicity 10.0). It will be turned on again at time 13.0 until time 23.0, and
278 so on.
279
280
281
282 \subsubsection pf_cluster <cluster>
283
284 ``<cluster />`` represents a machine-cluster. It is most commonly used
285 when one wants to define many hosts and a network quickly. Technically,
286 ``cluster`` is a meta-tag: <b>from the inner SimGrid point of
287 view, a cluster is an AS where some optimized routing is defined</b>.
288 The default inner organization of the cluster is as follow:
289
290 \verbatim
291                  __________
292                 |          |
293                 |  router  |
294     ____________|__________|_____________ backbone
295       |   |   |              |     |   |
296     l0| l1| l2|           l97| l96 |   | l99
297       |   |   |   ........   |     |   |
298       |                                |
299     c-0.me                             c-99.me
300 \endverbatim
301
302 Here, a set of <b>host</b>s is defined. Each of them has a <b>link</b>
303 to a central backbone (backbone is a link itself, as a link can
304 be used to represent a switch, see the switch / link section
305 below for more details about it). A <b>router</b> allows to connect a
306 <b>cluster</b> to the outside world. Internally,
307 SimGrid treats a cluster as an AS containing all hosts: the router is the default
308 gateway for the cluster.
309
310 There is an alternative organization, which is as follows:
311 \verbatim
312                  __________
313                 |          |
314                 |  router  |
315                 |__________|
316                     / | \
317                    /  |  \
318                l0 / l1|   \l2
319                  /    |    \
320                 /     |     \
321             host0   host1   host2
322 \endverbatim
323
324 The principle is the same, except that there is no backbone. This representation
325 can be obtained easily: just do not set the bb_* attributes.
326
327
328 Attribute name  | Mandatory | Values | Description
329 --------------- | --------- | ------ | -----------
330 id              | yes       | string | The identifier of the cluster. Facilitates referring to this cluster.
331 prefix          | yes       | string | Each node of the cluster has to have a name. This name will be prefixed with this prefix.
332 suffix          | yes       | string | Each node of the cluster will be suffixed with this suffix
333 radical         | yes       | string | Regexp used to generate cluster nodes name. Syntax: "10-20" will give you 11 machines numbered from 10 to 20, "10-20;2" will give you 12 machines, one with the number 2, others numbered as before. The produced number is concatenated between prefix and suffix to form machine names.
334 power           | yes       | int    | Same as the ``power`` attribute of the ``<host>`` tag.
335 core            | no        | int (default: 1) | Same as the ``core`` attribute of the ``<host>`` tag.
336 bw              | yes       | int    | Bandwidth for the links between nodes and backbone (if any). <b>See <b>link</b> section for syntax/details.</b>
337 lat             | yes       | int    | Latency for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
338 sharing_policy  | no        | string | Sharing policy for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
339 bb_bw           | no        | int    | Bandwidth for backbone (if any). See <b>link</b> section for syntax/details. If bb_bw and bb_lat (see below) attributes are omitted, no backbone is created (alternative cluster architecture <b>described before</b>).
340 bb_lat          | no        | int    | Latency for backbone (if any). See <b>link</b> section for syntax/details. If bb_lat and bb_bw (see above) attributes are omitted, no backbone is created (alternative cluster architecture <b>described before</b>).
341 bb_sharing_policy | no      | string | Sharing policy for the backbone (if any). See <b>link</b> section for syntax/details.
342 availability_file | no      | string | Allows you to use a file as input for availability. Similar to <b>hosts</b> attribute.
343 state_file        | no      | string | Allows you to use a file as input for states.  Similar to <b>hosts</b> attribute.
344 loopback_bw       | no      | int    | Bandwidth for loopback (if any). See <b>link</b> section for syntax/details. If loopback_bw and loopback_lat (see below) attributes are omitted, no loopback link is created and all intra-node communication will use the main network link of the node. Loopback link is a <b>FATPIPE</b>.
345 loopback_lat      | no      | int    | Latency for loopback (if any). See <b>link</b> section for syntax/details. See loopback_bw for more info.
346 topology          | no      | FLAT\|TORUS\|FAT_TREE (default: FLAT) | Network topology to use. SimGrid currently supports FLAT (with or without backbone, as described before), <a href="http://en.wikipedia.org/wiki/Torus_interconnect">TORUS </a> and FAT_TREE attributes for this tag.
347 topo_parameters   | no      | string | Specific parameters to pass for the topology defined in the topology tag. For torus networks, comma-separated list of the number of nodes in each dimension of the torus. For fat trees, refer to \ref AsClusterFatTree "AsClusterFatTree documentation".
348
349 TODO
350
351 the router name is defined as the resulting String in the following
352 java line of code:
353
354 @verbatim
355 router_name = prefix + clusterId + _router + suffix;
356 @endverbatim
357
358
359 #### Cluster example ####
360
361 Consider the following two (and independent) uses of the ``cluster`` tag:
362
363 \verbatim
364 <cluster id="my_cluster_1" prefix="" suffix="" radical="0-262144"
365          power="1e9" bw="125e6" lat="5E-5"/>
366
367 <cluster id="my_cluster_2" prefix="c-" suffix=".me" radical="0-99"
368          power="1e9" bw="125e6" lat="5E-5"
369          bb_bw="2.25e9" bb_lat="5E-4"/>
370 \endverbatim
371
372 The second example creates one router and 100 machines with the following names:
373 \verbatim
374 c-my_cluster_2_router.me
375 c-0.me
376 c-1.me
377 c-2.me
378 ...
379 c-99.me
380 \endverbatim
381
382 \subsubsection pf_peer <peer/>
383
384 This tag represents a peer, as in Peer-to-Peer (P2P) networks. However, internally,
385 SimGrid transforms a peer into an AS (similar to Cluster). Hence, this tag
386 is virtually only a shortcut that comes with some pre-defined resources
387 and values. These are:
388
389 \li A tiny AS whose routing type is cluster is created
390 \li A host
391 \li Two links: One for download and one for upload. This is
392     convenient to use and simulate stuff under the last mile model (e.g., ADSL peers).
393 \li It connects the two links to the host
394 \li It creates a router (a gateway) that serves as an entry point for this peer zone.
395     This router has coordinates.
396
397 #### Attributes ####
398
399 Attribute name  | Mandatory | Values | Description
400 --------------- | --------- | ------ | -----------
401 id              | yes       | string | The identifier of the peer. Facilitates referring to this peer.
402 power           | yes       | int    | See the description of the ``host`` tag for this attribute
403 bw_in           | yes       | int    | Bandwidth downstream
404 bw_out          | yes       | int    | Bandwidth upstream
405 lat             | yes       | double | Latency for both up- and downstream, in seconds.
406 coordinates     | no        | string | Coordinates of the gateway for this peer. Example value: 12.8 14.4 6.4
407 sharing_policy  | no        | SHARED\|FULLDUPLEX (default: FULLDUPLEX) | Sharing policy for links. See <b>link</b> description for details.
408 availability_file| no       | string | Availability file for the peer. Same as host availability file. See <b>host</b> description for details.
409 state_file      | no        | string | State file for the peer. Same as host state file. See <b>host</b> description for details.
410
411 Internally, SimGrid transforms any ``<peer/>`` construct such as
412 \verbatim
413 <peer id="FOO"
414   coordinates="12.8 14.4 6.4"
415   power="1.5Gf"
416   bw_in="2.25GBps"
417   bw_out="2.25GBps"
418   lat="500us" />
419 \endverbatim
420 into an ``<AS>`` (see Sections \ref pf_basics and \ref pf_As). In fact, this example of the ``<peer/>`` tag
421 is completely equivalent to the following declaration:
422
423 \verbatim
424 <AS id="as_FOO" routing="Cluster">
425    <host id="peer_FOO" power="1.5Gf"/>
426    <link id="link_FOO_UP" bandwidth="2.25GBps" latency="500us"/>
427    <link id="link_FOO_DOWN" bandwidth="2.25GBps" latency="500us"/>
428    <router id="router_FOO" coordinates="25.5 9.4 1.4"/>
429    <host_link id="peer_FOO" up="link_FOO_UP" down="link_FOO_DOWN"/>
430 </AS>
431 \endverbatim
432
433
434 \subsection pf_ne Network equipments: links and routers
435
436 There are two tags available to represent network entities:
437 1. ``<link>``: Represents a entity that has a limited bandwidth, a
438     latency, and that can be shared according to TCP way to share this
439     bandwidth.
440 \remark
441 The concept of links in SimGrid may not be intuitive, as links are not limited
442 to connecting (exactly) two entities; in fact, you can have more than two equipments
443 connected to it. (In graph theoretical terms: A link in SimGrid is not an edge,
444 but a hyperedge)
445 \endremark
446
447 2. ``<router/>``: Represents an entity that a message can be routed
448     to, but that is unable to execute any code. In SimGrid, routers have also
449     no impact on the performance: Routers do not limit any bandwidth nor
450     do they increase latency. As a matter of fact, routers are (almost) ignored
451     by the simulator when the simulation has begun.
452
453 \remark
454     If you want to represent an entity like a switch, you must use ``<link>`` (see section). Routers are used
455     to run some routing algorithm and determine routes (see Section \ref pf_routing for details).
456 \endremark
457
458 \subsubsection pf_router <router/>
459
460 %As said before, <b>router</b> is used only to give some information
461 for routing algorithms. So, it does not have any attributes except :
462
463 #### Attributes ####
464
465 Attribute name  | Mandatory | Values | Description
466 --------------- | --------- | ------ | -----------
467 id              | yes       | string | The identifier of the router to be used when referring to it.
468 coordinates     | yes       | string | Must be provided when choosing the Vivaldi, coordinate-based routing model for the AS the router belongs to. More details can be found in the Section \ref pf_P2P_tags.
469
470 #### Example ####
471
472 \verbatim
473  <router id="gw_dc1_horizdist"/>
474 \endverbatim
475
476 \subsubsection pf_link <link>
477
478 Network links can represent one-hop network connections. They are
479 characterized by their id and their bandwidth; links can (but may not) be subject
480 to latency.
481
482 #### Attributes ####
483
484 Attribute name  | Mandatory | Values | Description
485 --------------- | --------- | ------ | -----------
486 id              | yes       | string | The identifier of the link to be used when referring to it.
487 bandwidth       | yes       | int    | Maximum bandwidth for this link, given in bytes/s
488 latency         | no        | double (default: 0.0) | Latency for this link.
489 sharing_policy  | no        | SHARED\|FATPIPE\|FULLDUPLEX (default: SHARED) | Sharing policy for the link.
490 state           | no        | ON\|OFF (default: ON) | Allows you to to turn this link on or off (working / not working)
491 bandwidth_file  | no        | string | Allows you to use a file as input for bandwidth.
492 latency_file    | no        | string | Allows you to use a file as input for latency.
493 state_file      | no        | string | Allows you to use a file as input for states.
494
495
496 #### Possible shortcuts for ``latency`` ####
497
498 When using the latency attribute, you can specify the latency by using the scientific
499 notation or by using common abbreviations. For instance, the following three tags
500 are equivalent:
501
502 \verbatim
503  <link id="LINK1" bandwidth="125000000" latency="5E-6"/>
504  <link id="LINK1" bandwidth="125000000" latency="5us"/>
505  <link id="LINK1" bandwidth="125000000" latency="0.000005"/>
506 \endverbatim
507
508 Here, the second tag uses "us", meaning "microseconds". Other shortcuts are:
509
510 Name | Abbreviation | Time (in seconds)
511 ---- | ------------ | -----------------
512 Week | w | 7 * 24 * 60 * 60
513 Day  | d | 24 * 60 * 60
514 Hour | h | 60 * 60
515 Minute | m | 60
516 Second | s | 1
517 Millisecond | ms | 0.001 = 10^(-3)
518 Microsecond | us | 0.000001 = 10^(-6)
519 Nanosecond  | ns | 0.000000001 = 10^(-9)
520 Picosecond  | ps | 0.000000000001 = 10^(-12)
521
522 #### Sharing policy ####
523
524 By default a network link is SHARED, i.e., if two or more data flows go
525 through a link, the bandwidth is shared fairly among all data flows. This
526 is similar to the sharing policy TCP uses.
527
528 On the other hand, if a link is defined as a FATPIPE,
529 each flow going through this link will be provided with the complete bandwidth,
530 i.e., no sharing occurs and the bandwidth is only limiting each flow individually.
531 The complete bandwidth provided by this link in this mode
532 is ``#flows*bandwidth``, with at most ``bandwidth`` being available per flow.
533
534 Using the FATPIPE mode allows to model backbones that won't affect performance
535 (except latency).
536
537 The last mode available is FULLDUPLEX. This means that SimGrid will
538 automatically generate two links (one carrying the suffix _UP and the other the
539 suffix _DOWN) for each ``<link>`` tag. This models situations when the direction
540 of traffic is important.
541
542 \remark
543 Transfers from one side to the other will interact similarly as
544 TCP when ACK returning packets circulate on the other direction. More
545 discussion about it is available in the description of link_ctn description.
546 \endremark
547
548 In other words: The SHARED policy defines a physical limit for the bandwidth.
549 The FATPIPE mode defines a limit for each application,
550 with no upper total limit.
551
552 \remark
553 Tip: By using the FATPIPE mode, you can model big backbones that
554 won't affect performance (except latency).
555 \endremark
556
557 #### Example ####
558
559 \verbatim
560  <link id="SWITCH" bandwidth="125000000" latency="5E-5" sharing_policy="FATPIPE" />
561 \endverbatim
562
563 #### Expressing dynamism and failures ####
564
565 Similar to hosts, it is possible to declare links whose state, bandwidth
566 or latency changes over time (see Section \ref pf_hosts_dynamism for details).
567
568 In the case of network links, the ``bandwidth`` and ``latency`` attributes are
569 replaced by the ``bandwidth_file`` and ``latency_file`` attributes.
570 The following XML snippet demonstrates how to use this feature in the platform
571 file. The structure of the files "link1.bw" and "link1.lat" is shown below.
572
573 \verbatim
574 <link id="LINK1" state_file="link1.fail" bandwidth="80000000" latency=".0001" bandwidth_file="link1.bw" latency_file="link1.lat" />
575 \endverbatim
576
577 \note
578 Even if the syntax is the same, the semantic of bandwidth and latency
579 trace files differs from that of host availability files. For bandwidth and
580 latency, the corresponding files do not
581 express availability as a fraction of the available capacity but directly in
582     bytes per seconds for the bandwidth and in seconds for the latency. This is
583 because most tools allowing to capture traces on real platforms (such as NWS)
584     express their results this way.
585     \endnote
586
587 ##### Example of "link1.bw" file #####
588
589 ~~~{.py}
590 PERIODICITY 12.0
591 4.0 40000000
592 8.0 60000000
593 ~~~
594
595 In this example, the bandwidth changes repeatedly, with all changes
596 being repeated every 12 seconds.
597
598 At the beginning of the the simulation, the link's bandwidth is 80,000,000
599 B/s (i.e., 80 Mb/s); this value was defined in the XML snippet above.
600 After four seconds, it drops to 40 Mb/s (line 2), and climbs
601 back to 60 Mb/s after another 4 seconds (line 3). The value does not change any
602 more until the end of the period, that is, after 12 seconds have been simulated).
603 At this point, periodicity kicks in and this behavior is repeated: Seconds
604 12-16 will experience 80 Mb/s, 16-20 40 Mb/s etc.).
605
606 ##### Example of "link1.lat" file #####
607
608 ~~~{.py}
609 PERIODICITY 5.0
610 1.0 0.001
611 2.0 0.01
612 3.0 0.001
613 ~~~
614
615 In this example, the latency varies with a period of 5 seconds.
616 In the xml snippet above, the latency is initialized to be 0.0001s (100µs). This
617 value will be kept during the first second, since the latency_file contains
618 changes to this value at second one, two and three.
619 At second one, the value will be 0.001, i.e., 1ms. One second later it will
620 be adjusted to 0.01 (or 10ms) and one second later it will be set again to 1ms. The
621 value will not change until second 5, when the periodicity defined in line 1
622 kicks in. It then loops back, starting at 100µs (the initial value) for one second.
623
624
625 #### The ``<prop/>`` tag ####
626
627 Similar to ``<host>``, the link may also contain the ``<prop/>`` tag; see the host
628 documentation (Section \ref pf_host) for an example.
629
630
631 TODO
632
633 \subsection pf_storage Storage
634
635 \note
636 This is a prototype version that should evolve quickly, this
637 is just some doc valuable only at the time of writing this doc</b>
638 This section describes the storage management under SimGrid ; nowadays
639 it's only usable with MSG. It relies basically on linux-like concepts.
640 You also may want to have a look to its corresponding section in \ref
641 msg_file_management ; functions access are organized as a POSIX-like
642 interface.
643 \endnote
644
645 \subsubsection pf_sto_conc Storage Main concepts
646 Basically there is 3 different entities to know :
647 \li the <b>storage_type</b>: here you define some kind of storage that
648     you will instantiate many type on your platform. Think of it like
649     a definition of throughput of a specific disk.
650 \li the <b>storage</b>: instance of a <b>storage_type</b>. Defines a
651     new storage of <b>storage_type</b>
652 \li the <b>mount</b>: says that the storage is located into this
653     specific resource.
654
655 the content of a storage has to be defined in a content file that
656 contains the content. The path to this file has to be passed within
657 the <b>content</b> attribute . Here is a way to generate it:
658
659 \verbatim
660 find /path/you/want -type f -exec ls -l {} \; 2>/dev/null > ./content.txt
661 \endverbatim
662
663 \subsubsection pf_sto_sttp storage_type
664
665
666 <b>storage_type</b> attributes :
667 \li <b>id (mandatory)</b>: the identifier of the storage_type to be
668     used when referring to it.
669 \li <b>model (mandatory)</b>: Unused for now by the simulator (but
670     mandatory, ok)
671 \li <b>content</b>: default value 0. The file containing the disk
672     content. (may be moved soon or later to <b>storage</b> tag.
673
674 The tag must contains some predefined model prop, as may do some other
675 resources tags.
676 <b>storage_type</b> mandatory <b>model_prop</b> :
677 \li <b>Bwrite</b>: value in B/s. Write throughput
678 \li <b>Bread</b>: value in B/s. Read throughput
679 \li <b>Bconnexion</b>: value in B/s. Connection throughput (i.e. the
680     throughput of the storage connector).
681
682 A storage_type can also contain the <b>prop</b> tag. The prop tag allows you
683 to define additional information on this storage_type following the
684 attribute/value schema. You may want to use it to give information to
685 the tool you use for rendering your simulation, for example.
686
687 \verbatim
688 <storage_type id="single_HDD" model="linear_no_lat" size="4000" content_type="txt_unix">
689   <model_prop id="Bwrite" value="30MBps" />
690   <model_prop id="Bread" value="100MBps" />
691   <model_prop id="Bconnection" value="150MBps" />
692   <b><prop id="Brand" value="Western Digital" /></b>
693 </storage_type>
694 \endverbatim
695
696 \subsubsection pf_sto_st storage
697
698 <b>storage_type</b> attributes :
699 \li <b>id (mandatory)</b>: the identifier of the storage to be used
700     when referring to it.
701 \li <b>typeId (mandatory)</b>: the identifier of the storage_type that
702     this storage belongs to.
703 \li <b>attach (mandatory)</b>: the host (name) to which the storage is
704         attached to.
705
706 \subsubsection pf_sto_mo mount
707
708 <b>mount</b> attributes :
709 \li <b>id (mandatory)</b>: the id of the <b>storage</b> that must be
710     mounted on that computer.
711 \li <b>name (mandatory)</b>: the name that will be the logical
712     reference to this disk (the mount point).
713
714 \subsubsection pf_sto_mst mstorage
715 <b>Note : unused for now</b>
716 <b>mstorage</b> attributes :
717 \li <b>typeId (mandatory)</b>: the id of the <b>storage</b> that must
718     be mounted on that computer.
719 \li <b>name (mandatory)</b>: the name that will be the logical
720     reference to this disk (the mount point).
721
722 \section pf_routing Routing
723
724 To achieve high performance, the routing tables used within SimGrid are
725 static. This means that routing between two nodes is calculated once
726 and will not change during execution. The SimGrid team chose to use this
727 approach as it is rare to have a real deficiency of a resource;
728 most of the time, a communication fails because the links experience too much
729 congestion and hence, your connection stops before the timeout or
730 because the computer designated to be the destination of that message
731 is not responding.
732
733 We also chose to use shortest paths algorithms in order to emulate
734 routing. Doing so is consistent with the reality: RIP, OSPF, BGP are
735 all calculating shortest paths. They have some convergence time, but
736 at the end, so when the platform is stable (and this should be the
737 moment you want to simulate something using SimGrid) your packets will
738 follow the shortest paths.
739
740 \subsection pf_rm Routing models
741
742 Within each AS, you have to define a routing model to use. You have
743 basically 3 main kind of routing models :
744
745 \li Shortest-path based models: you let SimGrid calculates shortest
746     paths and manage it. Behaves more or less as most real life
747     routing.
748 \li Manually-entered route models: you'll have to define all routes
749     manually by yourself into the platform description file.
750     Consistent with some manually managed real life routing.
751 \li Simple/fast models: those models offers fast, low memory routing
752     algorithms. You should consider to use it if you can make some
753     assumptions about your AS. Routing in this case is more or less
754     ignored
755
756 \subsubsection pf_raf The router affair
757
758 Expressing routers becomes mandatory when using shortest-path based
759 models or when using ns-3 or the bindings to the GTNetS packet-level
760 simulator instead of the native analytical network model implemented
761 in SimGrid.
762
763 For graph-based shortest path algorithms, routers are mandatory,
764 because both algorithms need a graph, and so we need to have source
765 and destination for each edge.
766
767 Routers are naturally an important concept in GTNetS or ns-3 since the
768 way they run the packet routing algorithms is actually simulated.
769 Instead, the SimGrid’s analytical models aggregate the routing time
770 with the transfer time. Rebuilding a graph representation only from
771 the route information turns to be a very difficult task, because of
772 the missing information about how routes intersect. That is why we
773 introduced a \<router\> tag, which is simply used to express these
774 intersection points. The only attribute accepted by this tag an id. It
775 is important to understand that the \<router\> tag is only used to
776 provide topological information.
777
778 To express those topological information, some <b>route</b> have to be
779 defined saying which link is between which routers. Description or the
780 route syntax is given below, as well as example for the different
781 models.
782
783 \subsubsection pf_rm_sh Shortest-path based models
784
785 Here is the complete list of such models, that computes routes using
786 classic shortest-paths algorithms. How to choose the best suited
787 algorithm is discussed later in the section devoted to it.
788
789 \li <b>Floyd</b>: Floyd routing data. Pre-calculates all routes once.
790 \li <b>Dijkstra</b>: Dijkstra routing data ,calculating routes when
791     necessary.
792 \li <b>DijkstraCache</b>: Dijkstra routing data. Handle some cache for
793     already calculated routes.
794
795 All those shortest-path models are instanciated the same way. Here are
796 some example of it:
797
798 Floyd example :
799 \verbatim
800 <AS  id="AS0"  routing="Floyd">
801
802   <cluster id="my_cluster_1" prefix="c-" suffix=""
803                 radical="0-1"   power="1000000000"    bw="125000000"     lat="5E-5"
804         router_id="router1"/>
805
806  <AS id="AS1" routing="none">
807     <host id="host1" power="1000000000"/>
808  </AS>
809
810   <link id="link1" bandwidth="100000" latency="0.01"/>
811
812   <ASroute src="my_cluster_1" dst="AS1"
813     gw_src="router1"
814     gw_dst="host1">
815     <link_ctn id="link1"/>
816   </ASroute>
817
818 </AS>
819 \endverbatim
820
821 ASroute given at the end gives a topological information: link1 is
822 between router1 and host1.
823
824 Dijsktra example :
825 \verbatim
826  <AS id="AS_2" routing="Dijsktra">
827      <host id="AS_2_host1" power="1000000000"/>
828      <host id="AS_2_host2" power="1000000000"/>
829      <host id="AS_2_host3" power="1000000000"/>
830      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
831      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
832      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
833      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
834      <router id="central_router"/>
835      <router id="AS_2_gateway"/>
836      <!-- routes providing topological information -->
837      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
838      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
839      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
840      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
841   </AS>
842 \endverbatim
843
844 DijsktraCache example :
845 \verbatim
846 <AS id="AS_2" routing="DijsktraCache">
847      <host id="AS_2_host1" power="1000000000"/>
848      ...
849 (platform unchanged compared to upper example)
850 \endverbatim
851
852 \subsubsection pf_rm_me Manually-entered route models
853
854 \li <b>Full</b>: You have to enter all necessary routes manually
855
856 Full example :
857 \verbatim
858 <AS  id="AS0"  routing="Full">
859    <host id="host1" power="1000000000"/>
860    <host id="host2" power="1000000000"/>
861    <link id="link1" bandwidth="125000000" latency="0.000100"/>
862    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
863  </AS>
864 \endverbatim
865
866 \subsubsection pf_rm_sf Simple/fast models
867
868 \li <b>none</b>: No routing (Unless you know what you are doing, avoid
869 using this mode in combination with a non Constant network model).
870 None Example :
871 \verbatim
872 <AS id="exitAS"  routing="none">
873         <router id="exit_gateway"/>
874 </AS>\endverbatim
875
876 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use
877     coordinates. See the corresponding section P2P below for details.
878 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
879     not be used, except internally.
880
881 \subsection ps_dec Defining routes
882
883 The principle of route definition is the same for the 4 available tags
884 for doing it. Those for tags are:
885
886 \li <b>route</b>: to define route between host/router
887 \li <b>ASroute</b>: to define route between AS
888 \li <b>bypassRoute</b>: to bypass normal routes as calculated by the
889     network model between host/router
890 \li <b>bypassASroute</b>: same as bypassRoute, but for AS
891
892 Basically all those tags will contain an (ordered) list of references
893 to link that compose the route you want to define.
894
895 Consider the example below:
896
897 \verbatim
898 <route src="Alice" dst="Bob">
899         <link_ctn id="link1"/>
900         <link_ctn id="link2"/>
901         <link_ctn id="link3"/>
902    </route>
903 \endverbatim
904
905 The route here from host Alice to Bob will be first link1, then link2,
906 and finally link3. What about the reverse route ? <b>route</b> and
907 <b>ASroute</b> have an optional attribute <b>symmetrical</b>, that can
908 be either YES or NO. YES means that the reverse route is the same
909 route in the inverse order, and is set to YES by default. Note that
910 this is not the case for bypass*Route, as it is more probable that you
911 want to bypass only one default route.
912
913 For an ASroute, things are just slightly more complicated, as you have
914 to give the id of the gateway which is inside the AS you're talking
915 about you want to access ... So it looks like this :
916
917
918 \verbatim
919   <ASroute src="AS1" dst="AS2"
920     gw_src="router1" gw_dst="router2">
921     <link_ctn id="link1"/>
922   </ASroute>
923 \endverbatim
924
925 gw == gateway, so when any message are trying to go from AS1 to AS2,
926 it means that it must pass through router1 to get out of the AS, then
927 pass through link1, and get into AS2 by being received by router2.
928 router1 must belong to AS1 and router2 must belong to AS2.
929
930 \subsubsection pf_linkctn link_ctn
931
932 a <b>link_ctn</b> is the tag that is used in order to reference a
933 <b>link</b> in a route. Its id is the link id it refers to.
934
935 <b>link_ctn</b> attributes :
936 \li <b>id (mandatory)</b>: Id of the link this tag refers to
937 \li <b>direction</b>: if the link referenced by <b>id</b> has been
938     declared as FULLDUPLEX, this is used to indicate in which
939     direction the route you're defining is going through this link.
940     Possible values "UP" or "DOWN".
941
942 \subsubsection pf_asro ASroute
943
944 ASroute tag purpose is to let people write manually their routes
945 between AS. It's useful when you're in Full model.
946
947 <b>ASroute</b> attributes :
948 \li <b>src (mandatory)</b>: the source AS id.
949 \li <b>dst (mandatory)</b>: the destination AS id.
950 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
951     Can be any <b>host</b> or \b router defined into the \b src AS or
952     into one of the AS it includes.
953 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
954     Can be any <b>host</b> or \b router defined into the \b dst AS or
955     into one of the AS it includes.
956 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
957     will be the opposite of the one defined. Can be either YES or NO,
958     default is YES.
959
960 <b>Example of ASroute with Full</b>
961 \verbatim
962 <AS  id="AS0"  routing="Full">
963   <cluster id="my_cluster_1" prefix="c-" suffix=".me"
964                 radical="0-149" power="1000000000"    bw="125000000"     lat="5E-5"
965         bb_bw="2250000000" bb_lat="5E-4"/>
966
967   <cluster id="my_cluster_2" prefix="c-" suffix=".me"
968             radical="150-299" power="1000000000"        bw="125000000"  lat="5E-5"
969             bb_bw="2250000000" bb_lat="5E-4"/>
970
971      <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
972
973      <ASroute src="my_cluster_1" dst="my_cluster_2"
974          gw_src="c-my_cluster_1_router.me"
975          gw_dst="c-my_cluster_2_router.me">
976                 <link_ctn id="backbone"/>
977      </ASroute>
978      <ASroute src="my_cluster_2" dst="my_cluster_1"
979          gw_src="c-my_cluster_2_router.me"
980          gw_dst="c-my_cluster_1_router.me">
981                 <link_ctn id="backbone"/>
982      </ASroute>
983 </AS>
984 \endverbatim
985
986 \subsubsection pf_ro route
987 The principle is the same as ASroute : <b>route</b> contains list of
988 links that are in the path between src and dst, except that it is for
989 routes between a src that can be either <b>host</b> or \b router and a
990 dst that can be either <b>host</b> or \b router. Useful for Full
991 as well as for the shortest-paths based models, where you
992 have to give topological information.
993
994
995 <b>route</b> attributes :
996 \li <b>src (mandatory)</b>: the source id.
997 \li <b>dst (mandatory)</b>: the destination id.
998 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
999     will be the opposite of the one defined. Can be either YES or NO,
1000     default is YES.
1001
1002 <b>route example in Full</b>
1003 \verbatim
1004  <route src="Tremblay" dst="Bourassa">
1005      <link_ctn id="4"/><link_ctn id="3"/><link_ctn id="2"/><link_ctn id="0"/><link_ctn id="1"/><link_ctn id="6"/><link_ctn id="7"/>
1006    </route>
1007 \endverbatim
1008
1009 <b>route example in a shortest-path model</b>
1010 \verbatim
1011  <route src="Tremblay" dst="Bourassa">
1012      <link_ctn id="3"/>
1013    </route>
1014 \endverbatim
1015 Note that when using route to give topological information, you have
1016 to give routes with one link only in it, as SimGrid needs to know
1017 which host are at the end of the link.
1018
1019 \subsubsection pf_byASro bypassASroute
1020
1021 <b>Note : bypassASroute and bypassRoute are under rewriting to perform
1022 better ; so you may not use it yet</b> As said before, once you choose
1023 a model, it (if so) calculates routes for you. But maybe you want to
1024 define some of your routes, which will be specific. You may also want
1025 to bypass some routes defined in lower level AS at an upper stage :
1026 <b>bypassASroute</b> is the tag you're looking for. It allows to
1027 bypass routes defined between already defined between AS (if you want
1028 to bypass route for a specific host, you should just use byPassRoute).
1029 The principle is the same as ASroute : <b>bypassASroute</b> contains
1030 list of links that are in the path between src and dst.
1031
1032 <b>bypassASroute</b> attributes :
1033 \li <b>src (mandatory)</b>: the source AS id.
1034 \li <b>dst (mandatory)</b>: the destination AS id.
1035 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
1036     Can be any <b>host</b> or \b router defined into the \b src AS or
1037     into one of the AS it includes.
1038 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
1039     Can be any <b>host</b> or \b router defined into the \b dst AS or
1040     into one of the AS it includes.
1041 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1042     will be the opposite of the one defined. Can be either YES or NO,
1043     default is YES.
1044
1045 <b>bypassASroute Example</b>
1046 \verbatim
1047     <bypassASRoute src="my_cluster_1" dst="my_cluster_2"
1048      gw_src="my_cluster_1_router"
1049      gw_dst="my_cluster_2_router">
1050         <link_ctn id="link_tmp"/>
1051      </bypassASroute>
1052 \endverbatim
1053
1054 \subsubsection pf_byro bypassRoute
1055 <b>Note : bypassASRoute and bypassRoute are under rewriting to perform
1056 better ; so you may not use it yet</b> As said before, once you choose
1057 a model, it (if so) calculates routes for you. But maybe you want to
1058 define some of your routes, which will be specific. You may also want
1059 to bypass some routes defined in lower level AS at an upper stage :
1060 <b>bypassRoute</b> is the tag you're looking for. It allows to bypass
1061 routes defined between <b>host/router</b>. The principle is the same
1062 as route : <b>bypassRoute</b> contains list of links references of
1063 links that are in the path between src and dst.
1064
1065 <b>bypassRoute</b> attributes :
1066 \li <b>src (mandatory)</b>: the source AS id.
1067 \li <b>dst (mandatory)</b>: the destination AS id.
1068 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1069     will be the opposite of the one defined. Can be either YES or NO,
1070     default is YES.
1071
1072 <b>bypassRoute Example</b>
1073 \verbatim
1074     <bypassRoute src="host_1" dst="host_2">
1075         <link_ctn id="link_tmp"/>
1076      </bypassRoute>
1077 \endverbatim
1078
1079
1080 \subsection pb_baroex Basic Routing Example
1081
1082 Let's say you have an AS named AS_Big that contains two other AS, AS_1
1083 and AS_2. If you want to make a host (h1) from AS_1 with another one
1084 (h2) from AS_2 then you'll have to proceed as follows:
1085 \li First, you have to ensure that a route is defined from h1 to the
1086     AS_1's exit gateway and from h2 to AS_2's exit gateway.
1087 \li Then, you'll have to define a route between AS_1 to AS_2. As those
1088     AS are both resources belonging to AS_Big, then it has to be done
1089     at AS_big level. To define such a route, you have to give the
1090     source AS (AS_1), the destination AS (AS_2), and their respective
1091     gateway (as the route is effectively defined between those two
1092     entry/exit points). Elements of this route can only be elements
1093     belonging to AS_Big, so links and routers in this route should be
1094     defined inside AS_Big. If you choose some shortest-path model,
1095     this route will be computed automatically.
1096
1097 As said before, there are mainly 2 tags for routing :
1098 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
1099 \li <b>route</b>: to define routes between two <b>host/router</b>
1100
1101 As we are dealing with routes between AS, it means that those we'll
1102 have some definition at AS_Big level. Let consider AS_1 contains 1
1103 host, 1 link and one router and AS_2 3 hosts, 4 links and one router.
1104 There will be a central router, and a cross-like topology. At the end
1105 of the crosses arms, you'll find the 3 hosts and the router that will
1106 act as a gateway. We have to define routes inside those two AS. Let
1107 say that AS_1 contains full routes, and AS_2 contains some Floyd
1108 routing (as we don't want to bother with defining all routes). As
1109 we're using some shortest path algorithms to route into AS_2, we'll
1110 then have to define some <b>route</b> to gives some topological
1111 information to SimGrid. Here is a file doing it all :
1112
1113 \verbatim
1114 <AS  id="AS_Big"  routing="Dijsktra">
1115   <AS id="AS_1" routing="Full">
1116      <host id="AS_1_host1" power="1000000000"/>
1117      <link id="AS_1_link" bandwidth="1250000000" latency="5E-4"/>
1118      <router id="AS_1_gateway"/>
1119      <route src="AS_1_host1" dst="AS_1_gateway">
1120             <link_ctn id="AS_1_link"/>
1121      </route>
1122   </AS>
1123   <AS id="AS_2" routing="Floyd">
1124      <host id="AS_2_host1" power="1000000000"/>
1125      <host id="AS_2_host2" power="1000000000"/>
1126      <host id="AS_2_host3" power="1000000000"/>
1127      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
1128      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
1129      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
1130      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
1131      <router id="central_router"/>
1132      <router id="AS_2_gateway"/>
1133      <!-- routes providing topological information -->
1134      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
1135      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
1136      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
1137      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
1138   </AS>
1139     <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
1140
1141      <ASroute src="AS_1" dst="AS_2"
1142          gw_src="AS_1_gateway"
1143          gw_dst="AS_2_gateway">
1144                 <link_ctn id="backbone"/>
1145      </ASroute>
1146 </AS>
1147 \endverbatim
1148
1149 \section pf_other_tags Tags not (directly) describing the platform
1150
1151 There are 3 tags, that you can use inside a \<platform\> tag that are
1152 not describing the platform:
1153 \li random: it allows you to define random generators you want to use
1154     for your simulation.
1155 \li config: it allows you to pass some configuration stuff like, for
1156     example, the network model and so on. It follows the
1157 \li include: simply allows you to include another file into the
1158     current one.
1159
1160 \subsection pf_conf config
1161 <b>config</b> attributes :
1162 \li <b>id (mandatory)</b>: the identifier of the config to be used
1163     when referring to it.
1164
1165
1166 <b>config</b> tag only purpose is to include <b>prop</b> tags. Valid
1167 id are basically the same as the list of possible parameters you can
1168 use by command line, except that "/" are used for namespace
1169 definition. See the \ref options config and options page for more
1170 information.
1171
1172
1173 <b>config example</b>
1174 \verbatim
1175 <?xml version='1.0'?>
1176 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1177 <platform version="3">
1178 <config id="General">
1179         <prop id="maxmin/precision" value="0.000010"></prop>
1180         <prop id="cpu/optim" value="TI"></prop>
1181         <prop id="workstation/model" value="compound"></prop>
1182         <prop id="network/model" value="SMPI"></prop>
1183         <prop id="path" value="~/"></prop>
1184         <prop id="smpi/bw_factor" value="65472:0.940694;15424:0.697866;9376:0.58729"></prop>
1185 </config>
1186
1187 <AS  id="AS0"  routing="Full">
1188 ...
1189 \endverbatim
1190
1191
1192 \subsection pf_rand random
1193 Not yet in use, and possibly subject to huge modifications.
1194
1195 \subsection pf_incl include
1196 <b>include</b> tag allows to import into a file platform parts located
1197 in another file. This is done with the intention to help people
1198 combine their different AS and provide new platforms. Those files
1199 should contains XML part that contains either
1200 <b>include,cluster,peer,AS,trace,trace_connect</b> tags.
1201
1202 <b>include</b> attributes :
1203 \li <b>file (mandatory)</b>: filename of the file to include. Possible
1204     values: absolute or relative path, syntax similar to the one in
1205     use on your system.
1206
1207 <b>Note</b>: due to some obscure technical reasons, you have to open
1208 and close tag in order to let it work.
1209 <b>include Example</b>
1210 \verbatim
1211 <?xml version='1.0'?>
1212 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1213 <platform version="3">
1214         <AS id="main" routing="Full">
1215                 <include file="clusterA.xml"></include>
1216                 <include file="clusterB.xml"></include>
1217         </AS>
1218 </platform>
1219 \endverbatim
1220
1221 \subsection pf_tra trace and trace_connect
1222 Both tags are an alternate way to passe availability, state, and so on
1223 files to entity. Instead of referring to the file directly in the host,
1224 link, or cluster tag, you proceed by defining a trace with an id
1225 corresponding to a file, later a host/link/cluster, and finally using
1226 trace_connect you say that the file trace must be used by the entity.
1227 Get it ? Let's have a look at an example :
1228
1229 \verbatim
1230 <AS  id="AS0"  routing="Full">
1231   <host id="bob" power="1000000000"/>
1232 </AS>
1233   <trace id="myTrace" file="bob.trace" periodicity="1.0"/>
1234   <trace_connect trace="myTrace" element="bob" kind="POWER"/>
1235 \endverbatim
1236
1237 All constraints you have is that <b>trace_connect</b> is after
1238 <b>trace</b> and <b>host</b> definitions.
1239
1240
1241 <b>trace</b> attributes :
1242 \li <b>id (mandatory)</b>: the identifier of the trace to be used when
1243     referring to it.
1244 \li <b>file</b>: filename of the file to include. Possible values :
1245     absolute or relative path, syntax similar to the one in use on
1246     your system. If omitted, the system expects that you provide the
1247     trace values inside the trace tags (see below).
1248 \li <b>trace periodicity (mandatory)</b>: trace periodicity, same
1249     definition as in hosts (see upper for details).
1250
1251 Here is an example  of trace when no file name is provided:
1252
1253 \verbatim
1254  <trace id="myTrace" periodicity="1.0">
1255     0.0 1.0
1256     11.0 0.5
1257     20.0 0.8
1258   </trace>
1259 \endverbatim
1260
1261 <b>trace_connect</b> attributes :
1262 \li <b>kind</b>: the type of trace, possible values
1263     <b>HOST_AVAIL|POWER|LINK_AVAIL|BANDWIDTH|LATENCY,</b>  default:
1264     <b>HOST_AVAIL</b>
1265 \li <b>trace (mandatory)</b>: the identifier of the trace referenced.
1266 \li <b>element (mandatory)</b>: the identifier of the entity referenced.
1267
1268
1269
1270 \section pf_hints Hints and tips, or how to write a platform efficiently
1271
1272 Now you should know at least the syntax and be able to create a
1273 platform by your own. However, after having ourselves wrote some platforms, there
1274 are some best practices you should pay attention to in order to
1275 produce good platform and some choices you can make in order to have
1276 faster simulations. Here's some hints and tips, then.
1277
1278 \subsection pf_as_h AS Hierarchy
1279 The AS design allows SimGrid to go fast, because computing route is
1280 done only for the set of resources defined in this AS. If you're using
1281 only a big AS containing all resource with no AS into it and you're
1282 using Full model, then ... you'll loose all interest into it. On the
1283 other hand, designing a binary tree of AS with, at the lower level,
1284 only one host, then you'll also loose all the good AS hierarchy can
1285 give you. Remind you should always be "reasonable" in your platform
1286 definition when choosing the hierarchy. A good choice if you try to
1287 describe a real life platform is to follow the AS described in
1288 reality, since this kind of trade-off works well for real life
1289 platforms.
1290
1291 \subsection pf_exit_as Exit AS: why and how
1292 Users that have looked at some of our platforms may have notice a
1293 non-intuitive schema ... Something like that :
1294
1295
1296 \verbatim
1297 <AS id="AS_4"  routing="Full">
1298 <AS id="exitAS_4"  routing="Full">
1299         <router id="router_4"/>
1300 </AS>
1301 <cluster id="cl_4_1" prefix="c_4_1-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1302 <cluster id="cl_4_2" prefix="c_4_2-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1303 <link id="4_1" bandwidth="2250000000" latency="5E-5"/>
1304 <link id="4_2" bandwidth="2250000000" latency="5E-5"/>
1305 <link id="bb_4" bandwidth="2250000000" latency="5E-4"/>
1306 <ASroute src="cl_4_1"
1307         dst="cl_4_2"
1308         gw_src="c_4_1-cl_4_1_router"
1309         gw_dst="c_4_2-cl_4_2_router"
1310         symmetrical="YES">
1311                 <link_ctn id="4_1"/>
1312                 <link_ctn id="bb_4"/>
1313                 <link_ctn id="4_2"/>
1314 </ASroute>
1315 <ASroute src="cl_4_1"
1316         dst="exitAS_4"
1317         gw_src="c_4_1-cl_4_1_router"
1318         gw_dst="router_4"
1319         symmetrical="YES">
1320                 <link_ctn id="4_1"/>
1321                 <link_ctn id="bb_4"/>
1322 </ASroute>
1323 <ASroute src="cl_4_2"
1324         dst="exitAS_4"
1325         gw_src="c_4_2-cl_4_2_router"
1326         gw_dst="router_4"
1327         symmetrical="YES">
1328                 <link_ctn id="4_2"/>
1329                 <link_ctn id="bb_4"/>
1330 </ASroute>
1331 </AS>
1332 \endverbatim
1333
1334 In the AS_4, you have an exitAS_4 defined, containing only one router,
1335 and routes defined to that AS from all other AS (as cluster is only a
1336 shortcut for an AS, see cluster description for details). If there was
1337 an upper AS, it would define routes to and from AS_4 with the gateway
1338 router_4. It's just because, as we did not allowed (for performances
1339 issues) to have routes from an AS to a single host/router, you have to
1340 enclose your gateway, when you have AS included in your AS, within an
1341 AS to define routes to it.
1342
1343 \subsection pf_P2P_tags P2P or how to use coordinates
1344 SimGrid allows you to use some coordinated-based system, like vivaldi,
1345 to describe a platform. The main concept is that you have some peers
1346 that are located somewhere: this is the function of the
1347 <b>coordinates</b> of the \<peer\> or \<host\> tag. There's nothing
1348 complicated in using it, here is an example of it:
1349
1350 \verbatim
1351 <?xml version='1.0'?>
1352 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1353 <platform version="3">
1354
1355 <config id="General">
1356         <prop id="network/coordinates" value="yes"></prop>
1357 </config>
1358  <AS  id="AS0"  routing="Vivaldi">
1359         <host id="100030591" coordinates="25.5 9.4 1.4" power="1500000000.0" />
1360         <host id="100036570" coordinates="-12.7 -9.9 2.1" power="730000000.0" />
1361         ...
1362         <host id="100429957" coordinates="17.5 6.7 18.8" power="830000000.0" />
1363         </AS>
1364 </platform>
1365 \endverbatim
1366
1367 Coordinates are then used to calculate latency between two hosts by
1368 calculating the euclidean distance between the two hosts coordinates.
1369 The results express the latency in ms.
1370
1371 Note that the previous example defines a routing directly between hosts but it could be also used to define a routing between AS.
1372 That is for example what is commonly done when using peers (see Section \ref pf_peer).
1373 \verbatim
1374 <?xml version='1.0'?>
1375 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1376 <platform version="3">
1377
1378 <config id="General">
1379         <prop id="network/coordinates" value="yes"></prop>
1380 </config>
1381  <AS  id="AS0"  routing="Vivaldi">
1382    <peer id="peer-0" coordinates="173.0 96.8 0.1" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us"/>
1383    <peer id="peer-1" coordinates="247.0 57.3 0.6" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
1384    <peer id="peer-2" coordinates="243.4 58.8 1.4" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
1385 </AS>
1386 </platform>
1387 \endverbatim
1388 In such a case though, we connect the AS created by the <b>peer</b> tag with the Vivaldi routing mechanism.
1389 This means that to route between AS1 and AS2, it will use the coordinates of router_AS1 and router_AS2.
1390 This is currently a convention and we may offer to change this convention in the DTD later if needed.
1391 You may have noted that conveniently, a peer named FOO defines an AS named FOO and a router named router_FOO, which is why it works seamlessly with the <b>peer</b> tag.
1392
1393
1394 \subsection pf_wisely Choosing wisely the routing model to use
1395
1396
1397 Choosing wisely the routing model to use can significantly fasten your
1398 simulation/save your time when writing the platform/save tremendous
1399 disk space. Here is the list of available model and their
1400 characteristics (lookup : time to resolve a route):
1401
1402 \li <b>Full</b>: Full routing data (fast, large memory requirements,
1403     fully expressive)
1404 \li <b>Floyd</b>: Floyd routing data (slow initialization, fast
1405     lookup, lesser memory requirements, shortest path routing only).
1406     Calculates all routes at once at the beginning.
1407 \li <b>Dijkstra</b>: Dijkstra routing data (fast initialization, slow
1408     lookup, small memory requirements, shortest path routing only).
1409     Calculates a route when necessary.
1410 \li <b>DijkstraCache</b>: Dijkstra routing data (fast initialization,
1411     fast lookup, small memory requirements, shortest path routing
1412     only). Same as Dijkstra, except it handles a cache for latest used
1413     routes.
1414 \li <b>none</b>: No routing (usable with Constant network only).
1415     Defines that there is no routes, so if you try to determine a
1416     route without constant network within this AS, SimGrid will raise
1417     an exception.
1418 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use coordinates
1419 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
1420     not be used.
1421
1422 \subsection pf_switch Hey, I want to describe a switch but there is no switch tag !
1423
1424 Actually we did not include switch tag, ok. But when you're trying to
1425 simulate a switch, the only major impact it has when you're using
1426 fluid model (and SimGrid uses fluid model unless you activate GTNetS,
1427 ns-3, or constant network mode) is the impact of the upper limit of
1428 the switch motherboard speed that will eventually be reached if you're
1429 using intensively your switch. So, the switch impact is similar to a
1430 link one. That's why we are used to describe a switch using a link tag
1431 (as a link is not an edge by a hyperedge, you can connect more than 2
1432 other links to it).
1433
1434 \subsection pf_platform_multipath How to express multipath routing in platform files?
1435
1436 It is unfortunately impossible to express the fact that there is more
1437 than one routing path between two given hosts. Let's consider the
1438 following platform file:
1439
1440 \verbatim
1441 <route src="A" dst="B">
1442    <link_ctn id="1"/>
1443 </route>
1444 <route src="B" dst="C">
1445   <link_ctn id="2"/>
1446 </route>
1447 <route src="A" dst="C">
1448   <link_ctn id="3"/>
1449 </route>
1450 \endverbatim
1451
1452 Although it is perfectly valid, it does not mean that data traveling
1453 from A to C can either go directly (using link 3) or through B (using
1454 links 1 and 2). It simply means that the routing on the graph is not
1455 trivial, and that data do not following the shortest path in number of
1456 hops on this graph. Another way to say it is that there is no implicit
1457 in these routing descriptions. The system will only use the routes you
1458 declare (such as &lt;route src="A" dst="C"&gt;&lt;link_ctn
1459 id="3"/&gt;&lt;/route&gt;), without trying to build new routes by aggregating
1460 the provided ones.
1461
1462 You are also free to declare platform where the routing is not
1463 symmetric. For example, add the following to the previous file:
1464
1465 \verbatim
1466 <route src="C" dst="A">
1467   <link_ctn id="2"/>
1468   <link_ctn id="1"/>
1469 </route>
1470 \endverbatim
1471
1472 This makes sure that data from C to A go through B where data from A
1473 to C go directly. Don't worry about realism of such settings since
1474 we've seen ways more weird situation in real settings (in fact, that's
1475 the realism of very regular platforms which is questionable, but
1476 that's another story).
1477
1478 \section pf_flexml_bypassing Bypassing the XML parser with your own C functions
1479 <b>NOTE THAT THIS DOCUMENTATION, WHILE STILL WORKING, IS STRONGLY DEPRECATED</b>
1480
1481 So you want to bypass the XML files parser, uh? Maybe doing some parameter
1482 sweep experiments on your simulations or so? This is possible, and
1483 it's not even really difficult (well. Such a brutal idea could be
1484 harder to implement). Here is how it goes.
1485
1486 For this, you have to first remember that the XML parsing in SimGrid is done
1487 using a tool called FleXML. Given a DTD, this gives a flex-based parser. If
1488 you want to bypass the parser, you need to provide some code mimicking what
1489 it does and replacing it in its interactions with the SURF code. So, let's
1490 have a look at these interactions.
1491
1492 FleXML parser are close to classical SAX parsers. It means that a
1493 well-formed SimGrid platform XML file might result in the following
1494 "events":
1495
1496   - start "platform_description" with attribute version="2"
1497   - start "host" with attributes id="host1" power="1.0"
1498   - end "host"
1499   - start "host" with attributes id="host2" power="2.0"
1500   - end "host"
1501   - start "link" with ...
1502   - end "link"
1503   - start "route" with ...
1504   - start "link_ctn" with ...
1505   - end "link_ctn"
1506   - end "route"
1507   - end "platform_description"
1508
1509 The communication from the parser to the SURF code uses two means:
1510 Attributes get copied into some global variables, and a surf-provided
1511 function gets called by the parser for each event. For example, the event
1512   - start "host" with attributes id="host1" power="1.0"
1513
1514 let the parser do something roughly equivalent to:
1515 \verbatim
1516   strcpy(A_host_id,"host1");
1517   A_host_power = 1.0;
1518   STag_host();
1519 \endverbatim
1520
1521 In SURF, we attach callbacks to the different events by initializing the
1522 pointer functions to some the right surf functions. Since there can be
1523 more than one callback attached to the same event (if more than one
1524 model is in use, for example), they are stored in a dynar. Example in
1525 workstation_ptask_L07.c:
1526 \verbatim
1527   /* Adding callback functions */
1528   surf_parse_reset_parser();
1529   surfxml_add_callback(STag_surfxml_host_cb_list, &parse_cpu_init);
1530   surfxml_add_callback(STag_surfxml_prop_cb_list, &parse_properties);
1531   surfxml_add_callback(STag_surfxml_link_cb_list, &parse_link_init);
1532   surfxml_add_callback(STag_surfxml_route_cb_list, &parse_route_set_endpoints);
1533   surfxml_add_callback(ETag_surfxml_link_c_ctn_cb_list, &parse_route_elem);
1534   surfxml_add_callback(ETag_surfxml_route_cb_list, &parse_route_set_route);
1535
1536   /* Parse the file */
1537   surf_parse_open(file);
1538   xbt_assert(!surf_parse(), "Parse error in %s", file);
1539   surf_parse_close();
1540 \endverbatim
1541
1542 So, to bypass the FleXML parser, you need to write your own version of the
1543 surf_parse function, which should do the following:
1544    - Fill the A_<tag>_<attribute> variables with the wanted values
1545    - Call the corresponding STag_<tag>_fun function to simulate tag start
1546    - Call the corresponding ETag_<tag>_fun function to simulate tag end
1547    - (do the same for the next set of values, and loop)
1548
1549 Then, tell SimGrid that you want to use your own "parser" instead of the stock one:
1550 \verbatim
1551   surf_parse = surf_parse_bypass_environment;
1552   MSG_create_environment(NULL);
1553   surf_parse = surf_parse_bypass_application;
1554   MSG_launch_application(NULL);
1555 \endverbatim
1556
1557 A set of macros are provided at the end of
1558 include/surf/surfxml_parse.h to ease the writing of the bypass
1559 functions. An example of this trick is distributed in the file
1560 examples/msg/masterslave/masterslave_bypass.c
1561
1562
1563 */