Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
fd64f878a71d1c7c1719bb52a94af3d41e5ee0cd
[simgrid.git] / doc / doxygen / platform.doc
1 /*! \page platform Platform Description
2
3 @tableofcontents
4
5 In order to run any simulation, SimGrid needs 3 things: something to run
6 (so, your code), a description of the platform on which you want to run your
7 application, and finally it needs something to know where to deploy what.
8
9 For the latest 2 entries, you have basically 2 ways to give it as an input :
10 \li You can program it, either using the Lua console (\ref
11     MSG_Lua_funct) or if you're using MSG some of its platform and
12     deployments functions(\ref msg_simulation). If you want to use it,
13     please refer to its doc. (you can also check the section \ref
14     pf_flexml_bypassing but this is strongly deprecated, as there is a
15     new way to do it properly, but not yet documented).
16 \li You can use two XML files: a platform description file and a
17     deployment description one.
18
19 For the deployment stuff, please take a look at \ref deployment
20
21 The platform description may be complicated. This documentation is all
22 about how to write this file: what are the basic concept it relies on,
23 what possibilities are offered, and some hints and tips on how to
24 write a good platform description.
25
26 \section pf_overview Some words about XML and DTD
27
28 We choose to use XML because of some of its possibilities: if you're
29 using an accurate XML editor, or simply using any XML plug-in for
30 eclipse, it will allow you to have cool stuff like auto-completion,
31 validation and checking, so all syntax errors may be avoided this
32 way.
33
34 the XML checking is done based on the dtd which is nowadays online at
35 <a href="http://simgrid.gforge.inria.fr/simgrid.dtd">http://simgrid.gforge.inria.fr/simgrid.dtd</a>
36 while you might be tempted to read it, it will not help you that much.
37
38 If you read it, you should notice two or three important things :
39 \li The platform tags contains a version attributes. At the time of
40     writing this doc the current version is 3.    
41 \li The DTD contains definitions for the 2 files used by SimGrid (platform
42     description and deployment).
43 \li There is a bunch of possibilities ! Let's see what's in it
44
45
46 \section pf_basics Basic concepts
47
48 Nowadays, the Internet is composed of a bunch of independently managed
49 networks. Within each of those networks, there are entry and exit
50 points (most of the time, you can both enter and exit through the same
51 point) that allows to go out of the current network and reach other
52 networks. At the upper level, these networks are known as
53 <b>Autonomous System (AS)</b>, while at the lower level they are named
54 sub-networks, or LAN. Indeed they are autonomous: routing is defined
55 within the limits of his network by the administrator, and so, those
56 networks can continue to operate without the existence of other
57 networks. There are some rules to get out of networks by the entry
58 points (or gateways). Those gateways allow you to go from a network to
59 another one. Inside of each autonomous system, there is a bunch of
60 equipments (cables, routers, switches, computers) that belong to the
61 autonomous system owner.
62
63 SimGrid platform description file relies exactly on the same concepts
64 as real life platform. Every resource (computers, network equipments,
65 and so on) belongs to an AS. Within this AS, you can define the
66 routing you want between its elements (that's done with the routing
67 model attribute and eventually with some \<route\> tag). You define AS
68 by using ... well ... the \<AS\> tag. An AS can also contain some AS :
69 AS allows you to define the hierarchy of your platform.
70
71 Within each AS, you basically have the following type of resources:
72 \li <b>host</b>: an host, with cores in it, and so on
73 \li <b>router</b>: a router or a gateway.
74 \li <b>link</b>: a link, that defines a connection between two (or
75     more) resources (and have a bandwidth and a latency) 
76 \li <b>cluster</b>: like a real cluster, contains many hosts
77     interconnected by some dedicated network. 
78
79 Between those elements, a routing has to be defined. As the AS is
80 supposed to be Autonomous, this has to be done at the AS level. As AS
81 handles two different types of entities (<b>host/router</b> and
82 <b>AS</b>) you will have to define routes between those elements. A
83 network model have to be provided for AS, but you may/will need,
84 depending of the network model, or because you want to bypass the
85 default behavior to defines routes manually. There are 3 tags to use: 
86 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
87 \li <b>route</b>: to define routes between two <b>host/router</b>
88 \li <b>bypassRoute</b>: to define routes between two <b>AS</b> that
89     will bypass default routing. 
90
91 Here is an illustration of the overall concepts:
92
93 \htmlonly
94 <a href="AS_hierarchy.png" border=0><img src="AS_hierarchy.png" width="30%" border=0 align="center"></a>
95 <br/>
96 \endhtmlonly
97  Circles represent processing units and squares represent network routers. Bold
98     lines represent communication links. AS2 models the core of a national
99     network interconnecting a small flat cluster (AS4) and a larger
100     hierarchical cluster (AS5), a subset of a LAN (AS6), and a set of peers
101     scattered around the world (AS7).
102
103
104 This is all for the concepts ! To make a long story short, a SimGrid
105 platform is made of a hierarchy of AS, each of them containing
106 resources, and routing is defined at AS level. Let's have a deeper
107 look in the tags.
108
109
110
111 \section pf_pftags Describing resources and their organization
112
113 \subsection  pf_As Platform organization tag : AS
114
115 AS (or Autonomous System) is an organizational unit that contains
116 resources and defines routing between them, and eventually some other
117 AS. So it allows you to define a hierarchy into your platform.
118 <b>*ANY*</b> resource <b>*MUST*</b> belong to an AS. There are a few
119 attributes.
120
121 <b>AS</b> attributes :
122 \li <b>id (mandatory)</b>: the identifier of AS to be used when
123     referring to it.     
124 \li <b>routing (mandatory)</b>: the routing model used into it. By
125     model we mean the internal way the simulator will manage routing.
126     That also have a big impact on how many information you'll have to
127     provide to help the simulator to route between the AS elements.
128     <b>routing</b> possible values are <b>Full, Floyd, Dijkstra,
129     DijkstraCache, none, Vivaldi, Cluster</b>. For more
130     explanation about what to choose, take a look at the section
131     devoted to it below.  
132
133 Elements into an AS are basically resources (computers, network
134 equipments) and some routing information if necessary (see below for
135 more explanation).
136
137 <b>AS example</b>
138 \verbatim
139 <AS  id="AS0"  routing="Full">
140    <host id="host1" power="1000000000"/>
141    <host id="host2" power="1000000000"/>
142    <link id="link1" bandwidth="125000000" latency="0.000100"/>
143    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
144  </AS>
145 \endverbatim
146
147 In this example, AS0 contains two hosts (host1 and host2). The route
148 between the hosts goes through link1.
149
150
151 \subsection pf_Cr Computing resources: hosts, clusters and peers.
152
153 \subsubsection pf_host host
154
155 A <b>host</b> represents a computer, where you will be able to execute
156 code and from which you can send and receive information. A host can
157 contain more than 1 core. Here are the attributes of a host :
158
159
160 <b>host</b> attributes :
161 \li <b>id (mandatory)</b>: the identifier of the host to be used when
162     referring to it.
163 \li <b>power (mandatory)</b>:the peak number FLOPS the CPU can manage.
164     Expressed in flop/s.
165 \li <b>core</b>: The number of core of this host (by default, 1). If
166     you specify the amount of cores, the 'power' parameter is the power 
167     of each core. 
168     For example, if you specify that your host has 6 cores, it will be
169     available to up to 6 sequential tasks without sharing. If more
170     tasks are placed on this host, the resource will be shared
171     accordingly. For example, if you schedule 12 tasks on that host,
172     each will get half of the specified computing power. Please note
173     that although sound, this model were never scientifically assessed.
174     Please keep this fact in mind when using it.
175 \li <b>availability</b>: specify if the percentage of power available.
176 \li <b>availability_file</b>: Allow you to use a file as input. This
177     file will contain availability traces for this computer. The
178     syntax of this file is defined below. Possible values : absolute
179     or relative path, syntax similar to the one in use on your system.
180 \li <b>state</b>: the computer state, as in : is that computer ON or
181     OFF. Possible values : "ON" or "OFF". 
182 \li <b>state_file</b>: Same mechanism as availability_file, similar
183     syntax for value.     
184 \li <b>coordinates</b>: you'll have to give it if you choose the
185     vivaldi, coordinate-based routing model for the AS the host
186     belongs to. More details about it in the P2P coordinate based
187     section. 
188
189 An host can contain some <b>mount</b> that defines mounting points
190 between some storage resource and the <b>host</b>. Please refer to the
191 storage doc for more information.
192
193 An host can also contain the <b>prop</b> tag. the prop tag allows you
194 to define additional information on this host following the
195 attribute/value schema. You may want to use it to give information to
196 the tool you use for rendering your simulation, for example.
197
198 <b>host example</b>
199 \verbatim
200    <host id="host1" power="1000000000"/>
201    <host id="host2" power="1000000000">
202         <prop id="color" value="blue"/>
203         <prop id="rendershape" value="square"/>
204    </host>
205 \endverbatim
206
207
208 <b>Expressing dynamicity.</b>
209 It is also possible to seamlessly declare a host whose
210 availability changes over time using the availability_file
211 attribute and a separate text file whose syntax is exemplified below.
212
213 <b>Adding a trace file</b>
214 \verbatim
215     <platform version="1">
216       <host id="bob" power="500000000"
217             availability_file="bob.trace" />
218     </platform>
219 \endverbatim
220 <b>Example of "bob.trace" file</b>
221 \verbatim
222 PERIODICITY 1.0
223   0.0 1.0
224   11.0 0.5
225   20.0 0.8
226 \endverbatim
227
228 At time 0, our host will deliver 500~Mflop/s. At time 11.0, it will
229 deliver half, that is 250~Mflop/s until time 20.0 where it will
230 will start delivering 80\% of its power, that is 400~Mflop/s. Last, at
231 time 21.0 (20.0 plus the periodicity 1.0), we loop back to the
232 beginning and the host will deliver again 500~Mflop/s.
233
234 <b>Changing initial state</b>
235
236 It is also possible to specify whether the host
237 is up or down by setting the <b>state</b> attribute to either <b>ON</b>
238 (default value) or <b>OFF</b>.
239
240 <b>Expliciting the default value "ON"</b>
241 \verbatim
242   <platform version="1">
243      <host id="bob"
244            power="500000000"
245           state="ON" />
246   </platform>
247 \endverbatim
248 <b>Host switched off</b>
249 \verbatim
250   <platform version="1">
251      <host id="bob"
252            power="500000000"
253            state="OFF" />
254   </platform>
255 \endverbatim
256 <b>Expressing churn</b>
257 To express the fact that a host can change state over time (as in P2P
258 systems, for instance), it is possible to use a file describing the time
259 at which the host is turned on or off. An example of the content
260 of such a file is presented below.
261 <b>Adding a state file</b>
262   \verbatim
263     <platform version="1">
264       <host id="bob" power="500000000"
265            state_file="bob.fail" />
266     </platform>
267   \endverbatim
268 <b>Example of "bob.fail" file</b>
269 \verbatim
270   PERIODICITY 10.0
271   1.0 -1.0
272   2.0 1.0
273 \endverbatim
274
275 A negative value means <b>down</b> while a positive one means <b>up and
276   running</b>. From time 0.0 to time 1.0, the host is on. At time 1.0, it is
277 turned off and at time 2.0, it is turned on again until time 12 (2.0 plus the
278 periodicity 10.0). It will be turned on again at time 13.0 until time 23.0, and
279 so on.
280
281
282
283 \subsubsection pf_cluster cluster
284
285 A <b>cluster</b> represents a cluster. It is most of the time used
286 when you want to have a bunch of machine defined quickly. It must be
287 noted that cluster is meta-tag : <b>from the inner SimGrid point of
288 view, a cluster is an AS where some optimized routing is defined</b>.
289 The default inner organization of the cluster is as follow:
290
291 \verbatim
292                  _________
293                 |          |
294                 |  router  |
295     ____________|__________|_____________ backbone
296       |   |   |              |     |   |
297     l0| l1| l2|           l97| l96 |   | l99
298       |   |   |   ........   |     |   |
299       |                                |
300     c-0.me                             c-99.me
301 \endverbatim
302
303 You have a set of <b>host</b> defined. Each of them has a <b>link</b>
304 to a central backbone (backbone is a <b>link</b> itself, as a link can
305 be used to represent a switch, see the switch or <b>link</b> section
306 below for more details about it). A <b>router</b> gives a way to the
307 <b>cluster</b> to be connected to the outside world. Internally,
308 cluster is then an AS containing all hosts : the router is the default
309 gateway for the cluster.
310
311 There is an alternative organization, which is as follow :
312 \verbatim
313                  _________
314                 |          |
315                 |  router  |
316                 |__________|
317                     / | \
318                    /  |  \
319                l0 / l1|   \l2
320                  /    |    \
321                 /     |     \
322             host0   host1   host2
323 \endverbatim
324
325 The principle is the same, except we don't have the backbone. The way
326 to obtain it is simple : you just have to let bb_* attributes
327 unset.
328
329
330
331 <b>cluster</b> attributes :
332 \li <b>id (mandatory)</b>: the identifier of the cluster to be used
333     when referring to it. 
334 \li <b>prefix (mandatory)</b>: each node of the cluster has to have a
335     name. This is its prefix. 
336 \li <b>suffix (mandatory)</b>: node suffix name.
337 \li <b>radical (mandatory)</b>: regexp used to generate cluster nodes
338     name. Syntax is quite common, "10-20" will give you 11 machines
339     numbered from 10 to 20, "10-20;2" will give you 12 machines, one
340     with the number 2, others numbered as before. The produced number
341     is concatenated between prefix and suffix to form machine names.
342 \li <b>power (mandatory)</b>: same as <b>host</b> power.
343 \li <b>core</b>: same as <b>host</b> core.
344 \li <b>bw (mandatory)</b>: bandwidth for the links between nodes and
345     backbone (if any). See <b>link</b> section for syntax/details.
346 \li <b>lat (mandatory)</b>: latency for the links between nodes and
347     backbone (if any). See <b>link</b> section for syntax/details. 
348 \li <b>sharing_policy</b>: sharing policy for the links between nodes
349     and backbone (if any). See <b>link</b> section for syntax/details.     
350 \li <b>bb_bw </b>: bandwidth for backbone (if any). See <b>link</b>
351     section for syntax/details. If both bb_* attributes are omitted,
352     no backbone is created (alternative cluster architecture described
353     before). 
354 \li <b>bb_lat </b>: latency for backbone (if any). See <b>link</b>
355     section for syntax/details. If both bb_* attributes are omitted,
356     no backbone is created (alternative cluster architecture described
357     before).
358 \li <b>bb_sharing_policy</b>: sharing policy for the backbone (if
359     any). See <b>link</b> section for syntax/details.
360 \li <b>availability_file</b>: Allow you to use a file as input for
361     availability. Similar to <b>hosts</b> attribute. 
362 \li <b>state_file</b>: Allow you to use a file as input for states.
363     Similar to <b>hosts</b> attribute. 
364 \li <b>loopback_bw </b>: bandwidth for loopback (if any). See <b>link</b>
365     section for syntax/details. If both loopback_* attributes are omitted,
366     no loopback link is created and all intra-node communication will 
367     use the main network link of the node. Loopback link is a <b>FATPIPE</b>.
368 \li <b>loopback_lat </b>: latency for loopback (if any). See <b>link</b>
369     section for syntax/details. See loopback_bw for more info.
370 \li <b>topology </b>: network topology to use. For now SimGrid supports FLAT 
371      (default, with or without backbone, as described before), 
372      <a href="http://en.wikipedia.org/wiki/Torus_interconnect">TORUS
373      </a> and FAT_TREE attributes for this tag.
374 \li <b>topo_parameters </b>: specific parameters to pass for the topology 
375      defined in the topology tag. For torus networks, comma-separated list of 
376     the number of nodes in each dimension of the torus. For fat trees, refer to
377     \ref AsClusterFatTree "AsClusterFatTree documentation".
378
379
380 the router name is defined as the resulting String in the following
381 java line of code: 
382
383 @verbatim
384 router_name = prefix + clusterId + _router + suffix;
385 @endverbatim
386
387
388 <b>cluster example</b>
389 \verbatim
390 <cluster id="my_cluster_1" prefix="" suffix="" radical="0-262144"
391          power="1e9" bw="125e6" lat="5E-5"/>
392
393 <cluster id="my_cluster_1" prefix="c-" suffix=".me" radical="0-99"
394          power="1e9" bw="125e6" lat="5E-5"
395          bb_bw="2.25e9" bb_lat="5E-4"/>
396 \endverbatim
397 The second examples creates one router and 100 machines, which names 
398 are the following:
399 \verbatim
400 c-my_cluster_1_router.me
401 c-0.me
402 c-1.me
403 c-2.me
404 ...
405 c-99.me
406 \endverbatim
407
408 \subsubsection pf_peer peer
409 A <b>peer</b> represents a peer, as in Peer-to-Peer (P2P). Basically,
410 as cluster, <b>A PEER IS INTERNALLY INTERPRETED AS AN \<AS\></b>. It's
411 just a kind of shortcut that does the following :
412
413 \li It creates a tiny AS whose routing type is cluster
414 \li It creates an host
415 \li Two links : one for download and one for upload. This is
416     convenient to use and simulate stuff under the last mile model (as
417     ADSL peers). 
418 \li It connects the two links to the host
419 \li It creates a router (a gateway) that serve as entry point for this peer zone.
420     This router has coordinates.
421
422 <b>peer</b> attributes :
423 \li <b>id (mandatory)</b>: the identifier of the peer to be used when
424     referring to it.
425 \li <b>power CDATA (mandatory)</b>: as in host
426 \li <b>bw_in CDATA (mandatory)</b>: bandwidth in.
427 \li <b>bw_out CDATA (mandatory)</b>:bandwidth out.
428 \li <b>lat CDATA (mandatory)</b>: Latency for in and out links.
429 \li <b>coordinates</b>: coordinates of the gateway for this peer.
430 \li <b>sharing_policy</b>: sharing policy for links. Can be SHARED or
431     FULLDUPLEX, FULLDUPLEX is the default. See <b>link</b> description
432     for details.
433 \li <b>availability_file</b>: availability file for the peer. Same as
434     host availability file. See <b>host</b> description for details.   
435 \li <b>state_file </b>: state file for the peer. Same as host state
436     file. See <b>host</b> description for details. 
437
438 In term of XML, the <b>peer</b> construct can be explained as follows: it transforms
439 \verbatim
440   <peer id="FOO"
441         coordinates="12.8 14.4 6.4"
442         power="1.5Gf"
443         bw_in="2.25GBps"
444         bw_out="2.25GBps"
445         lat="500us" />
446 \endverbatim
447 into
448 \verbatim
449    <AS id="as_FOO" routing="Cluster">
450       <host id="peer_FOO" power="1.5Gf"/>
451       <link id="link_FOO_UP" bandwidth="2.25GBps" latency="500us"/>
452       <link id="link_FOO_DOWN" bandwidth="2.25GBps" latency="500us"/>
453       <router id="router_FOO" coordinates="25.5 9.4 1.4"/>
454       <host_link id="peer_FOO" up="link_FOO_UP" down="link_FOO_DOWN"/>
455    </AS>
456 \endverbatim
457
458
459 \subsection pf_ne Network equipments: links and routers
460
461 You have basically two entities available to represent network entities:
462 \li <b>link</b>: represents something that has a limited bandwidth, a
463     latency, and that can be shared according to TCP way to share this
464     bandwidth. <b>LINKS ARE NOT EDGES BUT HYPEREDGES</b>: it means
465     that you can have more than 2 equipments connected to it.
466 \li <b>router</b>: represents something that one message can be routed
467     to, but does not accept any code, nor have any influence on the
468     performances (no bandwidth, no latency, not anything).<b>ROUTERS
469     ARE ENTITIES (ALMOST) IGNORED BY THE SIMULATOR WHEN THE SIMULATION
470     HAS BEGUN</b>. If you want to represent something like a switch,
471     you must use <b>link</b> (see section below). Routers are used in
472     order to run some routing algorithm and determine routes (see
473     routing section for details).
474
475 let's see deeper what those entities hide.
476
477 \subsubsection pf_router router
478 As said before, <b>router</b> is used only to give some information
479 for routing algorithms. So, it does not have any attributes except :
480
481 <b>router</b> attributes :
482 \li <b>id (mandatory)</b>: the identifier of the router to be used
483     when referring to it.
484     \li <b>coordinates</b>: you'll have to give it if you choose the
485     vivaldi, coordinate-based routing model for the AS the host
486     belongs to. More details about it in the P2P coordinates based
487     section.
488
489 <b>router example</b>
490 \verbatim
491  <router id="gw_dc1_horizdist"/>
492 \endverbatim
493
494 \subsubsection pf_link link
495
496 Network links can represent one-hop network connections. They are
497 characterized by their id and their bandwidth. The latency is optional
498 with a default value of 0.0. For instance, we can declare a network
499 link named link1 having bandwidth of 1Gb/s and a latency of 50µs.
500 Example link:
501
502 \verbatim
503  <link id="LINK1" bandwidth="125000000" latency="5E-5"/>
504 \endverbatim
505 <b>Expressing sharing policy</b>
506
507 By default a network link is SHARED, that is if more than one flow go
508 through a link, each gets a share of the available bandwidth similar
509 to the share TCP connections offers.
510
511 Conversely if a link is defined as a FATPIPE, each flow going through
512 this link will get all the available bandwidth, whatever the number of
513 flows. The FATPIPE behavior allows to describe big backbones that
514 won't affect performances (except latency). Finally a link can be
515 considered as FULLDUPLEX, that means that in the simulator, 2 links
516 (one named UP and the other DOWN) will be created for each link, so as
517 the transfers from one side to the other will interact similarly as
518 TCP when ACK returning packets circulate on the other direction. More
519 discussion about it is available in <b>link_ctn</b> description.
520
521 \verbatim
522  <link id="SWITCH" bandwidth="125000000" latency="5E-5" sharing_policy="FATPIPE" />
523 \endverbatim
524
525 <b>Expressing dynamicity and failures</b>
526
527 As for hosts, it is possible to declare links whose state, bandwidth
528 or latency change over the time. In this case, the bandwidth and
529 latency attributes are respectively replaced by the bandwidth file and
530 latency file attributes and the corresponding text files.
531
532 \verbatim
533  <link id="LINK1" state_file="link1.fail" bandwidth="80000000" latency=".0001" bandwidth_file="link1.bw" latency_file="link1.lat" />
534 \endverbatim
535
536 It has to be noted that even if the syntax is the same, the semantic
537 of bandwidth and latency trace files differs from that of host
538 availability files. Those files do not express availability as a
539 fraction of the available capacity but directly in bytes per seconds
540 for the bandwidth and in seconds for the latency. This is because most
541 tools allowing to capture traces on real platforms (such as NWS)
542 express their results this way.
543
544 <b>Example of "link1.bw" file</b>
545 \verbatim
546
547 1 PERIODICITY 12.0
548 2 4.0 40000000
549 3 8.0 60000000
550 \endverbatim
551 <b>Example of "link1.lat" file</b>
552 \verbatim
553  1 PERIODICITY 5.0
554 2 1.0 0.001
555 3 2.0 0.01
556 4 3.0 0.001
557 \endverbatim
558
559 In this example, the bandwidth varies with a period of 12 seconds
560 while the latency varies with a period of 5 seconds. At the beginning
561 of simulation, the link’s bandwidth is of 80,000,000 B/s (i.e., 80
562 Mb/s). After four seconds, it drops at 40 Mb/s, and climbs back to 60
563 Mb/s after eight seconds. It keeps that way until second 12 (ie, until
564 the end of the period), point at which it loops its behavior (seconds
565 12-16 will experience 80 Mb/s, 16-20 40 Mb/s and so on). In the same
566 time, the latency values are 100µs (initial value) on the [0, 1[ time
567 interval, 1ms on [1, 2[, 10ms on [2, 3[, 1ms on [3,5[ (i.e., until the
568 end of period). It then loops back, starting at 100µs for one second.
569
570 <b>link</b> attributes :
571 \li <b>id (mandatory)</b>: the identifier of the link to be used when referring to it.
572 \li <b>bandwidth (mandatory)</b>: bandwidth for the link.
573 \li <b>lat </b>: latency for the link. Default is 0.0.
574 \li <b>sharing_policy</b>: sharing policy for the link.
575 \li <b>state</b>: Allow you to to set link as ON or OFF. Default is ON.
576 \li <b>bandwidth_file</b>: Allow you to use a file as input for bandwidth.
577 \li <b>latency_file</b>: Allow you to use a file as input for latency.
578 \li <b>state_file</b>: Allow you to use a file as input for states.
579
580 As an host, a <b>link</b> tag can also contain the <b>prop</b> tag.
581
582 <b>link example</b>
583 \verbatim
584    <link id="link1" bandwidth="125000000" latency="0.000100"/>
585 \endverbatim
586
587
588 \subsection pf_storage Storage
589
590 <b>Note : This is a prototype version that should evolve quickly, this
591 is just some doc valuable only at the time of writing this doc</b>
592 This section describes the storage management under SimGrid ; nowadays
593 it's only usable with MSG. It relies basically on linux-like concepts.
594 You also may want to have a look to its corresponding section in \ref
595 msg_file_management ; functions access are organized as a POSIX-like
596 interface.
597
598 \subsubsection pf_sto_conc Storage Main concepts
599 Basically there is 3 different entities to know :
600 \li the <b>storage_type</b>: here you define some kind of storage that
601     you will instantiate many type on your platform. Think of it like
602     a definition of throughput of a specific disk. 
603 \li the <b>storage</b>: instance of a <b>storage_type</b>. Defines a
604     new storage of <b>storage_type</b>     
605 \li the <b>mount</b>: says that the storage is located into this
606     specific resource.
607
608 the content of a storage has to be defined in a content file that
609 contains the content. The path to this file has to be passed within
610 the <b>content</b> attribute . Here is a way to generate it:
611
612 \verbatim
613 find /path/you/want -type f -exec ls -l {} \; 2>/dev/null > ./content.txt
614 \endverbatim
615
616 \subsubsection pf_sto_sttp storage_type
617
618
619 <b>storage_type</b> attributes :
620 \li <b>id (mandatory)</b>: the identifier of the storage_type to be
621     used when referring to it. 
622 \li <b>model (mandatory)</b>: Unused for now by the simulator (but
623     mandatory, ok) 
624 \li <b>content</b>: default value 0. The file containing the disk
625     content. (may be moved soon or later to <b>storage</b> tag. 
626
627 The tag must contains some predefined model prop, as may do some other
628 resources tags.
629 <b>storage_type</b> mandatory <b>model_prop</b> :
630 \li <b>Bwrite</b>: value in B/s. Write throughput
631 \li <b>Bread</b>: value in B/s. Read throughput
632 \li <b>Bconnexion</b>: value in B/s. Connection throughput (i.e. the
633     throughput of the storage connector). 
634
635 A storage_type can also contain the <b>prop</b> tag. The prop tag allows you
636 to define additional information on this storage_type following the
637 attribute/value schema. You may want to use it to give information to
638 the tool you use for rendering your simulation, for example.
639
640 \verbatim
641 <storage_type id="single_HDD" model="linear_no_lat" size="4000" content_type="txt_unix">
642   <model_prop id="Bwrite" value="30MBps" />
643   <model_prop id="Bread" value="100MBps" />
644   <model_prop id="Bconnection" value="150MBps" />
645   <b><prop id="Brand" value="Western Digital" /></b>
646 </storage_type>
647 \endverbatim
648
649 \subsubsection pf_sto_st storage
650
651 <b>storage_type</b> attributes :
652 \li <b>id (mandatory)</b>: the identifier of the storage to be used
653     when referring to it. 
654 \li <b>typeId (mandatory)</b>: the identifier of the storage_type that
655     this storage belongs to. 
656 \li <b>attach (mandatory)</b>: the host (name) to which the storage is 
657         attached to.
658
659 \subsubsection pf_sto_mo mount
660
661 <b>mount</b> attributes :
662 \li <b>id (mandatory)</b>: the id of the <b>storage</b> that must be
663     mounted on that computer. 
664 \li <b>name (mandatory)</b>: the name that will be the logical
665     reference to this disk (the mount point). 
666
667 \subsubsection pf_sto_mst mstorage
668 <b>Note : unused for now</b>
669 <b>mstorage</b> attributes :
670 \li <b>typeId (mandatory)</b>: the id of the <b>storage</b> that must
671     be mounted on that computer. 
672 \li <b>name (mandatory)</b>: the name that will be the logical
673     reference to this disk (the mount point). 
674
675 \section pf_routing Routing
676
677 In order to run fast, it has been chosen to use static routing within
678 SimGrid. By static, it means that it is calculated once (or almost),
679 and will not change during execution. We chose to do that because it
680 is rare to have a real deficiency of a resource ; most of the time, a
681 communication fails because the links are too overloaded, and so your
682 connection stops before the time out, or because the computer at the
683 other end is not answering.
684
685 We also chose to use shortest paths algorithms in order to emulate
686 routing. Doing so is consistent with the reality: RIP, OSPF, BGP are
687 all calculating shortest paths. They have some convergence time, but
688 at the end, so when the platform is stable (and this should be the
689 moment you want to simulate something using SimGrid) your packets will
690 follow the shortest paths.
691
692 \subsection pf_rm Routing models
693
694 Within each AS, you have to define a routing model to use. You have
695 basically 3 main kind of routing models :
696
697 \li Shortest-path based models: you let SimGrid calculates shortest
698     paths and manage it. Behaves more or less as most real life
699     routing.
700 \li Manually-entered route models: you'll have to define all routes
701     manually by yourself into the platform description file.
702     Consistent with some manually managed real life routing.
703 \li Simple/fast models: those models offers fast, low memory routing
704     algorithms. You should consider to use it if you can make some
705     assumptions about your AS. Routing in this case is more or less
706     ignored
707
708 \subsubsection pf_raf The router affair
709
710 Expressing routers becomes mandatory when using shortest-path based
711 models or when using ns-3 or the bindings to the GTNetS packet-level
712 simulator instead of the native analytical network model implemented
713 in SimGrid.
714
715 For graph-based shortest path algorithms, routers are mandatory,
716 because both algorithms need a graph, and so we need to have source
717 and destination for each edge.
718
719 Routers are naturally an important concept in GTNetS or ns-3 since the
720 way they run the packet routing algorithms is actually simulated.
721 Instead, the SimGrid’s analytical models aggregate the routing time
722 with the transfer time. Rebuilding a graph representation only from
723 the route information turns to be a very difficult task, because of
724 the missing information about how routes intersect. That is why we
725 introduced a \<router\> tag, which is simply used to express these
726 intersection points. The only attribute accepted by this tag an id. It
727 is important to understand that the \<router\> tag is only used to
728 provide topological information.
729
730 To express those topological information, some <b>route</b> have to be
731 defined saying which link is between which routers. Description or the
732 route syntax is given below, as well as example for the different
733 models.
734
735 \subsubsection pf_rm_sh Shortest-path based models
736
737 Here is the complete list of such models, that computes routes using
738 classic shortest-paths algorithms. How to choose the best suited
739 algorithm is discussed later in the section devoted to it.
740
741 \li <b>Floyd</b>: Floyd routing data. Pre-calculates all routes once. 
742 \li <b>Dijkstra</b>: Dijkstra routing data ,calculating routes when
743     necessary. 
744 \li <b>DijkstraCache</b>: Dijkstra routing data. Handle some cache for
745     already calculated routes. 
746
747 All those shortest-path models are instanciated the same way. Here are
748 some example of it:
749
750 Floyd example :
751 \verbatim
752 <AS  id="AS0"  routing="Floyd">
753
754   <cluster id="my_cluster_1" prefix="c-" suffix=""
755                 radical="0-1"   power="1000000000"    bw="125000000"     lat="5E-5"
756         router_id="router1"/>
757
758  <AS id="AS1" routing="none">
759     <host id="host1" power="1000000000"/>
760  </AS>
761
762   <link id="link1" bandwidth="100000" latency="0.01"/>
763
764   <ASroute src="my_cluster_1" dst="AS1"
765     gw_src="router1"
766     gw_dst="host1">
767     <link_ctn id="link1"/>
768   </ASroute>
769
770 </AS>
771 \endverbatim
772
773 ASroute given at the end gives a topological information: link1 is
774 between router1 and host1.
775
776 Dijsktra example :
777 \verbatim
778  <AS id="AS_2" routing="Dijsktra">
779      <host id="AS_2_host1" power="1000000000"/>
780      <host id="AS_2_host2" power="1000000000"/>
781      <host id="AS_2_host3" power="1000000000"/>
782      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
783      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
784      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
785      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
786      <router id="central_router"/>
787      <router id="AS_2_gateway"/>
788      <!-- routes providing topological information -->
789      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
790      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
791      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
792      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
793   </AS>
794 \endverbatim
795
796 DijsktraCache example :
797 \verbatim
798 <AS id="AS_2" routing="DijsktraCache">
799      <host id="AS_2_host1" power="1000000000"/>
800      ...
801 (platform unchanged compared to upper example)
802 \endverbatim
803
804 \subsubsection pf_rm_me Manually-entered route models
805
806 \li <b>Full</b>: You have to enter all necessary routes manually
807
808 Full example :
809 \verbatim
810 <AS  id="AS0"  routing="Full">
811    <host id="host1" power="1000000000"/>
812    <host id="host2" power="1000000000"/>
813    <link id="link1" bandwidth="125000000" latency="0.000100"/>
814    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
815  </AS>
816 \endverbatim
817
818 \subsubsection pf_rm_sf Simple/fast models
819
820 \li <b>none</b>: No routing (Unless you know what you are doing, avoid
821 using this mode in combination with a non Constant network model). 
822 None Example :
823 \verbatim
824 <AS id="exitAS"  routing="none">
825         <router id="exit_gateway"/>
826 </AS>\endverbatim
827
828 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use
829     coordinates. See the corresponding section P2P below for details. 
830 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
831     not be used, except internally. 
832
833 \subsection ps_dec Defining routes
834
835 The principle of route definition is the same for the 4 available tags
836 for doing it. Those for tags are:
837
838 \li <b>route</b>: to define route between host/router
839 \li <b>ASroute</b>: to define route between AS
840 \li <b>bypassRoute</b>: to bypass normal routes as calculated by the
841     network model between host/router 
842 \li <b>bypassASroute</b>: same as bypassRoute, but for AS
843
844 Basically all those tags will contain an (ordered) list of references
845 to link that compose the route you want to define.
846
847 Consider the example below:
848
849 \verbatim
850 <route src="Alice" dst="Bob">
851         <link_ctn id="link1"/>
852         <link_ctn id="link2"/>
853         <link_ctn id="link3"/>
854    </route>
855 \endverbatim
856
857 The route here from host Alice to Bob will be first link1, then link2,
858 and finally link3. What about the reverse route ? <b>route</b> and
859 <b>ASroute</b> have an optional attribute <b>symmetrical</b>, that can
860 be either YES or NO. YES means that the reverse route is the same
861 route in the inverse order, and is set to YES by default. Note that
862 this is not the case for bypass*Route, as it is more probable that you
863 want to bypass only one default route.
864
865 For an ASroute, things are just slightly more complicated, as you have
866 to give the id of the gateway which is inside the AS you're talking
867 about you want to access ... So it looks like this :
868
869
870 \verbatim
871   <ASroute src="AS1" dst="AS2"
872     gw_src="router1" gw_dst="router2">
873     <link_ctn id="link1"/>
874   </ASroute>
875 \endverbatim
876
877 gw == gateway, so when any message are trying to go from AS1 to AS2,
878 it means that it must pass through router1 to get out of the AS, then
879 pass through link1, and get into AS2 by being received by router2.
880 router1 must belong to AS1 and router2 must belong to AS2.
881
882 \subsubsection pf_linkctn link_ctn
883
884 a <b>link_ctn</b> is the tag that is used in order to reference a
885 <b>link</b> in a route. Its id is the link id it refers to.
886
887 <b>link_ctn</b> attributes :
888 \li <b>id (mandatory)</b>: Id of the link this tag refers to
889 \li <b>direction</b>: if the link referenced by <b>id</b> has been
890     declared as FULLDUPLEX, this is used to indicate in which
891     direction the route you're defining is going through this link.
892     Possible values "UP" or "DOWN".
893
894 \subsubsection pf_asro ASroute
895
896 ASroute tag purpose is to let people write manually their routes
897 between AS. It's useful when you're in Full model.
898
899 <b>ASroute</b> attributes :
900 \li <b>src (mandatory)</b>: the source AS id.
901 \li <b>dst (mandatory)</b>: the destination AS id.
902 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
903     Can be any <b>host</b> or \b router defined into the \b src AS or
904     into one of the AS it includes.
905 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
906     Can be any <b>host</b> or \b router defined into the \b dst AS or
907     into one of the AS it includes.
908 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
909     will be the opposite of the one defined. Can be either YES or NO,
910     default is YES.
911
912 <b>Example of ASroute with Full</b>
913 \verbatim
914 <AS  id="AS0"  routing="Full">
915   <cluster id="my_cluster_1" prefix="c-" suffix=".me"
916                 radical="0-149" power="1000000000"    bw="125000000"     lat="5E-5"
917         bb_bw="2250000000" bb_lat="5E-4"/>
918
919   <cluster id="my_cluster_2" prefix="c-" suffix=".me"
920             radical="150-299" power="1000000000"        bw="125000000"  lat="5E-5"
921             bb_bw="2250000000" bb_lat="5E-4"/>
922
923      <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
924
925      <ASroute src="my_cluster_1" dst="my_cluster_2"
926          gw_src="c-my_cluster_1_router.me"
927          gw_dst="c-my_cluster_2_router.me">
928                 <link_ctn id="backbone"/>
929      </ASroute>
930      <ASroute src="my_cluster_2" dst="my_cluster_1"
931          gw_src="c-my_cluster_2_router.me"
932          gw_dst="c-my_cluster_1_router.me">
933                 <link_ctn id="backbone"/>
934      </ASroute>
935 </AS>
936 \endverbatim
937
938 \subsubsection pf_ro route
939 The principle is the same as ASroute : <b>route</b> contains list of
940 links that are in the path between src and dst, except that it is for
941 routes between a src that can be either <b>host</b> or \b router and a
942 dst that can be either <b>host</b> or \b router. Useful for Full 
943 as well as for the shortest-paths based models, where you
944 have to give topological information.
945
946
947 <b>route</b> attributes :
948 \li <b>src (mandatory)</b>: the source id.
949 \li <b>dst (mandatory)</b>: the destination id.
950 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
951     will be the opposite of the one defined. Can be either YES or NO,
952     default is YES.
953
954 <b>route example in Full</b>
955 \verbatim
956  <route src="Tremblay" dst="Bourassa">
957      <link_ctn id="4"/><link_ctn id="3"/><link_ctn id="2"/><link_ctn id="0"/><link_ctn id="1"/><link_ctn id="6"/><link_ctn id="7"/>
958    </route>
959 \endverbatim
960
961 <b>route example in a shortest-path model</b>
962 \verbatim
963  <route src="Tremblay" dst="Bourassa">
964      <link_ctn id="3"/>
965    </route>
966 \endverbatim
967 Note that when using route to give topological information, you have
968 to give routes with one link only in it, as SimGrid needs to know
969 which host are at the end of the link.
970
971 \subsubsection pf_byro bypassASroute
972
973 <b>Note : bypassASroute and bypassRoute are under rewriting to perform
974 better ; so you may not use it yet</b> As said before, once you choose
975 a model, it (if so) calculates routes for you. But maybe you want to
976 define some of your routes, which will be specific. You may also want
977 to bypass some routes defined in lower level AS at an upper stage :
978 <b>bypassASroute</b> is the tag you're looking for. It allows to
979 bypass routes defined between already defined between AS (if you want
980 to bypass route for a specific host, you should just use byPassRoute).
981 The principle is the same as ASroute : <b>bypassASroute</b> contains
982 list of links that are in the path between src and dst.
983
984 <b>bypassASroute</b> attributes :
985 \li <b>src (mandatory)</b>: the source AS id.
986 \li <b>dst (mandatory)</b>: the destination AS id.
987 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
988     Can be any <b>host</b> or \b router defined into the \b src AS or
989     into one of the AS it includes.
990 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
991     Can be any <b>host</b> or \b router defined into the \b dst AS or
992     into one of the AS it includes.
993 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
994     will be the opposite of the one defined. Can be either YES or NO,
995     default is YES.
996
997 <b>bypassASroute Example</b>
998 \verbatim
999     <bypassASRoute src="my_cluster_1" dst="my_cluster_2"
1000      gw_src="my_cluster_1_router"
1001      gw_dst="my_cluster_2_router">
1002         <link_ctn id="link_tmp"/>
1003      </bypassASroute>
1004 \endverbatim
1005
1006 \subsubsection pf_byro bypassRoute
1007 <b>Note : bypassASRoute and bypassRoute are under rewriting to perform
1008 better ; so you may not use it yet</b> As said before, once you choose
1009 a model, it (if so) calculates routes for you. But maybe you want to
1010 define some of your routes, which will be specific. You may also want
1011 to bypass some routes defined in lower level AS at an upper stage :
1012 <b>bypassRoute</b> is the tag you're looking for. It allows to bypass
1013 routes defined between <b>host/router</b>. The principle is the same
1014 as route : <b>bypassRoute</b> contains list of links references of
1015 links that are in the path between src and dst.
1016
1017 <b>bypassRoute</b> attributes :
1018 \li <b>src (mandatory)</b>: the source AS id.
1019 \li <b>dst (mandatory)</b>: the destination AS id.
1020 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1021     will be the opposite of the one defined. Can be either YES or NO,
1022     default is YES.
1023
1024 <b>bypassRoute Example</b>
1025 \verbatim
1026 <b>bypassRoute Example</b>
1027 \verbatim
1028     <bypassRoute src="host_1" dst="host_2">
1029         <link_ctn id="link_tmp"/>
1030      </bypassRoute>
1031 \endverbatim
1032
1033
1034 \subsection pb_baroex Basic Routing Example
1035
1036 Let's say you have an AS named AS_Big that contains two other AS, AS_1
1037 and AS_2. If you want to make an host (h1) from AS_1 with another one
1038 (h2) from AS_2 then you'll have to proceed as follow:
1039 \li First, you have to ensure that a route is defined from h1 to the
1040     AS_1's exit gateway and from h2 to AS_2's exit gateway.
1041 \li Then, you'll have to define a route between AS_1 to AS_2. As those
1042     AS are both resources belonging to AS_Big, then it has to be done
1043     at AS_big level. To define such a route, you have to give the
1044     source AS (AS_1), the destination AS (AS_2), and their respective
1045     gateway (as the route is effectively defined between those two
1046     entry/exit points). Elements of this route can only be elements
1047     belonging to AS_Big, so links and routers in this route should be
1048     defined inside AS_Big. If you choose some shortest-path model,
1049     this route will be computed automatically.
1050
1051 As said before, there are mainly 2 tags for routing :
1052 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
1053 \li <b>route</b>: to define routes between two <b>host/router</b>
1054
1055 As we are dealing with routes between AS, it means that those we'll
1056 have some definition at AS_Big level. Let consider AS_1 contains 1
1057 host, 1 link and one router and AS_2 3 hosts, 4 links and one router.
1058 There will be a central router, and a cross-like topology. At the end
1059 of the crosses arms, you'll find the 3 hosts and the router that will
1060 act as a gateway. We have to define routes inside those two AS. Let
1061 say that AS_1 contains full routes, and AS_2 contains some Floyd
1062 routing (as we don't want to bother with defining all routes). As
1063 we're using some shortest path algorithms to route into AS_2, we'll
1064 then have to define some <b>route</b> to gives some topological
1065 information to SimGrid. Here is a file doing it all :
1066
1067 \verbatim
1068 <AS  id="AS_Big"  routing="Dijsktra">
1069   <AS id="AS_1" routing="Full">
1070      <host id="AS_1_host1" power="1000000000"/>
1071      <link id="AS_1_link" bandwidth="1250000000" latency="5E-4"/>
1072      <router id="AS_1_gateway"/>
1073      <route src="AS_1_host1" dst="AS_1_gateway">
1074             <link_ctn id="AS_1_link"/>
1075      </route>
1076   </AS>
1077   <AS id="AS_2" routing="Floyd">
1078      <host id="AS_2_host1" power="1000000000"/>
1079      <host id="AS_2_host2" power="1000000000"/>
1080      <host id="AS_2_host3" power="1000000000"/>
1081      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
1082      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
1083      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
1084      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
1085      <router id="central_router"/>
1086      <router id="AS_2_gateway"/>
1087      <!-- routes providing topological information -->
1088      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
1089      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
1090      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
1091      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
1092   </AS>
1093     <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
1094
1095      <ASroute src="AS_1" dst="AS_2"
1096          gw_src="AS_1_gateway"
1097          gw_dst="AS_2_gateway">
1098                 <link_ctn id="backbone"/>
1099      </ASroute>
1100 </AS>
1101 \endverbatim
1102
1103 \section pf_other_tags Tags not (directly) describing the platform
1104
1105 There are 3 tags, that you can use inside a \<platform\> tag that are
1106 not describing the platform: 
1107 \li random: it allows you to define random generators you want to use
1108     for your simulation. 
1109 \li config: it allows you to pass some configuration stuff like, for
1110     example, the network model and so on. It follows the 
1111 \li include: simply allows you to include another file into the
1112     current one. 
1113
1114 \subsection pf_conf config
1115 <b>config</b> attributes :
1116 \li <b>id (mandatory)</b>: the identifier of the config to be used
1117     when referring to it. 
1118
1119
1120 <b>config</b> tag only purpose is to include <b>prop</b> tags. Valid
1121 id are basically the same as the list of possible parameters you can
1122 use by command line, except that "/" are used for namespace
1123 definition. See the \ref options config and options page for more
1124 information.
1125
1126
1127 <b>config example</b>
1128 \verbatim
1129 <?xml version='1.0'?>
1130 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1131 <platform version="3">
1132 <config id="General">
1133         <prop id="maxmin/precision" value="0.000010"></prop>
1134         <prop id="cpu/optim" value="TI"></prop>
1135         <prop id="workstation/model" value="compound"></prop>
1136         <prop id="network/model" value="SMPI"></prop>
1137         <prop id="path" value="~/"></prop>
1138         <prop id="smpi/bw_factor" value="65472:0.940694;15424:0.697866;9376:0.58729"></prop>
1139 </config>
1140
1141 <AS  id="AS0"  routing="Full">
1142 ...
1143 \endverbatim
1144
1145
1146 \subsection pf_rand random
1147 Not yet in use, and possibly subject to huge modifications.
1148
1149 \subsection pf_incl include
1150 <b>include</b> tag allows to import into a file platform parts located
1151 in another file. This is done with the intention to help people
1152 combine their different AS and provide new platforms. Those files
1153 should contains XML part that contains either
1154 <b>include,cluster,peer,AS,trace,trace_connect</b> tags.  
1155
1156 <b>include</b> attributes :
1157 \li <b>file (mandatory)</b>: filename of the file to include. Possible
1158     values: absolute or relative path, syntax similar to the one in
1159     use on your system. 
1160
1161 <b>Note</b>: due to some obscure technical reasons, you have to open
1162 and close tag in order to let it work. 
1163 <b>include Example</b>
1164 \verbatim
1165 <?xml version='1.0'?>
1166 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1167 <platform version="3">
1168         <AS id="main" routing="Full">
1169                 <include file="clusterA.xml"></include>
1170                 <include file="clusterB.xml"></include>
1171         </AS>
1172 </platform>
1173 \endverbatim
1174
1175 \subsection pf_tra trace and trace_connect
1176 Both tags are an alternate way to passe availability, state, and so on
1177 files to entity. Instead of referring to the file directly in the host,
1178 link, or cluster tag, you proceed by defining a trace with an id
1179 corresponding to a file, later an host/link/cluster, and finally using
1180 trace_connect you say that the file trace must be used by the entity.
1181 Get it ? Let's have a look at an example : 
1182
1183 \verbatim
1184 <AS  id="AS0"  routing="Full">
1185   <host id="bob" power="1000000000"/>
1186 </AS>
1187   <trace id="myTrace" file="bob.trace" periodicity="1.0"/>
1188   <trace_connect trace="myTrace" element="bob" kind="POWER"/>
1189 \endverbatim
1190
1191 All constraints you have is that <b>trace_connect</b> is after
1192 <b>trace</b> and <b>host</b> definitions.
1193
1194
1195 <b>trace</b> attributes :
1196 \li <b>id (mandatory)</b>: the identifier of the trace to be used when
1197     referring to it.
1198 \li <b>file</b>: filename of the file to include. Possible values :
1199     absolute or relative path, syntax similar to the one in use on
1200     your system. If omitted, the system expects that you provide the
1201     trace values inside the trace tags (see below).
1202 \li <b>trace periodicity (mandatory)</b>: trace periodicity, same
1203     definition as in hosts (see upper for details).
1204
1205 Here is an example  of trace when no file name is provided:
1206
1207 \verbatim
1208  <trace id="myTrace" periodicity="1.0">
1209     0.0 1.0
1210     11.0 0.5
1211     20.0 0.8
1212   </trace>
1213 \endverbatim
1214
1215 <b>trace_connect</b> attributes :
1216 \li <b>kind</b>: the type of trace, possible values
1217     <b>HOST_AVAIL|POWER|LINK_AVAIL|BANDWIDTH|LATENCY,</b>  default:
1218     <b>HOST_AVAIL</b>  
1219 \li <b>trace (mandatory)</b>: the identifier of the trace referenced.
1220 \li <b>element (mandatory)</b>: the identifier of the entity referenced.
1221
1222
1223
1224 \section pf_hints Hints and tips, or how to write a platform efficiently
1225
1226 Now you should know at least the syntax and be able to create a
1227 platform by your own. However, after having ourselves wrote some platforms, there
1228 are some best practices you should pay attention to in order to
1229 produce good platform and some choices you can make in order to have
1230 faster simulations. Here's some hints and tips, then.
1231
1232 \subsection pf_as_h AS Hierarchy
1233 The AS design allows SimGrid to go fast, because computing route is
1234 done only for the set of resources defined in this AS. If you're using
1235 only a big AS containing all resource with no AS into it and you're
1236 using Full model, then ... you'll loose all interest into it. On the
1237 other hand, designing a binary tree of AS with, at the lower level,
1238 only one host, then you'll also loose all the good AS hierarchy can
1239 give you. Remind you should always be "reasonable" in your platform
1240 definition when choosing the hierarchy. A good choice if you try to
1241 describe a real life platform is to follow the AS described in
1242 reality, since this kind of trade-off works well for real life
1243 platforms.
1244
1245 \subsection pf_exit_as Exit AS: why and how
1246 Users that have looked at some of our platforms may have notice a
1247 non-intuitive schema ... Something like that :
1248
1249
1250 \verbatim
1251 <AS id="AS_4"  routing="Full">
1252 <AS id="exitAS_4"  routing="Full">
1253         <router id="router_4"/>
1254 </AS>
1255 <cluster id="cl_4_1" prefix="c_4_1-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1256 <cluster id="cl_4_2" prefix="c_4_2-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1257 <link id="4_1" bandwidth="2250000000" latency="5E-5"/>
1258 <link id="4_2" bandwidth="2250000000" latency="5E-5"/>
1259 <link id="bb_4" bandwidth="2250000000" latency="5E-4"/>
1260 <ASroute src="cl_4_1"
1261         dst="cl_4_2"
1262         gw_src="c_4_1-cl_4_1_router"
1263         gw_dst="c_4_2-cl_4_2_router"
1264         symmetrical="YES">
1265                 <link_ctn id="4_1"/>
1266                 <link_ctn id="bb_4"/>
1267                 <link_ctn id="4_2"/>
1268 </ASroute>
1269 <ASroute src="cl_4_1"
1270         dst="exitAS_4"
1271         gw_src="c_4_1-cl_4_1_router"
1272         gw_dst="router_4"
1273         symmetrical="YES">
1274                 <link_ctn id="4_1"/>
1275                 <link_ctn id="bb_4"/>
1276 </ASroute>
1277 <ASroute src="cl_4_2"
1278         dst="exitAS_4"
1279         gw_src="c_4_2-cl_4_2_router"
1280         gw_dst="router_4"
1281         symmetrical="YES">
1282                 <link_ctn id="4_2"/>
1283                 <link_ctn id="bb_4"/>
1284 </ASroute>
1285 </AS>
1286 \endverbatim
1287
1288 In the AS_4, you have an exitAS_4 defined, containing only one router,
1289 and routes defined to that AS from all other AS (as cluster is only a
1290 shortcut for an AS, see cluster description for details). If there was
1291 an upper AS, it would define routes to and from AS_4 with the gateway
1292 router_4. It's just because, as we did not allowed (for performances
1293 issues) to have routes from an AS to a single host/router, you have to
1294 enclose your gateway, when you have AS included in your AS, within an
1295 AS to define routes to it.
1296
1297 \subsection pf_P2P_tags P2P or how to use coordinates
1298 SimGrid allows you to use some coordinated-based system, like vivaldi,
1299 to describe a platform. The main concept is that you have some peers
1300 that are located somewhere: this is the function of the 
1301 <b>coordinates</b> of the \<peer\> or \<host\> tag. There's nothing
1302 complicated in using it, here is an example of it:
1303
1304 \verbatim
1305 <?xml version='1.0'?>
1306 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1307 <platform version="3">
1308
1309 <config id="General">
1310         <prop id="network/coordinates" value="yes"></prop>
1311 </config>
1312  <AS  id="AS0"  routing="Vivaldi">
1313         <host id="100030591" coordinates="25.5 9.4 1.4" power="1500000000.0" />
1314         <host id="100036570" coordinates="-12.7 -9.9 2.1" power="730000000.0" />
1315         ...
1316         <host id="100429957" coordinates="17.5 6.7 18.8" power="830000000.0" />
1317         </AS>
1318 </platform>
1319 \endverbatim
1320
1321 Coordinates are then used to calculate latency between two hosts by
1322 calculating the euclidean distance between the two hosts coordinates.
1323 The results express the latency in ms.
1324
1325 Note that the previous example defines a routing directly between hosts but it could be also used to define a routing between AS.
1326 That is for example what is commonly done when using peers (see Section \ref pf_peer).
1327 \verbatim
1328 <?xml version='1.0'?>
1329 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1330 <platform version="3">
1331
1332 <config id="General">
1333         <prop id="network/coordinates" value="yes"></prop>
1334 </config>
1335  <AS  id="AS0"  routing="Vivaldi">
1336    <peer id="peer-0" coordinates="173.0 96.8 0.1" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us"/>
1337    <peer id="peer-1" coordinates="247.0 57.3 0.6" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
1338    <peer id="peer-2" coordinates="243.4 58.8 1.4" power="730Mf" bw_in="13.38MBps" bw_out="1.024MBps" lat="500us" />
1339 </AS>
1340 </platform>
1341 \endverbatim
1342 In such a case though, we connect the AS created by the <b>peer</b> tag with the Vivaldi routing mechanism. 
1343 This means that to route between AS1 and AS2, it will use the coordinates of router_AS1 and router_AS2. 
1344 This is currently a convention and we may offer to change this convention in the DTD later if needed.
1345 You may have noted that conveniently, a peer named FOO defines an AS named FOO and a router named router_FOO, which is why it works seamlessly with the <b>peer</b> tag.
1346
1347
1348 \subsection pf_wisely Choosing wisely the routing model to use
1349
1350
1351 Choosing wisely the routing model to use can significantly fasten your
1352 simulation/save your time when writing the platform/save tremendous
1353 disk space. Here is the list of available model and their
1354 characteristics (lookup : time to resolve a route):
1355
1356 \li <b>Full</b>: Full routing data (fast, large memory requirements,
1357     fully expressive)    
1358 \li <b>Floyd</b>: Floyd routing data (slow initialization, fast
1359     lookup, lesser memory requirements, shortest path routing only).
1360     Calculates all routes at once at the beginning.
1361 \li <b>Dijkstra</b>: Dijkstra routing data (fast initialization, slow
1362     lookup, small memory requirements, shortest path routing only).
1363     Calculates a route when necessary.
1364 \li <b>DijkstraCache</b>: Dijkstra routing data (fast initialization,
1365     fast lookup, small memory requirements, shortest path routing
1366     only). Same as Dijkstra, except it handles a cache for latest used
1367     routes.
1368 \li <b>none</b>: No routing (usable with Constant network only).
1369     Defines that there is no routes, so if you try to determine a
1370     route without constant network within this AS, SimGrid will raise
1371     an exception.
1372 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use coordinates
1373 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
1374     not be used. 
1375
1376 \subsection pf_switch Hey, I want to describe a switch but there is no switch tag !
1377
1378 Actually we did not include switch tag, ok. But when you're trying to
1379 simulate a switch, the only major impact it has when you're using
1380 fluid model (and SimGrid uses fluid model unless you activate GTNetS,
1381 ns-3, or constant network mode) is the impact of the upper limit of
1382 the switch motherboard speed that will eventually be reached if you're
1383 using intensively your switch. So, the switch impact is similar to a
1384 link one. That's why we are used to describe a switch using a link tag
1385 (as a link is not an edge by a hyperedge, you can connect more than 2
1386 other links to it).
1387
1388 \subsection pf_platform_multipath How to express multipath routing in platform files?
1389
1390 It is unfortunately impossible to express the fact that there is more
1391 than one routing path between two given hosts. Let's consider the
1392 following platform file:
1393
1394 \verbatim
1395 <route src="A" dst="B">
1396    <link_ctn id="1"/>
1397 </route>
1398 <route src="B" dst="C">
1399   <link_ctn id="2"/>
1400 </route>
1401 <route src="A" dst="C">
1402   <link_ctn id="3"/>
1403 </route>
1404 \endverbatim
1405
1406 Although it is perfectly valid, it does not mean that data traveling
1407 from A to C can either go directly (using link 3) or through B (using
1408 links 1 and 2). It simply means that the routing on the graph is not
1409 trivial, and that data do not following the shortest path in number of
1410 hops on this graph. Another way to say it is that there is no implicit
1411 in these routing descriptions. The system will only use the routes you
1412 declare (such as &lt;route src="A" dst="C"&gt;&lt;link_ctn
1413 id="3"/&gt;&lt;/route&gt;), without trying to build new routes by aggregating
1414 the provided ones.
1415
1416 You are also free to declare platform where the routing is not
1417 symmetric. For example, add the following to the previous file:
1418
1419 \verbatim
1420 <route src="C" dst="A">
1421   <link_ctn id="2"/>
1422   <link_ctn id="1"/>
1423 </route>
1424 \endverbatim
1425
1426 This makes sure that data from C to A go through B where data from A
1427 to C go directly. Don't worry about realism of such settings since
1428 we've seen ways more weird situation in real settings (in fact, that's
1429 the realism of very regular platforms which is questionable, but
1430 that's another story).
1431
1432 \section pf_flexml_bypassing Bypassing the XML parser with your own C functions
1433 <b>NOTE THAT THIS DOCUMENTATION, WHILE STILL WORKING, IS STRONGLY DEPRECATED</b>
1434
1435 So you want to bypass the XML files parser, uh? Maybe doing some parameter
1436 sweep experiments on your simulations or so? This is possible, and
1437 it's not even really difficult (well. Such a brutal idea could be
1438 harder to implement). Here is how it goes.
1439
1440 For this, you have to first remember that the XML parsing in SimGrid is done
1441 using a tool called FleXML. Given a DTD, this gives a flex-based parser. If
1442 you want to bypass the parser, you need to provide some code mimicking what
1443 it does and replacing it in its interactions with the SURF code. So, let's
1444 have a look at these interactions.
1445
1446 FleXML parser are close to classical SAX parsers. It means that a
1447 well-formed SimGrid platform XML file might result in the following
1448 "events":
1449
1450   - start "platform_description" with attribute version="2"
1451   - start "host" with attributes id="host1" power="1.0"
1452   - end "host"
1453   - start "host" with attributes id="host2" power="2.0"
1454   - end "host"
1455   - start "link" with ...
1456   - end "link"
1457   - start "route" with ...
1458   - start "link_ctn" with ...
1459   - end "link_ctn"
1460   - end "route"
1461   - end "platform_description"
1462
1463 The communication from the parser to the SURF code uses two means:
1464 Attributes get copied into some global variables, and a surf-provided
1465 function gets called by the parser for each event. For example, the event
1466   - start "host" with attributes id="host1" power="1.0"
1467
1468 let the parser do something roughly equivalent to:
1469 \verbatim
1470   strcpy(A_host_id,"host1");
1471   A_host_power = 1.0;
1472   STag_host();
1473 \endverbatim
1474
1475 In SURF, we attach callbacks to the different events by initializing the
1476 pointer functions to some the right surf functions. Since there can be
1477 more than one callback attached to the same event (if more than one
1478 model is in use, for example), they are stored in a dynar. Example in
1479 workstation_ptask_L07.c:
1480 \verbatim
1481   /* Adding callback functions */
1482   surf_parse_reset_parser();
1483   surfxml_add_callback(STag_surfxml_host_cb_list, &parse_cpu_init);
1484   surfxml_add_callback(STag_surfxml_prop_cb_list, &parse_properties);
1485   surfxml_add_callback(STag_surfxml_link_cb_list, &parse_link_init);
1486   surfxml_add_callback(STag_surfxml_route_cb_list, &parse_route_set_endpoints);
1487   surfxml_add_callback(ETag_surfxml_link_c_ctn_cb_list, &parse_route_elem);
1488   surfxml_add_callback(ETag_surfxml_route_cb_list, &parse_route_set_route);
1489
1490   /* Parse the file */
1491   surf_parse_open(file);
1492   xbt_assert(!surf_parse(), "Parse error in %s", file);
1493   surf_parse_close();
1494 \endverbatim
1495
1496 So, to bypass the FleXML parser, you need to write your own version of the
1497 surf_parse function, which should do the following:
1498    - Fill the A_<tag>_<attribute> variables with the wanted values
1499    - Call the corresponding STag_<tag>_fun function to simulate tag start
1500    - Call the corresponding ETag_<tag>_fun function to simulate tag end
1501    - (do the same for the next set of values, and loop)
1502
1503 Then, tell SimGrid that you want to use your own "parser" instead of the stock one:
1504 \verbatim
1505   surf_parse = surf_parse_bypass_environment;
1506   MSG_create_environment(NULL);
1507   surf_parse = surf_parse_bypass_application;
1508   MSG_launch_application(NULL);
1509 \endverbatim
1510
1511 A set of macros are provided at the end of
1512 include/surf/surfxml_parse.h to ease the writing of the bypass
1513 functions. An example of this trick is distributed in the file
1514 examples/msg/masterslave/masterslave_bypass.c
1515
1516
1517 */