Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
3c8b71ef1796f6c10bfd73da0fc3fda534b859a3
[simgrid.git] / doc / doxygen / platform.doc
1 /*! \page platform Platform Description
2
3 In order to run any simulation, SimGrid needs 3 things: something to run
4 (so, your code), a description of the platform on which you want to run your
5 application, and finally it needs something to know where to deploy what.
6
7 For the latest 2 entries, you have basically 2 ways to give it as an input :
8 \li You can program it, either using the Lua console (\ref
9     MSG_Lua_funct) or if you're using MSG some of its platform and
10     deployments functions(\ref msg_simulation). If you want to use it,
11     please refer to its doc. (you can also check the section \ref
12     pf_flexml_bypassing but this is strongly deprecated, as there is a
13     new way to do it properly, but not yet documented).
14 \li You can use two XML files: a platform description file and a
15     deployment description one.
16
17 For the deployment stuff, please takea look at \ref deployment
18
19 The platform description may be complicated. This documentation is all
20 about how to write this file: what are the basic concept it relies on,
21 what possibilities are offered, and some hints and tips on how to
22 write a good platform description.
23
24 \section pf_overview Some words about XML and DTD
25
26 We choose to use XML because of some of its possibilities: if you're
27 using an accurate XML editor, or simply using any XML plug-in for
28 eclipse, it will allow you to have cool stuff like auto-completion,
29 validation and checking, so all syntaxic errors may be avoided this
30 way.
31
32 the XML checking is done based on the dtd which is nowaday online at
33 <a href="http://simgrid.gforge.inria.fr/simgrid.dtd">http://simgrid.gforge.inria.fr/simgrid.dtd</a>
34 while you might be tempted to read it, it will not help you that much.
35
36 If you read it, you should notice two or three important things :
37 \li The platform tags contains a version attributes. At the time of
38     writing this doc the current version is 3.    
39 \li The DTD contains definitions for the 2 files used by SimGrid (platform
40     description and deployment).
41 \li There is a bunch of possibilities ! Let's see what's in it
42
43
44 \section pf_basics Basic concepts
45
46 Nowadays, the Internet is composed of a bunch of independently managed
47 networks. Within each of those networks, there are entry and exit
48 points (most of the time, you can both enter and exit through the same
49 point) that allows to go out of the current network and reach other
50 networks. At the upper level, these networks are known as
51 <b>Autonomous System (AS)</b>, while at the lower level they are named
52 sub-networks, or LAN. Indeed they are autonomous: routing is defined
53 within the limits of his network by the administrator, and so, those
54 networks can continue to operate without the existence of other
55 networks. There are some rules to get out of networks by the entry
56 points (or gateways). Those gateways allow you to go from a network to
57 another one. Inside of each autonomous system, there is a bunch of
58 equipments (cables, routers, switches, computers) that belong to the
59 autonomous system owner.
60
61 SimGrid platform description file relies exactly on the same concepts
62 as real life platform. Every resource (computers, network equipments,
63 and so on) belongs to an AS. Within this AS, you can define the
64 routing you want between its elements (that's done with the routing
65 model attribute and eventually with some \<route\> tag). You define AS
66 by using ... well ... the \<AS\> tag. An AS can also contain some AS :
67 AS allows you to define the hierarchy of your platform.
68
69 Within each AS, you basically have the following type of resources:
70 \li <b>host</b>: an host, with cores in it, and so on
71 \li <b>router</b>: a router or a gateway.
72 \li <b>link</b>: a link, that defines a connection between two (or
73     more) resources (and have a bandwidth and a latency) 
74 \li <b>cluster</b>: like a real cluster, contains many hosts
75     interconnected by some dedicated network. 
76
77 Between those elements, a routing has to be defined. As the AS is
78 supposed to be Autonomous, this has to be done at the AS level. As AS
79 handles two different types of entities (<b>host/router</b> and
80 <b>AS</b>) you will have to define routes between those elements. A
81 network model have to be provided for AS, but you may/will need,
82 depending of the network model, or because you want to bypass the
83 default beahviour to defines routes manually. There are 3 tags to use: 
84 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
85 \li <b>route</b>: to define routes between two <b>host/router</b>
86 \li <b>bypassRoute</b>: to define routes between two <b>AS</b> that
87     will bypass default routing. 
88
89 Here is an illustration of the overall concepts:
90
91 \htmlonly
92 <a href="AS_hierarchy.png" border=0><img src="AS_hierarchy.png" width="30%" border=0 align="center"></a>
93 <br/>
94 \endhtmlonly
95  Circles represent processing units and squares represent network routers. Bold
96     lines represent communication links. AS2 models the core of a national
97     network interconnecting a small flat cluster (AS4) and a larger
98     hierarchical cluster (AS5), a subset of a LAN (AS6), and a set of peers
99     scattered around the world (AS7).
100
101
102 This is all for the concepts ! To make a long story short, a SimGrid
103 platform is made of a hierarchy of AS, each of them containing
104 resources, and routing is defined at AS level. Let's have a deeper
105 look in the tags.
106
107
108
109 \section pf_pftags Describing resources and their organization
110
111 \subsection  pf_As Platform organization tag : AS
112
113 AS (or Autonomous System) is an organizational unit that contains
114 resources and defines routing between them, and eventually some other
115 AS. So it allows you to define a hierarchy into your platform.
116 <b>*ANY*</b> resource <b>*MUST*</b> belong to an AS. There are a few
117 attributes.
118
119 <b>AS</b> attributes :
120 \li <b>name (mandatory)</b>: the identifier of AS to be used when
121     referring to it.     
122 \li <b>routing (mandatory)</b>: the routing model used into it. By
123     model we mean the internal way the simulator will manage routing.
124     That also have a big impact on how many information you'll have to
125     provide to help the simulator to route between the AS elements.
126     <b>routing</b> possible values are <b>Full, Floyd, Dijkstra,
127     DijkstraCache, none, RuleBased, Vivaldi, Cluster</b>. For more
128     explanation about what to choose, take a look at the section
129     devoted to it below.  
130
131 Elements into an AS are basically resources (computers, network
132 equipments) and some routing informations if necessary (see below for
133 more explanation).
134
135 <b>AS example</b>
136 \verbatim
137 <AS  id="AS0"  routing="Full">
138    <host id="host1" power="1000000000"/>
139    <host id="host2" power="1000000000"/>
140    <link id="link1" bandwidth="125000000" latency="0.000100"/>
141    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
142  </AS>
143 \endverbatim
144
145 In this example, AS0 contains two hosts (host1 and host2). The route
146 between the hosts goes through link1.
147
148
149 \subsection pf_Cr Computing resources: hosts, clusters and peers.
150
151 \subsubsection pf_host host
152
153 A <b>host</b> represents a computer, where you will be able to execute
154 code and from which you can send and receive information. A host can
155 contain more than 1 core. Here are the attributes of a host :
156
157
158 <b>host</b> attributes :
159 \li <b>id (mandatory)</b>: the identifier of the host to be used when
160     referring to it.
161 \li <b>power (mandatory)</b>:the peak number FLOPS the CPU can manage.
162     Expressed in flop/s.
163 \li <b>core</b>: The number of core of this host. If setted, the power
164     gives the power of one core. The specified computing power will be
165     available to up to 6 sequential tasks without sharing. If more
166     tasks are placed on this host, the resource will be shared
167     accordingly. For example, if you schedule 12 tasks on the host,
168     each will get half of the computing power. Please note that
169     although sound, this model were never scientifically assessed.
170     Please keep this fact in mind when using it.
171
172 \li <b>availability</b>: specify if the percentage of power available.
173 \li <b>availability_file</b>: Allow you to use a file as input. This
174     file will contain availability traces for this computer. The
175     syntax of this file is defined below. Possible values : absolute
176     or relative path, syntax similar to the one in use on your system.
177 \li <b>state</b>: the computer state, as in : is that computer ON or
178     OFF. Possible values : "ON" or "OFF". 
179 \li <b>state_file</b>: Same mechanism as availability_file, similar
180     syntax for value.     
181 \li <b>coordinates</b>: you'll have to give it if you choose the
182     vivaldi, coordinate-based routing model for the AS the host
183     belongs to. More details about it in the P2P coordinate based
184     section. 
185
186 An host can contain some <b>mount</b> that defines mounting points
187 between some storage resource and the <b>host</b>. Please refer to the
188 storage doc for more information.
189
190 An host can also contain the <b>prop</b> tag. the prop tag allows you
191 to define additional informations on this host following the
192 attribute/value schema. You may want to use it to give information to
193 the tool you use for rendering your simulation, for example.
194
195 <b>host example</b>
196 \verbatim
197    <host id="host1" power="1000000000"/>
198    <host id="host2" power="1000000000">
199         <prop id="color" value="blue"/>
200         <prop id="rendershape" value="square"/>
201    </host>
202 \endverbatim
203
204
205 <b>Expressing dynamicity.</b>
206 It is also possible to seamlessly declare a host whose
207 availability changes over time using the availability_file
208 attribute and a separate text file whose syntax is exemplified below.
209
210 <b>Adding a trace file</b>
211 \verbatim
212     <platform version="1">
213       <host id="bob" power="500000000"
214             availability_file="bob.trace" />
215     </platform>
216 \endverbatim
217 <b>Example of "bob.trace" file</b>
218 \verbatim
219 PERIODICITY 1.0
220   0.0 1.0
221   11.0 0.5
222   20.0 0.8
223 \endverbatim
224
225 At time 0, our host will deliver 500~Mflop/s. At time 11.0, it will
226 deliver half, that is 250~Mflop/s until time 20.0 where it will
227 will start delivering 80\% of its power, that is 400~Mflop/s. Last, at
228 time 21.0 (20.0 plus the periodicity 1.0), we loop back to the
229 beginning and the host will deliver again 500~Mflop/s.
230
231 <b>Changing initial state</b>
232
233 It is also possible to specify whether the host
234 is up or down by setting the <b>state</b> attribute to either <b>ON</b>
235 (default value) or <b>OFF</b>.
236
237 <b>Expliciting the default value "ON"</b>
238 \verbatim
239   <platform version="1">
240      <host id="bob"
241            power="500000000"
242           state="ON" />
243   </platform>
244 \endverbatim
245 <b>Host switched off</b>
246 \verbatim
247   <platform version="1">
248      <host id="bob"
249            power="500000000"
250            state="OFF" />
251   </platform>
252 \endverbatim
253 <b>Expressing churn</b>
254 To express the fact that a host can change state over time (as in P2P
255 systems, for instance), it is possible to use a file describing the time
256 at which the host is turned on or off. An example of the content
257 of such a file is presented below.
258 <b>Adding a state file</b>
259   \verbatim
260     <platform version="1">
261       <host id="bob" power="500000000"
262            state_file="bob.fail" />
263     </platform>
264   \endverbatim
265 <b>Example of "bob.fail" file</b>
266 \verbatim
267   PERIODICITY 10.0
268   1.0 -1.0
269   2.0 1.0
270 \endverbatim
271
272 A negative value means <b>down</b> while a positive one means <b>up and
273   running</b>. From time 0.0 to time 1.0, the host is on. At time 1.0, it is
274 turned off and at time 2.0, it is turned on again until time 12 (2.0 plus the
275 periodicity 10.0). It will be turned on again at time 13.0 until time 23.0, and
276 so on.
277
278
279
280 \subsubsection pf_cluster cluster
281
282 A <b>cluster</b> represents a cluster. It is most of the time used
283 when you want to have a bunch of machine defined quickly. It must be
284 noted that cluster is meta-tag : <b>from the inner SimGrid point of
285 view, a cluster is an AS where some optimized routing is defined</b>.
286 The default inner organisation of the cluster is as follow:
287
288 \verbatim
289                  _________
290                 |          |
291                 |  router  |
292     ____________|__________|_____________ backbone
293       |   |   |              |     |   |
294     l0| l1| l2|           l97| l96 |   | l99
295       |   |   |   ........   |     |   |
296       |                                |
297     c-0.me                             c-99.me
298 \endverbatim
299
300 You have a set of <b>host</b> defined. Each of them has a <b>link</b>
301 to a central backbone (backbone is a <b>link</b> itsef, as a link can
302 be used to represent a switch, see the switch or <b>link</b> section
303 below for more details about it). A <b>router</b> gives a way to the
304 <b>cluster</b> to be connected to the outside world. Internally,
305 cluster is then an AS containing all hosts : the router is the default
306 gateway for the cluster.
307
308 There is an alternative organization, which is as follow :
309 \verbatim
310                  _________
311                 |          |
312                 |  router  |
313                 |__________|
314                     / | \
315                    /  |  \
316                l0 / l1|   \l2
317                  /    |    \
318                 /     |     \
319             host0   host1   host2
320 \endverbatim
321
322 The principle is the same, except we don't have the backbone. The way
323 to obtain it is simple : you just have to let bb_* attributes
324 unsetted.
325
326
327
328 <b>cluster</b> attributes :
329 \li <b>id (mandatory)</b>: the identifier of the cluster to be used
330     when referring to it. 
331 \li <b>prefix (mandatory)</b>: each node of the cluster has to have a
332     name. This is its prefix. 
333 \li <b>suffix (mandatory)</b>: node suffix name.
334 \li <b>radical (mandatory)</b>: regexp used to generate cluster nodes
335     name. Syntax is quite common, "10-20" will give you 11 machines
336     numbered from 10 to 20, "10-20;2" will give you 12 machines, one
337     with the number 2, others numbered as before. The produced number
338     is concatenated between prefix and suffix to form machine names.
339 \li <b>power (mandatory)</b>: same as <b>host</b> power.
340 \li <b>core</b>: same as <b>host</b> core.
341 \li <b>bw (mandatory)</b>: bandwidth for the links between nodes and
342     backbone (if any). See <b>link</b> section for syntax/details.
343 \li <b>lat (mandatory)</b>: latency for the links between nodes and
344     backbone (if any). See <b>link</b> section for syntax/details. 
345 \li <b>sharing_policy</b>: sharing policy for the links between nodes
346     and backbone (if any). See <b>link</b> section for syntax/details.     
347 \li <b>bb_bw </b>: bandwidth for backbone (if any). See <b>link</b>
348     section for syntax/details. If both bb_* attributes are ommited,
349     no backbone is created (alternative cluster architecture described
350     before). 
351 \li <b>bb_lat </b>: latency for backbone (if any). See <b>link</b>
352     section for syntax/details. If both bb_* attributes are ommited,
353     no backbone is created (alternative cluster architecture described
354     before).
355 \li <b>bb_sharing_policy</b>: sharing policy for the backbone (if
356     any). See <b>link</b> section for syntax/details.
357 \li <b>availability_file</b>: Allow you to use a file as input for
358     availability. Similar to <b>hosts</b> attribute. 
359 \li <b>state_file</b>: Allow you to use a file as input for states.
360     Similar to <b>hosts</b> attribute. 
361
362 the router name is defined as the resulting String in the following
363 java line of code: 
364
365 @verbatim
366 router_name = prefix + clusterId + router_ + suffix;
367 @endverbatim
368
369
370 <b>cluster example</b>
371 \verbatim
372 <cluster id="my_cluster_1" prefix="" suffix=""
373                 radical="0-262144"      power="1000000000"    bw="125000000"     lat="5E-5"/>
374 <cluster id="my_cluster_1" prefix="c-" suffix=".me"
375                 radical="0-99"  power="1000000000"    bw="125000000"     lat="5E-5"
376         bb_bw="2250000000" bb_lat="5E-4"/>
377 \endverbatim
378 The second examples creates 100 machines, which names are the following:
379 \verbatim
380 c-0.my_cluster_1.me
381 c-1.my_cluster_1.me
382 c-2.my_cluster_1.me
383 ...
384 c-99.my_cluster_1.me
385 \endverbatim
386
387 \subsubsection pf_peer peer
388 A <b>peer</b> represents a peer, as in Peer-to-Peer (P2P). Basically,
389 as cluster, <b>A PEER IS INTERNALLY INTERPRETED AS AN \<AS\></b>. It's
390 just a kind of shortcut that does the following :
391
392 \li It creates an host
393 \li Two links : one for download and one for upload. This is
394     convenient to use and simulate stuff under the last mile model (as
395     ADSL peers).  
396 \li It creates a gateway that serve as entry point for this peer zone.
397     This router has coordinates.
398
399 <b>peer</b> attributes :
400 \li <b>id (mandatory)</b>: the identifier of the peer to be used when
401     referring to it.
402 \li <b>power CDATA (mandatory)</b>: as in host
403 \li <b>bw_in CDATA (mandatory)</b>: bandwidth in.
404 \li <b>bw_out CDATA (mandatory)</b>:bandwidth out.
405 \li <b>lat CDATA (mandatory)</b>: Latency for in and out links.
406 \li <b>coordinates</b>: coordinates of the gateway for this peer.
407 \li <b>sharing_policy</b>: sharing policy for links. Can be SHARED or
408     FULLDUPLEX, FULLDUPLEX is the default. See <b>link</b> description
409     for details.
410 \li <b>availability_file</b>: availability file for the peer. Same as
411     host availability file. See <b>host</b> description for details.   
412 \li <b>state_file </b>: state file for the peer. Same as host state
413     file. See <b>host</b> description for details. 
414
415 \subsection pf_ne Network equipments: links and routers
416
417 You have basically two entities available to represent network entities:
418 \li <b>link</b>: represents something that has a limited bandwidth, a
419     latency, and that can be shared according to TCP way to share this
420     bandwidth. <b>LINKS ARE NOT EDGES BUT HYPEREDGES</b>: it means
421     that you can have more than 2 equipments connected to it.
422 \li <b>router</b>: represents something that one message can be routed
423     to, but does not accept any code, nor have any influence on the
424     performances (no bandwidth, no latency, not anything).<b>ROUTERS
425     ARE ENTITIES (ALMOST) IGNORED BY THE SIMULATOR WHEN THE SIMULATION
426     HAS BEGUN</b>. If you want to represent something like a switch,
427     you must use <b>link</b> (see section below). Routers are used in
428     order to run some routing algorithm and determine routes (see
429     routing section for details).
430
431 let's see deeper what those entities hide.
432
433 \subsubsection pf_router router
434 As said before, <b>router</b> is used only to give some information
435 for routing algorithms. So, it does not have any attributes except :
436
437 <b>router</b> attributes :
438 \li <b>id (mandatory)</b>: the identifier of the router to be used
439     when referring to it.
440     \li <b>coordinates</b>: you'll have to give it if you choose the
441     vivaldi, coordinate-based routing model for the AS the host
442     belongs to. More details about it in the P2P coordinates based
443     section.
444
445 <b>router example</b>
446 \verbatim
447  <router id="gw_dc1_horizdist"/>
448 \endverbatim
449
450 \subsubsection pf_link link
451
452 Network links can represent one-hop network connections. They are
453 characterized by their id and their bandwidth. The latency is optional
454 with a default value of 0.0. For instance, we can declare a network
455 link named link1 having bandwidth of 1Gb/s and a latency of 50µs.
456 Example link:
457
458 \verbatim
459  <link id="LINK1" bandwidth="125000000" latency="5E-5"/>
460 \endverbatim
461 <b>Expressing sharing policy</b>
462
463 By default a network link is SHARED, that is if more than one flow go
464 through a link, each gets a share of the available bandwidth similar
465 to the share TCP connections offers.
466
467 Conversely if a link is defined as a FATPIPE, each flow going through
468 this link will get all the available bandwidth, whatever the number of
469 flows. The FATPIPE behavior allows to describe big backbones that
470 won't affect performances (except latency). Finally a link can be
471 considered as FULLDUPLEX, that means that in the simulator, 2 links
472 (one named UP and the other DOWN) will be created for each link, so as
473 the transfers from one side to the other will interact similarly as
474 TCP when ACK returning packets circulate on the other direction. More
475 discussion about it is available in <b>link_ctn</b> description.
476
477 \verbatim
478  <link id="SWITCH" bandwidth="125000000" latency="5E-5" sharing_policy="FATPIPE" />
479 \endverbatim
480
481 <b>Expressing dynamicity and failures</b>
482
483 As for hosts, it is possible to declare links whose state, bandwidth
484 or latency change over the time. In this case, the bandwidth and
485 latency attributes are respectively replaced by the bandwidth file and
486 latency file attributes and the corresponding text files.
487
488 \verbatim
489  <link id="LINK1" state_file="link1.fail" bandwidth="80000000" latency=".0001" bandwidth_file="link1.bw" latency_file="link1.lat" />
490 \endverbatim
491
492 It has to be noted that even if the syntax is the same, the semantic
493 of bandwidth and latency trace files differs from that of host
494 availability files. Those files do not express availability as a
495 fraction of the available capacity but directly in bytes per seconds
496 for the bandwidth and in seconds for the latency. This is because most
497 tools allowing to capture traces on real platforms (such as NWS)
498 express their results this way.
499
500 <b>Example of "link1.bw" file</b>
501 \verbatim
502
503 1 PERIODICITY 12.0
504 2 4.0 40000000
505 3 8.0 60000000
506 \endverbatim
507 <b>Example of "link1.lat" file</b>
508 \verbatim
509  1 PERIODICITY 5.0
510 2 1.0 0.001
511 3 2.0 0.01
512 4 3.0 0.001
513 \endverbatim
514
515 In this example, the bandwidth varies with a period of 12 seconds
516 while the latency varies with a period of 5 seconds. At the beginning
517 of simulation, the link’s bandwidth is of 80,000,000 B/s (i.e., 80
518 Mb/s). After four seconds, it drops at 40 Mb/s, and climbs back to 60
519 Mb/s after eight seconds. It keeps that way until second 12 (ie, until
520 the end of the period), point at which it loops its behavior (seconds
521 12-16 will experience 80 Mb/s, 16-20 40 Mb/s and so on). In the same
522 time, the latency values are 100µs (initial value) on the [0, 1[ time
523 interval, 1ms on [1, 2[, 10ms on [2, 3[, 1ms on [3,5[ (i.e., until the
524 end of period). It then loops back, starting at 100µs for one second.
525
526 <b>link</b> attributes :
527 \li <b>id (mandatory)</b>: the identifier of the link to be used when referring to it.
528 \li <b>bandwidth (mandatory)</b>: bandwidth for the link.
529 \li <b>lat </b>: latency for the link. Default is 0.0.
530 \li <b>sharing_policy</b>: sharing policy for the link.
531 \li <b>state</b>: Allow you to to set link as ON or OFF. Default is ON.
532 \li <b>bandwidth_file</b>: Allow you to use a file as input for bandwidth.
533 \li <b>latency_file</b>: Allow you to use a file as input for latency.
534 \li <b>state_file</b>: Allow you to use a file as input for states.
535
536 As an host, a <b>link</b> tag can also contain the <b>prop</b> tag.
537
538 <b>link example</b>
539 \verbatim
540    <link id="link1" bandwidth="125000000" latency="0.000100"/>
541 \endverbatim
542
543
544 \subsection pf_storage Storage
545
546 <b>Note : This is a prototype version that should evolve quickly, this
547 is just some doc valuable only at the time of writing this doc</b>
548 This section describes the storage management under SimGrid ; nowadays
549 it's only usable with MSG. It relies basically on linux-like concepts.
550 You also may want to have a look to its corresponding section in \ref
551 msg_file_management ; functions access are organized as a POSIX-like
552 interface.
553
554 \subsubsection pf_sto_conc Storage Main concepts
555 Basically there is 3 different entities to know :
556 \li the <b>storage_type</b>: here you define some kind of storage that
557     you will instantiate many type on your platform. Think of it like
558     a definition of throughput of a specific disk. 
559 \li the <b>storage</b>: instance of a <b>storage_type</b>. Defines a
560     new storage of <b>storage_type</b>     
561 \li the <b>mount</b>: says that the storage is located into this
562     specific resource.
563
564 the content of a storage has to be defined in a content file that
565 contains the content. The path to this file has to be passed within
566 the <b>content</b> attribute . Here is a way to generate it:
567
568 \verbatim
569 find /path/you/want -type f -exec ls -l {} \; 2>/dev/null > ./content.txt
570 \endverbatim
571
572 \subsubsection pf_sto_sttp storage_type
573
574
575 <b>storage_type</b> attributes :
576 \li <b>id (mandatory)</b>: the identifier of the storage_type to be
577     used when referring to it. 
578 \li <b>model (mandatory)</b>: Unused for now by the simulator (but
579     mandatory, ok) 
580 \li <b>content</b>: default value 0. The file containing the disk
581     content. (may be moved soon or later to <b>storage</b> tag. 
582
583 The tag must contains some predefined prop, as may do some other
584 resources tags. This should moved to attributes soon or later. 
585 <b>storage_type</b> mandatory <b>prop</b> :
586 \li <b>Bwrite</b>: value in B/s. Write throughput
587 \li <b>Bread</b>: value in B/s. Read throughput
588 \li <b>Bconnexion</b>: value in B/s. Connection throughput (i.e. the
589     throughput of the storage connector). 
590
591 \subsubsection pf_sto_st storage
592
593 <b>storage_type</b> attributes :
594 \li <b>id (mandatory)</b>: the identifier of the storage to be used
595     when referring to it. 
596 \li <b>typeId (mandatory)</b>: the identifier of the storage_type that
597     this storage  belongs to. 
598
599
600 \subsubsection pf_sto_mo mount
601
602 <b>mount</b> attributes :
603 \li <b>id (mandatory)</b>: the id of the <b>storage</b> that must be
604     mounted on that computer. 
605 \li <b>name (mandatory)</b>: the name that will be the logical
606     reference to this disk (the mount point). 
607
608 \subsubsection pf_sto_mst mstorage
609 <b>Note : unused for now</b>
610 <b>mstorage</b> attributes :
611 \li <b>typeId (mandatory)</b>: the id of the <b>storage</b> that must
612     be mounted on that computer. 
613 \li <b>name (mandatory)</b>: the name that will be the logical
614     reference to this disk (the mount point). 
615
616 \section pf_routing Routing
617
618 In order to run fast, it has been chosen to use static routing within
619 SimGrid. By static, it means that it is calculated once (or almost),
620 and will not change during execution. We chose to do that because it
621 is rare to have a real deficience of a resource ; most of the time, a
622 communication fails because the links are too overloaded, and so your
623 connection stops before the time out, or because the computer at the
624 other end is not answering.
625
626 We also chose to use shortests paths algorithms in order to emulate
627 routing. Doing so is consistent with the reality: RIP, OSPF, BGP are
628 all calculating shortest paths. They have some convergence time, but
629 at the end, so when the platform is stable (and this should be the
630 moment you want to simulate something using SimGrid) your packets will
631 follow the shortest paths.
632
633 \subsection pf_rm Routing models
634
635 Within each AS, you have to define a routing model to use. You have
636 basically 3 main kind of routing models :
637
638 \li Shortest-path based models: you let SimGrid calculates shortest
639     paths and manage it. Behaves more or less as most real life
640     routing.
641 \li Manually-entered route models: you'll have to define all routes
642     manually by yourself into the platform description file.
643     Consistent with some manually managed real life routing.
644 \li Simple/fast models: those models offers fast, low memory routing
645     algorithms. You should consider to use it if you can make some
646     assumptions about your AS. Routing in this case is more or less
647     ignored
648
649 \subsubsection pf_raf The router affair
650
651 Expressing routers becomes mandatory when using shortest-path based
652 models or when using ns-3 or the bindings to the GTNetS packet-level
653 simulator instead of the native analytical network model implemented
654 in SimGrid.
655
656 For graph-based shortest path algorithms, routers are mandatory,
657 because both algorithms need a graph, and so we need to have source
658 and destination for each edge.
659
660 Routers are naturally an important concept in GTNetS or ns-3 since the
661 way they run the packet routing algorithms is actually simulated.
662 Instead, the SimGrid’s analytical models aggregate the routing time
663 with the transfer time. Rebuilding a graph representation only from
664 the route information turns to be a very difficult task, because of
665 the missing information about how routes intersect. That is why we
666 introduced a \<router\> tag, which is simply used to express these
667 intersection points. The only attribute accepted by this tag an id. It
668 is important to understand that the \<router\> tag is only used to
669 provide topological information.
670
671 To express those topological information, some <b>route</b> have to be
672 defined saying which link is between which routers. Description or the
673 route syntax is given below, as well as example for the different
674 models.
675
676 \subsubsection pf_rm_sh Shortest-path based models
677
678 Here is the complete list of such models, that computes routes using
679 classic shortest-paths algorithms. How to choose the best suited
680 algorithm is discussed later in the section devoted to it.
681
682 \li <b>Floyd</b>: Floyd routing data. Pre-calculates all routes once. 
683 \li <b>Dijkstra</b>: Dijkstra routing data ,calculating routes when
684     necessary. 
685 \li <b>DijkstraCache</b>: Dijkstra routing data. Handle some cache for
686     already calculated routes. 
687
688 All those shortest-path models are instanciated the same way. Here are
689 some example of it:
690
691 Floyd example :
692 \verbatim
693 <AS  id="AS0"  routing="Floyd">
694
695   <cluster id="my_cluster_1" prefix="c-" suffix=""
696                 radical="0-1"   power="1000000000"    bw="125000000"     lat="5E-5"
697         router_id="router1"/>
698
699  <AS id="AS1" routing="none">
700     <host id="host1" power="1000000000"/>
701  </AS>
702
703   <link id="link1" bandwidth="100000" latency="0.01"/>
704
705   <ASroute src="my_cluster_1" dst="AS1"
706     gw_src="router1"
707     gw_dst="host1">
708     <link_ctn id="link1"/>
709   </ASroute>
710
711 </AS>
712 \endverbatim
713
714 ASroute given at the end gives a topological information: link1 is
715 between router1 and host1.
716
717 Dijsktra example :
718 \verbatim
719  <AS id="AS_2" routing="Dijsktra">
720      <host id="AS_2_host1" power="1000000000"/>
721      <host id="AS_2_host2" power="1000000000"/>
722      <host id="AS_2_host3" power="1000000000"/>
723      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
724      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
725      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
726      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
727      <router id="central_router"/>
728      <router id="AS_2_gateway"/>
729      <!-- routes providing topological information -->
730      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
731      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
732      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
733      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
734   </AS>
735 \endverbatim
736
737 DijsktraCache example :
738 \verbatim
739 <AS id="AS_2" routing="DijsktraCache">
740      <host id="AS_2_host1" power="1000000000"/>
741      ...
742 (platform unchanged compared to upper example)
743 \endverbatim
744
745 \subsubsection pf_rm_me Manually-entered route models
746
747 \li <b>Full</b>: You have to enter all necessary routes manually
748 \li <b>RuleBased</b>: Rule-Based routing data; same as Full except you
749     can use regexp to express route. As SimGrid has to evaluate the
750     regexp, it's slower than Full, but requires less memory. Regexp
751     syntax is similar as <a href="http://www.pcre.org">pcre</a> ones,
752     as this is the lib SimGrid use to do so.
753
754
755 Full example :
756 \verbatim
757 <AS  id="AS0"  routing="Full">
758    <host id="host1" power="1000000000"/>
759    <host id="host2" power="1000000000"/>
760    <link id="link1" bandwidth="125000000" latency="0.000100"/>
761    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
762  </AS>
763 \endverbatim
764
765 RuleBased example :
766 \verbatim
767 <AS id="AS_orsay" routing="RuleBased" >
768                         <cluster id="AS_gdx" prefix="gdx-" suffix=".orsay.grid5000.fr"
769                                 radical="1-310" power="4.7153E9" bw="1.25E8" lat="1.0E-4"
770                                 bb_bw="1.25E9" bb_lat="1.0E-4"></cluster>
771                         <link   id="link_gdx" bandwidth="1.25E9" latency="1.0E-4"/>
772
773                         <cluster id="AS_netgdx" prefix="netgdx-" suffix=".orsay.grid5000.fr"
774                                 radical="1-30" power="4.7144E9" bw="1.25E8" lat="1.0E-4"
775                                 bb_bw="1.25E9" bb_lat="1.0E-4"></cluster>
776                         <link   id="link_netgdx" bandwidth="1.25E9" latency="1.0E-4"/>
777
778                         <AS id="gw_AS_orsay" routing="Full">
779                                 <router id="gw_orsay"/>
780                         </AS>
781                         <link   id="link_gw_orsay" bandwidth="1.25E9" latency="1.0E-4"/>
782
783                         <ASroute src="^AS_(.*)$" dst="^AS_(.*)$"
784                                 gw_src="$1src-AS_$1src_router.orsay.grid5000.fr"
785                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
786                                 symmetrical="YES">
787                                         <link_ctn id="link_$1src"/>
788                                         <link_ctn id="link_$1dst"/>
789                         </ASroute>
790
791                         <ASroute src="^AS_(.*)$" dst="^gw_AS_(.*)$"
792                                 gw_src="$1src-AS_$1src_router.orsay.grid5000.fr"
793                                 gw_dst="gw_$1dst"
794                                 symmetrical="NO">
795                                         <link_ctn id="link_$1src"/>
796                         </ASroute>
797
798                         <ASroute src="^gw_AS_(.*)$" dst="^AS_(.*)$"
799                                 gw_src="gw_$1src"
800                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
801                                 symmetrical="NO">
802                                         <link_ctn id="link_$1dst"/>
803                         </ASroute>
804
805                 </AS>
806 \endverbatim
807
808 The example upper contains $1src and $1dst. It's simply a reference to
809 string matching regexp enclosed by "()" within respectively <b>src</b>
810 and <b>dst</b> attributes. If they were more than 1 "()", then you
811 could referer to it as $2src, $3src and so on.
812
813 \subsubsection pf_rm_sf Simple/fast models
814
815 \li <b>none</b>: No routing (Unless you know what you are doing, avoid
816 using this mode in combination with a non Constant network model). 
817 None Example :
818 \verbatim
819 <AS id="exitAS"  routing="none">
820         <router id="exit_gateway"/>
821 </AS>\endverbatim
822
823 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use
824     coordinates. See the corresponding section P2P below for details. 
825 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
826     not be used, except internally. 
827
828 \subsection ps_dec Defining routes
829
830 The principle of route definition is the same for the 4 available tags
831 for doing it. Those for tags are:
832
833 \li <b>route</b>: to define route between host/router
834 \li <b>ASroute</b>: to define route between AS
835 \li <b>bypassRoute</b>: to bypass normal routes as calculated by the
836     network model between host/router 
837 \li <b>bypassASroute</b>: same as bypassRoute, but for AS
838
839 Basically all those tags will contain an (ordered) list of references
840 to link that compose the route you want to define.
841
842 Consider the example below:
843
844 \verbatim
845 <route src="Alice" dst="Bob">
846         <link_ctn id="link1"/>
847         <link_ctn id="link2"/>
848         <link_ctn id="link3"/>
849    </route>
850 \endverbatim
851
852 The route here fom host Alice to Bob will be first link1, then link2,
853 and finally link3. What about the reverse route ? <b>route</b> and
854 <b>ASroute</b> have an optional attribute <b>symmetrical</b>, that can
855 be either YES or NO. YES means that the reverse route is the same
856 route in the inverse order, and is setted to YES by default. Note that
857 this is not the case for bypass*Route, as it is more probable that you
858 want to bypass only one default route.
859
860 For an ASroute, things are just sligthly more complicated, as you have
861 to give the id of the gateway which is inside the AS you're talking
862 about you want to access ... So it looks like this :
863
864
865 \verbatim
866   <ASroute src="AS1" dst="AS2"
867     gw_src="router1" gw_dst="router2">
868     <link_ctn id="link1"/>
869   </ASroute>
870 \endverbatim
871
872 gw == gateway, so when any message are trying to go from AS1 to AS2,
873 it means that it must pass through router1 to get out of the AS, then
874 pass through link1, and get into AS2 by being received by router2.
875 router1 must belong to AS1 and router2 must belong to AS2.
876
877 \subsubsection pf_linkctn link_ctn
878
879 a <b>link_ctn</b> is the tag that is used in order to reference a
880 <b>link</b> in a route. Its id is the link id it refers to.
881
882 <b>link_ctn</b> attributes :
883 \li <b>id (mandatory)</b>: Id of the link this tag refers to
884 \li <b>direction</b>: if the link referenced by <b>id</b> has been
885     declared as FULLDUPLEX, this is used to indicate in which
886     direction the route you're defining is going through this link.
887     Possible values "UP" or "DOWN".
888
889 \subsubsection pf_asro ASroute
890
891 ASroute tag purpose is to let people write manually their routes
892 between AS. It's usefull when you're in Full or Rule-based model.
893
894 <b>ASroute</b> attributes :
895 \li <b>src (mandatory)</b>: the source AS id.
896 \li <b>dst (mandatory)</b>: the destination AS id.
897 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
898     Can be any <b>host</b> or \b router defined into the \b src AS or
899     into one of the AS it includes.
900 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
901     Can be any <b>host</b> or \b router defined into the \b dst AS or
902     into one of the AS it includes.
903 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
904     will be the opposite of the one defined. Can be either YES or NO,
905     default is YES.
906
907 <b>Example of ASroute with RuleBased</b>
908 \verbatim
909 <ASroute src="^gw_AS_(.*)$" dst="^AS_(.*)$"
910                                 gw_src="gw_$1src"
911                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
912                                 symmetrical="NO">
913                                         <link_ctn id="link_$1dst"/>
914                         </ASroute>
915 \endverbatim
916 <b>Example of ASroute with Full</b>
917 \verbatim
918 <AS  id="AS0"  routing="Full">
919   <cluster id="my_cluster_1" prefix="c-" suffix=".me"
920                 radical="0-149" power="1000000000"    bw="125000000"     lat="5E-5"
921         bb_bw="2250000000" bb_lat="5E-4"/>
922
923   <cluster id="my_cluster_2" prefix="c-" suffix=".me"
924             radical="150-299" power="1000000000"        bw="125000000"  lat="5E-5"
925             bb_bw="2250000000" bb_lat="5E-4"/>
926
927      <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
928
929      <ASroute src="my_cluster_1" dst="my_cluster_2"
930          gw_src="c-my_cluster_1_router.me"
931          gw_dst="c-my_cluster_2_router.me">
932                 <link_ctn id="backbone"/>
933      </ASroute>
934      <ASroute src="my_cluster_2" dst="my_cluster_1"
935          gw_src="c-my_cluster_2_router.me"
936          gw_dst="c-my_cluster_1_router.me">
937                 <link_ctn id="backbone"/>
938      </ASroute>
939 </AS>
940 \endverbatim
941
942 \subsubsection pf_ro route
943 The principle is the same as ASroute : <b>route</b> contains list of
944 links that are in the path between src and dst, except that it is for
945 routes between a src that can be either <b>host</b> or \b router and a
946 dst that can be either <b>host</b> or \b router. Usefull for Full and
947 RuleBased, as well as for the shortest-paths based models, where you
948 have to give topological informations.
949
950
951 <b>route</b> attributes :
952 \li <b>src (mandatory)</b>: the source id.
953 \li <b>dst (mandatory)</b>: the destination id.
954 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
955     will be the opposite of the one defined. Can be either YES or NO,
956     default is YES.
957
958 <b>route example in Full</b>
959 \verbatim
960  <route src="Tremblay" dst="Bourassa">
961      <link_ctn id="4"/><link_ctn id="3"/><link_ctn id="2"/><link_ctn id="0"/><link_ctn id="1"/><link_ctn id="6"/><link_ctn id="7"/>
962    </route>
963 \endverbatim
964
965 <b>route example in a shortest-path model</b>
966 \verbatim
967  <route src="Tremblay" dst="Bourassa">
968      <link_ctn id="3"/>
969    </route>
970 \endverbatim
971 Note that when using route to give topological information, you have
972 to give routes with one link only in it, as SimGrid needs to know
973 which host are at the end of the link.
974
975 \subsubsection pf_byro bypassASroute
976
977 <b>Note : bypassASroute and bypassRoute are under rewriting to perform
978 better ; so you may not use it yet</b> As said before, once you choose
979 a model, it (if so) calculates routes for you. But maybe you want to
980 define some of your routes, which will be specific. You may also want
981 to bypass some routes defined in lower level AS at an upper stage :
982 <b>bypassASroute</b> is the tag you're looking for. It allows to
983 bypass routes defined between already defined between AS (if you want
984 to bypass route for a specific host, you should just use byPassRoute).
985 The principle is the same as ASroute : <b>bypassASroute</b> contains
986 list of links that are in the path between src and dst.
987
988 <b>bypassASroute</b> attributes :
989 \li <b>src (mandatory)</b>: the source AS id.
990 \li <b>dst (mandatory)</b>: the destination AS id.
991 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
992     Can be any <b>host</b> or \b router defined into the \b src AS or
993     into one of the AS it includes.
994 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
995     Can be any <b>host</b> or \b router defined into the \b dst AS or
996     into one of the AS it includes.
997 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
998     will be the opposite of the one defined. Can be either YES or NO,
999     default is YES.
1000
1001 <b>bypassASroute Example</b>
1002 \verbatim
1003     <bypassASRoute src="my_cluster_1" dst="my_cluster_2"
1004      gw_src="my_cluster_1_router"
1005      gw_dst="my_cluster_2_router">
1006         <link_ctn id="link_tmp"/>
1007      </bypassASroute>
1008 \endverbatim
1009
1010 \subsubsection pf_byro bypassRoute
1011 <b>Note : bypassASRoute and bypassRoute are under rewriting to perform
1012 better ; so you may not use it yet</b> As said before, once you choose
1013 a model, it (if so) calculates routes for you. But maybe you want to
1014 define some of your routes, which will be specific. You may also want
1015 to bypass some routes defined in lower level AS at an upper stage :
1016 <b>bypassRoute</b> is the tag you're looking for. It allows to bypass
1017 routes defined between <b>host/router</b>. The principle is the same
1018 as route : <b>bypassRoute</b> contains list of links references of
1019 links that are in the path between src and dst.
1020
1021 <b>bypassRoute</b> attributes :
1022 \li <b>src (mandatory)</b>: the source AS id.
1023 \li <b>dst (mandatory)</b>: the destination AS id.
1024 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1025     will be the opposite of the one defined. Can be either YES or NO,
1026     default is YES.
1027
1028 <b>bypassRoute Example</b>
1029 \verbatim
1030 <b>bypassRoute Example</b>
1031 \verbatim
1032     <bypassRoute src="host_1" dst="host_2">
1033         <link_ctn id="link_tmp"/>
1034      </bypassRoute>
1035 \endverbatim
1036
1037
1038 \subsection pb_baroex Basic Routing Example
1039
1040 Let's say you have an AS named AS_Big that contains two other AS, AS_1
1041 and AS_2. If you want to make an host (h1) from AS_1 with another one
1042 (h2) from AS_2 then you'll have to proceed as follow:
1043 \li First, you have to ensure that a route is defined from h1 to the
1044     AS_1's exit gateway and from h2 to AS_2's exit gateway.
1045 \li Then, you'll have to define a route between AS_1 to AS_2. As those
1046     AS are both resources belonging to AS_Big, then it has to be done
1047     at AS_big level. To define such a route, you have to give the
1048     source AS (AS_1), the destination AS (AS_2), and their respective
1049     gateway (as the route is effectively defined between those two
1050     entry/exit points). Elements of this route can only be elements
1051     belonging to AS_Big, so links and routers in this route should be
1052     defined inside AS_Big. If you choose some shortest-path model,
1053     this route will be computed automatically.
1054
1055 As said before, there are mainly 2 tags for routing :
1056 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
1057 \li <b>route</b>: to define routes between two <b>host/router</b>
1058
1059 As we are dealing with routes between AS, it means that those we'll
1060 have some definition at AS_Big level. Let consider AS_1 contains 1
1061 host, 1 link and one router and AS_2 3 hosts, 4 links and one router.
1062 There will be a central router, and a cross-like topology. At the end
1063 of the crosses arms, you'll find the 3 hosts and the router that will
1064 act as a gateway. We have to define routes inside those two AS. Let
1065 say that AS_1 contains full routes, and AS_2 contains some Floyd
1066 routing (as we don't want to bother with defining all routes). As
1067 we're using some shortest path algorithms to route into AS_2, we'll
1068 then have to define some <b>route</b> to gives some topological
1069 information to SimGrid. Here is a file doing it all :
1070
1071 \verbatim
1072 <AS  id="AS_Big"  routing="Dijsktra">
1073   <AS id="AS_1" routing="Full">
1074      <host id="AS_1_host1" power="1000000000"/>
1075      <link id="AS_1_link" bandwidth="1250000000" latency="5E-4"/>
1076      <router id="AS_1_gateway"/>
1077      <route src="AS_1_host1" dst="AS_1_gateway">
1078             <link_ctn id="AS_1_link"/>
1079      </route>
1080   </AS>
1081   <AS id="AS_2" routing="Floyd">
1082      <host id="AS_2_host1" power="1000000000"/>
1083      <host id="AS_2_host2" power="1000000000"/>
1084      <host id="AS_2_host3" power="1000000000"/>
1085      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
1086      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
1087      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
1088      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
1089      <router id="central_router"/>
1090      <router id="AS_2_gateway"/>
1091      <!-- routes providing topological information -->
1092      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
1093      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
1094      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
1095      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
1096   </AS>
1097     <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
1098
1099      <ASroute src="AS_1" dst="AS_2"
1100          gw_src="AS_1_gateway"
1101          gw_dst="AS_2_gateway">
1102                 <link_ctn id="backbone"/>
1103      </ASroute>
1104 </AS>
1105 \endverbatim
1106
1107 \section pf_other_tags Tags not (directly) describing the platform
1108
1109 There are 3 tags, that you can use inside a \<platform\> tag that are
1110 not describing the platform: 
1111 \li random: it allows you to define random generators you want to use
1112     for your simulation. 
1113 \li config: it allows you to pass some configuration stuff like, for
1114     example, the network model and so on. It follows the 
1115 \li include: simply allows you to include another file into the
1116     current one. 
1117
1118 \subsection pf_conf config
1119 <b>config</b> attributes :
1120 \li <b>id (mandatory)</b>: the identifier of the config to be used
1121     when referring to it. 
1122
1123
1124 <b>config</b> tag only purpose is to include <b>prop</b> tags. Valid
1125 id are basically the same as the list of possible parameters you can
1126 use by command line, except that "/" are used for namespace
1127 definition. See the \ref options config and options page for more
1128 information.
1129
1130
1131 <b>config example</b>
1132 \verbatim
1133 <?xml version='1.0'?>
1134 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1135 <platform version="3">
1136 <config id="General">
1137         <prop id="maxmin/precision" value="0.000010"></prop>
1138         <prop id="cpu/optim" value="TI"></prop>
1139         <prop id="workstation/model" value="compound"></prop>
1140         <prop id="network/model" value="SMPI"></prop>
1141         <prop id="path" value="~/"></prop>
1142         <prop id="smpi/bw_factor" value="65472:0.940694;15424:0.697866;9376:0.58729"></prop>
1143 </config>
1144
1145 <AS  id="AS0"  routing="Full">
1146 ...
1147 \endverbatim
1148
1149
1150 \subsection pf_rand random
1151 Not yet in use, and possibly subject to huge modifications.
1152
1153 \subsection pf_incl include
1154 <b>include</b> tag allows to import into a file platform parts located
1155 in another file. This is done with the intention to help people
1156 combine their different AS and provide new platforms. Those files
1157 should contains XML part that contains either
1158 <b>include,cluster,peer,AS,trace,trace_connect</b> tags.  
1159
1160 <b>include</b> attributes :
1161 \li <b>file (mandatory)</b>: filename of the file to include. Possible
1162     values: absolute or relative path, syntax similar to the one in
1163     use on your system. 
1164
1165 <b>Note</b>: due to some obscure technical reasons, you have to open
1166 and close tag in order to let it work. 
1167 <b>include Example</b>
1168 \verbatim
1169 <?xml version='1.0'?>
1170 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1171 <platform version="3">
1172         <AS id="main" routing="Full">
1173                 <include file="clusterA.xml"></include>
1174                 <include file="clusterB.xml"></include>
1175         </AS>
1176 </platform>
1177 \endverbatim
1178
1179 \subsection pf_tra trace and trace_connect
1180 Both tags are an alternate way to passe availability, state, and so on
1181 files to entity. Instead of refering to the file directly in the host,
1182 link, or cluster tag, you proceed by defining a trace with an id
1183 corresponding to a file, later an host/link/cluster, and finally using
1184 trace_connect you say that the file trace must be used by the entity.
1185 Get it ? Let's have a look at an example : 
1186
1187 \verbatim
1188 <AS  id="AS0"  routing="Full">
1189   <host id="bob" power="1000000000"/>
1190 </AS>
1191   <trace id="myTrace" file="bob.trace" periodicity="1.0"/>
1192   <trace_connect trace="myTrace" element="bob" kind="POWER"/>
1193 \endverbatim
1194
1195 All constraints you have is that <b>trace_connect</b> is after
1196 <b>trace</b> and <b>host</b> definitions.
1197
1198
1199 <b>trace</b> attributes :
1200 \li <b>id (mandatory)</b>: the identifier of the trace to be used when
1201     referring to it.
1202 \li <b>file</b>: filename of the file to include. Possible values :
1203     absolute or relative path, syntax similar to the one in use on
1204     your system. If ommited, the system expects that you provide the
1205     trace values inside the trace tags (see below).
1206 \li <b>trace periodicity (mandatory)</b>: trace periodicity, same
1207     definition as in hosts (see upper for details).
1208
1209 Here is an example  of trace when no file name is provided:
1210
1211 \verbatim
1212  <trace id="myTrace" periodicity="1.0">
1213     0.0 1.0
1214     11.0 0.5
1215     20.0 0.8
1216   </trace>
1217 \endverbatim
1218
1219 <b>trace_connect</b> attributes :
1220 \li <b>kind</b>: the type of trace, possible values
1221     <b>HOST_AVAIL|POWER|LINK_AVAIL|BANDWIDTH|LATENCY,</b>  default:
1222     <b>HOST_AVAIL</b>  
1223 \li <b>trace (mandatory)</b>: the identifier of the trace referenced.
1224 \li <b>element (mandatory)</b>: the identifier of the entity referenced.
1225
1226
1227
1228 \section pf_hints Hints and tips, or how to write a platform efficiently
1229
1230 Now you should know at least the syntax dans be able to create a
1231 platform. However, after having ourselves wrote some platforms, there
1232 are some best practices you should pay attention to in order to
1233 produce good platform and some choices you can make in order to have
1234 faster simulations. Here's some hints and tips, then.
1235
1236 \subsection pf_as_h AS Hierarchy
1237 The AS design allows SimGrid to go fast, because computing route is
1238 done only for the set of resources defined in this AS. If you're using
1239 only a big AS containing all resource with no AS into it and you're
1240 using Full model, then ... you'll loose all interest into it. On the
1241 other hand, designing a binary tree of AS with, at the lower level,
1242 only one host, then you'll also loose all the good AS hierarchy can
1243 give you. Remind you should always be "reasonable" in your platform
1244 definition when choosing the hierarchy. A good choice if you try to
1245 describe a real life platform is to follow the AS described in
1246 reality, since this kind og trade-off works well for real life
1247 platforms.
1248
1249 \subsection pf_exit_as Exit AS: why and how
1250 Users that have looked at some of our platforms may have notice a
1251 non-intuitive schema ... Something like that :
1252
1253
1254 \verbatim
1255 <AS id="AS_4"  routing="Full">
1256 <AS id="exitAS_4"  routing="Full">
1257         <router id="router_4"/>
1258 </AS>
1259 <cluster id="cl_4_1" prefix="c_4_1-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1260 <cluster id="cl_4_2" prefix="c_4_2-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1261 <link id="4_1" bandwidth="2250000000" latency="5E-5"/>
1262 <link id="4_2" bandwidth="2250000000" latency="5E-5"/>
1263 <link id="bb_4" bandwidth="2250000000" latency="5E-4"/>
1264 <ASroute src="cl_4_1"
1265         dst="cl_4_2"
1266         gw_src="c_4_1-cl_4_1_router"
1267         gw_dst="c_4_2-cl_4_2_router"
1268         symmetrical="YES">
1269                 <link_ctn id="4_1"/>
1270                 <link_ctn id="bb_4"/>
1271                 <link_ctn id="4_2"/>
1272 </ASroute>
1273 <ASroute src="cl_4_1"
1274         dst="exitAS_4"
1275         gw_src="c_4_1-cl_4_1_router"
1276         gw_dst="router_4"
1277         symmetrical="YES">
1278                 <link_ctn id="4_1"/>
1279                 <link_ctn id="bb_4"/>
1280 </ASroute>
1281 <ASroute src="cl_4_2"
1282         dst="exitAS_4"
1283         gw_src="c_4_2-cl_4_2_router"
1284         gw_dst="router_4"
1285         symmetrical="YES">
1286                 <link_ctn id="4_2"/>
1287                 <link_ctn id="bb_4"/>
1288 </ASroute>
1289 </AS>
1290 \endverbatim
1291
1292 In the AS_4, you have an exitAS_4 defined, containing only one router,
1293 and routes defined to that AS from all other AS (as cluster is only a
1294 shortcut for an AS, see cluster description for details). If there was
1295 an upper AS, it would define routes to and from AS_4 with the gateway
1296 router_4. It's just because, as we did not allowed (for performances
1297 issues) to have routes from an AS to a single host/router, you have to
1298 enclose your gateway, when you have AS included in your AS, within an
1299 AS to define routes to it.
1300
1301 \subsection pf_P2P_tags P2P or how to use coordinates
1302 SimGrid allows you to use some coordinated-based system, like vivaldi,
1303 to describe a platform. The main concept is that you have some peers
1304 that are located somewhere: this is the function of the 
1305 <b>coordinates</b> of the \<peer\> or \<host\> tag. There's nothing
1306 complicated in using it, here is an example of it:
1307
1308 \verbatim
1309 <?xml version='1.0'?>
1310 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1311 <platform version="3">
1312
1313 <config id="General">
1314         <prop id="network/coordinates" value="yes"></prop>
1315 </config>
1316  <AS  id="AS0"  routing="Vivaldi">
1317         <host id="100030591" coordinates="25.5 9.4 1.4" power="1500000000.0" />
1318         <host id="100036570" coordinates="-12.7 -9.9 2.1" power="730000000.0" />
1319         ...
1320         <host id="100429957" coordinates="17.5 6.7 18.8" power="830000000.0" />
1321         </AS>
1322 </platform>
1323 \endverbatim
1324
1325 Coordinates are then used to calculate latency between two hosts by
1326 calculating the euclidian distance between the two hosts coordinates.
1327 The results express the latency in ms.
1328
1329 \subsection pf_wisely Choosing wisely the routing model to use
1330
1331
1332 Choosing wisely the routing model to use can significantly fasten your
1333 simulation/save your time when writing the platform/save tremendeous
1334 disk space. Here is the list of available model and their
1335 characteristics (lookup : time to resolve a route):
1336
1337 \li <b>Full</b>: Full routing data (fast, large memory requirements,
1338     fully expressive)    
1339 \li <b>Floyd</b>: Floyd routing data (slow initialization, fast
1340     lookup, lesser memory requirements, shortest path routing only).
1341     Calculates all routes at once at the beginning.
1342 \li <b>Dijkstra</b>: Dijkstra routing data (fast initialization, slow
1343     lookup, small memory requirements, shortest path routing only).
1344     Calculates a route when necessary.
1345 \li <b>DijkstraCache</b>: Dijkstra routing data (fast initialization,
1346     fast lookup, small memory requirements, shortest path routing
1347     only). Same as Dijkstra, except it handles a cache for latest used
1348     routes.
1349 \li <b>none</b>: No routing (usable with Constant network only).
1350     Defines that there is no routes, so if you try to determine a
1351     route without constant network within this AS, SimGrid will raie
1352     an exception.
1353 \li <b>RuleBased</b>: Rule-Based routing data (fast initialisation,
1354     relatively slow lookup, moderate memory requirements, fully
1355     expressive): uses regexp to define routes;
1356 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use coordinates
1357 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
1358     not be used. 
1359
1360 \subsection pf_switch Hey, I want to describe a switch but there is no switch tag !
1361
1362 Actually we did not include swith tag, ok. But when you're trying to
1363 simulate a switch, the only major impact it has when you're using
1364 fluid model (and SimGrid uses fluid model unless you activate GTNetS,
1365 ns-3, or constant network mode) is the impact of the upper limit of
1366 the switch motherboard speed that will eventually be reached if you're
1367 using intensively your switch. So, the switch impact is similar to a
1368 link one. That's why we are used to describe a switch using a link tag
1369 (as a link is not an edge by a hyperedge, you can connect more than 2
1370 other links to it).
1371
1372 \subsection pf_platform_multipath How to express multipath routing in platform files?
1373
1374 It is unfortunately impossible to express the fact that there is more
1375 than one routing path between two given hosts. Let's consider the
1376 following platform file:
1377
1378 \verbatim
1379 <route src="A" dst="B">
1380    <link_ctn id="1"/>
1381 </route>
1382 <route src="B" dst="C">
1383   <link_ctn id="2"/>
1384 </route>
1385 <route src="A" dst="C">
1386   <link_ctn id="3"/>
1387 </route>
1388 \endverbatim
1389
1390 Although it is perfectly valid, it does not mean that data traveling
1391 from A to C can either go directly (using link 3) or through B (using
1392 links 1 and 2). It simply means that the routing on the graph is not
1393 trivial, and that data do not following the shortest path in number of
1394 hops on this graph. Another way to say it is that there is no implicit
1395 in these routing descriptions. The system will only use the routes you
1396 declare (such as &lt;route src="A" dst="C"&gt;&lt;link_ctn
1397 id="3"/&gt;&lt;/route&gt;), without trying to build new routes by aggregating
1398 the provided ones.
1399
1400 You are also free to declare platform where the routing is not
1401 symmetric. For example, add the following to the previous file:
1402
1403 \verbatim
1404 <route src="C" dst="A">
1405   <link_ctn id="2"/>
1406   <link_ctn id="1"/>
1407 </route>
1408 \endverbatim
1409
1410 This makes sure that data from C to A go through B where data from A
1411 to C go directly. Don't worry about realism of such settings since
1412 we've seen ways more weird situation in real settings (in fact, that's
1413 the realism of very regular platforms which is questionable, but
1414 that's another story).
1415
1416 \section pf_flexml_bypassing Bypassing the XML parser with your own C functions
1417 <b>NOTE THAT THIS DOCUMENTATION, WHILE STILL WORKING, IS STRONGLY DEPRECATED</b>
1418
1419 So you want to bypass the XML files parser, uh? Maybe doing some parameter
1420 sweep experiments on your simulations or so? This is possible, and
1421 it's not even really difficult (well. Such a brutal idea could be
1422 harder to implement). Here is how it goes.
1423
1424 For this, you have to first remember that the XML parsing in SimGrid is done
1425 using a tool called FleXML. Given a DTD, this gives a flex-based parser. If
1426 you want to bypass the parser, you need to provide some code mimicking what
1427 it does and replacing it in its interactions with the SURF code. So, let's
1428 have a look at these interactions.
1429
1430 FleXML parser are close to classical SAX parsers. It means that a
1431 well-formed SimGrid platform XML file might result in the following
1432 "events":
1433
1434   - start "platform_description" with attribute version="2"
1435   - start "host" with attributes id="host1" power="1.0"
1436   - end "host"
1437   - start "host" with attributes id="host2" power="2.0"
1438   - end "host"
1439   - start "link" with ...
1440   - end "link"
1441   - start "route" with ...
1442   - start "link_ctn" with ...
1443   - end "link_ctn"
1444   - end "route"
1445   - end "platform_description"
1446
1447 The communication from the parser to the SURF code uses two means:
1448 Attributes get copied into some global variables, and a surf-provided
1449 function gets called by the parser for each event. For example, the event
1450   - start "host" with attributes id="host1" power="1.0"
1451
1452 let the parser do something roughly equivalent to:
1453 \verbatim
1454   strcpy(A_host_id,"host1");
1455   A_host_power = 1.0;
1456   STag_host();
1457 \endverbatim
1458
1459 In SURF, we attach callbacks to the different events by initializing the
1460 pointer functions to some the right surf functions. Since there can be
1461 more than one callback attached to the same event (if more than one
1462 model is in use, for example), they are stored in a dynar. Example in
1463 workstation_ptask_L07.c:
1464 \verbatim
1465   /* Adding callback functions */
1466   surf_parse_reset_parser();
1467   surfxml_add_callback(STag_surfxml_host_cb_list, &parse_cpu_init);
1468   surfxml_add_callback(STag_surfxml_prop_cb_list, &parse_properties);
1469   surfxml_add_callback(STag_surfxml_link_cb_list, &parse_link_init);
1470   surfxml_add_callback(STag_surfxml_route_cb_list, &parse_route_set_endpoints);
1471   surfxml_add_callback(ETag_surfxml_link_c_ctn_cb_list, &parse_route_elem);
1472   surfxml_add_callback(ETag_surfxml_route_cb_list, &parse_route_set_route);
1473
1474   /* Parse the file */
1475   surf_parse_open(file);
1476   xbt_assert(!surf_parse(), "Parse error in %s", file);
1477   surf_parse_close();
1478 \endverbatim
1479
1480 So, to bypass the FleXML parser, you need to write your own version of the
1481 surf_parse function, which should do the following:
1482    - Fill the A_<tag>_<attribute> variables with the wanted values
1483    - Call the corresponding STag_<tag>_fun function to simulate tag start
1484    - Call the corresponding ETag_<tag>_fun function to simulate tag end
1485    - (do the same for the next set of values, and loop)
1486
1487 Then, tell SimGrid that you want to use your own "parser" instead of the stock one:
1488 \verbatim
1489   surf_parse = surf_parse_bypass_environment;
1490   MSG_create_environment(NULL);
1491   surf_parse = surf_parse_bypass_application;
1492   MSG_launch_application(NULL);
1493 \endverbatim
1494
1495 A set of macros are provided at the end of
1496 include/surf/surfxml_parse.h to ease the writing of the bypass
1497 functions. An example of this trick is distributed in the file
1498 examples/msg/masterslave/masterslave_bypass.c
1499
1500
1501 */