Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Tesh sort wanted output
[simgrid.git] / doc / doxygen / platform.doc
1 /*! \page platform Platform Description
2
3 @tableofcontents
4
5 In order to run any simulation, SimGrid needs 3 things: something to run
6 (so, your code), a description of the platform on which you want to run your
7 application, and finally it needs something to know where to deploy what.
8
9 For the latest 2 entries, you have basically 2 ways to give it as an input :
10 \li You can program it, either using the Lua console (\ref
11     MSG_Lua_funct) or if you're using MSG some of its platform and
12     deployments functions(\ref msg_simulation). If you want to use it,
13     please refer to its doc. (you can also check the section \ref
14     pf_flexml_bypassing but this is strongly deprecated, as there is a
15     new way to do it properly, but not yet documented).
16 \li You can use two XML files: a platform description file and a
17     deployment description one.
18
19 For the deployment stuff, please takea look at \ref deployment
20
21 The platform description may be complicated. This documentation is all
22 about how to write this file: what are the basic concept it relies on,
23 what possibilities are offered, and some hints and tips on how to
24 write a good platform description.
25
26 \section pf_overview Some words about XML and DTD
27
28 We choose to use XML because of some of its possibilities: if you're
29 using an accurate XML editor, or simply using any XML plug-in for
30 eclipse, it will allow you to have cool stuff like auto-completion,
31 validation and checking, so all syntaxic errors may be avoided this
32 way.
33
34 the XML checking is done based on the dtd which is nowaday online at
35 <a href="http://simgrid.gforge.inria.fr/simgrid.dtd">http://simgrid.gforge.inria.fr/simgrid.dtd</a>
36 while you might be tempted to read it, it will not help you that much.
37
38 If you read it, you should notice two or three important things :
39 \li The platform tags contains a version attributes. At the time of
40     writing this doc the current version is 3.    
41 \li The DTD contains definitions for the 2 files used by SimGrid (platform
42     description and deployment).
43 \li There is a bunch of possibilities ! Let's see what's in it
44
45
46 \section pf_basics Basic concepts
47
48 Nowadays, the Internet is composed of a bunch of independently managed
49 networks. Within each of those networks, there are entry and exit
50 points (most of the time, you can both enter and exit through the same
51 point) that allows to go out of the current network and reach other
52 networks. At the upper level, these networks are known as
53 <b>Autonomous System (AS)</b>, while at the lower level they are named
54 sub-networks, or LAN. Indeed they are autonomous: routing is defined
55 within the limits of his network by the administrator, and so, those
56 networks can continue to operate without the existence of other
57 networks. There are some rules to get out of networks by the entry
58 points (or gateways). Those gateways allow you to go from a network to
59 another one. Inside of each autonomous system, there is a bunch of
60 equipments (cables, routers, switches, computers) that belong to the
61 autonomous system owner.
62
63 SimGrid platform description file relies exactly on the same concepts
64 as real life platform. Every resource (computers, network equipments,
65 and so on) belongs to an AS. Within this AS, you can define the
66 routing you want between its elements (that's done with the routing
67 model attribute and eventually with some \<route\> tag). You define AS
68 by using ... well ... the \<AS\> tag. An AS can also contain some AS :
69 AS allows you to define the hierarchy of your platform.
70
71 Within each AS, you basically have the following type of resources:
72 \li <b>host</b>: an host, with cores in it, and so on
73 \li <b>router</b>: a router or a gateway.
74 \li <b>link</b>: a link, that defines a connection between two (or
75     more) resources (and have a bandwidth and a latency) 
76 \li <b>cluster</b>: like a real cluster, contains many hosts
77     interconnected by some dedicated network. 
78
79 Between those elements, a routing has to be defined. As the AS is
80 supposed to be Autonomous, this has to be done at the AS level. As AS
81 handles two different types of entities (<b>host/router</b> and
82 <b>AS</b>) you will have to define routes between those elements. A
83 network model have to be provided for AS, but you may/will need,
84 depending of the network model, or because you want to bypass the
85 default beahviour to defines routes manually. There are 3 tags to use: 
86 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
87 \li <b>route</b>: to define routes between two <b>host/router</b>
88 \li <b>bypassRoute</b>: to define routes between two <b>AS</b> that
89     will bypass default routing. 
90
91 Here is an illustration of the overall concepts:
92
93 \htmlonly
94 <a href="AS_hierarchy.png" border=0><img src="AS_hierarchy.png" width="30%" border=0 align="center"></a>
95 <br/>
96 \endhtmlonly
97  Circles represent processing units and squares represent network routers. Bold
98     lines represent communication links. AS2 models the core of a national
99     network interconnecting a small flat cluster (AS4) and a larger
100     hierarchical cluster (AS5), a subset of a LAN (AS6), and a set of peers
101     scattered around the world (AS7).
102
103
104 This is all for the concepts ! To make a long story short, a SimGrid
105 platform is made of a hierarchy of AS, each of them containing
106 resources, and routing is defined at AS level. Let's have a deeper
107 look in the tags.
108
109
110
111 \section pf_pftags Describing resources and their organization
112
113 \subsection  pf_As Platform organization tag : AS
114
115 AS (or Autonomous System) is an organizational unit that contains
116 resources and defines routing between them, and eventually some other
117 AS. So it allows you to define a hierarchy into your platform.
118 <b>*ANY*</b> resource <b>*MUST*</b> belong to an AS. There are a few
119 attributes.
120
121 <b>AS</b> attributes :
122 \li <b>id (mandatory)</b>: the identifier of AS to be used when
123     referring to it.     
124 \li <b>routing (mandatory)</b>: the routing model used into it. By
125     model we mean the internal way the simulator will manage routing.
126     That also have a big impact on how many information you'll have to
127     provide to help the simulator to route between the AS elements.
128     <b>routing</b> possible values are <b>Full, Floyd, Dijkstra,
129     DijkstraCache, none, RuleBased, Vivaldi, Cluster</b>. For more
130     explanation about what to choose, take a look at the section
131     devoted to it below.  
132
133 Elements into an AS are basically resources (computers, network
134 equipments) and some routing informations if necessary (see below for
135 more explanation).
136
137 <b>AS example</b>
138 \verbatim
139 <AS  id="AS0"  routing="Full">
140    <host id="host1" power="1000000000"/>
141    <host id="host2" power="1000000000"/>
142    <link id="link1" bandwidth="125000000" latency="0.000100"/>
143    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
144  </AS>
145 \endverbatim
146
147 In this example, AS0 contains two hosts (host1 and host2). The route
148 between the hosts goes through link1.
149
150
151 \subsection pf_Cr Computing resources: hosts, clusters and peers.
152
153 \subsubsection pf_host host
154
155 A <b>host</b> represents a computer, where you will be able to execute
156 code and from which you can send and receive information. A host can
157 contain more than 1 core. Here are the attributes of a host :
158
159
160 <b>host</b> attributes :
161 \li <b>id (mandatory)</b>: the identifier of the host to be used when
162     referring to it.
163 \li <b>power (mandatory)</b>:the peak number FLOPS the CPU can manage.
164     Expressed in flop/s.
165 \li <b>core</b>: The number of core of this host. If setted, the power
166     gives the power of one core. The specified computing power will be
167     available to up to 6 sequential tasks without sharing. If more
168     tasks are placed on this host, the resource will be shared
169     accordingly. For example, if you schedule 12 tasks on the host,
170     each will get half of the computing power. Please note that
171     although sound, this model were never scientifically assessed.
172     Please keep this fact in mind when using it.
173
174 \li <b>availability</b>: specify if the percentage of power available.
175 \li <b>availability_file</b>: Allow you to use a file as input. This
176     file will contain availability traces for this computer. The
177     syntax of this file is defined below. Possible values : absolute
178     or relative path, syntax similar to the one in use on your system.
179 \li <b>state</b>: the computer state, as in : is that computer ON or
180     OFF. Possible values : "ON" or "OFF". 
181 \li <b>state_file</b>: Same mechanism as availability_file, similar
182     syntax for value.     
183 \li <b>coordinates</b>: you'll have to give it if you choose the
184     vivaldi, coordinate-based routing model for the AS the host
185     belongs to. More details about it in the P2P coordinate based
186     section. 
187
188 An host can contain some <b>mount</b> that defines mounting points
189 between some storage resource and the <b>host</b>. Please refer to the
190 storage doc for more information.
191
192 An host can also contain the <b>prop</b> tag. the prop tag allows you
193 to define additional informations on this host following the
194 attribute/value schema. You may want to use it to give information to
195 the tool you use for rendering your simulation, for example.
196
197 <b>host example</b>
198 \verbatim
199    <host id="host1" power="1000000000"/>
200    <host id="host2" power="1000000000">
201         <prop id="color" value="blue"/>
202         <prop id="rendershape" value="square"/>
203    </host>
204 \endverbatim
205
206
207 <b>Expressing dynamicity.</b>
208 It is also possible to seamlessly declare a host whose
209 availability changes over time using the availability_file
210 attribute and a separate text file whose syntax is exemplified below.
211
212 <b>Adding a trace file</b>
213 \verbatim
214     <platform version="1">
215       <host id="bob" power="500000000"
216             availability_file="bob.trace" />
217     </platform>
218 \endverbatim
219 <b>Example of "bob.trace" file</b>
220 \verbatim
221 PERIODICITY 1.0
222   0.0 1.0
223   11.0 0.5
224   20.0 0.8
225 \endverbatim
226
227 At time 0, our host will deliver 500~Mflop/s. At time 11.0, it will
228 deliver half, that is 250~Mflop/s until time 20.0 where it will
229 will start delivering 80\% of its power, that is 400~Mflop/s. Last, at
230 time 21.0 (20.0 plus the periodicity 1.0), we loop back to the
231 beginning and the host will deliver again 500~Mflop/s.
232
233 <b>Changing initial state</b>
234
235 It is also possible to specify whether the host
236 is up or down by setting the <b>state</b> attribute to either <b>ON</b>
237 (default value) or <b>OFF</b>.
238
239 <b>Expliciting the default value "ON"</b>
240 \verbatim
241   <platform version="1">
242      <host id="bob"
243            power="500000000"
244           state="ON" />
245   </platform>
246 \endverbatim
247 <b>Host switched off</b>
248 \verbatim
249   <platform version="1">
250      <host id="bob"
251            power="500000000"
252            state="OFF" />
253   </platform>
254 \endverbatim
255 <b>Expressing churn</b>
256 To express the fact that a host can change state over time (as in P2P
257 systems, for instance), it is possible to use a file describing the time
258 at which the host is turned on or off. An example of the content
259 of such a file is presented below.
260 <b>Adding a state file</b>
261   \verbatim
262     <platform version="1">
263       <host id="bob" power="500000000"
264            state_file="bob.fail" />
265     </platform>
266   \endverbatim
267 <b>Example of "bob.fail" file</b>
268 \verbatim
269   PERIODICITY 10.0
270   1.0 -1.0
271   2.0 1.0
272 \endverbatim
273
274 A negative value means <b>down</b> while a positive one means <b>up and
275   running</b>. From time 0.0 to time 1.0, the host is on. At time 1.0, it is
276 turned off and at time 2.0, it is turned on again until time 12 (2.0 plus the
277 periodicity 10.0). It will be turned on again at time 13.0 until time 23.0, and
278 so on.
279
280
281
282 \subsubsection pf_cluster cluster
283
284 A <b>cluster</b> represents a cluster. It is most of the time used
285 when you want to have a bunch of machine defined quickly. It must be
286 noted that cluster is meta-tag : <b>from the inner SimGrid point of
287 view, a cluster is an AS where some optimized routing is defined</b>.
288 The default inner organisation of the cluster is as follow:
289
290 \verbatim
291                  _________
292                 |          |
293                 |  router  |
294     ____________|__________|_____________ backbone
295       |   |   |              |     |   |
296     l0| l1| l2|           l97| l96 |   | l99
297       |   |   |   ........   |     |   |
298       |                                |
299     c-0.me                             c-99.me
300 \endverbatim
301
302 You have a set of <b>host</b> defined. Each of them has a <b>link</b>
303 to a central backbone (backbone is a <b>link</b> itsef, as a link can
304 be used to represent a switch, see the switch or <b>link</b> section
305 below for more details about it). A <b>router</b> gives a way to the
306 <b>cluster</b> to be connected to the outside world. Internally,
307 cluster is then an AS containing all hosts : the router is the default
308 gateway for the cluster.
309
310 There is an alternative organization, which is as follow :
311 \verbatim
312                  _________
313                 |          |
314                 |  router  |
315                 |__________|
316                     / | \
317                    /  |  \
318                l0 / l1|   \l2
319                  /    |    \
320                 /     |     \
321             host0   host1   host2
322 \endverbatim
323
324 The principle is the same, except we don't have the backbone. The way
325 to obtain it is simple : you just have to let bb_* attributes
326 unsetted.
327
328
329
330 <b>cluster</b> attributes :
331 \li <b>id (mandatory)</b>: the identifier of the cluster to be used
332     when referring to it. 
333 \li <b>prefix (mandatory)</b>: each node of the cluster has to have a
334     name. This is its prefix. 
335 \li <b>suffix (mandatory)</b>: node suffix name.
336 \li <b>radical (mandatory)</b>: regexp used to generate cluster nodes
337     name. Syntax is quite common, "10-20" will give you 11 machines
338     numbered from 10 to 20, "10-20;2" will give you 12 machines, one
339     with the number 2, others numbered as before. The produced number
340     is concatenated between prefix and suffix to form machine names.
341 \li <b>power (mandatory)</b>: same as <b>host</b> power.
342 \li <b>core</b>: same as <b>host</b> core.
343 \li <b>bw (mandatory)</b>: bandwidth for the links between nodes and
344     backbone (if any). See <b>link</b> section for syntax/details.
345 \li <b>lat (mandatory)</b>: latency for the links between nodes and
346     backbone (if any). See <b>link</b> section for syntax/details. 
347 \li <b>sharing_policy</b>: sharing policy for the links between nodes
348     and backbone (if any). See <b>link</b> section for syntax/details.     
349 \li <b>bb_bw </b>: bandwidth for backbone (if any). See <b>link</b>
350     section for syntax/details. If both bb_* attributes are ommited,
351     no backbone is created (alternative cluster architecture described
352     before). 
353 \li <b>bb_lat </b>: latency for backbone (if any). See <b>link</b>
354     section for syntax/details. If both bb_* attributes are ommited,
355     no backbone is created (alternative cluster architecture described
356     before).
357 \li <b>bb_sharing_policy</b>: sharing policy for the backbone (if
358     any). See <b>link</b> section for syntax/details.
359 \li <b>availability_file</b>: Allow you to use a file as input for
360     availability. Similar to <b>hosts</b> attribute. 
361 \li <b>state_file</b>: Allow you to use a file as input for states.
362     Similar to <b>hosts</b> attribute. 
363
364 the router name is defined as the resulting String in the following
365 java line of code: 
366
367 @verbatim
368 router_name = prefix + clusterId + router_ + suffix;
369 @endverbatim
370
371
372 <b>cluster example</b>
373 \verbatim
374 <cluster id="my_cluster_1" prefix="" suffix=""
375                 radical="0-262144"      power="1000000000"    bw="125000000"     lat="5E-5"/>
376 <cluster id="my_cluster_1" prefix="c-" suffix=".me"
377                 radical="0-99"  power="1000000000"    bw="125000000"     lat="5E-5"
378         bb_bw="2250000000" bb_lat="5E-4"/>
379 \endverbatim
380 The second examples creates 100 machines, which names are the following:
381 \verbatim
382 c-0.my_cluster_1.me
383 c-1.my_cluster_1.me
384 c-2.my_cluster_1.me
385 ...
386 c-99.my_cluster_1.me
387 \endverbatim
388
389 \subsubsection pf_peer peer
390 A <b>peer</b> represents a peer, as in Peer-to-Peer (P2P). Basically,
391 as cluster, <b>A PEER IS INTERNALLY INTERPRETED AS AN \<AS\></b>. It's
392 just a kind of shortcut that does the following :
393
394 \li It creates an host
395 \li Two links : one for download and one for upload. This is
396     convenient to use and simulate stuff under the last mile model (as
397     ADSL peers).  
398 \li It creates a gateway that serve as entry point for this peer zone.
399     This router has coordinates.
400
401 <b>peer</b> attributes :
402 \li <b>id (mandatory)</b>: the identifier of the peer to be used when
403     referring to it.
404 \li <b>power CDATA (mandatory)</b>: as in host
405 \li <b>bw_in CDATA (mandatory)</b>: bandwidth in.
406 \li <b>bw_out CDATA (mandatory)</b>:bandwidth out.
407 \li <b>lat CDATA (mandatory)</b>: Latency for in and out links.
408 \li <b>coordinates</b>: coordinates of the gateway for this peer.
409 \li <b>sharing_policy</b>: sharing policy for links. Can be SHARED or
410     FULLDUPLEX, FULLDUPLEX is the default. See <b>link</b> description
411     for details.
412 \li <b>availability_file</b>: availability file for the peer. Same as
413     host availability file. See <b>host</b> description for details.   
414 \li <b>state_file </b>: state file for the peer. Same as host state
415     file. See <b>host</b> description for details. 
416
417 \subsection pf_ne Network equipments: links and routers
418
419 You have basically two entities available to represent network entities:
420 \li <b>link</b>: represents something that has a limited bandwidth, a
421     latency, and that can be shared according to TCP way to share this
422     bandwidth. <b>LINKS ARE NOT EDGES BUT HYPEREDGES</b>: it means
423     that you can have more than 2 equipments connected to it.
424 \li <b>router</b>: represents something that one message can be routed
425     to, but does not accept any code, nor have any influence on the
426     performances (no bandwidth, no latency, not anything).<b>ROUTERS
427     ARE ENTITIES (ALMOST) IGNORED BY THE SIMULATOR WHEN THE SIMULATION
428     HAS BEGUN</b>. If you want to represent something like a switch,
429     you must use <b>link</b> (see section below). Routers are used in
430     order to run some routing algorithm and determine routes (see
431     routing section for details).
432
433 let's see deeper what those entities hide.
434
435 \subsubsection pf_router router
436 As said before, <b>router</b> is used only to give some information
437 for routing algorithms. So, it does not have any attributes except :
438
439 <b>router</b> attributes :
440 \li <b>id (mandatory)</b>: the identifier of the router to be used
441     when referring to it.
442     \li <b>coordinates</b>: you'll have to give it if you choose the
443     vivaldi, coordinate-based routing model for the AS the host
444     belongs to. More details about it in the P2P coordinates based
445     section.
446
447 <b>router example</b>
448 \verbatim
449  <router id="gw_dc1_horizdist"/>
450 \endverbatim
451
452 \subsubsection pf_link link
453
454 Network links can represent one-hop network connections. They are
455 characterized by their id and their bandwidth. The latency is optional
456 with a default value of 0.0. For instance, we can declare a network
457 link named link1 having bandwidth of 1Gb/s and a latency of 50µs.
458 Example link:
459
460 \verbatim
461  <link id="LINK1" bandwidth="125000000" latency="5E-5"/>
462 \endverbatim
463 <b>Expressing sharing policy</b>
464
465 By default a network link is SHARED, that is if more than one flow go
466 through a link, each gets a share of the available bandwidth similar
467 to the share TCP connections offers.
468
469 Conversely if a link is defined as a FATPIPE, each flow going through
470 this link will get all the available bandwidth, whatever the number of
471 flows. The FATPIPE behavior allows to describe big backbones that
472 won't affect performances (except latency). Finally a link can be
473 considered as FULLDUPLEX, that means that in the simulator, 2 links
474 (one named UP and the other DOWN) will be created for each link, so as
475 the transfers from one side to the other will interact similarly as
476 TCP when ACK returning packets circulate on the other direction. More
477 discussion about it is available in <b>link_ctn</b> description.
478
479 \verbatim
480  <link id="SWITCH" bandwidth="125000000" latency="5E-5" sharing_policy="FATPIPE" />
481 \endverbatim
482
483 <b>Expressing dynamicity and failures</b>
484
485 As for hosts, it is possible to declare links whose state, bandwidth
486 or latency change over the time. In this case, the bandwidth and
487 latency attributes are respectively replaced by the bandwidth file and
488 latency file attributes and the corresponding text files.
489
490 \verbatim
491  <link id="LINK1" state_file="link1.fail" bandwidth="80000000" latency=".0001" bandwidth_file="link1.bw" latency_file="link1.lat" />
492 \endverbatim
493
494 It has to be noted that even if the syntax is the same, the semantic
495 of bandwidth and latency trace files differs from that of host
496 availability files. Those files do not express availability as a
497 fraction of the available capacity but directly in bytes per seconds
498 for the bandwidth and in seconds for the latency. This is because most
499 tools allowing to capture traces on real platforms (such as NWS)
500 express their results this way.
501
502 <b>Example of "link1.bw" file</b>
503 \verbatim
504
505 1 PERIODICITY 12.0
506 2 4.0 40000000
507 3 8.0 60000000
508 \endverbatim
509 <b>Example of "link1.lat" file</b>
510 \verbatim
511  1 PERIODICITY 5.0
512 2 1.0 0.001
513 3 2.0 0.01
514 4 3.0 0.001
515 \endverbatim
516
517 In this example, the bandwidth varies with a period of 12 seconds
518 while the latency varies with a period of 5 seconds. At the beginning
519 of simulation, the link’s bandwidth is of 80,000,000 B/s (i.e., 80
520 Mb/s). After four seconds, it drops at 40 Mb/s, and climbs back to 60
521 Mb/s after eight seconds. It keeps that way until second 12 (ie, until
522 the end of the period), point at which it loops its behavior (seconds
523 12-16 will experience 80 Mb/s, 16-20 40 Mb/s and so on). In the same
524 time, the latency values are 100µs (initial value) on the [0, 1[ time
525 interval, 1ms on [1, 2[, 10ms on [2, 3[, 1ms on [3,5[ (i.e., until the
526 end of period). It then loops back, starting at 100µs for one second.
527
528 <b>link</b> attributes :
529 \li <b>id (mandatory)</b>: the identifier of the link to be used when referring to it.
530 \li <b>bandwidth (mandatory)</b>: bandwidth for the link.
531 \li <b>lat </b>: latency for the link. Default is 0.0.
532 \li <b>sharing_policy</b>: sharing policy for the link.
533 \li <b>state</b>: Allow you to to set link as ON or OFF. Default is ON.
534 \li <b>bandwidth_file</b>: Allow you to use a file as input for bandwidth.
535 \li <b>latency_file</b>: Allow you to use a file as input for latency.
536 \li <b>state_file</b>: Allow you to use a file as input for states.
537
538 As an host, a <b>link</b> tag can also contain the <b>prop</b> tag.
539
540 <b>link example</b>
541 \verbatim
542    <link id="link1" bandwidth="125000000" latency="0.000100"/>
543 \endverbatim
544
545
546 \subsection pf_storage Storage
547
548 <b>Note : This is a prototype version that should evolve quickly, this
549 is just some doc valuable only at the time of writing this doc</b>
550 This section describes the storage management under SimGrid ; nowadays
551 it's only usable with MSG. It relies basically on linux-like concepts.
552 You also may want to have a look to its corresponding section in \ref
553 msg_file_management ; functions access are organized as a POSIX-like
554 interface.
555
556 \subsubsection pf_sto_conc Storage Main concepts
557 Basically there is 3 different entities to know :
558 \li the <b>storage_type</b>: here you define some kind of storage that
559     you will instantiate many type on your platform. Think of it like
560     a definition of throughput of a specific disk. 
561 \li the <b>storage</b>: instance of a <b>storage_type</b>. Defines a
562     new storage of <b>storage_type</b>     
563 \li the <b>mount</b>: says that the storage is located into this
564     specific resource.
565
566 the content of a storage has to be defined in a content file that
567 contains the content. The path to this file has to be passed within
568 the <b>content</b> attribute . Here is a way to generate it:
569
570 \verbatim
571 find /path/you/want -type f -exec ls -l {} \; 2>/dev/null > ./content.txt
572 \endverbatim
573
574 \subsubsection pf_sto_sttp storage_type
575
576
577 <b>storage_type</b> attributes :
578 \li <b>id (mandatory)</b>: the identifier of the storage_type to be
579     used when referring to it. 
580 \li <b>model (mandatory)</b>: Unused for now by the simulator (but
581     mandatory, ok) 
582 \li <b>content</b>: default value 0. The file containing the disk
583     content. (may be moved soon or later to <b>storage</b> tag. 
584
585 The tag must contains some predefined prop, as may do some other
586 resources tags. This should moved to attributes soon or later. 
587 <b>storage_type</b> mandatory <b>prop</b> :
588 \li <b>Bwrite</b>: value in B/s. Write throughput
589 \li <b>Bread</b>: value in B/s. Read throughput
590 \li <b>Bconnexion</b>: value in B/s. Connection throughput (i.e. the
591     throughput of the storage connector). 
592
593 \subsubsection pf_sto_st storage
594
595 <b>storage_type</b> attributes :
596 \li <b>id (mandatory)</b>: the identifier of the storage to be used
597     when referring to it. 
598 \li <b>typeId (mandatory)</b>: the identifier of the storage_type that
599     this storage  belongs to. 
600
601
602 \subsubsection pf_sto_mo mount
603
604 <b>mount</b> attributes :
605 \li <b>id (mandatory)</b>: the id of the <b>storage</b> that must be
606     mounted on that computer. 
607 \li <b>name (mandatory)</b>: the name that will be the logical
608     reference to this disk (the mount point). 
609
610 \subsubsection pf_sto_mst mstorage
611 <b>Note : unused for now</b>
612 <b>mstorage</b> attributes :
613 \li <b>typeId (mandatory)</b>: the id of the <b>storage</b> that must
614     be mounted on that computer. 
615 \li <b>name (mandatory)</b>: the name that will be the logical
616     reference to this disk (the mount point). 
617
618 \section pf_routing Routing
619
620 In order to run fast, it has been chosen to use static routing within
621 SimGrid. By static, it means that it is calculated once (or almost),
622 and will not change during execution. We chose to do that because it
623 is rare to have a real deficience of a resource ; most of the time, a
624 communication fails because the links are too overloaded, and so your
625 connection stops before the time out, or because the computer at the
626 other end is not answering.
627
628 We also chose to use shortests paths algorithms in order to emulate
629 routing. Doing so is consistent with the reality: RIP, OSPF, BGP are
630 all calculating shortest paths. They have some convergence time, but
631 at the end, so when the platform is stable (and this should be the
632 moment you want to simulate something using SimGrid) your packets will
633 follow the shortest paths.
634
635 \subsection pf_rm Routing models
636
637 Within each AS, you have to define a routing model to use. You have
638 basically 3 main kind of routing models :
639
640 \li Shortest-path based models: you let SimGrid calculates shortest
641     paths and manage it. Behaves more or less as most real life
642     routing.
643 \li Manually-entered route models: you'll have to define all routes
644     manually by yourself into the platform description file.
645     Consistent with some manually managed real life routing.
646 \li Simple/fast models: those models offers fast, low memory routing
647     algorithms. You should consider to use it if you can make some
648     assumptions about your AS. Routing in this case is more or less
649     ignored
650
651 \subsubsection pf_raf The router affair
652
653 Expressing routers becomes mandatory when using shortest-path based
654 models or when using ns-3 or the bindings to the GTNetS packet-level
655 simulator instead of the native analytical network model implemented
656 in SimGrid.
657
658 For graph-based shortest path algorithms, routers are mandatory,
659 because both algorithms need a graph, and so we need to have source
660 and destination for each edge.
661
662 Routers are naturally an important concept in GTNetS or ns-3 since the
663 way they run the packet routing algorithms is actually simulated.
664 Instead, the SimGrid’s analytical models aggregate the routing time
665 with the transfer time. Rebuilding a graph representation only from
666 the route information turns to be a very difficult task, because of
667 the missing information about how routes intersect. That is why we
668 introduced a \<router\> tag, which is simply used to express these
669 intersection points. The only attribute accepted by this tag an id. It
670 is important to understand that the \<router\> tag is only used to
671 provide topological information.
672
673 To express those topological information, some <b>route</b> have to be
674 defined saying which link is between which routers. Description or the
675 route syntax is given below, as well as example for the different
676 models.
677
678 \subsubsection pf_rm_sh Shortest-path based models
679
680 Here is the complete list of such models, that computes routes using
681 classic shortest-paths algorithms. How to choose the best suited
682 algorithm is discussed later in the section devoted to it.
683
684 \li <b>Floyd</b>: Floyd routing data. Pre-calculates all routes once. 
685 \li <b>Dijkstra</b>: Dijkstra routing data ,calculating routes when
686     necessary. 
687 \li <b>DijkstraCache</b>: Dijkstra routing data. Handle some cache for
688     already calculated routes. 
689
690 All those shortest-path models are instanciated the same way. Here are
691 some example of it:
692
693 Floyd example :
694 \verbatim
695 <AS  id="AS0"  routing="Floyd">
696
697   <cluster id="my_cluster_1" prefix="c-" suffix=""
698                 radical="0-1"   power="1000000000"    bw="125000000"     lat="5E-5"
699         router_id="router1"/>
700
701  <AS id="AS1" routing="none">
702     <host id="host1" power="1000000000"/>
703  </AS>
704
705   <link id="link1" bandwidth="100000" latency="0.01"/>
706
707   <ASroute src="my_cluster_1" dst="AS1"
708     gw_src="router1"
709     gw_dst="host1">
710     <link_ctn id="link1"/>
711   </ASroute>
712
713 </AS>
714 \endverbatim
715
716 ASroute given at the end gives a topological information: link1 is
717 between router1 and host1.
718
719 Dijsktra example :
720 \verbatim
721  <AS id="AS_2" routing="Dijsktra">
722      <host id="AS_2_host1" power="1000000000"/>
723      <host id="AS_2_host2" power="1000000000"/>
724      <host id="AS_2_host3" power="1000000000"/>
725      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
726      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
727      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
728      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
729      <router id="central_router"/>
730      <router id="AS_2_gateway"/>
731      <!-- routes providing topological information -->
732      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
733      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
734      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
735      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
736   </AS>
737 \endverbatim
738
739 DijsktraCache example :
740 \verbatim
741 <AS id="AS_2" routing="DijsktraCache">
742      <host id="AS_2_host1" power="1000000000"/>
743      ...
744 (platform unchanged compared to upper example)
745 \endverbatim
746
747 \subsubsection pf_rm_me Manually-entered route models
748
749 \li <b>Full</b>: You have to enter all necessary routes manually
750 \li <b>RuleBased</b>: Rule-Based routing data; same as Full except you
751     can use regexp to express route. As SimGrid has to evaluate the
752     regexp, it's slower than Full, but requires less memory. Regexp
753     syntax is similar as <a href="http://www.pcre.org">pcre</a> ones,
754     as this is the lib SimGrid use to do so.
755
756
757 Full example :
758 \verbatim
759 <AS  id="AS0"  routing="Full">
760    <host id="host1" power="1000000000"/>
761    <host id="host2" power="1000000000"/>
762    <link id="link1" bandwidth="125000000" latency="0.000100"/>
763    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
764  </AS>
765 \endverbatim
766
767 RuleBased example :
768 \verbatim
769 <AS id="AS_orsay" routing="RuleBased" >
770                         <cluster id="AS_gdx" prefix="gdx-" suffix=".orsay.grid5000.fr"
771                                 radical="1-310" power="4.7153E9" bw="1.25E8" lat="1.0E-4"
772                                 bb_bw="1.25E9" bb_lat="1.0E-4"></cluster>
773                         <link   id="link_gdx" bandwidth="1.25E9" latency="1.0E-4"/>
774
775                         <cluster id="AS_netgdx" prefix="netgdx-" suffix=".orsay.grid5000.fr"
776                                 radical="1-30" power="4.7144E9" bw="1.25E8" lat="1.0E-4"
777                                 bb_bw="1.25E9" bb_lat="1.0E-4"></cluster>
778                         <link   id="link_netgdx" bandwidth="1.25E9" latency="1.0E-4"/>
779
780                         <AS id="gw_AS_orsay" routing="Full">
781                                 <router id="gw_orsay"/>
782                         </AS>
783                         <link   id="link_gw_orsay" bandwidth="1.25E9" latency="1.0E-4"/>
784
785                         <ASroute src="^AS_(.*)$" dst="^AS_(.*)$"
786                                 gw_src="$1src-AS_$1src_router.orsay.grid5000.fr"
787                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
788                                 symmetrical="YES">
789                                         <link_ctn id="link_$1src"/>
790                                         <link_ctn id="link_$1dst"/>
791                         </ASroute>
792
793                         <ASroute src="^AS_(.*)$" dst="^gw_AS_(.*)$"
794                                 gw_src="$1src-AS_$1src_router.orsay.grid5000.fr"
795                                 gw_dst="gw_$1dst"
796                                 symmetrical="NO">
797                                         <link_ctn id="link_$1src"/>
798                         </ASroute>
799
800                         <ASroute src="^gw_AS_(.*)$" dst="^AS_(.*)$"
801                                 gw_src="gw_$1src"
802                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
803                                 symmetrical="NO">
804                                         <link_ctn id="link_$1dst"/>
805                         </ASroute>
806
807                 </AS>
808 \endverbatim
809
810 The example upper contains $1src and $1dst. It's simply a reference to
811 string matching regexp enclosed by "()" within respectively <b>src</b>
812 and <b>dst</b> attributes. If they were more than 1 "()", then you
813 could referer to it as $2src, $3src and so on.
814
815 \subsubsection pf_rm_sf Simple/fast models
816
817 \li <b>none</b>: No routing (Unless you know what you are doing, avoid
818 using this mode in combination with a non Constant network model). 
819 None Example :
820 \verbatim
821 <AS id="exitAS"  routing="none">
822         <router id="exit_gateway"/>
823 </AS>\endverbatim
824
825 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use
826     coordinates. See the corresponding section P2P below for details. 
827 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
828     not be used, except internally. 
829
830 \subsection ps_dec Defining routes
831
832 The principle of route definition is the same for the 4 available tags
833 for doing it. Those for tags are:
834
835 \li <b>route</b>: to define route between host/router
836 \li <b>ASroute</b>: to define route between AS
837 \li <b>bypassRoute</b>: to bypass normal routes as calculated by the
838     network model between host/router 
839 \li <b>bypassASroute</b>: same as bypassRoute, but for AS
840
841 Basically all those tags will contain an (ordered) list of references
842 to link that compose the route you want to define.
843
844 Consider the example below:
845
846 \verbatim
847 <route src="Alice" dst="Bob">
848         <link_ctn id="link1"/>
849         <link_ctn id="link2"/>
850         <link_ctn id="link3"/>
851    </route>
852 \endverbatim
853
854 The route here fom host Alice to Bob will be first link1, then link2,
855 and finally link3. What about the reverse route ? <b>route</b> and
856 <b>ASroute</b> have an optional attribute <b>symmetrical</b>, that can
857 be either YES or NO. YES means that the reverse route is the same
858 route in the inverse order, and is setted to YES by default. Note that
859 this is not the case for bypass*Route, as it is more probable that you
860 want to bypass only one default route.
861
862 For an ASroute, things are just sligthly more complicated, as you have
863 to give the id of the gateway which is inside the AS you're talking
864 about you want to access ... So it looks like this :
865
866
867 \verbatim
868   <ASroute src="AS1" dst="AS2"
869     gw_src="router1" gw_dst="router2">
870     <link_ctn id="link1"/>
871   </ASroute>
872 \endverbatim
873
874 gw == gateway, so when any message are trying to go from AS1 to AS2,
875 it means that it must pass through router1 to get out of the AS, then
876 pass through link1, and get into AS2 by being received by router2.
877 router1 must belong to AS1 and router2 must belong to AS2.
878
879 \subsubsection pf_linkctn link_ctn
880
881 a <b>link_ctn</b> is the tag that is used in order to reference a
882 <b>link</b> in a route. Its id is the link id it refers to.
883
884 <b>link_ctn</b> attributes :
885 \li <b>id (mandatory)</b>: Id of the link this tag refers to
886 \li <b>direction</b>: if the link referenced by <b>id</b> has been
887     declared as FULLDUPLEX, this is used to indicate in which
888     direction the route you're defining is going through this link.
889     Possible values "UP" or "DOWN".
890
891 \subsubsection pf_asro ASroute
892
893 ASroute tag purpose is to let people write manually their routes
894 between AS. It's usefull when you're in Full or Rule-based model.
895
896 <b>ASroute</b> attributes :
897 \li <b>src (mandatory)</b>: the source AS id.
898 \li <b>dst (mandatory)</b>: the destination AS id.
899 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
900     Can be any <b>host</b> or \b router defined into the \b src AS or
901     into one of the AS it includes.
902 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
903     Can be any <b>host</b> or \b router defined into the \b dst AS or
904     into one of the AS it includes.
905 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
906     will be the opposite of the one defined. Can be either YES or NO,
907     default is YES.
908
909 <b>Example of ASroute with RuleBased</b>
910 \verbatim
911 <ASroute src="^gw_AS_(.*)$" dst="^AS_(.*)$"
912                                 gw_src="gw_$1src"
913                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
914                                 symmetrical="NO">
915                                         <link_ctn id="link_$1dst"/>
916                         </ASroute>
917 \endverbatim
918 <b>Example of ASroute with Full</b>
919 \verbatim
920 <AS  id="AS0"  routing="Full">
921   <cluster id="my_cluster_1" prefix="c-" suffix=".me"
922                 radical="0-149" power="1000000000"    bw="125000000"     lat="5E-5"
923         bb_bw="2250000000" bb_lat="5E-4"/>
924
925   <cluster id="my_cluster_2" prefix="c-" suffix=".me"
926             radical="150-299" power="1000000000"        bw="125000000"  lat="5E-5"
927             bb_bw="2250000000" bb_lat="5E-4"/>
928
929      <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
930
931      <ASroute src="my_cluster_1" dst="my_cluster_2"
932          gw_src="c-my_cluster_1_router.me"
933          gw_dst="c-my_cluster_2_router.me">
934                 <link_ctn id="backbone"/>
935      </ASroute>
936      <ASroute src="my_cluster_2" dst="my_cluster_1"
937          gw_src="c-my_cluster_2_router.me"
938          gw_dst="c-my_cluster_1_router.me">
939                 <link_ctn id="backbone"/>
940      </ASroute>
941 </AS>
942 \endverbatim
943
944 \subsubsection pf_ro route
945 The principle is the same as ASroute : <b>route</b> contains list of
946 links that are in the path between src and dst, except that it is for
947 routes between a src that can be either <b>host</b> or \b router and a
948 dst that can be either <b>host</b> or \b router. Usefull for Full and
949 RuleBased, as well as for the shortest-paths based models, where you
950 have to give topological informations.
951
952
953 <b>route</b> attributes :
954 \li <b>src (mandatory)</b>: the source id.
955 \li <b>dst (mandatory)</b>: the destination id.
956 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
957     will be the opposite of the one defined. Can be either YES or NO,
958     default is YES.
959
960 <b>route example in Full</b>
961 \verbatim
962  <route src="Tremblay" dst="Bourassa">
963      <link_ctn id="4"/><link_ctn id="3"/><link_ctn id="2"/><link_ctn id="0"/><link_ctn id="1"/><link_ctn id="6"/><link_ctn id="7"/>
964    </route>
965 \endverbatim
966
967 <b>route example in a shortest-path model</b>
968 \verbatim
969  <route src="Tremblay" dst="Bourassa">
970      <link_ctn id="3"/>
971    </route>
972 \endverbatim
973 Note that when using route to give topological information, you have
974 to give routes with one link only in it, as SimGrid needs to know
975 which host are at the end of the link.
976
977 \subsubsection pf_byro bypassASroute
978
979 <b>Note : bypassASroute and bypassRoute are under rewriting to perform
980 better ; so you may not use it yet</b> As said before, once you choose
981 a model, it (if so) calculates routes for you. But maybe you want to
982 define some of your routes, which will be specific. You may also want
983 to bypass some routes defined in lower level AS at an upper stage :
984 <b>bypassASroute</b> is the tag you're looking for. It allows to
985 bypass routes defined between already defined between AS (if you want
986 to bypass route for a specific host, you should just use byPassRoute).
987 The principle is the same as ASroute : <b>bypassASroute</b> contains
988 list of links that are in the path between src and dst.
989
990 <b>bypassASroute</b> attributes :
991 \li <b>src (mandatory)</b>: the source AS id.
992 \li <b>dst (mandatory)</b>: the destination AS id.
993 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS.
994     Can be any <b>host</b> or \b router defined into the \b src AS or
995     into one of the AS it includes.
996 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS.
997     Can be any <b>host</b> or \b router defined into the \b dst AS or
998     into one of the AS it includes.
999 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1000     will be the opposite of the one defined. Can be either YES or NO,
1001     default is YES.
1002
1003 <b>bypassASroute Example</b>
1004 \verbatim
1005     <bypassASRoute src="my_cluster_1" dst="my_cluster_2"
1006      gw_src="my_cluster_1_router"
1007      gw_dst="my_cluster_2_router">
1008         <link_ctn id="link_tmp"/>
1009      </bypassASroute>
1010 \endverbatim
1011
1012 \subsubsection pf_byro bypassRoute
1013 <b>Note : bypassASRoute and bypassRoute are under rewriting to perform
1014 better ; so you may not use it yet</b> As said before, once you choose
1015 a model, it (if so) calculates routes for you. But maybe you want to
1016 define some of your routes, which will be specific. You may also want
1017 to bypass some routes defined in lower level AS at an upper stage :
1018 <b>bypassRoute</b> is the tag you're looking for. It allows to bypass
1019 routes defined between <b>host/router</b>. The principle is the same
1020 as route : <b>bypassRoute</b> contains list of links references of
1021 links that are in the path between src and dst.
1022
1023 <b>bypassRoute</b> attributes :
1024 \li <b>src (mandatory)</b>: the source AS id.
1025 \li <b>dst (mandatory)</b>: the destination AS id.
1026 \li <b>symmetrical</b>: if the route is symmetric, the reverse route
1027     will be the opposite of the one defined. Can be either YES or NO,
1028     default is YES.
1029
1030 <b>bypassRoute Example</b>
1031 \verbatim
1032 <b>bypassRoute Example</b>
1033 \verbatim
1034     <bypassRoute src="host_1" dst="host_2">
1035         <link_ctn id="link_tmp"/>
1036      </bypassRoute>
1037 \endverbatim
1038
1039
1040 \subsection pb_baroex Basic Routing Example
1041
1042 Let's say you have an AS named AS_Big that contains two other AS, AS_1
1043 and AS_2. If you want to make an host (h1) from AS_1 with another one
1044 (h2) from AS_2 then you'll have to proceed as follow:
1045 \li First, you have to ensure that a route is defined from h1 to the
1046     AS_1's exit gateway and from h2 to AS_2's exit gateway.
1047 \li Then, you'll have to define a route between AS_1 to AS_2. As those
1048     AS are both resources belonging to AS_Big, then it has to be done
1049     at AS_big level. To define such a route, you have to give the
1050     source AS (AS_1), the destination AS (AS_2), and their respective
1051     gateway (as the route is effectively defined between those two
1052     entry/exit points). Elements of this route can only be elements
1053     belonging to AS_Big, so links and routers in this route should be
1054     defined inside AS_Big. If you choose some shortest-path model,
1055     this route will be computed automatically.
1056
1057 As said before, there are mainly 2 tags for routing :
1058 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
1059 \li <b>route</b>: to define routes between two <b>host/router</b>
1060
1061 As we are dealing with routes between AS, it means that those we'll
1062 have some definition at AS_Big level. Let consider AS_1 contains 1
1063 host, 1 link and one router and AS_2 3 hosts, 4 links and one router.
1064 There will be a central router, and a cross-like topology. At the end
1065 of the crosses arms, you'll find the 3 hosts and the router that will
1066 act as a gateway. We have to define routes inside those two AS. Let
1067 say that AS_1 contains full routes, and AS_2 contains some Floyd
1068 routing (as we don't want to bother with defining all routes). As
1069 we're using some shortest path algorithms to route into AS_2, we'll
1070 then have to define some <b>route</b> to gives some topological
1071 information to SimGrid. Here is a file doing it all :
1072
1073 \verbatim
1074 <AS  id="AS_Big"  routing="Dijsktra">
1075   <AS id="AS_1" routing="Full">
1076      <host id="AS_1_host1" power="1000000000"/>
1077      <link id="AS_1_link" bandwidth="1250000000" latency="5E-4"/>
1078      <router id="AS_1_gateway"/>
1079      <route src="AS_1_host1" dst="AS_1_gateway">
1080             <link_ctn id="AS_1_link"/>
1081      </route>
1082   </AS>
1083   <AS id="AS_2" routing="Floyd">
1084      <host id="AS_2_host1" power="1000000000"/>
1085      <host id="AS_2_host2" power="1000000000"/>
1086      <host id="AS_2_host3" power="1000000000"/>
1087      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
1088      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
1089      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
1090      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
1091      <router id="central_router"/>
1092      <router id="AS_2_gateway"/>
1093      <!-- routes providing topological information -->
1094      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
1095      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
1096      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
1097      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
1098   </AS>
1099     <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
1100
1101      <ASroute src="AS_1" dst="AS_2"
1102          gw_src="AS_1_gateway"
1103          gw_dst="AS_2_gateway">
1104                 <link_ctn id="backbone"/>
1105      </ASroute>
1106 </AS>
1107 \endverbatim
1108
1109 \section pf_other_tags Tags not (directly) describing the platform
1110
1111 There are 3 tags, that you can use inside a \<platform\> tag that are
1112 not describing the platform: 
1113 \li random: it allows you to define random generators you want to use
1114     for your simulation. 
1115 \li config: it allows you to pass some configuration stuff like, for
1116     example, the network model and so on. It follows the 
1117 \li include: simply allows you to include another file into the
1118     current one. 
1119
1120 \subsection pf_conf config
1121 <b>config</b> attributes :
1122 \li <b>id (mandatory)</b>: the identifier of the config to be used
1123     when referring to it. 
1124
1125
1126 <b>config</b> tag only purpose is to include <b>prop</b> tags. Valid
1127 id are basically the same as the list of possible parameters you can
1128 use by command line, except that "/" are used for namespace
1129 definition. See the \ref options config and options page for more
1130 information.
1131
1132
1133 <b>config example</b>
1134 \verbatim
1135 <?xml version='1.0'?>
1136 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1137 <platform version="3">
1138 <config id="General">
1139         <prop id="maxmin/precision" value="0.000010"></prop>
1140         <prop id="cpu/optim" value="TI"></prop>
1141         <prop id="workstation/model" value="compound"></prop>
1142         <prop id="network/model" value="SMPI"></prop>
1143         <prop id="path" value="~/"></prop>
1144         <prop id="smpi/bw_factor" value="65472:0.940694;15424:0.697866;9376:0.58729"></prop>
1145 </config>
1146
1147 <AS  id="AS0"  routing="Full">
1148 ...
1149 \endverbatim
1150
1151
1152 \subsection pf_rand random
1153 Not yet in use, and possibly subject to huge modifications.
1154
1155 \subsection pf_incl include
1156 <b>include</b> tag allows to import into a file platform parts located
1157 in another file. This is done with the intention to help people
1158 combine their different AS and provide new platforms. Those files
1159 should contains XML part that contains either
1160 <b>include,cluster,peer,AS,trace,trace_connect</b> tags.  
1161
1162 <b>include</b> attributes :
1163 \li <b>file (mandatory)</b>: filename of the file to include. Possible
1164     values: absolute or relative path, syntax similar to the one in
1165     use on your system. 
1166
1167 <b>Note</b>: due to some obscure technical reasons, you have to open
1168 and close tag in order to let it work. 
1169 <b>include Example</b>
1170 \verbatim
1171 <?xml version='1.0'?>
1172 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1173 <platform version="3">
1174         <AS id="main" routing="Full">
1175                 <include file="clusterA.xml"></include>
1176                 <include file="clusterB.xml"></include>
1177         </AS>
1178 </platform>
1179 \endverbatim
1180
1181 \subsection pf_tra trace and trace_connect
1182 Both tags are an alternate way to passe availability, state, and so on
1183 files to entity. Instead of refering to the file directly in the host,
1184 link, or cluster tag, you proceed by defining a trace with an id
1185 corresponding to a file, later an host/link/cluster, and finally using
1186 trace_connect you say that the file trace must be used by the entity.
1187 Get it ? Let's have a look at an example : 
1188
1189 \verbatim
1190 <AS  id="AS0"  routing="Full">
1191   <host id="bob" power="1000000000"/>
1192 </AS>
1193   <trace id="myTrace" file="bob.trace" periodicity="1.0"/>
1194   <trace_connect trace="myTrace" element="bob" kind="POWER"/>
1195 \endverbatim
1196
1197 All constraints you have is that <b>trace_connect</b> is after
1198 <b>trace</b> and <b>host</b> definitions.
1199
1200
1201 <b>trace</b> attributes :
1202 \li <b>id (mandatory)</b>: the identifier of the trace to be used when
1203     referring to it.
1204 \li <b>file</b>: filename of the file to include. Possible values :
1205     absolute or relative path, syntax similar to the one in use on
1206     your system. If ommited, the system expects that you provide the
1207     trace values inside the trace tags (see below).
1208 \li <b>trace periodicity (mandatory)</b>: trace periodicity, same
1209     definition as in hosts (see upper for details).
1210
1211 Here is an example  of trace when no file name is provided:
1212
1213 \verbatim
1214  <trace id="myTrace" periodicity="1.0">
1215     0.0 1.0
1216     11.0 0.5
1217     20.0 0.8
1218   </trace>
1219 \endverbatim
1220
1221 <b>trace_connect</b> attributes :
1222 \li <b>kind</b>: the type of trace, possible values
1223     <b>HOST_AVAIL|POWER|LINK_AVAIL|BANDWIDTH|LATENCY,</b>  default:
1224     <b>HOST_AVAIL</b>  
1225 \li <b>trace (mandatory)</b>: the identifier of the trace referenced.
1226 \li <b>element (mandatory)</b>: the identifier of the entity referenced.
1227
1228
1229
1230 \section pf_hints Hints and tips, or how to write a platform efficiently
1231
1232 Now you should know at least the syntax dans be able to create a
1233 platform. However, after having ourselves wrote some platforms, there
1234 are some best practices you should pay attention to in order to
1235 produce good platform and some choices you can make in order to have
1236 faster simulations. Here's some hints and tips, then.
1237
1238 \subsection pf_as_h AS Hierarchy
1239 The AS design allows SimGrid to go fast, because computing route is
1240 done only for the set of resources defined in this AS. If you're using
1241 only a big AS containing all resource with no AS into it and you're
1242 using Full model, then ... you'll loose all interest into it. On the
1243 other hand, designing a binary tree of AS with, at the lower level,
1244 only one host, then you'll also loose all the good AS hierarchy can
1245 give you. Remind you should always be "reasonable" in your platform
1246 definition when choosing the hierarchy. A good choice if you try to
1247 describe a real life platform is to follow the AS described in
1248 reality, since this kind og trade-off works well for real life
1249 platforms.
1250
1251 \subsection pf_exit_as Exit AS: why and how
1252 Users that have looked at some of our platforms may have notice a
1253 non-intuitive schema ... Something like that :
1254
1255
1256 \verbatim
1257 <AS id="AS_4"  routing="Full">
1258 <AS id="exitAS_4"  routing="Full">
1259         <router id="router_4"/>
1260 </AS>
1261 <cluster id="cl_4_1" prefix="c_4_1-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1262 <cluster id="cl_4_2" prefix="c_4_2-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
1263 <link id="4_1" bandwidth="2250000000" latency="5E-5"/>
1264 <link id="4_2" bandwidth="2250000000" latency="5E-5"/>
1265 <link id="bb_4" bandwidth="2250000000" latency="5E-4"/>
1266 <ASroute src="cl_4_1"
1267         dst="cl_4_2"
1268         gw_src="c_4_1-cl_4_1_router"
1269         gw_dst="c_4_2-cl_4_2_router"
1270         symmetrical="YES">
1271                 <link_ctn id="4_1"/>
1272                 <link_ctn id="bb_4"/>
1273                 <link_ctn id="4_2"/>
1274 </ASroute>
1275 <ASroute src="cl_4_1"
1276         dst="exitAS_4"
1277         gw_src="c_4_1-cl_4_1_router"
1278         gw_dst="router_4"
1279         symmetrical="YES">
1280                 <link_ctn id="4_1"/>
1281                 <link_ctn id="bb_4"/>
1282 </ASroute>
1283 <ASroute src="cl_4_2"
1284         dst="exitAS_4"
1285         gw_src="c_4_2-cl_4_2_router"
1286         gw_dst="router_4"
1287         symmetrical="YES">
1288                 <link_ctn id="4_2"/>
1289                 <link_ctn id="bb_4"/>
1290 </ASroute>
1291 </AS>
1292 \endverbatim
1293
1294 In the AS_4, you have an exitAS_4 defined, containing only one router,
1295 and routes defined to that AS from all other AS (as cluster is only a
1296 shortcut for an AS, see cluster description for details). If there was
1297 an upper AS, it would define routes to and from AS_4 with the gateway
1298 router_4. It's just because, as we did not allowed (for performances
1299 issues) to have routes from an AS to a single host/router, you have to
1300 enclose your gateway, when you have AS included in your AS, within an
1301 AS to define routes to it.
1302
1303 \subsection pf_P2P_tags P2P or how to use coordinates
1304 SimGrid allows you to use some coordinated-based system, like vivaldi,
1305 to describe a platform. The main concept is that you have some peers
1306 that are located somewhere: this is the function of the 
1307 <b>coordinates</b> of the \<peer\> or \<host\> tag. There's nothing
1308 complicated in using it, here is an example of it:
1309
1310 \verbatim
1311 <?xml version='1.0'?>
1312 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
1313 <platform version="3">
1314
1315 <config id="General">
1316         <prop id="network/coordinates" value="yes"></prop>
1317 </config>
1318  <AS  id="AS0"  routing="Vivaldi">
1319         <host id="100030591" coordinates="25.5 9.4 1.4" power="1500000000.0" />
1320         <host id="100036570" coordinates="-12.7 -9.9 2.1" power="730000000.0" />
1321         ...
1322         <host id="100429957" coordinates="17.5 6.7 18.8" power="830000000.0" />
1323         </AS>
1324 </platform>
1325 \endverbatim
1326
1327 Coordinates are then used to calculate latency between two hosts by
1328 calculating the euclidian distance between the two hosts coordinates.
1329 The results express the latency in ms.
1330
1331 \subsection pf_wisely Choosing wisely the routing model to use
1332
1333
1334 Choosing wisely the routing model to use can significantly fasten your
1335 simulation/save your time when writing the platform/save tremendeous
1336 disk space. Here is the list of available model and their
1337 characteristics (lookup : time to resolve a route):
1338
1339 \li <b>Full</b>: Full routing data (fast, large memory requirements,
1340     fully expressive)    
1341 \li <b>Floyd</b>: Floyd routing data (slow initialization, fast
1342     lookup, lesser memory requirements, shortest path routing only).
1343     Calculates all routes at once at the beginning.
1344 \li <b>Dijkstra</b>: Dijkstra routing data (fast initialization, slow
1345     lookup, small memory requirements, shortest path routing only).
1346     Calculates a route when necessary.
1347 \li <b>DijkstraCache</b>: Dijkstra routing data (fast initialization,
1348     fast lookup, small memory requirements, shortest path routing
1349     only). Same as Dijkstra, except it handles a cache for latest used
1350     routes.
1351 \li <b>none</b>: No routing (usable with Constant network only).
1352     Defines that there is no routes, so if you try to determine a
1353     route without constant network within this AS, SimGrid will raie
1354     an exception.
1355 \li <b>RuleBased</b>: Rule-Based routing data (fast initialisation,
1356     relatively slow lookup, moderate memory requirements, fully
1357     expressive): uses regexp to define routes;
1358 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use coordinates
1359 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should
1360     not be used. 
1361
1362 \subsection pf_switch Hey, I want to describe a switch but there is no switch tag !
1363
1364 Actually we did not include swith tag, ok. But when you're trying to
1365 simulate a switch, the only major impact it has when you're using
1366 fluid model (and SimGrid uses fluid model unless you activate GTNetS,
1367 ns-3, or constant network mode) is the impact of the upper limit of
1368 the switch motherboard speed that will eventually be reached if you're
1369 using intensively your switch. So, the switch impact is similar to a
1370 link one. That's why we are used to describe a switch using a link tag
1371 (as a link is not an edge by a hyperedge, you can connect more than 2
1372 other links to it).
1373
1374 \subsection pf_platform_multipath How to express multipath routing in platform files?
1375
1376 It is unfortunately impossible to express the fact that there is more
1377 than one routing path between two given hosts. Let's consider the
1378 following platform file:
1379
1380 \verbatim
1381 <route src="A" dst="B">
1382    <link_ctn id="1"/>
1383 </route>
1384 <route src="B" dst="C">
1385   <link_ctn id="2"/>
1386 </route>
1387 <route src="A" dst="C">
1388   <link_ctn id="3"/>
1389 </route>
1390 \endverbatim
1391
1392 Although it is perfectly valid, it does not mean that data traveling
1393 from A to C can either go directly (using link 3) or through B (using
1394 links 1 and 2). It simply means that the routing on the graph is not
1395 trivial, and that data do not following the shortest path in number of
1396 hops on this graph. Another way to say it is that there is no implicit
1397 in these routing descriptions. The system will only use the routes you
1398 declare (such as &lt;route src="A" dst="C"&gt;&lt;link_ctn
1399 id="3"/&gt;&lt;/route&gt;), without trying to build new routes by aggregating
1400 the provided ones.
1401
1402 You are also free to declare platform where the routing is not
1403 symmetric. For example, add the following to the previous file:
1404
1405 \verbatim
1406 <route src="C" dst="A">
1407   <link_ctn id="2"/>
1408   <link_ctn id="1"/>
1409 </route>
1410 \endverbatim
1411
1412 This makes sure that data from C to A go through B where data from A
1413 to C go directly. Don't worry about realism of such settings since
1414 we've seen ways more weird situation in real settings (in fact, that's
1415 the realism of very regular platforms which is questionable, but
1416 that's another story).
1417
1418 \section pf_flexml_bypassing Bypassing the XML parser with your own C functions
1419 <b>NOTE THAT THIS DOCUMENTATION, WHILE STILL WORKING, IS STRONGLY DEPRECATED</b>
1420
1421 So you want to bypass the XML files parser, uh? Maybe doing some parameter
1422 sweep experiments on your simulations or so? This is possible, and
1423 it's not even really difficult (well. Such a brutal idea could be
1424 harder to implement). Here is how it goes.
1425
1426 For this, you have to first remember that the XML parsing in SimGrid is done
1427 using a tool called FleXML. Given a DTD, this gives a flex-based parser. If
1428 you want to bypass the parser, you need to provide some code mimicking what
1429 it does and replacing it in its interactions with the SURF code. So, let's
1430 have a look at these interactions.
1431
1432 FleXML parser are close to classical SAX parsers. It means that a
1433 well-formed SimGrid platform XML file might result in the following
1434 "events":
1435
1436   - start "platform_description" with attribute version="2"
1437   - start "host" with attributes id="host1" power="1.0"
1438   - end "host"
1439   - start "host" with attributes id="host2" power="2.0"
1440   - end "host"
1441   - start "link" with ...
1442   - end "link"
1443   - start "route" with ...
1444   - start "link_ctn" with ...
1445   - end "link_ctn"
1446   - end "route"
1447   - end "platform_description"
1448
1449 The communication from the parser to the SURF code uses two means:
1450 Attributes get copied into some global variables, and a surf-provided
1451 function gets called by the parser for each event. For example, the event
1452   - start "host" with attributes id="host1" power="1.0"
1453
1454 let the parser do something roughly equivalent to:
1455 \verbatim
1456   strcpy(A_host_id,"host1");
1457   A_host_power = 1.0;
1458   STag_host();
1459 \endverbatim
1460
1461 In SURF, we attach callbacks to the different events by initializing the
1462 pointer functions to some the right surf functions. Since there can be
1463 more than one callback attached to the same event (if more than one
1464 model is in use, for example), they are stored in a dynar. Example in
1465 workstation_ptask_L07.c:
1466 \verbatim
1467   /* Adding callback functions */
1468   surf_parse_reset_parser();
1469   surfxml_add_callback(STag_surfxml_host_cb_list, &parse_cpu_init);
1470   surfxml_add_callback(STag_surfxml_prop_cb_list, &parse_properties);
1471   surfxml_add_callback(STag_surfxml_link_cb_list, &parse_link_init);
1472   surfxml_add_callback(STag_surfxml_route_cb_list, &parse_route_set_endpoints);
1473   surfxml_add_callback(ETag_surfxml_link_c_ctn_cb_list, &parse_route_elem);
1474   surfxml_add_callback(ETag_surfxml_route_cb_list, &parse_route_set_route);
1475
1476   /* Parse the file */
1477   surf_parse_open(file);
1478   xbt_assert(!surf_parse(), "Parse error in %s", file);
1479   surf_parse_close();
1480 \endverbatim
1481
1482 So, to bypass the FleXML parser, you need to write your own version of the
1483 surf_parse function, which should do the following:
1484    - Fill the A_<tag>_<attribute> variables with the wanted values
1485    - Call the corresponding STag_<tag>_fun function to simulate tag start
1486    - Call the corresponding ETag_<tag>_fun function to simulate tag end
1487    - (do the same for the next set of values, and loop)
1488
1489 Then, tell SimGrid that you want to use your own "parser" instead of the stock one:
1490 \verbatim
1491   surf_parse = surf_parse_bypass_environment;
1492   MSG_create_environment(NULL);
1493   surf_parse = surf_parse_bypass_application;
1494   MSG_launch_application(NULL);
1495 \endverbatim
1496
1497 A set of macros are provided at the end of
1498 include/surf/surfxml_parse.h to ease the writing of the bypass
1499 functions. An example of this trick is distributed in the file
1500 examples/msg/masterslave/masterslave_bypass.c
1501
1502
1503 */