Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
f4f4eab8c33de3bfc17619cb1254fb3f0c6e3de6
[simgrid.git] / doc / user_guide / doxygen / platform.doc
1 /*! \page platform Platform Description
2
3 In order to run any simulation, SimGrid needs 3 things: something to run
4 (so, your code), a description of the platform on which you want to run your
5 application, and finally it needs something to know where to deploy what.
6
7 For the latest 2 entries, you have basically 2 ways to give it as an input :
8 \li You can program it, either using the Lua console (\ref MSG_Lua_funct) or if you're using MSG some
9 of its platform and deployments functions(\ref msg_simulation). If you want to use it, please refer
10 to its doc. (you can also  check the section  \ref pf_flexml_bypassing but this is strongly deprecated, as there is a new way to do it properly, but not yet documented).
11 \li You can use two XML files: a platform description file and a deployment
12 description one.
13
14 As the second one (deployment description) just consists of saying which
15 process runs where and which arguments it should take as input, the easier way to
16 understand how to write it is just to take a look at the examples. Here is an example of it:
17
18 \verbatim
19 <?xml version='1.0'?>
20 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
21 <platform version="3">
22   <!-- The master process (with some arguments) -->
23   <process host="Tremblay" function="master">
24      <argument value="20"/>       <!-- Number of tasks -->
25      <argument value="50000000"/>  <!-- Computation size of tasks -->
26      <argument value="1000000"/>   <!-- Communication size of tasks -->
27      <argument value="Jupiter"/>  <!-- First slave -->
28      <argument value="Fafard"/>   <!-- Second slave -->
29      <argument value="Ginette"/>  <!-- Third slave -->
30      <argument value="Bourassa"/> <!-- Last slave -->
31      <argument value="Tremblay"/> <!-- Me! I can work too! -->
32   </process>
33   <!-- The slave processes (with no argument) -->
34   <process host="Tremblay" function="slave"/>
35   <process host="Jupiter" function="slave"/>
36   <process host="Fafard" function="slave"/>
37   <process host="Ginette" function="slave"/>
38   <process host="Bourassa" function="slave"/>
39 </platform>
40 \endverbatim
41
42 The platform description is slightly more complicated. This documentation is all about how to write this file: what are the basic concept it relies on, what possibilities are offered, and some hints and tips on how to write a good platform description.
43
44 \section pf_overview Some words about XML and DTD
45
46 We choose to use XML because of some of its possibilities: if you're
47 using an accurate XML editor, or simply using any XML plug-in for eclipse, it
48 will allow you to have cool stuff like auto-completion, validation and checking,
49 so all syntaxic errors may be avoided this way.
50
51 the XML checking is done based on the dtd which is nowaday online at
52 <a href="http://simgrid.gforge.inria.fr/simgrid.dtd">http://simgrid.gforge.inria.fr/simgrid.dtd</a>
53 while you might be tempted to read it, it will not help you that much.
54
55 If you read it, you should notice two or three important things :
56 \li The platform tags contains a version attributes. At the time of writing this doc
57 the current version is 3.
58 \li The DTD contains definitions for the 2 files used by SimGrid (platform
59 description and deployment).
60 \li There is a bunch of possibilities ! Let's see what's in it
61
62
63 \section pf_basics Basic concepts
64
65 Nowadays, the Internet is composed of a bunch of independently managed networks. Within each of those networks, there are entry and exit points (most of the time, you can both enter and exit through the same point) that allows to go out of the current network and reach other networks. At the upper level, these networks are known as <b>Autonomous System (AS)</b>, while at the lower level they are named sub-networks, or LAN. Indeed they are autonomous: routing is defined within the limits of his network by the administrator, and so, those networks can continue to operate without the existence of other networks. There are some rules to get out of networks by the entry points (or gateways). Those gateways allow you to go from a network to another one. Inside of each autonomous system, there is a bunch of equipments (cables, routers, switches, computers) that belong to the autonomous system owner.
66
67 SimGrid platform description file relies exactly on the same concepts as real life platform. Every resource (computers, network equipments, and so on) belongs to an AS. Within this AS, you can define the routing you want between its elements (that's done with the routing model attribute and eventually with some \<route\> tag). You define AS by using ... well ... the \<AS\> tag. An AS can also contain some AS : AS allows you to define the hierarchy of your platform.
68
69 Within each AS, you basically have the following type of resources:
70 \li <b>host</b>: an host, with cores in it, and so on
71 \li <b>router</b>: a router or a gateway.
72 \li <b>link</b>: a link, that defines a connection between two (or more) resources (and have a bandwidth and a latency)
73 \li <b>cluster</b>: like a real cluster, contains many hosts interconnected by some dedicated network.
74
75 Between those elements, a routing has to be defined. As the AS is supposed to be Autonomous, this has to be done at the AS level. As AS handles two different types of entities (<b>host/router</b> and <b>AS</b>) you will have to define routes between those elements. A network model have to be provided for AS, but you may/will need, depending of the network model, or because you want to bypass the default beahviour to defines routes manually. There are 3 tags to use :
76 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
77 \li <b>route</b>: to define routes between two <b>host/router</b>
78 \li <b>bypassRoute</b>: to define routes between two <b>AS</b> that will bypass default routing.
79
80 Here is an illustration of the overall concepts:
81
82 \htmlonly
83 <a href="AS_hierarchy.png" border=0><img src="AS_hierarchy.png" width="30%" border=0 align="center"></a>
84 <br/>
85 \endhtmlonly
86  Circles represent processing units and squares represent network routers. Bold
87     lines represent communication links. AS2 models the core of a national
88     network interconnecting a small flat cluster (AS4) and a larger
89     hierarchical cluster (AS5), a subset of a LAN (AS6), and a set of peers
90     scattered around the world (AS7).
91
92
93 This is all for the concepts ! To make a long story short, a SimGrid platform is made of a hierarchy of AS, each of them containing resources, and routing is defined at AS level. Let's have a deeper look in the tags.
94
95
96
97 \section pf_pftags Describing resources and their organization
98
99 \subsection  pf_As Platform organization tag : AS
100
101 AS (or Autonomous System) is an organizational unit that contains resources and defines routing between them, and eventually some other AS. So it allows you to define a hierarchy into your platform. <b>*ANY*</b> resource <b>*MUST*</b> belong to an AS. There are a few attributes.
102
103 <b>AS</b> attributes :
104 \li <b>name (mandatory)</b>: the identifier of AS to be used when referring to it.
105 \li <b>routing (mandatory)</b>: the routing model used into it. By model we mean the internal way the simulator will manage routing. That also have a big impact on how many information you'll have to provide to help the simulator to route between the AS elements. <b>routing</b> possible values are <b>Full, Floyd, Dijkstra, DijkstraCache, none, RuleBased, Vivaldi, Cluster</b>. For more explanation about what to choose, take a look at the section devoted to it below.
106
107 Elements into an AS are basically resources (computers, network equipments) and some routing informations if necessary (see below for more explanation).
108
109 <b>AS example</b>
110 \verbatim
111 <AS  id="AS0"  routing="Full">
112    <host id="host1" power="1000000000"/>
113    <host id="host2" power="1000000000"/>
114    <link id="link1" bandwidth="125000000" latency="0.000100"/>
115    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
116  </AS>
117 \endverbatim
118
119
120 In this example, AS0 contains two hosts (host1 and host2). The route between the hosts goes through link1.
121 \subsection pf_Cr Computing resources: hosts, clusters and peers.
122
123 \subsubsection pf_host host
124 A <b>host</b> represents a computer, where you will be able to execute code and from which you can send and receive information. A host can contain more than 1 core. Here are the attributes of a host :
125
126
127 <b>host</b> attributes :
128 \li <b>id (mandatory)</b>: the identifier of the host to be used when referring to it.
129 \li <b>power (mandatory)</b>:the peak number FLOPS the CPU can manage. Expressed in flop/s.
130 \li <b>core</b>: The number of core of this host. If setted, the power gives the power of one core. The specified computing power will be available to up to 6 sequential
131 tasks without sharing. If more tasks are placed on this host, the
132 resource will be shared accordingly. For example, if you schedule 12
133 tasks on the host, each will get half of the computing power. Please
134 note that although sound, this model were never scientifically
135 assessed. Please keep this fact in mind when using it.
136
137 \li <b>availability</b>: specify if the percentage of power available.
138 \li <b>availability_file</b>: Allow you to use a file as input. This file will contain availability traces for this computer. The syntax of this file is defined below. Possible values : absolute or relative path, syntax similar to the one in use on your system.
139 \li <b>state</b>: the computer state, as in : is that computer ON or OFF. Possible values : "ON" or "OFF".
140 \li <b>state_file</b>: Same mechanism as availability_file, similar syntax for value.
141 \li <b>coordinates</b>: you'll have to give it if you choose the vivaldi, coordinate-based routing model for the AS the host belongs to. More details about it in the P2P coordinate based section.
142
143 An host can contain some <b>mount</b> that defines mounting points between some storage resource and the <b>host</b>. Please refer to the storage doc for more information.
144
145 An host can also contain the <b>prop</b> tag. the prop tag allows you to define additional informations on this host following the attribute/value schema. You may want to use it to give information to the tool you use for rendering your simulation, for example.
146
147 <b>host example</b>
148 \verbatim
149    <host id="host1" power="1000000000"/>
150    <host id="host2" power="1000000000">
151         <prop id="color" value="blue"/>
152         <prop id="rendershape" value="square"/>
153    </host>
154 \endverbatim
155
156
157 <b>Expressing dynamicity.</b>
158 It is also possible to seamlessly declare a host whose
159 availability changes over time using the availability_file
160 attribute and a separate text file whose syntax is exemplified below.
161
162
163 <b>IMPORTANT NOTE:</b> the numeric separator in both trace and availability depends on your system locale. Examples below holds for LC_NUMERIC=C.
164
165
166 <b>Adding a trace file</b>
167 \verbatim
168     <platform version="1">
169       <host id="bob" power="500000000"
170             availability_file="bob.trace" />
171     </platform>
172 \endverbatim
173 <b>Example of "bob.trace" file</b>
174 \verbatim
175 PERIODICITY 1.0
176   0.0 1.0
177   11.0 0.5
178   20.0 0.8
179 \endverbatim
180
181 At time 0, our host will deliver 500~Mflop/s. At time 11.0, it will
182 deliver half, that is 250~Mflop/s until time 20.0 where it will
183 will start delivering 80\% of its power, that is 400~Mflop/s. Last, at
184 time 21.0 (20.0 plus the periodicity 1.0), we loop back to the
185 beginning and the host will deliver again 500~Mflop/s.
186
187 <b>Changing initial state</b>
188
189 It is also possible to specify whether the host
190 is up or down by setting the <b>state</b> attribute to either <b>ON</b>
191 (default value) or <b>OFF</b>.
192
193 <b>Expliciting the default value "ON"</b>
194 \verbatim
195   <platform version="1">
196      <host id="bob"
197            power="500000000"
198           state="ON" />
199   </platform>
200 \endverbatim
201 <b>Host switched off</b>
202 \verbatim
203   <platform version="1">
204      <host id="bob"
205            power="500000000"
206            state="OFF" />
207   </platform>
208 \endverbatim
209 <b>Expressing churn</b>
210 To express the fact that a host can change state over time (as in P2P
211 systems, for instance), it is possible to use a file describing the time
212 at which the host is turned on or off. An example of the content
213 of such a file is presented below.
214 <b>Adding a state file</b>
215   \verbatim
216     <platform version="1">
217       <host id="bob" power="500000000"
218            state_file="bob.fail" />
219     </platform>
220   \endverbatim
221 <b>Example of "bob.fail" file</b>
222 \verbatim
223   PERIODICITY 10.0
224   1.0 -1.0
225   2.0 1.0
226 \endverbatim
227
228 A negative value means <b>down</b> while a positive one means <b>up and
229   running</b>. From time 0.0 to time 1.0, the host is on. At time 1.0, it is
230 turned off and at time 2.0, it is turned on again until time 12 (2.0 plus the
231 periodicity 10.0). It will be turned on again at time 13.0 until time 23.0, and
232 so on.
233
234
235
236 \subsubsection pf_cluster cluster
237 A <b>cluster</b> represents a cluster. It is most of the time used when you want to have a bunch of machine defined quickly. It must be noted that cluster is meta-tag : <b>from the inner SimGrid point of view, a cluster is an AS where some optimized routing is defined</b> . The default inner organisation of the cluster is as follow :
238 \verbatim
239                  _________
240                 |          |
241                 |  router  |
242     ____________|__________|_____________ backbone
243       |   |   |              |     |   |
244     l0| l1| l2|           l97| l96 |   | l99
245       |   |   |   ........   |     |   |
246       |                                |
247     c-0.me                             c-99.me
248 \endverbatim
249
250 You have a set of <b>host</b> defined. Each of them has a <b>link</b> to a central backbone (backbone is a <b>link</b> itsef, as a link can be used to represent a switch, see the switch or <b>link</b> section below for more details about it). A <b>router</b> gives a way to the <b>cluster</b> to be connected to the outside world. Internally, cluster is then an AS containing all hosts : the router is the default gateway for the cluster.
251
252 There is an alternative organization, which is as follow :
253 \verbatim
254                  _________
255                 |          |
256                 |  router  |
257                 |__________|
258                     / | \
259                    /  |  \
260                l0 / l1|   \l2
261                  /    |    \
262                 /     |     \
263             host0   host1   host2
264 \endverbatim
265
266 The principle is the same, except we don't have the backbone. The way to obtain it is simple : you just have to let bb_* attributes unsetted.
267
268
269
270 <b>cluster</b> attributes :
271 \li <b>id (mandatory)</b>: the identifier of the cluster to be used when referring to it.
272 \li <b>prefix (mandatory)</b>: each node of the cluster has to have a name. This is its prefix.
273 \li <b>suffix (mandatory)</b>: node suffix name.
274 \li <b>radical (mandatory)</b>: regexp used to generate cluster nodes name. Syntax is quite common, "10-20" will give you 11 machines numbered from 10 to 20, "10-20;2" will give you 12 machines, one with the number 2, others numbered as before. The produced number is concatenated  between prefix and suffix to form machine names.
275 \li <b>power (mandatory)</b>: same as <b>host</b> power.
276 \li <b>core</b>: same as <b>host</b> core.
277 \li <b>bw (mandatory)</b>: bandwidth for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
278 \li <b>lat (mandatory)</b>: latency for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
279 \li <b>sharing_policy</b>: sharing policy for the links between nodes and backbone (if any). See <b>link</b> section for syntax/details.
280 \li <b>bb_bw </b>: bandwidth for backbone (if any). See <b>link</b> section for syntax/details. If both bb_* attributes are ommited, no backbone is create (alternative cluster architecture described before).
281 \li <b>bb_lat </b>: latency for backbone (if any). See <b>link</b> section for syntax/details. If both bb_* attributes are ommited, no backbone is create (alternative cluster architecture described before).
282 \li <b>bb_sharing_policy</b>: sharing policy for the backbone (if any). See <b>link</b> section for syntax/details.
283 \li <b>availability_file</b>: Allow you to use a file as input for availability. Similar to <b>hosts</b> attribute.
284 \li <b>state_file</b>: Allow you to use a file as input for states. Similar to <b>hosts</b> attribute.
285
286 the router name is defined as the resulting String in the following java line of code: router_name = prefix + "router_ + suffix ;
287
288
289 <b>cluster example</b>
290 \verbatim
291 <cluster id="my_cluster_1" prefix="" suffix=""
292                 radical="0-262144"      power="1000000000"    bw="125000000"     lat="5E-5"/>
293 <cluster id="my_cluster_1" prefix="c-" suffix=".me"
294                 radical="0-99"  power="1000000000"    bw="125000000"     lat="5E-5"
295         bb_bw="2250000000" bb_lat="5E-4"/>
296 \endverbatim
297
298 \subsubsection pf_peer peer
299 A <b>peer</b> represents a peer, as in Peer-to-Peer (P2P). Basically, as cluster, <b>A PEER IS INTERNALLY INTERPRETED AS AN \<AS\></b>. It's just a kind of shortcut that does the following :
300 \li It creates an host
301 \li Two links : one for download and one for upload. This is convenient to use and simulate stuff under the last mile model (as ADSL peers).
302 \li It creates a gateway that serve as entry point for this peer zone. This router has coordinates.
303
304 <b>peer</b> attributes :
305 \li <b>id (mandatory)</b>: the identifier of the peer to be used when referring to it.
306 \li <b>power CDATA (mandatory)</b>: as in host
307 \li <b>bw_in CDATA (mandatory)</b>: bandwidth in.
308 \li <b>bw_out CDATA (mandatory)</b>:bandwidth out.
309 \li <b>lat CDATA (mandatory)</b>: Latency for in and out links.
310 \li <b>coordinates</b>: coordinates of the gateway for this peer.
311 \li <b>sharing_policy</b>: sharing policy for links. Can be SHARED or FULLDUPLEX, FULLDUPLEX is the default. See <b>link</b> description for details.
312 \li <b>availability_file</b>: availability file for the peer. Same as host availability file. See <b>host</b> description for details.
313 \li <b>state_file </b>: state file for the peer. Same as host state file. See <b>host</b> description for details.
314
315 \subsection pf_ne Network equipments: links and routers
316
317 You have basically two entities available to represent network entities :
318 \li <b>link</b>: represents something that has a limited bandwidth, a latency, and that can be shared according to TCP way to share this bandwidth. <b>LINKS ARE NOT EDGES BUT HYPEREDGES</b>: it means that you can have more than 2 equipments connected to it.
319 \li <b>router</b>: represents something that one message can be routed to, but does not accept any code, nor have any influence on the performances (no bandwidth, no latency, not anything).<b>ROUTERS ARE ENTITIES (ALMOST) IGNORED BY THE SIMULATOR WHEN THE SIMULATION HAS BEGUN</b>. If you want to represent something like a switch, you must use <b>link</b> (see section below). Routers are used in order to run some routing algorithm and determine routes (see routing section for details).
320
321 let's see deeper what those entities hide.
322
323 \subsubsection pf_router router
324 As said before, <b>router</b> is used only to give some information for routing algorithms. So, it does not have any attributes except :
325
326 <b>router</b> attributes :
327 \li <b>id (mandatory)</b>: the identifier of the router to be used when referring to it.
328 \li <b>coordinates</b>: you'll have to give it if you choose the vivaldi, coordinate-based routing model for the AS the host belongs to. More details about it in the P2P coordinates based section.
329
330
331 <b>router example</b>
332 \verbatim
333  <router id="gw_dc1_horizdist"/>
334 \endverbatim
335
336 \subsubsection pf_link link
337 Network links can represent one-hop network connections. They are characterized by their id and their bandwidth.
338 The latency is optional with a default value of 0.0. For instance, we can declare a network link named link1
339 having bandwidth of 1Gb/s and a latency of 50µs.
340 Example link:
341 \verbatim
342  <link id="LINK1" bandwidth="125000000" latency="5E-5"/>
343 \endverbatim
344 <b>Expressing sharing policy</b>
345
346 By default a network link is SHARED, that is if more than one flow go through
347 a link, each gets a share of the available bandwidth similar to the share TCP connections offers.
348
349 Conversely if a link is defined as a FATPIPE, each flow going through this link will get all the available bandwidth, whatever the number of flows. The FATPIPE
350 behavior allows to describe big backbones that won't affect performances (except latency). Finally a link can be considered as FULLDUPLEX, that means that in the simulator, 2 links (one named UP and the other DOWN) will be created for each link, so as the transfers from one side to the other will interact similarly as TCP when ACK returning packets circulate on the other direction. More discussion about it is available in <b>link_ctn</b> description.
351
352 \verbatim
353  <link id="SWITCH" bandwidth="125000000" latency="5E-5" sharing_policy="FATPIPE" />
354 \endverbatim
355
356 <b>Expressing dynamicity and failures</b>
357
358  As for hosts, it is possible to declare links whose state, bandwidth or latency change over the time. In this case, the bandwidth and latency attributes are respectively replaced by the bandwidth file and latency file attributes and the corresponding text files.
359
360 \verbatim
361  <link id="LINK1" state_file="link1.fail" bandwidth="80000000" latency=".0001" bandwidth_file="link1.bw" latency_file="link1.lat" />
362 \endverbatim
363
364 It has to be noted that even if the syntax is the same, the semantic of bandwidth and latency trace files
365 differs from that of host availability files. Those files do not express availability as a fraction of the available
366 capacity but directly in bytes per seconds for the bandwidth and in seconds for the latency. This is because
367 most tools allowing to capture traces on real platforms (such as NWS ) express their results this way.
368
369 <b>Example of "link1.bw" file</b>
370 \verbatim
371
372 1 PERIODICITY 12.0
373 2 4.0 40000000
374 3 8.0 60000000
375 \endverbatim
376 <b>Example of "link1.lat" file</b>
377 \verbatim
378  1 PERIODICITY 5.0
379 2 1.0 0.001
380 3 2.0 0.01
381 4 3.0 0.001
382 \endverbatim
383 In this example, the bandwidth varies with a period of 12 seconds while the latency varies with a period of
384 5 seconds. At the beginning of simulation, the link’s bandwidth is of 80,000,000 B/s (i.e., 80 Mb/s). After four
385 seconds, it drops at 40 Mb/s, and climbs back to 60 Mb/s after eight seconds. It keeps that way until second
386 12 (ie, until the end of the period), point at which it loops its behavior (seconds 12-16 will experience 80 Mb/s,
387 16-20 40 Mb/s and so on). In the same time, the latency values are 100µs (initial value) on the [0, 1[ time
388 interval, 1ms on [1, 2[, 10ms on [2, 3[, 1ms on [3,5[ (i.e., until the end of period). It then loops back, starting
389 at 100µs for one second.
390
391 <b>link</b> attributes :
392 \li <b>id (mandatory)</b>: the identifier of the link to be used when referring to it.
393 \li <b>bandwidth (mandatory)</b>: bandwidth for the link.
394 \li <b>lat </b>: latency for the link. Default is 0.0.
395 \li <b>sharing_policy</b>: sharing policy for the link.
396 \li <b>state</b>: Allow you to to set link as ON or OFF. Default is ON.
397 \li <b>bandwidth_file</b>: Allow you to use a file as input for bandwidth.
398 \li <b>latency_file</b>: Allow you to use a file as input for latency.
399 \li <b>state_file</b>: Allow you to use a file as input for states.
400
401 As an host, a <b>link</b> tag can also contain the <b>prop</b> tag.
402
403 <b>link example</b>
404 \verbatim
405    <link id="link1" bandwidth="125000000" latency="0.000100"/>
406 \endverbatim
407
408
409 \subsection pf_storage Storage
410 <b>Note : This is a prototype version that should evolve quickly, this is just some doc valuable only at the time of writing this doc</b>
411 This section describes the storage management under SimGrid ; nowadays
412 it's only usable with MSG. It relies basically on linux-like concepts.
413 You also may want to have a look to its corresponding section in \ref
414 msg_file_management ; functions access are organized as a POSIX-like interface.
415
416 \subsubsection pf_sto_conc Storage Main concepts
417 Basically there is 3 different entities to know :
418 \li the <b>storage_type</b>: here you define some kind of storage that you will instantiate many type on your platform. Think of it like a definition of throughput of a specific disk.
419 \li the <b>storage</b>: instance of a <b>storage_type</b>. Defines a new storage of <b>storage_type</b>
420 \li the <b>mount</b>: says that the storage is located into this specific resource.
421
422 the content of a storage has to be defined in a content file that contains the content. The path to this file has to be passed within the <b>content</b> attribute . Here is a way to generate it:
423 \verbatim
424 find /path/you/want -type f -exec ls -l {} \; 2>/dev/null > ./content.txt
425 \endverbatim
426
427 \subsubsection pf_sto_sttp storage_type
428
429
430 <b>storage_type</b> attributes :
431 \li <b>id (mandatory)</b>: the identifier of the storage_type to be used when referring to it.
432 \li <b>model (mandatory)</b>: Unused for now by the simulator (but mandatory, ok)
433 \li <b>content</b>: default value 0. The file containing the disk content. (may be moved soon or later to <b>storage</b> tag.
434
435 The tag must contains some predefined prop, as may do some other resources tags. This should moved to attributes soon or later.
436 <b>storage_type</b> mandatory <b>prop</b> :
437 \li <b>Bwrite</b>: value in B/s. Write throughput
438 \li <b>Bread</b>: value in B/s. Read throughput
439 \li <b>Bconnexion</b>: value in B/s. Connection throughput (i.e. the throughput of the storage connector).
440
441 \subsubsection pf_sto_st storage
442
443 <b>storage_type</b> attributes :
444 \li <b>id (mandatory)</b>: the identifier of the storage to be used when referring to it.
445 \li <b>typeId (mandatory)</b>: the identifier of the storage_type that this storage  belongs to.
446
447
448 \subsubsection pf_sto_mo mount
449
450
451 <b>mount</b> attributes :
452 \li <b>id (mandatory)</b>: the id of the <b>storage</b> that must be mounted on that computer.
453 \li <b>name (mandatory)</b>: the name that will be the logical reference to this disk (the mount point).
454
455 \subsubsection pf_sto_mst mstorage
456 <b>Note : unused for now</b>
457 <b>mstorage</b> attributes :
458 \li <b>typeId (mandatory)</b>: the id of the <b>storage</b> that must be mounted on that computer.
459 \li <b>name (mandatory)</b>: the name that will be the logical reference to this disk (the mount point).
460
461 \section pf_routing Routing
462
463 In order to run fast, it has been chosen to use static routing within SimGrid. By static, it means that it is calculated once (or almost), and will not change during execution. We chose to do that because it is rare to have a real deficience of a resource ; most of the time, a communication fails because the links are too overloaded, and so your connection stops before the time out, or because the computer at the other end is not answering.
464
465 We also chose to use shortests paths algorithms in order to emulate routing. Doing so is consistent with the reality: RIP, OSPF, BGP are all calculating shortest paths. They have some convergence time, but at the end, so when the platform is stable (and this should be the moment you want to simulate something using SimGrid) your packets will follow the shortest paths.
466
467 \subsection pf_rm Routing models
468
469 Within each AS, you have to define a routing model to use. You have basically 3 main kind of routing models :
470 \li Shortest-path based models: you let SimGrid calculates shortest paths and manage it. Behaves more or less as most real life routing.
471 \li Manually-entered route models: you'll have to define all routes manually by yourself into the platform description file. Consistent with some manually managed real life routing.
472 \li Simple/fast models: those models offers fast, low memory routing algorithms. You should consider to use it if you can make some assumptions about your AS. Routing in this case is more or less ignored
473
474 \subsubsection pf_raf The router affair
475
476 Expressing routers becomes mandatory when using shortest-path based models or when using ns-3 or the bindings to the GTNetS packet-level simulator instead of the native analytical network model implemented in SimGrid.
477
478 For graph-based shortest path algorithms, routers are mandatory, because both algorithms need a graph, and so we need to have source and destination for each edge.
479
480 Routers are naturally an important concept in GTNetS or ns-3 since the way they run the packet routing algorithms is actually simulated. Instead, the
481 SimGrid’s analytical models aggregate the routing time with the transfer time.
482 Rebuilding a graph representation only from the route information turns to be a very difficult task, because
483 of the missing information about how routes intersect. That is why we introduced a \<router\> tag, which is
484 simply used to express these intersection points. The only attribute accepted by this tag an id.
485 It is important to understand that the \<router\> tag is only used to provide topological information.
486
487 To express those topological information, some <b>route</b> have to be defined saying which link is between which routers. Description or the route syntax is given below, as well as example for the different models.
488
489 \subsubsection pf_rm_sh Shortest-path based models
490
491 Here is the complete list of such models, that computes routes using classic shortest-paths algorithms. How to choose the best suited algorithm is discussed later in the section devoted to it.
492 \li <b>Floyd</b>: Floyd routing data. Pre-calculates all routes once.
493 \li <b>Dijkstra</b>: Dijkstra routing data ,calculating routes when necessary.
494 \li <b>DijkstraCache</b>: Dijkstra routing data. Handle some cache for already calculated routes.
495
496 All those shortest-path models are instanciated the same way. Here are some example of it:
497
498 Floyd example :
499 \verbatim
500 <AS  id="AS0"  routing="Floyd">
501
502   <cluster id="my_cluster_1" prefix="c-" suffix=""
503                 radical="0-1"   power="1000000000"    bw="125000000"     lat="5E-5"
504         router_id="router1"/>
505
506  <AS id="AS1" routing="none">
507     <host id="host1" power="1000000000"/>
508  </AS>
509
510   <link id="link1" bandwidth="100000" latency="0.01"/>
511
512   <ASroute src="my_cluster_1" dst="AS1"
513     gw_src="router1"
514     gw_dst="host1">
515     <link_ctn id="link1"/>
516   </ASroute>
517
518 </AS>
519 \endverbatim
520 ASroute given at the end gives a topological information : link1 is between router1 and host1.
521
522
523 Dijsktra example :
524 \verbatim
525  <AS id="AS_2" routing="Dijsktra">
526      <host id="AS_2_host1" power="1000000000"/>
527      <host id="AS_2_host2" power="1000000000"/>
528      <host id="AS_2_host3" power="1000000000"/>
529      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
530      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
531      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
532      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
533      <router id="central_router"/>
534      <router id="AS_2_gateway"/>
535      <!-- routes providing topological information -->
536      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
537      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
538      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
539      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
540   </AS>
541 \endverbatim
542
543 DijsktraCache example :
544 \verbatim
545 <AS id="AS_2" routing="DijsktraCache">
546      <host id="AS_2_host1" power="1000000000"/>
547      ...
548 (platform unchanged compared to upper example)
549 \endverbatim
550
551 \subsubsection pf_rm_me Manually-entered route models
552
553 \li <b>Full</b>: You have to enter all necessary routes manually
554 \li <b>RuleBased</b>: Rule-Based routing data; same as Full except you can use regexp to express route. As SimGrid has to evaluate the regexp, it's slower than Full, but requires less memory. Regexp syntax is similar as <a href="http://www.pcre.org">pcre</a> ones, as this is the lib SimGrid use to do so.
555
556 Full example :
557 \verbatim
558 <AS  id="AS0"  routing="Full">
559    <host id="host1" power="1000000000"/>
560    <host id="host2" power="1000000000"/>
561    <link id="link1" bandwidth="125000000" latency="0.000100"/>
562    <route src="host1" dst="host2"><link_ctn id="link1"/></route>
563  </AS>
564 \endverbatim
565
566 RuleBased example :
567 \verbatim
568 <AS id="AS_orsay" routing="RuleBased" >
569                         <cluster id="AS_gdx" prefix="gdx-" suffix=".orsay.grid5000.fr"
570                                 radical="1-310" power="4.7153E9" bw="1.25E8" lat="1.0E-4"
571                                 bb_bw="1.25E9" bb_lat="1.0E-4"></cluster>
572                         <link   id="link_gdx" bandwidth="1.25E9" latency="1.0E-4"/>
573
574                         <cluster id="AS_netgdx" prefix="netgdx-" suffix=".orsay.grid5000.fr"
575                                 radical="1-30" power="4.7144E9" bw="1.25E8" lat="1.0E-4"
576                                 bb_bw="1.25E9" bb_lat="1.0E-4"></cluster>
577                         <link   id="link_netgdx" bandwidth="1.25E9" latency="1.0E-4"/>
578
579                         <AS id="gw_AS_orsay" routing="Full">
580                                 <router id="gw_orsay"/>
581                         </AS>
582                         <link   id="link_gw_orsay" bandwidth="1.25E9" latency="1.0E-4"/>
583
584                         <ASroute src="^AS_(.*)$" dst="^AS_(.*)$"
585                                 gw_src="$1src-AS_$1src_router.orsay.grid5000.fr"
586                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
587                                 symmetrical="YES">
588                                         <link_ctn id="link_$1src"/>
589                                         <link_ctn id="link_$1dst"/>
590                         </ASroute>
591
592                         <ASroute src="^AS_(.*)$" dst="^gw_AS_(.*)$"
593                                 gw_src="$1src-AS_$1src_router.orsay.grid5000.fr"
594                                 gw_dst="gw_$1dst"
595                                 symmetrical="NO">
596                                         <link_ctn id="link_$1src"/>
597                         </ASroute>
598
599                         <ASroute src="^gw_AS_(.*)$" dst="^AS_(.*)$"
600                                 gw_src="gw_$1src"
601                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
602                                 symmetrical="NO">
603                                         <link_ctn id="link_$1dst"/>
604                         </ASroute>
605
606                 </AS>
607 \endverbatim
608
609 The example upper contains $1src and $1dst. It's simply a reference to string matching regexp enclosed by "()" within respectively <b>src</b> and <b>dst</b> attributes. If they were more than 1 "()", then you could referer to it as $2src, $3src and so on.
610
611 \subsubsection pf_rm_sf Simple/fast models
612
613 \li <b>none</b>: No routing (Unless you know what you are doing, avoid using this mode in combination with a non Constant network model).
614 None Example :
615 \verbatim
616 <AS id="exitAS"  routing="none">
617         <router id="exit_gateway"/>
618 </AS>\endverbatim
619
620 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use coordinates. See the corresponding section P2P below for details.
621 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should not be used, except internally.
622
623 \subsection ps_dec Defining routes
624
625 The principle of route definition is the same for the 4 available tags for doing it. Those for tags are:
626
627 \li <b>route</b>: to define route between host/router
628 \li <b>ASroute</b>: to define route between AS
629 \li <b>bypassRoute</b>: to bypass normal routes as calculated by the network model between host/router
630 \li <b>bypassASroute</b>: same as bypassRoute, but for AS
631
632 Basically all those tags will contain an (ordered) list of references to link that compose the route you want to define.
633
634 Consider the example below:
635
636 \verbatim
637 <route src="Alice" dst="Bob">
638         <link_ctn id="link1"/>
639         <link_ctn id="link2"/>
640         <link_ctn id="link3"/>
641    </route>
642 \endverbatim
643
644 The route here fom host Alice to Bob will be first link1, then link2, and finally link3. What about the reverse route ? <b>route</b> and <b>ASroute</b> have an optional attribute <b>symmetrical</b>, that can be either YES or NO. YES means that the reverse route is the same route in the inverse order, and is setted to YES by default. Note that this is not the case for bypass*Route, as it is more probable that you want to bypass only one default route.
645
646 For an ASroute, things are just sligthly more complicated, as you have to give the id of the gateway which is inside the AS you're talking about you want to access ... So it looks like this :
647
648
649 \verbatim
650   <ASroute src="AS1" dst="AS2"
651     gw_src="router1" gw_dst="router2">
652     <link_ctn id="link1"/>
653   </ASroute>
654 \endverbatim
655
656 gw == gateway, so when any message are trying to go from AS1 to AS2, it means that it must pass through router1 to get out of the AS, then pass through link1, and get into AS2 by being received by router2. router1 must belong to AS1 and router2 must belong to AS2.
657
658 \subsubsection pf_linkctn link_ctn
659
660 a <b>link_ctn</b> is the tag that is used in order to reference a <b>link</b> in a route. Its id is the link id it refers to.
661
662 <b>link_ctn</b> attributes :
663 \li <b>id (mandatory)</b>: Id of the link this tag refers to
664 \li <b>direction</b>: if the link referenced by <b>id</b> has been declared as FULLDUPLEX, this is used to indicate in which direction the route you're defining is going through this link. Possible values "UP" or "DOWN".
665
666 \subsubsection pf_asro ASroute
667
668 ASroute tag purpose is to let people write manually their routes between AS. It's usefull when you're in Full or Rule-based model.
669
670 <b>ASroute</b> attributes :
671 \li <b>src (mandatory)</b>: the source AS id.
672 \li <b>dst (mandatory)</b>: the destination AS id.
673 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS. Can be any <b>host</b> or \b router defined into the \b src AS or into one of the AS it includes.
674 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS. Can be any <b>host</b> or \b router defined into the \b dst AS or into one of the AS it includes.
675 \li <b>symmetrical</b>: if the route is symmetric, the reverse route will be the opposite of the one defined. Can be either YES or NO, default is  YES.
676
677 <b>Example of ASroute with RuleBased</b>
678 \verbatim
679 <ASroute src="^gw_AS_(.*)$" dst="^AS_(.*)$"
680                                 gw_src="gw_$1src"
681                                 gw_dst="$1dst-AS_$1dst_router.orsay.grid5000.fr"
682                                 symmetrical="NO">
683                                         <link_ctn id="link_$1dst"/>
684                         </ASroute>
685 \endverbatim
686 <b>Example of ASroute with Full</b>
687 \verbatim
688 <AS  id="AS0"  routing="Full">
689   <cluster id="my_cluster_1" prefix="c-" suffix=".me"
690                 radical="0-149" power="1000000000"    bw="125000000"     lat="5E-5"
691         bb_bw="2250000000" bb_lat="5E-4"/>
692
693   <cluster id="my_cluster_2" prefix="c-" suffix=".me"
694             radical="150-299" power="1000000000"        bw="125000000"  lat="5E-5"
695             bb_bw="2250000000" bb_lat="5E-4"/>
696
697      <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
698
699      <ASroute src="my_cluster_1" dst="my_cluster_2"
700          gw_src="c-my_cluster_1_router.me"
701          gw_dst="c-my_cluster_2_router.me">
702                 <link_ctn id="backbone"/>
703      </ASroute>
704      <ASroute src="my_cluster_2" dst="my_cluster_1"
705          gw_src="c-my_cluster_2_router.me"
706          gw_dst="c-my_cluster_1_router.me">
707                 <link_ctn id="backbone"/>
708      </ASroute>
709 </AS>
710 \endverbatim
711
712 \subsubsection pf_ro route
713 The principle is the same as ASroute : <b>route</b> contains list of links that are in the path between src and dst, except that it is for routes between a src that can be either <b>host</b> or \b router and a dst that can be either <b>host</b> or \b router. Usefull for Full and RuleBased, as well as for the shortest-paths based models, where you have to give topological informations.
714
715
716 <b>route</b> attributes :
717 \li <b>src (mandatory)</b>: the source id.
718 \li <b>dst (mandatory)</b>: the destination id.
719 \li <b>symmetrical</b>: if the route is symmetric, the reverse route will be the opposite of the one defined. Can be either YES or NO, default is  YES.
720
721 <b>route example in Full</b>
722 \verbatim
723  <route src="Tremblay" dst="Bourassa">
724      <link_ctn id="4"/><link_ctn id="3"/><link_ctn id="2"/><link_ctn id="0"/><link_ctn id="1"/><link_ctn id="6"/><link_ctn id="7"/>
725    </route>
726 \endverbatim
727
728 <b>route example in a shortest-path model</b>
729 \verbatim
730  <route src="Tremblay" dst="Bourassa">
731      <link_ctn id="3"/>
732    </route>
733 \endverbatim
734 Note that when using route to give topological information, you have to give routes with one link only in it, as SimGrid needs to know which host are at the end of the link.
735
736 \subsubsection pf_byro bypassASroute
737 <b>Note : bypassASroute and bypassRoute are under rewriting to perform better ; so you may not use it yet</b>
738 As said before, once you choose a model, it (if so) calculates routes for you. But maybe you want to define some of your routes, which will be specific. You may also want to bypass some routes defined in lower level AS at an upper stage : <b>bypassASroute</b> is the tag you're looking for. It allows to bypass routes defined between already defined between AS (if you want to bypass route for a specific host, you should just use byPassRoute). The principle is the same as ASroute : <b>bypassASroute</b> contains list of links that are in the path between src and dst.
739
740 <b>bypassASroute</b> attributes :
741 \li <b>src (mandatory)</b>: the source AS id.
742 \li <b>dst (mandatory)</b>: the destination AS id.
743 \li <b>gw_src (mandatory)</b>: the gateway to be used within the AS. Can be any <b>host</b> or \b router defined into the \b src AS or into one of the AS it includes.
744 \li <b>gw_dst (mandatory)</b>: the gateway to be used within the AS. Can be any <b>host</b> or \b router defined into the \b dst AS or into one of the AS it includes.
745 \li <b>symmetrical</b>: if the route is symmetric, the reverse route will be the opposite of the one defined. Can be either YES or NO, default is  YES.
746
747 <b>bypassASroute Example</b>
748 \verbatim
749     <bypassASRoute src="my_cluster_1" dst="my_cluster_2"
750      gw_src="my_cluster_1_router"
751      gw_dst="my_cluster_2_router">
752         <link_ctn id="link_tmp"/>
753      </bypassASroute>
754 \endverbatim
755
756 \subsubsection pf_byro bypassRoute
757 <b>Note : bypassASRoute and bypassRoute are under rewriting to perform better ; so you may not use it yet</b>
758 As said before, once you choose a model, it (if so) calculates routes for you. But maybe you want to define some of your routes, which will be specific. You may also want to bypass some routes defined in lower level AS at an upper stage : <b>bypassRoute</b> is the tag you're looking for. It allows to bypass routes defined between <b>host/router</b>. The principle is the same as route : <b>bypassRoute</b> contains list of links references of links that are in the path between src and dst.
759
760 <b>bypassRoute</b> attributes :
761 \li <b>src (mandatory)</b>: the source AS id.
762 \li <b>dst (mandatory)</b>: the destination AS id.
763 \li <b>symmetrical</b>: if the route is symmetric, the reverse route will be the opposite of the one defined. Can be either YES or NO, default is  YES.
764
765 <b>bypassRoute Example</b>
766 \verbatim
767 <b>bypassRoute Example</b>
768 \verbatim
769     <bypassRoute src="host_1" dst="host_2">
770         <link_ctn id="link_tmp"/>
771      </bypassRoute>
772 \endverbatim
773
774
775 \subsection pb_baroex Basic Routing Example
776
777 Let's say you have an AS named AS_Big that contains two other AS, AS_1 and AS_2. If you want to make an host (h1) from AS_1 with another one (h2) from  AS_2 then you'll have to proceed as follow:
778 \li First, you have to ensure that a route is defined from h1 to the AS_1's exit gateway and from h2 to AS_2's exit gateway.
779 \li Then, you'll have to define a route between AS_1 to AS_2. As those AS are both resources belonging to AS_Big, then it has to be done at AS_big level. To define such a route, you have to give the source AS (AS_1), the destination AS (AS_2), and their respective gateway (as the route is effectively defined between those two entry/exit points). Elements of this route can only be elements belonging to AS_Big, so links and routers in this route should be defined inside AS_Big. If you choose some shortest-path model, this route will be computed automatically.
780
781 As said before, there are mainly 2 tags for routing :
782 \li <b>ASroute</b>: to define routes between two  <b>AS</b>
783 \li <b>route</b>: to define routes between two <b>host/router</b>
784
785 As we are dealing with routes between AS, it means that those we'll have some definition at AS_Big level. Let consider AS_1  contains 1 host, 1 link and one router and AS_2 3 hosts, 4 links and one router. There will be a central router, and a cross-like topology. At the end of the crosses arms, you'll find the 3 hosts and the router that will act as a gateway. We have to define routes inside those two AS. Let say that AS_1 contains full routes, and AS_2 contains some Floyd routing (as we don't want to bother with defining all routes). As we're using some shortest path algorithms to  route into AS_2, we'll then have to define some <b>route</b> to gives some topological information to SimGrid. Here is a file doing it all :
786
787 \verbatim
788 <AS  id="AS_Big"  routing="Dijsktra">
789   <AS id="AS_1" routing="Full">
790      <host id="AS_1_host1" power="1000000000"/>
791      <link id="AS_1_link" bandwidth="1250000000" latency="5E-4"/>
792      <router id="AS_1_gateway"/>
793      <route src="AS_1_host1" dst="AS_1_gateway">
794             <link_ctn id="AS_1_link"/>
795      </route>
796   </AS>
797   <AS id="AS_2" routing="Floyd">
798      <host id="AS_2_host1" power="1000000000"/>
799      <host id="AS_2_host2" power="1000000000"/>
800      <host id="AS_2_host3" power="1000000000"/>
801      <link id="AS_2_link1" bandwidth="1250000000" latency="5E-4"/>
802      <link id="AS_2_link2" bandwidth="1250000000" latency="5E-4"/>
803      <link id="AS_2_link3" bandwidth="1250000000" latency="5E-4"/>
804      <link id="AS_2_link4" bandwidth="1250000000" latency="5E-4"/>
805      <router id="central_router"/>
806      <router id="AS_2_gateway"/>
807      <!-- routes providing topological information -->
808      <route src="central_router" dst="AS_2_host1"><link_ctn id="AS_2_link1"/></route>
809      <route src="central_router" dst="AS_2_host2"><link_ctn id="AS_2_link2"/></route>
810      <route src="central_router" dst="AS_2_host3"><link_ctn id="AS_2_link3"/></route>
811      <route src="central_router" dst="AS_2_gateway"><link_ctn id="AS_2_link4"/></route>
812   </AS>
813     <link id="backbone" bandwidth="1250000000" latency="5E-4"/>
814
815      <ASroute src="AS_1" dst="AS_2"
816          gw_src="AS_1_gateway"
817          gw_dst="AS_2_gateway">
818                 <link_ctn id="backbone"/>
819      </ASroute>
820 </AS>
821 \endverbatim
822
823 \section pf_other_tags Tags not (directly) describing the platform
824
825 There are 3 tags, that you can use inside a \<platform\> tag that are not describing the platform:
826 \li random: it allows you to define random generators you want to use for your simulation.
827 \li config: it allows you to pass some configuration stuff like, for example, the network model and so on. It follows the
828 \li include: simply allows you to include another file into the current one.
829
830 \subsection pf_conf config
831 <b>config</b> attributes :
832 \li <b>id (mandatory)</b>: the identifier of the config to be used when referring to it.
833
834
835 <b>config</b> tag only purpose is to include <b>prop</b> tags. Valid id are basically the same as the list of possible parameters you can use by command line, except that "/" are used for namespace definition. See the \ref options config and options page for more information.
836
837
838 <b>config example</b>
839 \verbatim
840 <?xml version='1.0'?>
841 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
842 <platform version="3">
843 <config id="General">
844         <prop id="maxmin/precision" value="0.000010"></prop>
845         <prop id="cpu/optim" value="TI"></prop>
846         <prop id="workstation/model" value="compound"></prop>
847         <prop id="network/model" value="SMPI"></prop>
848         <prop id="path" value="~/"></prop>
849         <prop id="smpi/bw_factor" value="65472:0.940694;15424:0.697866;9376:0.58729"></prop>
850 </config>
851
852 <AS  id="AS0"  routing="Full">
853 ...
854 \endverbatim
855
856
857 \subsection pf_rand random
858 Not yet in use, and possibly subject to huge modifications.
859
860 \subsection pf_incl include
861 <b>include</b> tag allows to import into a file platform parts located in another file. This is done with the intention to help people combine their different AS and provide new platforms. Those files should contains XML part that contains either <b>include,cluster,peer,AS,trace,trace_connect</b> tags.
862
863 <b>include</b> attributes :
864 \li <b>file (mandatory)</b>: filename of the file to include. Possible values : absolute or relative path, syntax similar to the one in use on your system.
865
866 <b>Note</b> : due to some obscure technical reasons, you have to open and close tag in order to let it work.
867 <b>include Example</b>
868 \verbatim
869 <?xml version='1.0'?>
870 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
871 <platform version="3">
872         <AS id="main" routing="Full">
873                 <include file="clusterA.xml"></include>
874                 <include file="clusterB.xml"></include>
875         </AS>
876 </platform>
877 \endverbatim
878
879 \subsection pf_tra trace and trace_connect
880 Both tags are an alternate way to passe availability, state, and so on files to entity. Instead of refering to the file directly in the host, link, or cluster tag, you proceed by defining a trace with an id corresponding to a file, later an host/link/cluster, and finally using trace_connect you say that the file trace must be used by the entity. Get it ? Let's have a look at an example :
881
882 \verbatim
883 <AS  id="AS0"  routing="Full">
884   <host id="bob" power="1000000000"/>
885 </AS>
886   <trace id="myTrace" file="bob.trace" periodicity="1.0"/>
887   <trace_connect trace="myTrace" element="bob" kind="POWER"/>
888 \endverbatim
889
890 All constraints you have is that <b>trace_connect</b> is after <b>trace</b> and <b>host</b> definitions.
891
892
893 <b>trace</b> attributes :
894 \li <b>id (mandatory)</b>: the identifier of the trace to be used when referring to it.
895 \li <b>file</b>: filename of the file to include. Possible values : absolute or relative path, syntax similar to the one in use on your system. If ommited, the system expects that you provide the trace values inside the trace tags (see below).
896 \li <b>trace periodicity (mandatory)</b>: trace periodicity, same definition as in hosts (see upper for details).
897
898 Here is an example  of trace when no file name is provided:
899
900 \verbatim
901  <trace id="myTrace" periodicity="1.0">
902     0.0 1.0
903     11.0 0.5
904     20.0 0.8
905   </trace>
906 \endverbatim
907
908 <b>trace_connect</b> attributes :
909 \li <b>kind</b>: the type of trace, possible values <b>HOST_AVAIL|POWER|LINK_AVAIL|BANDWIDTH|LATENCY,</b>  default: <b>HOST_AVAIL</b>
910 \li <b>trace (mandatory)</b>: the identifier of the trace referenced.
911 \li <b>element (mandatory)</b>: the identifier of the entity referenced.
912
913
914
915 \section pf_hints Hints and tips, or how to write a platform efficiently
916
917 Now you should know at least the syntax dans be able to create a platform. However, after having ourselves wrote some platforms, there are some best practices you should pay attention to in order to produce good platform and some choices you can make in order to have faster simulations. Here's some hints and tips, then.
918
919 \subsection pf_as_h AS Hierarchy
920 The AS design allows SimGrid to go fast, because computing route is done only for the set of resources defined in this AS. If you're using only a big AS containing all resource with no AS into it and you're using Full model, then ... you'll loose all interest into it. On the other hand, designing a binary tree of AS with, at the lower level, only one host, then you'll also loose all the good AS hierarchy can give you. Remind you should always be "reasonable" in your platform definition when choosing the hierarchy. A good choice if you try to describe a real life platform is to follow the AS described in reality, since this kind og trade-off works well for real life platforms.
921
922 \subsection pf_exit_as Exit AS: why and how
923 Users that have looked at some of our platforms may have notice a non-intuitive schema ... Something like that :
924
925
926 \verbatim
927 <AS id="AS_4"  routing="Full">
928 <AS id="exitAS_4"  routing="Full">
929         <router id="router_4"/>
930 </AS>
931 <cluster id="cl_4_1" prefix="c_4_1-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
932 <cluster id="cl_4_2" prefix="c_4_2-" suffix="" radical="1-20" power="1000000000" bw="125000000" lat="5E-5" bb_bw="2250000000" bb_lat="5E-4"/>
933 <link id="4_1" bandwidth="2250000000" latency="5E-5"/>
934 <link id="4_2" bandwidth="2250000000" latency="5E-5"/>
935 <link id="bb_4" bandwidth="2250000000" latency="5E-4"/>
936 <ASroute src="cl_4_1"
937         dst="cl_4_2"
938         gw_src="c_4_1-cl_4_1_router"
939         gw_dst="c_4_2-cl_4_2_router"
940         symmetrical="YES">
941                 <link_ctn id="4_1"/>
942                 <link_ctn id="bb_4"/>
943                 <link_ctn id="4_2"/>
944 </ASroute>
945 <ASroute src="cl_4_1"
946         dst="exitAS_4"
947         gw_src="c_4_1-cl_4_1_router"
948         gw_dst="router_4"
949         symmetrical="YES">
950                 <link_ctn id="4_1"/>
951                 <link_ctn id="bb_4"/>
952 </ASroute>
953 <ASroute src="cl_4_2"
954         dst="exitAS_4"
955         gw_src="c_4_2-cl_4_2_router"
956         gw_dst="router_4"
957         symmetrical="YES">
958                 <link_ctn id="4_2"/>
959                 <link_ctn id="bb_4"/>
960 </ASroute>
961 </AS>
962 \endverbatim
963
964 In the AS_4, you have an exitAS_4 defined, containing only one router, and routes defined to that AS from all other AS (as cluster is only a shortcut for an AS, see cluster description for details). If there was an upper AS, it would define routes to and from AS_4 with the gateway router_4. It's just because, as we did not allowed (for performances issues) to have routes from an AS to a single host/router, you have to enclose your gateway, when you have AS included in your AS, within an AS to define routes to it.
965
966
967 \subsection pf_P2P_tags P2P or how to use coordinates
968 SimGrid allows you to use some coordinated-based system, like vivaldi, to describe a platform. The main concept is that you have some peers that are located somewhere: this is the function of the  <b>coordinates</b> of the \<peer\> or \<host\> tag. There's nothing complicated in using it, here is an example of it:
969
970 \verbatim
971 <?xml version='1.0'?>
972 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
973 <platform version="3">
974
975 <config id="General">
976         <prop id="network/coordinates" value="yes"></prop>
977 </config>
978  <AS  id="AS0"  routing="Vivaldi">
979         <host id="100030591" coordinates="25.5 9.4 1.4" power="1500000000.0" />
980         <host id="100036570" coordinates="-12.7 -9.9 2.1" power="730000000.0" />
981         ...
982         <host id="100429957" coordinates="17.5 6.7 18.8" power="830000000.0" />
983         </AS>
984 </platform>
985 \endverbatim
986
987 Coordinates are then used to calculate latency between two hosts by calculating the euclidian distance between the two hosts coordinates. The results express the latency in ms.
988
989 \subsection pf_wisely Choosing wisely the routing model to use
990
991
992 Choosing wisely the routing model to use can significantly fasten your simulation/save your time when writing the platform/save tremendeous disk space. Here is the list of available model and their characteristics (lookup : time to resolve a route):
993
994 \li <b>Full</b>: Full routing data (fast, large memory requirements, fully expressive)
995 \li <b>Floyd</b>: Floyd routing data (slow initialization, fast lookup, lesser memory requirements, shortest path routing only). Calculates all routes at once at the beginning.
996 \li <b>Dijkstra</b>: Dijkstra routing data (fast initialization, slow lookup, small memory requirements, shortest path routing only). Calculates a route when necessary.
997 \li <b>DijkstraCache</b>: Dijkstra routing data (fast initialization, fast lookup, small memory requirements, shortest path routing only). Same as Dijkstra, except it handles a cache for latest used routes.
998 \li <b>none</b>: No routing (usable with Constant network only). Defines that there is no routes, so if you try to determine a route without constant network within this AS, SimGrid will raie an exception.
999 \li <b>RuleBased</b>: Rule-Based routing data (fast initialisation, relatively slow lookup, moderate memory requirements, fully expressive): uses regexp to define routes;
1000 \li <b>Vivaldi</b>: Vivaldi routing, so when you want to use coordinates
1001 \li <b>Cluster</b>: Cluster routing, specific to cluster tag, should not be used.
1002
1003
1004
1005 \subsection pf_switch Hey, I want to describe a switch but there is no switch tag !
1006
1007 Actually we did not include swith tag, ok. But when you're trying to simulate a switch, the only major impact it has when you're using fluid model (and SimGrid uses fluid model unless you activate GTNetS, ns-3, or constant network mode) is the impact of the upper limit of the switch motherboard speed that will eventually be reached if you're using intensively your switch. So, the switch impact is similar to a link one. That's why we are used to describe a switch using a link tag (as a link is not an edge by a hyperedge, you can connect more than 2 other links to it).
1008 \subsection pf_platform_multipath How to express multipath routing in platform files?
1009
1010 It is unfortunately impossible to express the fact that there is more
1011 than one routing path between two given hosts. Let's consider the
1012 following platform file:
1013
1014 \verbatim
1015 <route src="A" dst="B">
1016    <link_ctn id="1"/>
1017 </route>
1018 <route src="B" dst="C">
1019   <link_ctn id="2"/>
1020 </route>
1021 <route src="A" dst="C">
1022   <link_ctn id="3"/>
1023 </route>
1024 \endverbatim
1025
1026 Although it is perfectly valid, it does not mean that data traveling
1027 from A to C can either go directly (using link 3) or through B (using
1028 links 1 and 2). It simply means that the routing on the graph is not
1029 trivial, and that data do not following the shortest path in number of
1030 hops on this graph. Another way to say it is that there is no implicit
1031 in these routing descriptions. The system will only use the routes you
1032 declare (such as &lt;route src="A" dst="C"&gt;&lt;link_ctn
1033 id="3"/&gt;&lt;/route&gt;), without trying to build new routes by aggregating
1034 the provided ones.
1035
1036 You are also free to declare platform where the routing is not
1037 symmetric. For example, add the following to the previous file:
1038
1039 \verbatim
1040 <route src="C" dst="A">
1041   <link_ctn id="2"/>
1042   <link_ctn id="1"/>
1043 </route>
1044 \endverbatim
1045
1046 This makes sure that data from C to A go through B where data from A
1047 to C go directly. Don't worry about realism of such settings since
1048 we've seen ways more weird situation in real settings (in fact, that's
1049 the realism of very regular platforms which is questionable, but
1050 that's another story).
1051
1052 \section pf_flexml_bypassing Bypassing the XML parser with your own C functions
1053 <b>NOTE THAT THIS DOCUMENTATION, WHILE STILL WORKING, IS STRONGLY DEPRECATED</b>
1054
1055 So you want to bypass the XML files parser, uh? Maybe doing some parameter
1056 sweep experiments on your simulations or so? This is possible, and
1057 it's not even really difficult (well. Such a brutal idea could be
1058 harder to implement). Here is how it goes.
1059
1060 For this, you have to first remember that the XML parsing in SimGrid is done
1061 using a tool called FleXML. Given a DTD, this gives a flex-based parser. If
1062 you want to bypass the parser, you need to provide some code mimicking what
1063 it does and replacing it in its interactions with the SURF code. So, let's
1064 have a look at these interactions.
1065
1066 FleXML parser are close to classical SAX parsers. It means that a
1067 well-formed SimGrid platform XML file might result in the following
1068 "events":
1069
1070   - start "platform_description" with attribute version="2"
1071   - start "host" with attributes id="host1" power="1.0"
1072   - end "host"
1073   - start "host" with attributes id="host2" power="2.0"
1074   - end "host"
1075   - start "link" with ...
1076   - end "link"
1077   - start "route" with ...
1078   - start "link_ctn" with ...
1079   - end "link_ctn"
1080   - end "route"
1081   - end "platform_description"
1082
1083 The communication from the parser to the SURF code uses two means:
1084 Attributes get copied into some global variables, and a surf-provided
1085 function gets called by the parser for each event. For example, the event
1086   - start "host" with attributes id="host1" power="1.0"
1087
1088 let the parser do something roughly equivalent to:
1089 \verbatim
1090   strcpy(A_host_id,"host1");
1091   A_host_power = 1.0;
1092   STag_host();
1093 \endverbatim
1094
1095 In SURF, we attach callbacks to the different events by initializing the
1096 pointer functions to some the right surf functions. Since there can be
1097 more than one callback attached to the same event (if more than one
1098 model is in use, for example), they are stored in a dynar. Example in
1099 workstation_ptask_L07.c:
1100 \verbatim
1101   /* Adding callback functions */
1102   surf_parse_reset_parser();
1103   surfxml_add_callback(STag_surfxml_host_cb_list, &parse_cpu_init);
1104   surfxml_add_callback(STag_surfxml_prop_cb_list, &parse_properties);
1105   surfxml_add_callback(STag_surfxml_link_cb_list, &parse_link_init);
1106   surfxml_add_callback(STag_surfxml_route_cb_list, &parse_route_set_endpoints);
1107   surfxml_add_callback(ETag_surfxml_link_c_ctn_cb_list, &parse_route_elem);
1108   surfxml_add_callback(ETag_surfxml_route_cb_list, &parse_route_set_route);
1109
1110   /* Parse the file */
1111   surf_parse_open(file);
1112   xbt_assert(!surf_parse(), "Parse error in %s", file);
1113   surf_parse_close();
1114 \endverbatim
1115
1116 So, to bypass the FleXML parser, you need to write your own version of the
1117 surf_parse function, which should do the following:
1118    - Fill the A_<tag>_<attribute> variables with the wanted values
1119    - Call the corresponding STag_<tag>_fun function to simulate tag start
1120    - Call the corresponding ETag_<tag>_fun function to simulate tag end
1121    - (do the same for the next set of values, and loop)
1122
1123 Then, tell SimGrid that you want to use your own "parser" instead of the stock one:
1124 \verbatim
1125   surf_parse = surf_parse_bypass_environment;
1126   MSG_create_environment(NULL);
1127   surf_parse = surf_parse_bypass_application;
1128   MSG_launch_application(NULL);
1129 \endverbatim
1130
1131 A set of macros are provided at the end of
1132 include/surf/surfxml_parse.h to ease the writing of the bypass
1133 functions. An example of this trick is distributed in the file
1134 examples/msg/masterslave/masterslave_bypass.c
1135
1136
1137 */