Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
added SMPI_DEP to configure.ac and src/Makefile.am
[simgrid.git] / doc / publis.doc
1 /*! \page publis Reference publications about SimGrid
2
3
4 When citing SimGrid, the prefered reference paper is <i>Scheduling
5 Distributed Applications: the SimGrid Simulation Framework</i>, even if it's
6 a bit old now. We are actively working on improving this.
7
8 \li <b>Scheduling Distributed Applications: the
9        SimGrid Simulation Framework</b>\n
10     by <em>Henri Casanova and Arnaud Legrand and Loris Marchal</em>\n
11     Proceedings of the third IEEE International Symposium
12     on Cluster Computing and the Grid (CCGrid'03)\n
13     Since the advent of distributed computer systems an active field
14     of research has been the investigation of scheduling strategies
15     for parallel applications.  The common approach is to employ
16     scheduling heuristics that approximate an optimal
17     schedule. Unfortunately, it is often impossible to obtain
18     analytical results to compare the efficacy of these heuristics.
19     One possibility is to conducts large numbers of back-to-back
20     experiments on real platforms.  While this is possible on
21     tightly-coupled platforms, it is infeasible on modern distributed
22     platforms (i.e. Grids) as it is labor-intensive and does not
23     enable repeatable results. The solution is to resort to
24     simulations. Simulations not only enables repeatable results but
25     also make it possible to explore wide ranges of platform and
26     application scenarios.\n
27     In this paper we present the SimGrid framework which enables the
28     simulation of distributed applications in distributed computing
29     environments for the specific purpose of developing and evaluating
30     scheduling algorithms.  This paper focuses on SimGrid v2, which
31     greatly improves on the first version of the software with more
32     realistic network models and topologies.  SimGrid v2 also enables
33     the simulation of distributed scheduling agents, which has become
34     critical for current scheduling research in large-scale platforms.
35     After describing and validating these features, we present a case
36     study by which we demonstrate the usefulness of SimGrid for
37     conducting scheduling research.\n
38     http://www-id.imag.fr/Laboratoire/Membres/Legrand_Arnaud/articles/simgrid2_CCgrid03.pdf
39
40 Previous publication do not cover the GRAS part of the framework. So, if you
41 want to cite GRAS, please use this publication instead:
42
43 \li <b>Gras: A Research &amp; Development Framework for Grid and P2P
44       Infrastructures</b>\n
45     by <em>Martin Quinson</em>\n
46     <b>Best paper</b> of the 18th IASTED International Conference on
47       Parallel and Distributed Computing and Systems (PDCS 2006)\n
48     http://www.loria.fr/~quinson/articles/gras-iasted06.pdf 
49
50 \section publis_others Other publications
51
52 A lot of other papers where published about SimGrid. The list is
53 splited in 3 pages (also accessible from the navbar on top of this page):
54  - \ref publis_core\n
55    This section contains papers describing some sub-parts of SimGrid,
56    or references superseeded by the one given above.
57  - \ref publis_extern\n
58    SimGrid is used by an ever growing scientific community. This
59    section lists all the papers resulting of works in which the core
60    SimGrid team were not involved.
61  - \ref publis_intra\n
62    This section lists the paper co-signed by at least one of the core
63    team member, and using SimGrid as a tool (and not studying SimGrid
64    itself).
65
66 \section publis_count Amount of published papers using SimGrid results
67
68 <table>
69
70 <tr><td>Year</td><td>2000</td><td>2001</td><td>2002</td><td>2003</td><td>2004</td><td>2005</td><td>2006</td><td>2007</td></tr>
71   <tr><td>Amount of papers external to the core team</td>
72                  <td>-</td>   <td>-</td>   <td>-</td>   <td>3</td>   <td>6</td>   <td>3</td>   <td>8</td>   <td>3</td></tr>
73   <tr><td>Amount of papers co-signed by one team member</td>
74                  <td>1</td>   <td>1</td>   <td>1</td>   <td>2</td>   <td>2</td>   <td>-</td>   <td>4</td>   <td>4</td></tr>
75 </table>
76
77 \page publis_core Other publications about the SimGrid framework
78
79 \li <b>Speed and Accuracy of Network Simulation in the SimGrid Framework</b>\n
80     by <em>K. Fujiwara, H. Casanova</em>\n
81     in Proceedings of the First International Workshop on Network Simulation Tools (NSTools), Nantes, France, October 2007.\n 
82     http://navet.ics.hawaii.edu/~casanova/homepage/papers/fujiwara_nstool2007.pdf
83         
84 \li <b>Cost and Accuracy of Packet-Level vs. Analytical Network Simulations: An Empirical Study</b>\n
85     by <em>K. Fujiwara</em>\n
86     <b>M.S. Thesis</b>, Dept. of Information and Computer Sciences, University of Hawai`i at Manoa, April 2007.\n
87     http://navet.ics.hawaii.edu/~casanova/homepage/theses/kayo_fujiwara_MS.pdf
88
89 \li <b>The SimGrid Project - Simulation and Deployment of Distributed Applications</b>\n
90     by <em>A. Legrand, M. Quinson, K. Fujiwara, H. Casanova</em>\n
91     <b>POSTER</b> in Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n    
92     \htmlonly
93      <a href="http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf"><img src="poster_thumbnail.png" /></a>
94     \endhtmlonly
95     http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf
96
97 \li <b>A Network Model for Simulation of Grid Application</b>\n
98     by <em>Henri Casanova and Loris Marchal</em>\n
99     \anchor paper_tcp
100     In this work we investigate network models that can be
101     potentially employed in the simulation of scheduling algorithms for
102     distributed computing applications. We seek to develop a model of TCP
103     communication which is both high-level and realistic. Previous research
104     works show that accurate and global modeling of wide-area networks, such
105     as the Internet, faces a number of challenging issues. However, some
106     global models of fairness and bandwidth-sharing exist, and can be link
107     withthe behavior of TCP. Using both previous results and simulation (with
108     NS), we attempt to understand the macroscopic behavior of
109     TCP communications. We then propose a global model of the network for the
110     Grid platform. We perform partial validation of this model in
111     simulation. The model leads to an algorithm for computing
112     bandwidth-sharing. This algorithm can then be implemented as part of Grid
113     application simulations. We provide such an implementation for the
114     SimGrid simulation toolkit.\n
115     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-40.ps.gz
116
117
118 \li <b>MetaSimGrid : Towards realistic scheduling simulation of
119         distributed applications</b>\n
120     by <em>Arnaud Legrand and Julien Lerouge</em>\n
121     Most scheduling problems are already hard on homogeneous
122     platforms, they become quite intractable in an heterogeneous
123     framework such as a metacomputing grid. In the best cases, a
124     guaranteed heuristic can be found, but most of the time, it is
125     not possible. Real experiments or simulations are often
126     involved to test or to compare heuristics. However, on a
127     distributed heterogeneous platform, such experiments are
128     technically difficult to drive, because of the genuine
129     instability of the platform. It is almost impossible to
130     guarantee that a platform which is not dedicated to the
131     experiment, will remain exactly the same between two tests,
132     thereby forbidding any meaningful comparison. Simulations are
133     then used to replace real experiments, so as to ensure the
134     reproducibility of measured data. A key issue is the
135     possibility to run the simulations against a realistic
136     environment. The main idea of trace-based simulation is to
137     record the platform parameters today, and to simulate the
138     algorithms tomorrow, against the recorded data: even though it
139     is not the current load of the platform, it is realistic,
140     because it represents a fair summary of what happened
141     previously. A good example of a trace-based simulation tool is
142     SimGrid, a toolkit providing a set of core abstractions and
143     functionalities that can be used to easily build simulators for
144     specific application domains and/or computing environment
145     topologies. Nevertheless, SimGrid lacks a number of convenient
146     features to craft simulations of a distributed application
147     where scheduling decisions are not taken by a single
148     process. Furthermore, modeling a complex platform by hand is
149     fastidious for a few hosts and is almost impossible for a real
150     grid. This report is a survey on simulation for scheduling
151     evaluation purposes and present MetaSimGrid, a simulator built
152     on top of SimGrid.\n
153     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-28.ps.gz
154
155 \li <b>SimGrid: A Toolkit for the Simulation of Application
156         Scheduling</b>\n
157     by <em>Henri Casanova</em>\n
158     Advances in hardware and software technologies have made it
159     possible to deploy parallel applications over increasingly large
160     sets of distributed resources. Consequently, the study of
161     scheduling algorithms for such applications has been an active area
162     of research. Given the nature of most scheduling problems one must
163     resort to simulation to effectively evaluate and compare their
164     efficacy over a wide range of scenarios. It has thus become
165     necessary to simulate those algorithms for increasingly complex
166     distributed, dynamic, heterogeneous environments. In this paper we
167     present SimGrid, a simulation toolkit for the study of scheduling
168     algorithms for distributed application. This paper gives the main
169     concepts and models behind SimGrid, describes its API and
170     highlights current implementation issues. We also give some
171     experimental results and describe work that builds on SimGrid's
172     functionalities.\n
173     http://grail.sdsc.edu/papers/simgrid_ccgrid01.ps.gz
174
175 \page publis_extern Papers that use SimGrid-generated results (not counting our owns)
176
177 This list is a selection of articles. We list only papers written by people
178 external to the development group, but we also use our tool ourselves (see
179 next section).
180
181 - 2007
182   - <b>Scheduling &Delta;-Critical Tasks in Mixed-Parallel Applications on a National Grid</b>\n
183     by <em>Frédéric Suter</em>.\n
184     In 8th IEEE/ACM International Conference on Grid Computing (Grid 2007), Austin, TX, September 2007.
185   - <b>Brokering strategies in computational grids using stochastic
186     prediction models.</b>\n by <em>Vandy Berten and Bruno
187     Gaujal</em>. In Parallel Computing, vol. 33(4-5): 238-249, 2007.\n
188     http://dev.ulb.ac.be/sched/articles/PARCO.pdf
189   - <b>Managing Scheduling and Replication in the LHC Grid .</b>\n by
190     <em>Thomas Ferrandiz and Vania Marangozova</em>. In CoreGrid
191     Workshop on middleware, 2007.\n
192
193 - 2006
194   - <b>Simbatch: an API for simulating and predicting the performance of parallel resources and batch systems.</b>\n
195     by <em>Jean-Sébastien Gay and Yves Caniou</em>\n
196     INRIA Research Report 6040, November 2006.\n
197     https://hal.inria.fr/inria-00115880    
198   - <b>Simbatch : une API pour la simulation et la prédiction de performances de systèmes batch</b>\n
199     by <em>Jean-Sébastien Gay and Yves Caniou</em>.\n
200     In 17ème Rencontres Francophones du Parallélisme, des Architectures et des Systèmes, RenPar'17.\n
201     October 4-6, Perpignan, France    
202   - <b>Metascheduling Multiple Resource Types using the MMKP</b>\n
203     by <em>D. Vanderster, N. Dimopoulos, R. Sobie</em>\n
204     7th IEEE/ACM International Conference on Grid Computing\n
205     Barcelona, September 28th-29th 2006    
206   - <b>Master-Slave Tasking on Asymmetric Networks</b>\n
207     by <em>Cyril Banino-Rokkones, Olivier Beaumont and Lasse Natvig</em>.\n
208     In Proceedings of 12th International Euro-Par Conference, Euro-Par 2006.\n
209     August 29 - September 1, Pages 167--176, Dresden, Germany.
210   - <b>Critical Path and Area Based Scheduling of Parallel Task Graphs on Heterogeneous Platforms</b>\n
211     by <em>Tchimou N'Takpé and Frédéric Suter</em>\n
212     Proceedings of the Twelfth International Conference on Parallel and Distributed Systems (ICPADS)\n
213     Minneapolis, MN, July 12-15, 2006.    
214   - <b>Sensitivity Analysis of Knapsack-based Task Scheduling on the Grid</b>\n
215     by <em>D.C. Vanderster and N.J. Dimopoulos</em>.\n
216     In Proceedings of The 20th ACM International Conference on Supercomputing\n
217     Cairns, Australia, June 28-July 1, 2006.\n
218     http://portal.acm.org/citation.cfm?id=1183401.1183446&coll=GUIDE&dl=%23url.coll
219   - <b>Hierarchical Scheduling of Independent Tasks with Shared Files</b>\n 
220     by <em>H. Senger, F. Silva, W. Nascimento</em>.\n
221     Proceedings of the Sixth IEEE International Symposium on Cluster
222     Computing and the Grid Workshop (CCGRIDW'06)\n
223     Singapore, 16-19 May 2006.\n
224     http://www.unisantos.br/mestrado/informatica/hermes/File/senger-HierarchicalScheduling-Workshop-TB120.pdf    
225   - <b>Evaluation of Knapsack-based Scheduling using the NPACI JOBLOG</b>\n
226     by <em>D. Vanderster, N. Dimopoulos, R. Parra-Hernandez and R. Sobie</em>.\n
227     20th International Symposium on High-Performance Computing in an
228       Advanced Collaborative Environment (HPCS'06)\n
229     St. John's, Newfoundland, Canada, 14-17 May 2006\n
230     http://doi.ieeecomputersociety.org/10.1109/HPCS.2006.23
231     
232 - 2005
233   - <b>On Dynamic Resource Management Mechanism using Control
234     Theoretic Approach for Wide-Area Grid Computing</b>\n
235     by <em>Hiroyuki Ohsaki, Soushi Watanabe, and Makoto Imase</em>\n
236     in Proceedings of IEEE Conference on Control Applications (CCA 2005), Aug. 2005.\n
237     http://www.ispl.jp/~oosaki/papers/Ohsaki05_CCA.pdf
238   - <b>Evaluation of Meta-scheduler Architectures and Task Assignment Policies for
239     high Throughput Computing</b>\n
240     by <em>Eddy Caron, Vincent Garonne and Andrei Tsaregorodtsev</em>\n    
241     Proceedings of 4th Internationnal Symposium on Parallel and
242     Distributed Computing Job Scheduling Strategies for Parallel
243     Processing (ISPDC'05), July 2005.\n
244     http://www.ens-lyon.fr/LIP/Pub/Rapports/RR/RR2005/RR2005-27.pdf
245   - <b>Algorithmes de redistribution de données pour anneaux de processeurs hétérogènes</b>\n
246     by <em>Héléne Renard, Yves Robert and Frédéric Vivien</em>\n
247     In 16ième Rencontres Francophones du Parallélisme des Architectures et des Systèmes, Le Croisic, France, 6-8 avril 2005.\n
248     http://www.polytech.unice.fr/~hrenard/recherche/Renpar16.ps
249 - 2004
250   - <b>Deadline Scheduling with Priority for Client-Server Systems on the Grid</b>\n
251     by <em>Eddy Caron, PK Chouhan, Frédéric Desprez</em>\n
252     in IEEE International Conference On Grid Computing. Super Computing 2004, oct 2004.
253   - <b>Efficient Scheduling Heuristics for GridRPC Systems</b>\n
254     by <em>Yves Caniou and Emmanuel Jeannot.</em>\n
255     in IEEE QoS and Dynamic System workshop (QDS) of International Conference 
256     on Parallel and Distributed Systems (ICPADS), New-Port Beach California, USA, 
257     pages 621-630, July 2004\n
258     http://graal.ens-lyon.fr/~ycaniou/QDS04.ps
259   - <b>Exploiting Replication and Data Reuse to Efficiently Schedule
260        Data-intensive Applications on Grids</b>\n
261     by <em> E. Santos-Neto, W. Cirne, F. Brasileiro, A. Lima.</em>\n
262     Proceedings of 10th Job Scheduling Strategies for Parallel Processing, June 2004.\n
263     http://www.lsd.ufcg.edu.br/~elizeu/articles/jsspp.v6.pdf
264   - <b>Resource Management and Knapsack Formulations on the Grid</b>\n
265     by <em>R. Parra-Hernandez, D. Vanderster and N. J. Dimopoulos</em>\n
266     Fifth IEEE/ACM International Workshop on Grid Computing (GRID'04)\n
267     http://doi.ieeecomputersociety.org/10.1109/GRID.2004.54
268   - <b>Scheduling BoT Applications in Grids using a Slave Oriented Adaptive
269     Algorithm.</b>\n
270     by <em>T. Ferreto, C. A. F. De Rose and C. Northfleet.</em>\n
271     Second International Symposium on Parallel and Distributed Processing
272     and Applications (ISPA), 2004, Hong Kong. Published in Lecture Notes in
273     Computer Science (LNCS), Volume 3358, by Springer-Verlag. p. 392-398.
274   - <b>Data redistribution algorithms for heterogeneous processor rings</b>\n
275     by <em>Héléne Renard, Yves Robert and Frédéric Vivien</em>\n
276     In International Conference on High Performance Computing HiPC'2004\n
277     http://www.polytech.unice.fr/~hrenard/recherche/Hipc.pdf
278 - 2003
279   - <b>Link-Contention-Aware Genetic Scheduling Using Task Duplication in Grid Environments</b>\n
280     by <em>Wensheng Yao, Xiao Xie and Jinyuan You</em>\n
281     in Grid and Cooperative Computing: Second International Workshop, GCC 2003, Shanghai, China, December 7-10, 2003 (LNCS)\n
282     http://www.chinagrid.edu.cn/chinagrid/download/GCC2003/pdf/266.pdf
283   - <b>New Dynamic Heuristics in the Client-Agent-Server Model</b>\n
284     by <em>Yves Caniou and Emmanuel Jeannot</em>\n
285     in IEEE 13th Heteregeneous Computing Workshop - HCW'03, Nice, France, April 2003.\n
286     http://graal.ens-lyon.fr/~ycaniou/HCW03.ps
287   - <b>A Hierarchical Resource Reservation Algorithm for Network Enabled Servers</b>\n
288     by <em>Eddy Caron, Frédéric Desprez, Franck Petit, V. Villain</em>\n
289     in the 17th International Parallel and Distributed Processing Symposium -- IPDPS'03, Nice - France, April 2003. 
290
291 \page publis_intra Our own papers that use SimGrid-generated results 
292
293 This list is a selection of the articles we have written that used results
294 generated by SimGrid. 
295
296 - 2007
297   - <b>Assessing the Quality of Automatically Built Network Representations</b>\n
298     by <em>Lionel Eyraud-Dubois and Martin Quinson</em>\n
299     In Seventh IEEE International Symposium on Cluster Computing and
300     the Grid (CCGrid 2007), 14-17 May 2007, Rio de Janeiro, Brazil.
301   - <b>A Comparison of Scheduling Approaches for Mixed-Parallel Applications on Heterogeneous Platforms</b>\n
302     by <em>Tchimou N'takpé, Frédéric Suter, and Henri Casanova</em>\n
303     In 6th International Symposium on Parallel and Distributed Computing, Hagenberg, Austria, July 2007.
304   - <b>A First Step Towards Automatically Building Network Representations</b>\n
305     by <em>Lionel Eyraud-Dubois, Arnaud Legrand, Martin Quinson and Frédéric Vivien</em>\n
306     In 12th International Euro-Par Conference 28-31 August, Rennes, France.
307   - <b>Centralized Versus Distributed Schedulers Multiple Bag-of-Tasks Applications</b>\n
308     by <em>Olivier Beaumont, Larry Carter, Jeanne Ferrante, Arnaud Legrand, Loris Marchal, and Yves Robert</em>\n
309     In IEEE Trans. Parallel Distributed Systems, 2007.
310 - 2006
311   - <b>On the Harmfulness of Redundant Batch Requests</b>\n
312     by <em>H. Casanova</em>\n
313     Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
314     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hpdc_2006.pdf
315   - <b>An evaluation of Job Scheduling Strategies for Divisible Loads on Grid Platforms</b>\n
316     by <em>Y. Cardinale, H. Casanova</em>\n
317     in Proceedings of the High Performance Computing & Simulation Conference (HPC&S'06), Bonn, Germany, May 2006.\n
318     http://navet.ics.hawaii.edu/~casanova/homepage/papers/cardinale_2006.pdf
319   - <b>Centralized Versus Distributed Schedulers Multiple Bag-of-Tasks Applications</b>\n
320     by <em>Olivier Beaumont, Larry Carter, Jeanne Ferrante, Arnaud Legrand, Loris Marchal, and Yves Robert</em>\n
321     International Parallel and Distributed Processing Symposium IPDPS'2006, 2006
322   - <b>Interference-Aware Scheduling</b>\n 
323     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante, S. Nandy</em>\n
324     International Journal of High Performance Computing Applications (IJHPCA).\n
325     http://navet.ics.hawaii.edu/~casanova/homepage/papers/kreaseck_ijhpca_2005.pdf
326 - 2004
327   - <b>From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling</b>\n
328     by <em>F. Suter, V. Boudet, F. Desprez, H. Casanova</em>\n
329     Proceedings of Europar, 230--237, (LCNS volume 3149), Pisa, Italy, August 2004.
330   - <b>On the Interference of Communication on Computation</b>\n 
331     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante</em>\n 
332     Proceedings of the workshop on Performance Modeling, Evaluation, and Optimization of Parallel and Distributed Systems, Santa Fe, April 2004.\n
333     http://navet.ics.hawaii.edu/~casanova/homepage/papers/k_pmeo2004.pdf
334
335 - 2003
336   - <b>RUMR: Robust Scheduling for Divisible Workloads</b>\n 
337     by <em>Y. Yang, H. Casanova</em>\n
338     Proceedings of the 12th IEEE Symposium on High Performance and Distributed Computing (HPDC-12), Seattle, June 2003.\n
339     http://navet.ics.hawaii.edu/~casanova/homepage/papers/yang_hpdc2003.pdf
340   - <b>Resource Allocation Strategies for Guided Parameter Space Searches</b>\n
341     by <em>M. Faerman, A. Birnbaum, F. Berman, H. Casanova</em>\n
342     International Journal of High Performance Computing Applications (IJHPCA), 17(4), 383--402, 2003.\n
343     http://grail.sdsc.edu/papers/faerman_ijhpca04.pdf
344 - 2002
345   - <b>Resource Allocation for Steerable Parallel Parameter Searches</b>\n
346     by <em>M. Faerman, A. Birnbaum, H. Casanova, F. Berman</em>\n
347     Proceedings of the Grid Computing Workshop, Baltimore, 157--169, November 2002.\n
348     http://grail.sdsc.edu/projects/vi_itr/grid02.pdf
349 - 2001
350   - <b>Applying Scheduling and Tuning to On-line Parallel Tomography </b>\n
351      by <em>Shava Smallen, Henri Casanova, Francine Berman</em>\n
352      in Proceedings of Supercomputing 2001\n
353      http://grail.sdsc.edu/papers/tomo_journal.ps.gz
354 - 2000
355   - <b>Heuristics for Scheduling Parameter Sweep applications in Grid environments</b>\n
356     by <em>Henri Casanova, Arnaud Legrand, Dmitrii Zagorodnov and Francine Berman</em>\n
357     in Proceedings of the 9th Heterogeneous Computing workshop (HCW'2000), pp349-363.\n
358     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hcw00_pst.pdf
359
360
361 */
362
363 \li <b>Optimal algorithms for scheduling divisible workloads on 
364        heterogeneous systems</b>\n
365     by <em>Olivier Beaumont and Arnaud Legrand and Yves Robert</em>\n
366     in Proceedings of the 17th International Parallel and Distributed Processing Symposium (IPDPS'03).\n
367     Preliminary version on ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-36.ps.gz
368
369
370 \li <b>On-line Parallel Tomography</b>\n
371     by <em>Shava Smallen</em>\n
372     Masters Thesis, UCSD, May 2001