Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
8375307a525167c4010fbd09b487f6aa5642e945
[simgrid.git] / doc / publis.doc
1 /*! \page publis Publications
2
3 \section pub_reference Reference publication about SimGrid
4
5 When citing SimGrid, the prefered reference paper is <i>Scheduling
6 Distributed Applications: the SimGrid Simulation Framework</i>, even if it's
7 a bit old now. We are actively working on improving this.
8
9 \li <b>Scheduling Distributed Applications: the
10        SimGrid Simulation Framework</b>\n
11     by <em>Henri Casanova and Arnaud Legrand and Loris Marchal</em>\n
12     Proceedings of the third IEEE International Symposium
13     on Cluster Computing and the Grid (CCGrid'03)\n
14     Since the advent of distributed computer systems an active field
15     of research has been the investigation of scheduling strategies
16     for parallel applications.  The common approach is to employ
17     scheduling heuristics that approximate an optimal
18     schedule. Unfortunately, it is often impossible to obtain
19     analytical results to compare the efficacy of these heuristics.
20     One possibility is to conducts large numbers of back-to-back
21     experiments on real platforms.  While this is possible on
22     tightly-coupled platforms, it is infeasible on modern distributed
23     platforms (i.e. Grids) as it is labor-intensive and does not
24     enable repeatable results. The solution is to resort to
25     simulations. Simulations not only enables repeatable results but
26     also make it possible to explore wide ranges of platform and
27     application scenarios.\n
28     In this paper we present the SimGrid framework which enables the
29     simulation of distributed applications in distributed computing
30     environments for the specific purpose of developing and evaluating
31     scheduling algorithms.  This paper focuses on SimGrid v2, which
32     greatly improves on the first version of the software with more
33     realistic network models and topologies.  SimGrid v2 also enables
34     the simulation of distributed scheduling agents, which has become
35     critical for current scheduling research in large-scale platforms.
36     After describing and validating these features, we present a case
37     study by which we demonstrate the usefulness of SimGrid for
38     conducting scheduling research.
39
40 \section pub_simulation Other publications about the SimGrid framework
41
42 \li <b>The SimGrid Project - Simulation and Deployment of Distributed Applications</b>\n
43     by <em>A. Legrand, M. Quinson, K. Fujiwara, H. Casanova</em>\n
44     <b>POSTER</b> in Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n    
45     http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf
46
47 \li <b>A Network Model for Simulation of Grid Application</b>\n
48     by <em>Henri Casanova and Loris Marchal</em>\n
49     \anchor paper_tcp
50     In this work we investigate network models that can be
51     potentially employed in the simulation of scheduling algorithms for
52     distributed computing applications. We seek to develop a model of TCP
53     communication which is both high-level and realistic. Previous research
54     works show that accurate and global modeling of wide-area networks, such
55     as the Internet, faces a number of challenging issues. However, some
56     global models of fairness and bandwidth-sharing exist, and can be link
57     withthe behavior of TCP. Using both previous results and simulation (with
58     NS), we attempt to understand the macroscopic behavior of
59     TCP communications. We then propose a global model of the network for the
60     Grid platform. We perform partial validation of this model in
61     simulation. The model leads to an algorithm for computing
62     bandwidth-sharing. This algorithm can then be implemented as part of Grid
63     application simulations. We provide such an implementation for the
64     SimGrid simulation toolkit.\n
65     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-40.ps.gz
66
67
68 \li <b>MetaSimGrid : Towards realistic scheduling simulation of
69         distributed applications</b>\n
70     by <em>Arnaud Legrand and Julien Lerouge</em>\n
71     Most scheduling problems are already hard on homogeneous
72     platforms, they become quite intractable in an heterogeneous
73     framework such as a metacomputing grid. In the best cases, a
74     guaranteed heuristic can be found, but most of the time, it is
75     not possible. Real experiments or simulations are often
76     involved to test or to compare heuristics. However, on a
77     distributed heterogeneous platform, such experiments are
78     technically difficult to drive, because of the genuine
79     instability of the platform. It is almost impossible to
80     guarantee that a platform which is not dedicated to the
81     experiment, will remain exactly the same between two tests,
82     thereby forbidding any meaningful comparison. Simulations are
83     then used to replace real experiments, so as to ensure the
84     reproducibility of measured data. A key issue is the
85     possibility to run the simulations against a realistic
86     environment. The main idea of trace-based simulation is to
87     record the platform parameters today, and to simulate the
88     algorithms tomorrow, against the recorded data: even though it
89     is not the current load of the platform, it is realistic,
90     because it represents a fair summary of what happened
91     previously. A good example of a trace-based simulation tool is
92     SimGrid, a toolkit providing a set of core abstractions and
93     functionalities that can be used to easily build simulators for
94     specific application domains and/or computing environment
95     topologies. Nevertheless, SimGrid lacks a number of convenient
96     features to craft simulations of a distributed application
97     where scheduling decisions are not taken by a single
98     process. Furthermore, modeling a complex platform by hand is
99     fastidious for a few hosts and is almost impossible for a real
100     grid. This report is a survey on simulation for scheduling
101     evaluation purposes and present MetaSimGrid, a simulator built
102     on top of SimGrid.\n
103     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-28.ps.gz
104
105 \li <b>SimGrid: A Toolkit for the Simulation of Application
106         Scheduling</b>\n
107     by <em>Henri Casanova</em>\n
108     Advances in hardware and software technologies have made it
109     possible to deploy parallel applications over increasingly large
110     sets of distributed resources. Consequently, the study of
111     scheduling algorithms for such applications has been an active area
112     of research. Given the nature of most scheduling problems one must
113     resort to simulation to effectively evaluate and compare their
114     efficacy over a wide range of scenarios. It has thus become
115     necessary to simulate those algorithms for increasingly complex
116     distributed, dynamic, heterogeneous environments. In this paper we
117     present SimGrid, a simulation toolkit for the study of scheduling
118     algorithms for distributed application. This paper gives the main
119     concepts and models behind SimGrid, describes its API and
120     highlights current implementation issues. We also give some
121     experimental results and describe work that builds on SimGrid's
122     functionalities.\n
123     http://grail.sdsc.edu/papers/simgrid_ccgrid01.ps.gz
124
125 \section pub_ext Papers that use SimGrid-generated results (not counting our owns)
126
127 This list is a selection of articles. We list only papers written by people
128 external to the development group, but we also use our tool ourselves (see
129 next section).
130
131 - 2006
132   - <b>Hierarchical Scheduling of Independent Tasks with Shared Files</b>\n 
133     by <em>H. Senger, F. Silva, W. Nascimento</em>.\n
134     Proceedings of the Sixth IEEE International Symposium on Cluster Computing and the Grid Workshop (CCGRIDW'06), 2006.\n
135     http://www.unisantos.br/mestrado/informatica/hermes/File/senger-HierarchicalScheduling-Workshop-TB120.pdf
136   - <b>Critical Path and Area Based Scheduling of Parallel Task Graphs on Heterogeneous Platforms</b>\n
137     by <em>Tchimou N'Takp&eacute; and Fr&eacute;d&eacute;ric Suter</em>\n
138     Proceedings of the Twelfth International Conference on Parallel and Distributed Systems (ICPADS), 2006.
139   - <b>Evaluation of Knapsack-based Scheduling using the NPACI JOBLOG</b>\n
140     by <em>D. Vanderster, N. Dimopoulos, R. Parra-Hernandez and R. Sobie</em>.\n
141     20th International Symposium on High-Performance Computing in an
142       Advanced Collaborative Environment (HPCS'06)\n
143     http://doi.ieeecomputersociety.org/10.1109/HPCS.2006.23
144   - <b>Metascheduling Multiple Resource Types using the MMKP</b>\n
145     by <em>D. Vanderster, N. Dimopoulos, R. Sobie</em>\n
146     To Appear: 7th IEEE/ACM International Conference on Grid Computing,
147       Barcelona, September 28th-29th 2006
148 - 2005
149   - <b>On Dynamic Resource Management Mechanism using Control
150     Theoretic Approach for Wide-Area Grid Computing</b>\n
151     by <em>Hiroyuki Ohsaki, Soushi Watanabe, and Makoto Imase</em>\n
152     in Proceedings of IEEE Conference on Control Applications (CCA 2005), Aug. 2005.\n
153     http://www.ispl.jp/~oosaki/papers/Ohsaki05_CCA.pdf
154   - <b>Evaluation of Meta-scheduler Architectures and Task Assignment Policies for
155     high Throughput Computing</b>\n
156     by <em>Eddy Caron, Vincent Garonne and Andrei Tsaregorodtsev</em>\n    
157     Proceedings of 4th Internationnal Symposium on Parallel and
158     Distributed Computing Job Scheduling Strategies for Parallel
159     Processing (ISPDC'05), July 2005.\n
160     http://www.ens-lyon.fr/LIP/Pub/Rapports/RR/RR2005/RR2005-27.pdf
161 - 2004
162   - <b>Deadline Scheduling with Priority for Client-Server Systems on the Grid</b>\n
163     by <em>E Caron, PK Chouhan, F Desprez</em>\n
164     in IEEE International Conference On Grid Computing. Super Computing 2004, oct 2004.
165   - <b>Efficient Scheduling Heuristics for GridRPC Systems</b>\n
166     by <em>Y. Caniou and E. Jeannot.</em>\n
167     in IEEE QoS and Dynamic System workshop (QDS) of International Conference 
168     on Parallel and Distributed Systems (ICPADS), New-Port Beach California, USA, 
169     pages 621-630, July 2004\n
170     http://graal.ens-lyon.fr/~ycaniou/QDS04.ps
171   - <b>Exploiting Replication and Data Reuse to Efficiently Schedule
172        Data-intensive Applications on Grids</b>\n
173     by <em> E. Santos-Neto, W. Cirne, F. Brasileiro, A. Lima.</em>\n
174     Proceedings of 10th Job Scheduling Strategies for Parallel Processing, June 2004.\n
175     http://www.lsd.ufcg.edu.br/~elizeu/articles/jsspp.v6.pdf
176   - <b>Resource Management and Knapsack Formulations on the Grid</b>\n
177     by <em>R. Parra-Hernandez, D. Vanderster and N. J. Dimopoulos</em>\n
178     Fifth IEEE/ACM International Workshop on Grid Computing (GRID'04)\n
179     http://doi.ieeecomputersociety.org/10.1109/GRID.2004.54
180   - <b>Scheduling BoT Applications in Grids using a Slave Oriented Adaptive
181     Algorithm.</b>\n
182     by <em>T. Ferreto, C. A. F. De Rose and C. Northfleet.</em>\n
183     Second International Symposium on Parallel and Distributed Processing
184     and Applications (ISPA), 2004, Hong Kong. Published in Lecture Notes in
185     Computer Science (LNCS), Volume 3358, by Springer-Verlag. p. 392-398.
186 - 2003
187   - <b>Link-Contention-Aware Genetic Scheduling Using Task Duplication in Grid Environments</b>\n
188     by <em>Wensheng Yao, Xiao Xie and Jinyuan You</em>\n
189     in Grid and Cooperative Computing: Second International Workshop, GCC 2003, Shanghai, China, December 7-10, 2003 (LNCS)\n
190     http://www.chinagrid.edu.cn/chinagrid/download/GCC2003/pdf/266.pdf
191   - <b>New Dynamic Heuristics in the Client-Agent-Server Model</b>\n
192     by <em>Y. Caniou and E. Jeannot</em>\n
193     in IEEE 13th Heteregeneous Computing Workshop - HCW'03, Nice, France, April 2003.\n
194     http://graal.ens-lyon.fr/~ycaniou/HCW03.ps
195   - <b>A Hierarchical Resource Reservation Algorithm for Network Enabled Servers</b>\n
196     by <em>E. Caron, F. Desprez, F. Petit, V. Villain</em>\n
197     in the 17th International Parallel and Distributed Processing Symposium -- IPDPS'03, Nice - France, April 2003. 
198
199 \section pub_self Our own papers that use SimGrid-generated results 
200
201 This list is a selection of the articles we have written that used results
202 generated by SimGrid. 
203
204 - 2006
205   - <b>On the Harmfulness of Redundant Batch Requests</b>\n
206     by <em>H. Casanova</em>\n
207     Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
208     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hpdc_2006.pdf
209   - <b>An evaluation of Job Scheduling Strategies for Divisible Loads on Grid Platforms</b>\n
210     by <em>Y. Cardinale, H. Casanova</em>\n
211     in Proceedings of the High Performance Computing & Simulation Conference (HPC&S'06), Bonn, Germany, May 2006.\n
212     http://navet.ics.hawaii.edu/~casanova/homepage/papers/cardinale_2006.pdf
213   - <b>Interference-Aware Scheduling</b>\n 
214     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante, S. Nandy</em>\n
215     International Journal of High Performance Computing Applications (IJHPCA), to appear.\n
216     http://navet.ics.hawaii.edu/~casanova/homepage/papers/kreaseck_ijhpca_2005.pdf
217 - 2004
218   - <b>From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling</b>\n
219     by <em>F. Suter, V. Boudet, F. Desprez, H. Casanova<em>\n
220     Proceedings of Europar, 230--237, (LCNS volume 3149), Pisa, Italy, August 2004.
221   - <b>On the Interference of Communication on Computation</b>\n 
222     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante</em>\n 
223     Proceedings of the workshop on Performance Modeling, Evaluation, and Optimization of Parallel and Distributed Systems, Santa Fe, April 2004.\n
224     http://navet.ics.hawaii.edu/~casanova/homepage/papers/k_pmeo2004.pdf
225 - 2003
226   - <b>RUMR: Robust Scheduling for Divisible Workloads</b>\n 
227     by <em>Y. Yang, H. Casanova</em>\n
228     Proceedings of the 12th IEEE Symposium on High Performance and Distributed Computing (HPDC-12), Seattle, June 2003.\n
229     http://navet.ics.hawaii.edu/~casanova/homepage/papers/yang_hpdc2003.pdf
230   - <b>Resource Allocation Strategies for Guided Parameter Space Searches</b>\n
231     by <em>M. Faerman, A. Birnbaum, F. Berman, H. Casanova</em>\n
232     International Journal of High Performance Computing Applications (IJHPCA), 17(4), 383--402, 2003.\n
233     http://grail.sdsc.edu/papers/faerman_ijhpca04.pdf
234 - 2002
235   - <b>Resource Allocation for Steerable Parallel Parameter Searches</b>\n
236     by <em>M. Faerman, A. Birnbaum, H. Casanova, F. Berman</em>\n
237     Proceedings of the Grid Computing Workshop, Baltimore, 157--169, November 2002.\n
238     http://grail.sdsc.edu/projects/vi_itr/grid02.pdf
239 - 2001
240   - <b>Applying Scheduling and Tuning to On-line Parallel Tomography </b>\n
241      by <em>Shava Smallen, Henri Casanova, Francine Berman</em>\n
242      in Proceedings of Supercomputing 2001\n
243      http://grail.sdsc.edu/papers/tomo_journal.ps.gz
244 - 2000
245   - <b>Heuristics for Scheduling Parameter Sweep applications in Grid environments</b>\n
246     by <em>Henri Casanova, Arnaud Legrand, Dmitrii Zagorodnov and Francine Berman</em>\n
247     in Proceedings of the 9th Heterogeneous Computing workshop (HCW'2000), pp349-363.\n
248     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hcw00_pst.pdf
249
250
251 */
252
253 \li <b>Optimal algorithms for scheduling divisible workloads on 
254        heterogeneous systems</b>\n
255     by <em>Olivier Beaumont and Arnaud Legrand and Yves Robert</em>\n
256     in Proceedings of the 17th International Parallel and Distributed Processing Symposium (IPDPS'03).\n
257     Preliminary version on ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-36.ps.gz
258
259
260 \li <b>On-line Parallel Tomography</b>\n
261     by <em>Shava Smallen</em>\n
262     Masters Thesis, UCSD, May 2001