Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
ea4f88fe6a67cc8ee7463c311de3bce4f95a0f44
[simgrid.git] / doc / publis.doc
1 /*! \page publis Publications
2
3 \section pub_reference Reference publication about SimGrid
4
5 When citing SimGrid, the prefered reference paper is <i>Scheduling
6 Distributed Applications: the SimGrid Simulation Framework</i>, even if it's
7 a bit old now. We are actively working on improving this.
8
9 \li <b>Scheduling Distributed Applications: the
10        SimGrid Simulation Framework</b>\n
11     by <em>Henri Casanova and Arnaud Legrand and Loris Marchal</em>\n
12     Proceedings of the third IEEE International Symposium
13     on Cluster Computing and the Grid (CCGrid'03)\n
14     Since the advent of distributed computer systems an active field
15     of research has been the investigation of scheduling strategies
16     for parallel applications.  The common approach is to employ
17     scheduling heuristics that approximate an optimal
18     schedule. Unfortunately, it is often impossible to obtain
19     analytical results to compare the efficacy of these heuristics.
20     One possibility is to conducts large numbers of back-to-back
21     experiments on real platforms.  While this is possible on
22     tightly-coupled platforms, it is infeasible on modern distributed
23     platforms (i.e. Grids) as it is labor-intensive and does not
24     enable repeatable results. The solution is to resort to
25     simulations. Simulations not only enables repeatable results but
26     also make it possible to explore wide ranges of platform and
27     application scenarios.\n
28     In this paper we present the SimGrid framework which enables the
29     simulation of distributed applications in distributed computing
30     environments for the specific purpose of developing and evaluating
31     scheduling algorithms.  This paper focuses on SimGrid v2, which
32     greatly improves on the first version of the software with more
33     realistic network models and topologies.  SimGrid v2 also enables
34     the simulation of distributed scheduling agents, which has become
35     critical for current scheduling research in large-scale platforms.
36     After describing and validating these features, we present a case
37     study by which we demonstrate the usefulness of SimGrid for
38     conducting scheduling research.
39
40 \section pub_simulation Other publications about simulation
41
42 \li <b>A Network Model for Simulation of Grid Application</b>\n
43     by <em>Henri Casanova and Loris Marchal</em>\n
44     \anchor paper_tcp
45     In this work we investigate network models that can be
46     potentially employed in the simulation of scheduling algorithms for
47     distributed computing applications. We seek to develop a model of TCP
48     communication which is both high-level and realistic. Previous research
49     works show that accurate and global modeling of wide-area networks, such
50     as the Internet, faces a number of challenging issues. However, some
51     global models of fairness and bandwidth-sharing exist, and can be link
52     withthe behavior of TCP. Using both previous results and simulation (with
53     NS), we attempt to understand the macroscopic behavior of
54     TCP communications. We then propose a global model of the network for the
55     Grid platform. We perform partial validation of this model in
56     simulation. The model leads to an algorithm for computing
57     bandwidth-sharing. This algorithm can then be implemented as part of Grid
58     application simulations. We provide such an implementation for the
59     SimGrid simulation toolkit.\n
60     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-40.ps.gz
61
62
63 \li <b>MetaSimGrid : Towards realistic scheduling simulation of
64         distributed applications</b>\n
65     by <em>Arnaud Legrand and Julien Lerouge</em>\n
66     Most scheduling problems are already hard on homogeneous
67     platforms, they become quite intractable in an heterogeneous
68     framework such as a metacomputing grid. In the best cases, a
69     guaranteed heuristic can be found, but most of the time, it is
70     not possible. Real experiments or simulations are often
71     involved to test or to compare heuristics. However, on a
72     distributed heterogeneous platform, such experiments are
73     technically difficult to drive, because of the genuine
74     instability of the platform. It is almost impossible to
75     guarantee that a platform which is not dedicated to the
76     experiment, will remain exactly the same between two tests,
77     thereby forbidding any meaningful comparison. Simulations are
78     then used to replace real experiments, so as to ensure the
79     reproducibility of measured data. A key issue is the
80     possibility to run the simulations against a realistic
81     environment. The main idea of trace-based simulation is to
82     record the platform parameters today, and to simulate the
83     algorithms tomorrow, against the recorded data: even though it
84     is not the current load of the platform, it is realistic,
85     because it represents a fair summary of what happened
86     previously. A good example of a trace-based simulation tool is
87     SimGrid, a toolkit providing a set of core abstractions and
88     functionalities that can be used to easily build simulators for
89     specific application domains and/or computing environment
90     topologies. Nevertheless, SimGrid lacks a number of convenient
91     features to craft simulations of a distributed application
92     where scheduling decisions are not taken by a single
93     process. Furthermore, modeling a complex platform by hand is
94     fastidious for a few hosts and is almost impossible for a real
95     grid. This report is a survey on simulation for scheduling
96     evaluation purposes and present MetaSimGrid, a simulator built
97     on top of SimGrid.\n
98     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-28.ps.gz
99
100 \li <b>SimGrid: A Toolkit for the Simulation of Application
101         Scheduling</b>\n
102     by <em>Henri Casanova</em>\n
103     Advances in hardware and software technologies have made it
104     possible to deploy parallel applications over increasingly large
105     sets of distributed resources. Consequently, the study of
106     scheduling algorithms for such applications has been an active area
107     of research. Given the nature of most scheduling problems one must
108     resort to simulation to effectively evaluate and compare their
109     efficacy over a wide range of scenarios. It has thus become
110     necessary to simulate those algorithms for increasingly complex
111     distributed, dynamic, heterogeneous environments. In this paper we
112     present SimGrid, a simulation toolkit for the study of scheduling
113     algorithms for distributed application. This paper gives the main
114     concepts and models behind SimGrid, describes its API and
115     highlights current implementation issues. We also give some
116     experimental results and describe work that builds on SimGrid's
117     functionalities.\n
118     http://grail.sdsc.edu/papers/simgrid_ccgrid01.ps.gz
119
120 \section pub_ext Papers that use SimGrid-generated results 
121
122 This list is a selection of articles. We list only papers written by people
123 external to the development group, but we also use our tool ourselves (see
124 next section).
125
126 \li 2005
127
128 \li <b>On Dynamic Resource Management Mechanism using Control
129     Theoretic Approach for Wide-Area Grid Computing</b>\n
130     by <em>Hiroyuki Ohsaki, Soushi Watanabe, and Makoto Imase</em>
131     in Proceedings of IEEE Conference on Control Applications (CCA 2005), Aug. 2005.\n
132     http://www.ispl.jp/~oosaki/papers/Ohsaki05_CCA.pdf
133
134 \li <b>Evaluation of Meta-scheduler Architectures and Task Assignment Policies for
135     high Throughput Computing</b>
136     by <em>Eddy Caron, Vincent Garonne and Andrei Tsaregorodtsev</em>\n    
137     Proceedings of 4th Internationnal Symposium on Parallel and
138     Distributed Computing Job Scheduling Strategies for Parallel
139     Processing (ISPDC'05), July 2005.\n
140     http://www.ens-lyon.fr/LIP/Pub/Rapports/RR/RR2005/RR2005-27.pdf
141
142 \li 2004
143
144 \li <b>Deadline Scheduling with Priority for Client-Server Systems on the Grid</b>\n
145     by <em>E Caron, PK Chouhan, F Desprez</em> 
146     in IEEE International Conference On Grid Computing. Super Computing 2004, oct 2004.
147     
148 \li <b>Efficient Scheduling Heuristics for GridRPC Systems</b>
149     by <em>Y. Caniou and E. Jeannot.</em>\n
150     in IEEE QoS and Dynamic System workshop (QDS) of International Conference 
151     on Parallel and Distributed Systems (ICPADS), New-Port Beach California, USA, 
152     pages 621-630, July 2004\n
153     http://graal.ens-lyon.fr/~ycaniou/QDS04.ps
154
155 \li <b>Exploiting Replication and Data Reuse to Efficiently Schedule
156        Data-intensive Applications on Grids</b>\n
157     by <em> E. Santos-Neto, W. Cirne, F. Brasileiro, A. Lima.</em>\n
158     Proceedings of 10th Job Scheduling Strategies for Parallel Processing, June 2004.\n
159     http://www.lsd.ufcg.edu.br/~elizeu/articles/jsspp.v6.pdf
160
161 \li 2003
162
163 \li <b>Link-Contention-Aware Genetic Scheduling Using Task Duplication in Grid Environments</b>\n
164     by <em>Wensheng Yao, Xiao Xie and Jinyuan You</em>\n
165     in Grid and Cooperative Computing: Second International Workshop, GCC 2003, Shanghai, China, December 7-10, 2003 (LNCS)
166     http://www.chinagrid.edu.cn/chinagrid/download/GCC2003/pdf/266.pdf
167
168 \li <b>New Dynamic Heuristics in the Client-Agent-Server Model</b>\n
169     by <em>Y. Caniou and E. Jeannot</em>\n
170     in IEEE 13th Heteregeneous Computing Workshop - HCW'03, Nice, France, April 2003.\n
171     http://graal.ens-lyon.fr/~ycaniou/HCW03.ps
172
173 \li <b>A Hierarchical Resource Reservation Algorithm for Network Enabled Servers</b>\n
174     by <em>E Caron, F Desprez, F Petit, V Villain</em>\n
175     in the 17th International Parallel and Distributed Processing Symposium -- IPDPS'03, Nice - France, April 2003. 
176
177 \section pub_self Our own papers that use SimGrid-generated results 
178
179 This list is a selection of the articles we have written that used results
180 generated by SimGrid. 
181
182 \li 2006
183
184 \li <b>Interference-Aware Scheduling</b>\n 
185     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante, S. Nandy</em>\n
186     International Journal of High Performance Computing Applications (IJHPCA), to appear.\n
187     http://www2.hawaii.edu/~henric/homepage/papers/kreaseck_ijhpca_2005.pdf
188
189 \li 2004
190
191 \li <b>From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling</b>\n
192     by F. Suter, V. Boudet, F. Desprez, H. Casanova\n
193     Proceedings of Europar, 230--237, (LCNS volume 3149), Pisa, Italy, August 2004.
194     
195
196 \li <b>On the Interference of Communication on Computation</b>\n 
197     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante</em>\n 
198     Proceedings of the workshop on Performance Modeling, Evaluation, and Optimization of Parallel and Distributed Systems, Santa Fe, April 2004.\n
199     http://www2.hawaii.edu/~henric/homepage/papers/k_pmeo2004.pdf
200
201
202 \li 2003
203
204 \li <b>RUMR: Robust Scheduling for Divisible Workloads</b>\n 
205     by <em>Y. Yang, H. Casanova</em>\n
206     Proceedings of the 12th IEEE Symposium on High Performance and Distributed Computing (HPDC-12), Seattle, June 2003.\n
207     http://www2.hawaii.edu/~henric/homepage/papers/yang_hpdc2003.pdf
208     
209
210
211 \li <b>Resource Allocation Strategies for Guided Parameter Space Searches</b>\n
212     by <em>M. Faerman, A. Birnbaum, F. Berman, H. Casanova</em>\n
213     International Journal of High Performance Computing Applications (IJHPCA), 17(4), 383--402, 2003.\n
214     http://grail.sdsc.edu/papers/faerman_ijhpca04.pdf
215
216 \li 2002
217
218 \li <b>Resource Allocation for Steerable Parallel Parameter Searches</b>\n
219     by <em>M. Faerman, A. Birnbaum, H. Casanova, F. Berman</em>\n
220     Proceedings of the Grid Computing Workshop, Baltimore, 157--169, November 2002.\n
221     http://grail.sdsc.edu/projects/vi_itr/grid02.pdf
222
223
224 \li 2001
225
226 \li <b>Applying Scheduling and Tuning to On-line Parallel Tomography </b>\n
227      by <em>Shava Smallen, Henri Casanova, Francine Berman</em>\n
228      in Proceedings of Supercomputing 2001\n
229      http://grail.sdsc.edu/papers/tomo_journal.ps.gz
230
231
232 \li 2000
233
234 \li <b>Heuristics for Scheduling Parameter Sweep applications in Grid environments</b>\n
235     by <em>Henri Casanova, Arnaud Legrand, Dmitrii Zagorodnov and Francine Berman</em>\n
236     in Proceedings of the 9th Heterogeneous Computing workshop (HCW'2000), pp349-363.\n
237     http://www2.hawaii.edu/~henric/homepage/papers/hcw00_pst.pdf
238
239
240 */
241
242 \li <b>Optimal algorithms for scheduling divisible workloads on 
243        heterogeneous systems</b>\n
244     by <em>Olivier Beaumont and Arnaud Legrand and Yves Robert</em>\n
245     in Proceedings of the 17th International Parallel and Distributed Processing Symposium (IPDPS'03).\n
246     Preliminary version on ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-36.ps.gz
247
248
249 \li <b>On-line Parallel Tomography</b>\n
250     by <em>Shava Smallen</em>\n
251     Masters Thesis, UCSD, May 2001