doc/publis.doc

   1 /*! \page publis Reference publications about SimGrid
   2
   3
   4 When citing SimGrid, the prefered reference paper is <i>Scheduling
   5 Distributed Applications: the SimGrid Simulation Framework</i>, even if it's
   6 a bit old now. We are actively working on improving this.
   7
   8 \li <b>Scheduling Distributed Applications: the
   9        SimGrid Simulation Framework</b>\n
  10     by <em>Henri Casanova and Arnaud Legrand and Loris Marchal</em>\n
  11     Proceedings of the third IEEE International Symposium
  12     on Cluster Computing and the Grid (CCGrid'03)\n
  13     Since the advent of distributed computer systems an active field
  14     of research has been the investigation of scheduling strategies
  15     for parallel applications.  The common approach is to employ
  16     scheduling heuristics that approximate an optimal
  17     schedule. Unfortunately, it is often impossible to obtain
  18     analytical results to compare the efficacy of these heuristics.
  19     One possibility is to conducts large numbers of back-to-back
  20     experiments on real platforms.  While this is possible on
  21     tightly-coupled platforms, it is infeasible on modern distributed
  22     platforms (i.e. Grids) as it is labor-intensive and does not
  23     enable repeatable results. The solution is to resort to
  24     simulations. Simulations not only enables repeatable results but
  25     also make it possible to explore wide ranges of platform and
  26     application scenarios.\n
  27     In this paper we present the SimGrid framework which enables the
  28     simulation of distributed applications in distributed computing
  29     environments for the specific purpose of developing and evaluating
  30     scheduling algorithms.  This paper focuses on SimGrid v2, which
  31     greatly improves on the first version of the software with more
  32     realistic network models and topologies.  SimGrid v2 also enables
  33     the simulation of distributed scheduling agents, which has become
  34     critical for current scheduling research in large-scale platforms.
  35     After describing and validating these features, we present a case
  36     study by which we demonstrate the usefulness of SimGrid for
  37     conducting scheduling research.\n
  38     http://www-id.imag.fr/Laboratoire/Membres/Legrand_Arnaud/articles/simgrid2_CCgrid03.pdf
  39
  40 Previous publication do not cover the GRAS part of the framework. So, if you
  41 want to cite GRAS, please use this publication instead:
  42
  43 \li <b>Gras: A Research &amp; Development Framework for Grid and P2P
  44       Infrastructures</b>\n
  45     by <em>Martin Quinson</em>\n
  46     <b>Best paper</b> of the 18th IASTED International Conference on
  47       Parallel and Distributed Computing and Systems (PDCS 2006)\n
  48     http://www.loria.fr/~quinson/articles/gras-iasted06.pdf
  49
  50 \section publis_others Other publications
  51
  52 A lot of other papers where published about SimGrid. The list is
  53 splited in 3 pages (also accessible from the navbar on top of this page):
  54  - \ref publis_core\n
  55    This section contains papers describing some sub-parts of SimGrid,
  56    or references superseeded by the one given above.
  57  - \ref publis_extern\n
  58    SimGrid is used by an ever growing scientific community. This
  59    section lists all the papers resulting of works in which the core
  60    SimGrid team were not involved.
  61  - \ref publis_intra\n
  62    This section lists the paper co-signed by at least one of the core
  63    team member, and using SimGrid as a tool (and not studying SimGrid
  64    itself).
  65
  66 \section publis_count Amount of published papers using SimGrid results
  67 <table>
  68   <tr><td>Year</td><td>external</td><td>internal</td></tr>
  69   <tr><td>2007</td><td>3</td><td>1</td></tr>
  70   <tr><td>2006</td><td>8</td><td>3</td></tr>
  71   <tr><td>2005</td><td>2</td><td>-</td></tr>
  72   <tr><td>2004</td><td>5</td><td>2</td></tr>
  73   <tr><td>2003</td><td>3</td><td>2</td></tr>
  74   <tr><td>2002</td><td>-</td><td>1</td></tr>
  75   <tr><td>2001</td><td>-</td><td>1</td></tr>
  76   <tr><td>2000</td><td>-</td><td>1</td></tr>
  77 </table>
  78
  79 \page publis_core Other publications about the SimGrid framework
  80
  81 \li <b>Speed and Accuracy of Network Simulation in the SimGrid Framework</b>\n
  82     by <em>K. Fujiwara, H. Casanova</em>\n
  83     in Proceedings of the First International Workshop on Network Simulation Tools (NSTools), Nantes, France, October 2007.\n
  84     http://navet.ics.hawaii.edu/~casanova/homepage/papers/fujiwara_nstool2007.pdf
  85
  86 \li <b>Cost and Accuracy of Packet-Level vs. Analytical Network Simulations: An Empirical Study</b>\n
  87     by <em>K. Fujiwara</em>\n
  88     <b>M.S. Thesis</b>, Dept. of Information and Computer Sciences, University of Hawai`i at Manoa, April 2007.\n
  89     http://navet.ics.hawaii.edu/~casanova/homepage/theses/kayo_fujiwara_MS.pdf
  90
  91 \li <b>The SimGrid Project - Simulation and Deployment of Distributed Applications</b>\n
  92     by <em>A. Legrand, M. Quinson, K. Fujiwara, H. Casanova</em>\n
  93     <b>POSTER</b> in Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
  94     \htmlonly
  95      <a href="http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf"><img src="poster_thumbnail.png" /></a>
  96     \endhtmlonly
  97     http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf
  98
  99 \li <b>A Network Model for Simulation of Grid Application</b>\n
 100     by <em>Henri Casanova and Loris Marchal</em>\n
 101     \anchor paper_tcp
 102     In this work we investigate network models that can be
 103     potentially employed in the simulation of scheduling algorithms for
 104     distributed computing applications. We seek to develop a model of TCP
 105     communication which is both high-level and realistic. Previous research
 106     works show that accurate and global modeling of wide-area networks, such
 107     as the Internet, faces a number of challenging issues. However, some
 108     global models of fairness and bandwidth-sharing exist, and can be link
 109     withthe behavior of TCP. Using both previous results and simulation (with
 110     NS), we attempt to understand the macroscopic behavior of
 111     TCP communications. We then propose a global model of the network for the
 112     Grid platform. We perform partial validation of this model in
 113     simulation. The model leads to an algorithm for computing
 114     bandwidth-sharing. This algorithm can then be implemented as part of Grid
 115     application simulations. We provide such an implementation for the
 116     SimGrid simulation toolkit.\n
 117     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-40.ps.gz
 118
 119
 120 \li <b>MetaSimGrid : Towards realistic scheduling simulation of
 121         distributed applications</b>\n
 122     by <em>Arnaud Legrand and Julien Lerouge</em>\n
 123     Most scheduling problems are already hard on homogeneous
 124     platforms, they become quite intractable in an heterogeneous
 125     framework such as a metacomputing grid. In the best cases, a
 126     guaranteed heuristic can be found, but most of the time, it is
 127     not possible. Real experiments or simulations are often
 128     involved to test or to compare heuristics. However, on a
 129     distributed heterogeneous platform, such experiments are
 130     technically difficult to drive, because of the genuine
 131     instability of the platform. It is almost impossible to
 132     guarantee that a platform which is not dedicated to the
 133     experiment, will remain exactly the same between two tests,
 134     thereby forbidding any meaningful comparison. Simulations are
 135     then used to replace real experiments, so as to ensure the
 136     reproducibility of measured data. A key issue is the
 137     possibility to run the simulations against a realistic
 138     environment. The main idea of trace-based simulation is to
 139     record the platform parameters today, and to simulate the
 140     algorithms tomorrow, against the recorded data: even though it
 141     is not the current load of the platform, it is realistic,
 142     because it represents a fair summary of what happened
 143     previously. A good example of a trace-based simulation tool is
 144     SimGrid, a toolkit providing a set of core abstractions and
 145     functionalities that can be used to easily build simulators for
 146     specific application domains and/or computing environment
 147     topologies. Nevertheless, SimGrid lacks a number of convenient
 148     features to craft simulations of a distributed application
 149     where scheduling decisions are not taken by a single
 150     process. Furthermore, modeling a complex platform by hand is
 151     fastidious for a few hosts and is almost impossible for a real
 152     grid. This report is a survey on simulation for scheduling
 153     evaluation purposes and present MetaSimGrid, a simulator built
 154     on top of SimGrid.\n
 155     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-28.ps.gz
 156
 157 \li <b>SimGrid: A Toolkit for the Simulation of Application
 158         Scheduling</b>\n
 159     by <em>Henri Casanova</em>\n
 160     Advances in hardware and software technologies have made it
 161     possible to deploy parallel applications over increasingly large
 162     sets of distributed resources. Consequently, the study of
 163     scheduling algorithms for such applications has been an active area
 164     of research. Given the nature of most scheduling problems one must
 165     resort to simulation to effectively evaluate and compare their
 166     efficacy over a wide range of scenarios. It has thus become
 167     necessary to simulate those algorithms for increasingly complex
 168     distributed, dynamic, heterogeneous environments. In this paper we
 169     present SimGrid, a simulation toolkit for the study of scheduling
 170     algorithms for distributed application. This paper gives the main
 171     concepts and models behind SimGrid, describes its API and
 172     highlights current implementation issues. We also give some
 173     experimental results and describe work that builds on SimGrid's
 174     functionalities.\n
 175     http://grail.sdsc.edu/papers/simgrid_ccgrid01.ps.gz
 176
 177 \page publis_extern Papers that use SimGrid-generated results (not counting our owns)
 178
 179 This list is a selection of articles. We list only papers written by people
 180 external to the development group, but we also use our tool ourselves (see
 181 next section).
 182
 183 - 2007
 184   - <b>Scheduling &Delta;-Critical Tasks in Mixed-Parallel Applications on a National Grid</b>\n
 185     by <em>Frédéric Suter</em>.\n
 186     In 8th IEEE/ACM International Conference on Grid Computing (Grid 2007), Austin, TX, September 2007.
 187   - <b>Brokering strategies in computational grids using stochastic
 188     prediction models.</b>\n by <em>Vandy Berten and Bruno
 189     Gaujal</em>. In Parallel Computing, vol. 33(4-5): 238-249, 2007.\n
 190     http://dev.ulb.ac.be/sched/articles/PARCO.pdf
 191   - <b>Managing Scheduling and Replication in the LHC Grid .</b>\n by
 192     <em>Thomas Ferrandiz and Vania Marangozova</em>. In CoreGrid
 193     Workshop on middleware, 2007.\n
 194
 195 - 2006
 196   - <b>Simbatch: an API for simulating and predicting the performance of parallel resources and batch systems.</b>\n
 197     INRIA Research Report 6040, November 2006.\n
 198     https://hal.inria.fr/inria-00115880
 199   - <b>Simbatch : une API pour la simulation et la prédiction de performances de systèmes batch</b>\n
 200     by <em>Jean-Sébastien Gay and Yves Caniou</em>.\n
 201     In 17ème Rencontres Francophones du Parallélisme, des Architectures et des Systèmes, RenPar'17.\n
 202     October 4-6, Perpignan, France
 203   - <b>Metascheduling Multiple Resource Types using the MMKP</b>\n
 204     by <em>D. Vanderster, N. Dimopoulos, R. Sobie</em>\n
 205     7th IEEE/ACM International Conference on Grid Computing\n
 206     Barcelona, September 28th-29th 2006
 207   - <b>Master-Slave Tasking on Asymmetric Networks</b>\n
 208     by <em>Cyril Banino-Rokkones, Olivier Beaumont and Lasse Natvig</em>.\n
 209     In Proceedings of 12th International Euro-Par Conference, Euro-Par 2006.\n
 210     August 29 - September 1, Pages 167--176, Dresden, Germany.
 211   - <b>Critical Path and Area Based Scheduling of Parallel Task Graphs on Heterogeneous Platforms</b>\n
 212     by <em>Tchimou N'Takp&eacute; and Fr&eacute;d&eacute;ric Suter</em>\n
 213     Proceedings of the Twelfth International Conference on Parallel and Distributed Systems (ICPADS)\n
 214     Minneapolis, MN, July 12-15, 2006.
 215   - <b>Sensitivity Analysis of Knapsack-based Task Scheduling on the Grid</b>\n
 216     by <em>D.C. Vanderster and N.J. Dimopoulos</em>.\n
 217     In Proceedings of The 20th ACM International Conference on Supercomputing\n
 218     Cairns, Australia, June 28-July 1, 2006.\n
 219     http://portal.acm.org/citation.cfm?id=1183401.1183446&coll=GUIDE&dl=%23url.coll
 220   - <b>Hierarchical Scheduling of Independent Tasks with Shared Files</b>\n
 221     by <em>H. Senger, F. Silva, W. Nascimento</em>.\n
 222     Proceedings of the Sixth IEEE International Symposium on Cluster
 223     Computing and the Grid Workshop (CCGRIDW'06)\n
 224     Singapore, 16-19 May 2006.\n
 225     http://www.unisantos.br/mestrado/informatica/hermes/File/senger-HierarchicalScheduling-Workshop-TB120.pdf
 226   - <b>Evaluation of Knapsack-based Scheduling using the NPACI JOBLOG</b>\n
 227     by <em>D. Vanderster, N. Dimopoulos, R. Parra-Hernandez and R. Sobie</em>.\n
 228     20th International Symposium on High-Performance Computing in an
 229       Advanced Collaborative Environment (HPCS'06)\n
 230     St. John's, Newfoundland, Canada, 14-17 May 2006\n
 231     http://doi.ieeecomputersociety.org/10.1109/HPCS.2006.23
 232
 233 - 2005
 234   - <b>On Dynamic Resource Management Mechanism using Control
 235     Theoretic Approach for Wide-Area Grid Computing</b>\n
 236     by <em>Hiroyuki Ohsaki, Soushi Watanabe, and Makoto Imase</em>\n
 237     in Proceedings of IEEE Conference on Control Applications (CCA 2005), Aug. 2005.\n
 238     http://www.ispl.jp/~oosaki/papers/Ohsaki05_CCA.pdf
 239   - <b>Evaluation of Meta-scheduler Architectures and Task Assignment Policies for
 240     high Throughput Computing</b>\n
 241     by <em>Eddy Caron, Vincent Garonne and Andrei Tsaregorodtsev</em>\n
 242     Proceedings of 4th Internationnal Symposium on Parallel and
 243     Distributed Computing Job Scheduling Strategies for Parallel
 244     Processing (ISPDC'05), July 2005.\n
 245     http://www.ens-lyon.fr/LIP/Pub/Rapports/RR/RR2005/RR2005-27.pdf
 246 - 2004
 247   - <b>Deadline Scheduling with Priority for Client-Server Systems on the Grid</b>\n
 248     by <em>E Caron, PK Chouhan, F Desprez</em>\n
 249     in IEEE International Conference On Grid Computing. Super Computing 2004, oct 2004.
 250   - <b>Efficient Scheduling Heuristics for GridRPC Systems</b>\n
 251     by <em>Y. Caniou and E. Jeannot.</em>\n
 252     in IEEE QoS and Dynamic System workshop (QDS) of International Conference
 253     on Parallel and Distributed Systems (ICPADS), New-Port Beach California, USA,
 254     pages 621-630, July 2004\n
 255     http://graal.ens-lyon.fr/~ycaniou/QDS04.ps
 256   - <b>Exploiting Replication and Data Reuse to Efficiently Schedule
 257        Data-intensive Applications on Grids</b>\n
 258     by <em> E. Santos-Neto, W. Cirne, F. Brasileiro, A. Lima.</em>\n
 259     Proceedings of 10th Job Scheduling Strategies for Parallel Processing, June 2004.\n
 260     http://www.lsd.ufcg.edu.br/~elizeu/articles/jsspp.v6.pdf
 261   - <b>Resource Management and Knapsack Formulations on the Grid</b>\n
 262     by <em>R. Parra-Hernandez, D. Vanderster and N. J. Dimopoulos</em>\n
 263     Fifth IEEE/ACM International Workshop on Grid Computing (GRID'04)\n
 264     http://doi.ieeecomputersociety.org/10.1109/GRID.2004.54
 265   - <b>Scheduling BoT Applications in Grids using a Slave Oriented Adaptive
 266     Algorithm.</b>\n
 267     by <em>T. Ferreto, C. A. F. De Rose and C. Northfleet.</em>\n
 268     Second International Symposium on Parallel and Distributed Processing
 269     and Applications (ISPA), 2004, Hong Kong. Published in Lecture Notes in
 270     Computer Science (LNCS), Volume 3358, by Springer-Verlag. p. 392-398.
 271 - 2003
 272   - <b>Link-Contention-Aware Genetic Scheduling Using Task Duplication in Grid Environments</b>\n
 273     by <em>Wensheng Yao, Xiao Xie and Jinyuan You</em>\n
 274     in Grid and Cooperative Computing: Second International Workshop, GCC 2003, Shanghai, China, December 7-10, 2003 (LNCS)\n
 275     http://www.chinagrid.edu.cn/chinagrid/download/GCC2003/pdf/266.pdf
 276   - <b>New Dynamic Heuristics in the Client-Agent-Server Model</b>\n
 277     by <em>Y. Caniou and E. Jeannot</em>\n
 278     in IEEE 13th Heteregeneous Computing Workshop - HCW'03, Nice, France, April 2003.\n
 279     http://graal.ens-lyon.fr/~ycaniou/HCW03.ps
 280   - <b>A Hierarchical Resource Reservation Algorithm for Network Enabled Servers</b>\n
 281     by <em>E. Caron, F. Desprez, F. Petit, V. Villain</em>\n
 282     in the 17th International Parallel and Distributed Processing Symposium -- IPDPS'03, Nice - France, April 2003.
 283
 284 \page publis_intra Our own papers that use SimGrid-generated results
 285
 286 This list is a selection of the articles we have written that used results
 287 generated by SimGrid.
 288
 289 - 2007
 290   - <b>A Comparison of Scheduling Approaches for Mixed-Parallel Applications on Heterogeneous Platforms</b>\n
 291     by <em>T. N'takpé, F. Suter, and Henri Casanova</em>\n
 292     In 6th International Symposium on Parallel and Distributed Computing, Hagenberg, Austria, July 2007.
 293 - 2006
 294   - <b>On the Harmfulness of Redundant Batch Requests</b>\n
 295     by <em>H. Casanova</em>\n
 296     Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
 297     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hpdc_2006.pdf
 298   - <b>An evaluation of Job Scheduling Strategies for Divisible Loads on Grid Platforms</b>\n
 299     by <em>Y. Cardinale, H. Casanova</em>\n
 300     in Proceedings of the High Performance Computing & Simulation Conference (HPC&S'06), Bonn, Germany, May 2006.\n
 301     http://navet.ics.hawaii.edu/~casanova/homepage/papers/cardinale_2006.pdf
 302   - <b>Interference-Aware Scheduling</b>\n
 303     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante, S. Nandy</em>\n
 304     International Journal of High Performance Computing Applications (IJHPCA), to appear.\n
 305     http://navet.ics.hawaii.edu/~casanova/homepage/papers/kreaseck_ijhpca_2005.pdf
 306 - 2004
 307   - <b>From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling</b>\n
 308     by <em>F. Suter, V. Boudet, F. Desprez, H. Casanova</em>\n
 309     Proceedings of Europar, 230--237, (LCNS volume 3149), Pisa, Italy, August 2004.
 310   - <b>On the Interference of Communication on Computation</b>\n
 311     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante</em>\n
 312     Proceedings of the workshop on Performance Modeling, Evaluation, and Optimization of Parallel and Distributed Systems, Santa Fe, April 2004.\n
 313     http://navet.ics.hawaii.edu/~casanova/homepage/papers/k_pmeo2004.pdf
 314 - 2003
 315   - <b>RUMR: Robust Scheduling for Divisible Workloads</b>\n
 316     by <em>Y. Yang, H. Casanova</em>\n
 317     Proceedings of the 12th IEEE Symposium on High Performance and Distributed Computing (HPDC-12), Seattle, June 2003.\n
 318     http://navet.ics.hawaii.edu/~casanova/homepage/papers/yang_hpdc2003.pdf
 319   - <b>Resource Allocation Strategies for Guided Parameter Space Searches</b>\n
 320     by <em>M. Faerman, A. Birnbaum, F. Berman, H. Casanova</em>\n
 321     International Journal of High Performance Computing Applications (IJHPCA), 17(4), 383--402, 2003.\n
 322     http://grail.sdsc.edu/papers/faerman_ijhpca04.pdf
 323 - 2002
 324   - <b>Resource Allocation for Steerable Parallel Parameter Searches</b>\n
 325     by <em>M. Faerman, A. Birnbaum, H. Casanova, F. Berman</em>\n
 326     Proceedings of the Grid Computing Workshop, Baltimore, 157--169, November 2002.\n
 327     http://grail.sdsc.edu/projects/vi_itr/grid02.pdf
 328 - 2001
 329   - <b>Applying Scheduling and Tuning to On-line Parallel Tomography </b>\n
 330      by <em>Shava Smallen, Henri Casanova, Francine Berman</em>\n
 331      in Proceedings of Supercomputing 2001\n
 332      http://grail.sdsc.edu/papers/tomo_journal.ps.gz
 333 - 2000
 334   - <b>Heuristics for Scheduling Parameter Sweep applications in Grid environments</b>\n
 335     by <em>Henri Casanova, Arnaud Legrand, Dmitrii Zagorodnov and Francine Berman</em>\n
 336     in Proceedings of the 9th Heterogeneous Computing workshop (HCW'2000), pp349-363.\n
 337     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hcw00_pst.pdf
 338
 339
 340 */
 341
 342 \li <b>Optimal algorithms for scheduling divisible workloads on
 343        heterogeneous systems</b>\n
 344     by <em>Olivier Beaumont and Arnaud Legrand and Yves Robert</em>\n
 345     in Proceedings of the 17th International Parallel and Distributed Processing Symposium (IPDPS'03).\n
 346     Preliminary version on ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-36.ps.gz
 347
 348
 349 \li <b>On-line Parallel Tomography</b>\n
 350     by <em>Shava Smallen</em>\n
 351     Masters Thesis, UCSD, May 2001