doc/publis.doc

   1 /*! \page publis Reference publications about SimGrid
   2
   3
   4 When citing SimGrid, the prefered reference paper is <i>Scheduling
   5 Distributed Applications: the SimGrid Simulation Framework</i>, even if it's
   6 a bit old now. We are actively working on improving this.
   7
   8 \li <b>Scheduling Distributed Applications: the
   9        SimGrid Simulation Framework</b>\n
  10     by <em>Henri Casanova and Arnaud Legrand and Loris Marchal</em>\n
  11     Proceedings of the third IEEE International Symposium
  12     on Cluster Computing and the Grid (CCGrid'03)\n
  13     Since the advent of distributed computer systems an active field
  14     of research has been the investigation of scheduling strategies
  15     for parallel applications.  The common approach is to employ
  16     scheduling heuristics that approximate an optimal
  17     schedule. Unfortunately, it is often impossible to obtain
  18     analytical results to compare the efficacy of these heuristics.
  19     One possibility is to conducts large numbers of back-to-back
  20     experiments on real platforms.  While this is possible on
  21     tightly-coupled platforms, it is infeasible on modern distributed
  22     platforms (i.e. Grids) as it is labor-intensive and does not
  23     enable repeatable results. The solution is to resort to
  24     simulations. Simulations not only enables repeatable results but
  25     also make it possible to explore wide ranges of platform and
  26     application scenarios.\n
  27     In this paper we present the SimGrid framework which enables the
  28     simulation of distributed applications in distributed computing
  29     environments for the specific purpose of developing and evaluating
  30     scheduling algorithms.  This paper focuses on SimGrid v2, which
  31     greatly improves on the first version of the software with more
  32     realistic network models and topologies.  SimGrid v2 also enables
  33     the simulation of distributed scheduling agents, which has become
  34     critical for current scheduling research in large-scale platforms.
  35     After describing and validating these features, we present a case
  36     study by which we demonstrate the usefulness of SimGrid for
  37     conducting scheduling research.\n
  38     http://www-id.imag.fr/Laboratoire/Membres/Legrand_Arnaud/articles/simgrid2_CCgrid03.pdf
  39
  40 Previous publication do not cover the GRAS part of the framework. So, if you
  41 want to cite GRAS, please use this publication instead:
  42
  43 \li <b>Gras: A Research &amp; Development Framework for Grid and P2P
  44       Infrastructures</b>\n
  45     by <em>Martin Quinson</em>\n
  46     <b>Best paper</b> of the 18th IASTED International Conference on
  47       Parallel and Distributed Computing and Systems (PDCS 2006)\n
  48     http://www.loria.fr/~quinson/articles/gras-iasted06.pdf
  49
  50 \section publis_others Other publications
  51
  52 A lot of other papers where published about SimGrid. The list is
  53 splited in 3 pages (also accessible from the navbar on top of this page):
  54  - \ref publis_core\n
  55    This section contains papers describing some sub-parts of SimGrid,
  56    or references superseeded by the one given above.
  57  - \ref publis_extern\n
  58    SimGrid is used by an ever growing scientific community. This
  59    section lists all the papers resulting of works in which the core
  60    SimGrid team were not involved.
  61  - \ref publis_intra\n
  62    This section lists the paper co-signed by at least one of the core
  63    team member, and using SimGrid as a tool (and not studying SimGrid
  64    itself).
  65
  66 \section publis_count Amount of published papers using SimGrid results
  67
  68 <table>
  69
  70 <tr><td>Year</td><td>2000</td><td>2001</td><td>2002</td><td>2003</td><td>2004</td><td>2005</td><td>2006</td><td>2007</td></tr>
  71   <tr><td>Amount of paper external to the core team</td>
  72                  <td>-</td>   <td>-</td>   <td>-</td>   <td>3</td>   <td>5</td>   <td>2</td>   <td>8</td>   <td>3</td></tr>
  73   <tr><td>Amount of paper co-signed by one team member</td>
  74                  <td>1</td>   <td>1</td>   <td>1</td>   <td>2</td>   <td>2</td>   <td>-</td>   <td>3</td>   <td>3</td></tr>
  75 </table>
  76
  77 \page publis_core Other publications about the SimGrid framework
  78
  79 \li <b>Speed and Accuracy of Network Simulation in the SimGrid Framework</b>\n
  80     by <em>K. Fujiwara, H. Casanova</em>\n
  81     in Proceedings of the First International Workshop on Network Simulation Tools (NSTools), Nantes, France, October 2007.\n
  82     http://navet.ics.hawaii.edu/~casanova/homepage/papers/fujiwara_nstool2007.pdf
  83
  84 \li <b>Cost and Accuracy of Packet-Level vs. Analytical Network Simulations: An Empirical Study</b>\n
  85     by <em>K. Fujiwara</em>\n
  86     <b>M.S. Thesis</b>, Dept. of Information and Computer Sciences, University of Hawai`i at Manoa, April 2007.\n
  87     http://navet.ics.hawaii.edu/~casanova/homepage/theses/kayo_fujiwara_MS.pdf
  88
  89 \li <b>The SimGrid Project - Simulation and Deployment of Distributed Applications</b>\n
  90     by <em>A. Legrand, M. Quinson, K. Fujiwara, H. Casanova</em>\n
  91     <b>POSTER</b> in Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
  92     \htmlonly
  93      <a href="http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf"><img src="poster_thumbnail.png" /></a>
  94     \endhtmlonly
  95     http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf
  96
  97 \li <b>A Network Model for Simulation of Grid Application</b>\n
  98     by <em>Henri Casanova and Loris Marchal</em>\n
  99     \anchor paper_tcp
 100     In this work we investigate network models that can be
 101     potentially employed in the simulation of scheduling algorithms for
 102     distributed computing applications. We seek to develop a model of TCP
 103     communication which is both high-level and realistic. Previous research
 104     works show that accurate and global modeling of wide-area networks, such
 105     as the Internet, faces a number of challenging issues. However, some
 106     global models of fairness and bandwidth-sharing exist, and can be link
 107     withthe behavior of TCP. Using both previous results and simulation (with
 108     NS), we attempt to understand the macroscopic behavior of
 109     TCP communications. We then propose a global model of the network for the
 110     Grid platform. We perform partial validation of this model in
 111     simulation. The model leads to an algorithm for computing
 112     bandwidth-sharing. This algorithm can then be implemented as part of Grid
 113     application simulations. We provide such an implementation for the
 114     SimGrid simulation toolkit.\n
 115     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-40.ps.gz
 116
 117
 118 \li <b>MetaSimGrid : Towards realistic scheduling simulation of
 119         distributed applications</b>\n
 120     by <em>Arnaud Legrand and Julien Lerouge</em>\n
 121     Most scheduling problems are already hard on homogeneous
 122     platforms, they become quite intractable in an heterogeneous
 123     framework such as a metacomputing grid. In the best cases, a
 124     guaranteed heuristic can be found, but most of the time, it is
 125     not possible. Real experiments or simulations are often
 126     involved to test or to compare heuristics. However, on a
 127     distributed heterogeneous platform, such experiments are
 128     technically difficult to drive, because of the genuine
 129     instability of the platform. It is almost impossible to
 130     guarantee that a platform which is not dedicated to the
 131     experiment, will remain exactly the same between two tests,
 132     thereby forbidding any meaningful comparison. Simulations are
 133     then used to replace real experiments, so as to ensure the
 134     reproducibility of measured data. A key issue is the
 135     possibility to run the simulations against a realistic
 136     environment. The main idea of trace-based simulation is to
 137     record the platform parameters today, and to simulate the
 138     algorithms tomorrow, against the recorded data: even though it
 139     is not the current load of the platform, it is realistic,
 140     because it represents a fair summary of what happened
 141     previously. A good example of a trace-based simulation tool is
 142     SimGrid, a toolkit providing a set of core abstractions and
 143     functionalities that can be used to easily build simulators for
 144     specific application domains and/or computing environment
 145     topologies. Nevertheless, SimGrid lacks a number of convenient
 146     features to craft simulations of a distributed application
 147     where scheduling decisions are not taken by a single
 148     process. Furthermore, modeling a complex platform by hand is
 149     fastidious for a few hosts and is almost impossible for a real
 150     grid. This report is a survey on simulation for scheduling
 151     evaluation purposes and present MetaSimGrid, a simulator built
 152     on top of SimGrid.\n
 153     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-28.ps.gz
 154
 155 \li <b>SimGrid: A Toolkit for the Simulation of Application
 156         Scheduling</b>\n
 157     by <em>Henri Casanova</em>\n
 158     Advances in hardware and software technologies have made it
 159     possible to deploy parallel applications over increasingly large
 160     sets of distributed resources. Consequently, the study of
 161     scheduling algorithms for such applications has been an active area
 162     of research. Given the nature of most scheduling problems one must
 163     resort to simulation to effectively evaluate and compare their
 164     efficacy over a wide range of scenarios. It has thus become
 165     necessary to simulate those algorithms for increasingly complex
 166     distributed, dynamic, heterogeneous environments. In this paper we
 167     present SimGrid, a simulation toolkit for the study of scheduling
 168     algorithms for distributed application. This paper gives the main
 169     concepts and models behind SimGrid, describes its API and
 170     highlights current implementation issues. We also give some
 171     experimental results and describe work that builds on SimGrid's
 172     functionalities.\n
 173     http://grail.sdsc.edu/papers/simgrid_ccgrid01.ps.gz
 174
 175 \page publis_extern Papers that use SimGrid-generated results (not counting our owns)
 176
 177 This list is a selection of articles. We list only papers written by people
 178 external to the development group, but we also use our tool ourselves (see
 179 next section).
 180
 181 - 2007
 182   - <b>Scheduling &Delta;-Critical Tasks in Mixed-Parallel Applications on a National Grid</b>\n
 183     by <em>Frédéric Suter</em>.\n
 184     In 8th IEEE/ACM International Conference on Grid Computing (Grid 2007), Austin, TX, September 2007.
 185   - <b>Brokering strategies in computational grids using stochastic
 186     prediction models.</b>\n by <em>Vandy Berten and Bruno
 187     Gaujal</em>. In Parallel Computing, vol. 33(4-5): 238-249, 2007.\n
 188     http://dev.ulb.ac.be/sched/articles/PARCO.pdf
 189   - <b>Managing Scheduling and Replication in the LHC Grid .</b>\n by
 190     <em>Thomas Ferrandiz and Vania Marangozova</em>. In CoreGrid
 191     Workshop on middleware, 2007.\n
 192
 193 - 2006
 194   - <b>Simbatch: an API for simulating and predicting the performance of parallel resources and batch systems.</b>\n
 195     INRIA Research Report 6040, November 2006.\n
 196     https://hal.inria.fr/inria-00115880
 197   - <b>Simbatch : une API pour la simulation et la prédiction de performances de systèmes batch</b>\n
 198     by <em>Jean-Sébastien Gay and Yves Caniou</em>.\n
 199     In 17ème Rencontres Francophones du Parallélisme, des Architectures et des Systèmes, RenPar'17.\n
 200     October 4-6, Perpignan, France
 201   - <b>Metascheduling Multiple Resource Types using the MMKP</b>\n
 202     by <em>D. Vanderster, N. Dimopoulos, R. Sobie</em>\n
 203     7th IEEE/ACM International Conference on Grid Computing\n
 204     Barcelona, September 28th-29th 2006
 205   - <b>Master-Slave Tasking on Asymmetric Networks</b>\n
 206     by <em>Cyril Banino-Rokkones, Olivier Beaumont and Lasse Natvig</em>.\n
 207     In Proceedings of 12th International Euro-Par Conference, Euro-Par 2006.\n
 208     August 29 - September 1, Pages 167--176, Dresden, Germany.
 209   - <b>Critical Path and Area Based Scheduling of Parallel Task Graphs on Heterogeneous Platforms</b>\n
 210     by <em>Tchimou N'Takp&eacute; and Fr&eacute;d&eacute;ric Suter</em>\n
 211     Proceedings of the Twelfth International Conference on Parallel and Distributed Systems (ICPADS)\n
 212     Minneapolis, MN, July 12-15, 2006.
 213   - <b>Sensitivity Analysis of Knapsack-based Task Scheduling on the Grid</b>\n
 214     by <em>D.C. Vanderster and N.J. Dimopoulos</em>.\n
 215     In Proceedings of The 20th ACM International Conference on Supercomputing\n
 216     Cairns, Australia, June 28-July 1, 2006.\n
 217     http://portal.acm.org/citation.cfm?id=1183401.1183446&coll=GUIDE&dl=%23url.coll
 218   - <b>Hierarchical Scheduling of Independent Tasks with Shared Files</b>\n
 219     by <em>H. Senger, F. Silva, W. Nascimento</em>.\n
 220     Proceedings of the Sixth IEEE International Symposium on Cluster
 221     Computing and the Grid Workshop (CCGRIDW'06)\n
 222     Singapore, 16-19 May 2006.\n
 223     http://www.unisantos.br/mestrado/informatica/hermes/File/senger-HierarchicalScheduling-Workshop-TB120.pdf
 224   - <b>Evaluation of Knapsack-based Scheduling using the NPACI JOBLOG</b>\n
 225     by <em>D. Vanderster, N. Dimopoulos, R. Parra-Hernandez and R. Sobie</em>.\n
 226     20th International Symposium on High-Performance Computing in an
 227       Advanced Collaborative Environment (HPCS'06)\n
 228     St. John's, Newfoundland, Canada, 14-17 May 2006\n
 229     http://doi.ieeecomputersociety.org/10.1109/HPCS.2006.23
 230
 231 - 2005
 232   - <b>On Dynamic Resource Management Mechanism using Control
 233     Theoretic Approach for Wide-Area Grid Computing</b>\n
 234     by <em>Hiroyuki Ohsaki, Soushi Watanabe, and Makoto Imase</em>\n
 235     in Proceedings of IEEE Conference on Control Applications (CCA 2005), Aug. 2005.\n
 236     http://www.ispl.jp/~oosaki/papers/Ohsaki05_CCA.pdf
 237   - <b>Evaluation of Meta-scheduler Architectures and Task Assignment Policies for
 238     high Throughput Computing</b>\n
 239     by <em>Eddy Caron, Vincent Garonne and Andrei Tsaregorodtsev</em>\n
 240     Proceedings of 4th Internationnal Symposium on Parallel and
 241     Distributed Computing Job Scheduling Strategies for Parallel
 242     Processing (ISPDC'05), July 2005.\n
 243     http://www.ens-lyon.fr/LIP/Pub/Rapports/RR/RR2005/RR2005-27.pdf
 244 - 2004
 245   - <b>Deadline Scheduling with Priority for Client-Server Systems on the Grid</b>\n
 246     by <em>E Caron, PK Chouhan, F Desprez</em>\n
 247     in IEEE International Conference On Grid Computing. Super Computing 2004, oct 2004.
 248   - <b>Efficient Scheduling Heuristics for GridRPC Systems</b>\n
 249     by <em>Y. Caniou and E. Jeannot.</em>\n
 250     in IEEE QoS and Dynamic System workshop (QDS) of International Conference
 251     on Parallel and Distributed Systems (ICPADS), New-Port Beach California, USA,
 252     pages 621-630, July 2004\n
 253     http://graal.ens-lyon.fr/~ycaniou/QDS04.ps
 254   - <b>Exploiting Replication and Data Reuse to Efficiently Schedule
 255        Data-intensive Applications on Grids</b>\n
 256     by <em> E. Santos-Neto, W. Cirne, F. Brasileiro, A. Lima.</em>\n
 257     Proceedings of 10th Job Scheduling Strategies for Parallel Processing, June 2004.\n
 258     http://www.lsd.ufcg.edu.br/~elizeu/articles/jsspp.v6.pdf
 259   - <b>Resource Management and Knapsack Formulations on the Grid</b>\n
 260     by <em>R. Parra-Hernandez, D. Vanderster and N. J. Dimopoulos</em>\n
 261     Fifth IEEE/ACM International Workshop on Grid Computing (GRID'04)\n
 262     http://doi.ieeecomputersociety.org/10.1109/GRID.2004.54
 263   - <b>Scheduling BoT Applications in Grids using a Slave Oriented Adaptive
 264     Algorithm.</b>\n
 265     by <em>T. Ferreto, C. A. F. De Rose and C. Northfleet.</em>\n
 266     Second International Symposium on Parallel and Distributed Processing
 267     and Applications (ISPA), 2004, Hong Kong. Published in Lecture Notes in
 268     Computer Science (LNCS), Volume 3358, by Springer-Verlag. p. 392-398.
 269 - 2003
 270   - <b>Link-Contention-Aware Genetic Scheduling Using Task Duplication in Grid Environments</b>\n
 271     by <em>Wensheng Yao, Xiao Xie and Jinyuan You</em>\n
 272     in Grid and Cooperative Computing: Second International Workshop, GCC 2003, Shanghai, China, December 7-10, 2003 (LNCS)\n
 273     http://www.chinagrid.edu.cn/chinagrid/download/GCC2003/pdf/266.pdf
 274   - <b>New Dynamic Heuristics in the Client-Agent-Server Model</b>\n
 275     by <em>Y. Caniou and E. Jeannot</em>\n
 276     in IEEE 13th Heteregeneous Computing Workshop - HCW'03, Nice, France, April 2003.\n
 277     http://graal.ens-lyon.fr/~ycaniou/HCW03.ps
 278   - <b>A Hierarchical Resource Reservation Algorithm for Network Enabled Servers</b>\n
 279     by <em>E. Caron, F. Desprez, F. Petit, V. Villain</em>\n
 280     in the 17th International Parallel and Distributed Processing Symposium -- IPDPS'03, Nice - France, April 2003.
 281
 282 \page publis_intra Our own papers that use SimGrid-generated results
 283
 284 This list is a selection of the articles we have written that used results
 285 generated by SimGrid.
 286
 287 - 2007
 288   - <b>Assessing the Quality of Automatically Built Network Representations</b>\n
 289     by <em>Lionel Eyraud-Dubois and Martin Quinson</em>\n
 290     In Seventh IEEE International Symposium on Cluster Computing and
 291     the Grid (CCGrid 2007), 14-17 May 2007, Rio de Janeiro, Brazil.
 292   - <b>A Comparison of Scheduling Approaches for Mixed-Parallel Applications on Heterogeneous Platforms</b>\n
 293     by <em>T. N'takpé, F. Suter, and Henri Casanova</em>\n
 294     In 6th International Symposium on Parallel and Distributed Computing, Hagenberg, Austria, July 2007.
 295   - <b>A First Step Towards Automatically Building Network Representations</b>\n
 296     by <em>Lionel Eyraud-Dubois, Arnaud Legrand, Martin Quinson and Frédéric Vivien</em>\n
 297     In 12th International Euro-Par Conference 28-31 August, Rennes, France.
 298 - 2006
 299   - <b>On the Harmfulness of Redundant Batch Requests</b>\n
 300     by <em>H. Casanova</em>\n
 301     Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
 302     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hpdc_2006.pdf
 303   - <b>An evaluation of Job Scheduling Strategies for Divisible Loads on Grid Platforms</b>\n
 304     by <em>Y. Cardinale, H. Casanova</em>\n
 305     in Proceedings of the High Performance Computing & Simulation Conference (HPC&S'06), Bonn, Germany, May 2006.\n
 306     http://navet.ics.hawaii.edu/~casanova/homepage/papers/cardinale_2006.pdf
 307   - <b>Interference-Aware Scheduling</b>\n
 308     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante, S. Nandy</em>\n
 309     International Journal of High Performance Computing Applications (IJHPCA), to appear.\n
 310     http://navet.ics.hawaii.edu/~casanova/homepage/papers/kreaseck_ijhpca_2005.pdf
 311 - 2004
 312   - <b>From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling</b>\n
 313     by <em>F. Suter, V. Boudet, F. Desprez, H. Casanova</em>\n
 314     Proceedings of Europar, 230--237, (LCNS volume 3149), Pisa, Italy, August 2004.
 315   - <b>On the Interference of Communication on Computation</b>\n
 316     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante</em>\n
 317     Proceedings of the workshop on Performance Modeling, Evaluation, and Optimization of Parallel and Distributed Systems, Santa Fe, April 2004.\n
 318     http://navet.ics.hawaii.edu/~casanova/homepage/papers/k_pmeo2004.pdf
 319 - 2003
 320   - <b>RUMR: Robust Scheduling for Divisible Workloads</b>\n
 321     by <em>Y. Yang, H. Casanova</em>\n
 322     Proceedings of the 12th IEEE Symposium on High Performance and Distributed Computing (HPDC-12), Seattle, June 2003.\n
 323     http://navet.ics.hawaii.edu/~casanova/homepage/papers/yang_hpdc2003.pdf
 324   - <b>Resource Allocation Strategies for Guided Parameter Space Searches</b>\n
 325     by <em>M. Faerman, A. Birnbaum, F. Berman, H. Casanova</em>\n
 326     International Journal of High Performance Computing Applications (IJHPCA), 17(4), 383--402, 2003.\n
 327     http://grail.sdsc.edu/papers/faerman_ijhpca04.pdf
 328 - 2002
 329   - <b>Resource Allocation for Steerable Parallel Parameter Searches</b>\n
 330     by <em>M. Faerman, A. Birnbaum, H. Casanova, F. Berman</em>\n
 331     Proceedings of the Grid Computing Workshop, Baltimore, 157--169, November 2002.\n
 332     http://grail.sdsc.edu/projects/vi_itr/grid02.pdf
 333 - 2001
 334   - <b>Applying Scheduling and Tuning to On-line Parallel Tomography </b>\n
 335      by <em>Shava Smallen, Henri Casanova, Francine Berman</em>\n
 336      in Proceedings of Supercomputing 2001\n
 337      http://grail.sdsc.edu/papers/tomo_journal.ps.gz
 338 - 2000
 339   - <b>Heuristics for Scheduling Parameter Sweep applications in Grid environments</b>\n
 340     by <em>Henri Casanova, Arnaud Legrand, Dmitrii Zagorodnov and Francine Berman</em>\n
 341     in Proceedings of the 9th Heterogeneous Computing workshop (HCW'2000), pp349-363.\n
 342     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hcw00_pst.pdf
 343
 344
 345 */
 346
 347 \li <b>Optimal algorithms for scheduling divisible workloads on
 348        heterogeneous systems</b>\n
 349     by <em>Olivier Beaumont and Arnaud Legrand and Yves Robert</em>\n
 350     in Proceedings of the 17th International Parallel and Distributed Processing Symposium (IPDPS'03).\n
 351     Preliminary version on ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-36.ps.gz
 352
 353
 354 \li <b>On-line Parallel Tomography</b>\n
 355     by <em>Shava Smallen</em>\n
 356     Masters Thesis, UCSD, May 2001