doc/publis.doc

   1 /*! \page publis Publications
   2
   3 \section pub_reference Reference publication about SimGrid
   4
   5 When citing SimGrid, the prefered reference paper is <i>Scheduling
   6 Distributed Applications: the SimGrid Simulation Framework</i>, even if it's
   7 a bit old now. We are actively working on improving this.
   8
   9 \li <b>Scheduling Distributed Applications: the
  10        SimGrid Simulation Framework</b>\n
  11     by <em>Henri Casanova and Arnaud Legrand and Loris Marchal</em>\n
  12     Proceedings of the third IEEE International Symposium
  13     on Cluster Computing and the Grid (CCGrid'03)\n
  14     Since the advent of distributed computer systems an active field
  15     of research has been the investigation of scheduling strategies
  16     for parallel applications.  The common approach is to employ
  17     scheduling heuristics that approximate an optimal
  18     schedule. Unfortunately, it is often impossible to obtain
  19     analytical results to compare the efficacy of these heuristics.
  20     One possibility is to conducts large numbers of back-to-back
  21     experiments on real platforms.  While this is possible on
  22     tightly-coupled platforms, it is infeasible on modern distributed
  23     platforms (i.e. Grids) as it is labor-intensive and does not
  24     enable repeatable results. The solution is to resort to
  25     simulations. Simulations not only enables repeatable results but
  26     also make it possible to explore wide ranges of platform and
  27     application scenarios.\n
  28     In this paper we present the SimGrid framework which enables the
  29     simulation of distributed applications in distributed computing
  30     environments for the specific purpose of developing and evaluating
  31     scheduling algorithms.  This paper focuses on SimGrid v2, which
  32     greatly improves on the first version of the software with more
  33     realistic network models and topologies.  SimGrid v2 also enables
  34     the simulation of distributed scheduling agents, which has become
  35     critical for current scheduling research in large-scale platforms.
  36     After describing and validating these features, we present a case
  37     study by which we demonstrate the usefulness of SimGrid for
  38     conducting scheduling research.
  39
  40 \section pub_simulation Other publications about the SimGrid framework
  41
  42 \li <b>The SimGrid Project - Simulation and Deployment of Distributed Applications</b>\n
  43     by <em>A. Legrand, M. Quinson, K. Fujiwara, H. Casanova</em>\n
  44     <b>POSTER</b> in Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
  45     \htmlonly
  46      <a href="http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf"><img src="poster_thumbnail.png" /></a>
  47     \endhtmlonly
  48     http://navet.ics.hawaii.edu/~casanova/homepage/papers/simgrid_hpdc06.pdf
  49
  50 \li <b>A Network Model for Simulation of Grid Application</b>\n
  51     by <em>Henri Casanova and Loris Marchal</em>\n
  52     \anchor paper_tcp
  53     In this work we investigate network models that can be
  54     potentially employed in the simulation of scheduling algorithms for
  55     distributed computing applications. We seek to develop a model of TCP
  56     communication which is both high-level and realistic. Previous research
  57     works show that accurate and global modeling of wide-area networks, such
  58     as the Internet, faces a number of challenging issues. However, some
  59     global models of fairness and bandwidth-sharing exist, and can be link
  60     withthe behavior of TCP. Using both previous results and simulation (with
  61     NS), we attempt to understand the macroscopic behavior of
  62     TCP communications. We then propose a global model of the network for the
  63     Grid platform. We perform partial validation of this model in
  64     simulation. The model leads to an algorithm for computing
  65     bandwidth-sharing. This algorithm can then be implemented as part of Grid
  66     application simulations. We provide such an implementation for the
  67     SimGrid simulation toolkit.\n
  68     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-40.ps.gz
  69
  70
  71 \li <b>MetaSimGrid : Towards realistic scheduling simulation of
  72         distributed applications</b>\n
  73     by <em>Arnaud Legrand and Julien Lerouge</em>\n
  74     Most scheduling problems are already hard on homogeneous
  75     platforms, they become quite intractable in an heterogeneous
  76     framework such as a metacomputing grid. In the best cases, a
  77     guaranteed heuristic can be found, but most of the time, it is
  78     not possible. Real experiments or simulations are often
  79     involved to test or to compare heuristics. However, on a
  80     distributed heterogeneous platform, such experiments are
  81     technically difficult to drive, because of the genuine
  82     instability of the platform. It is almost impossible to
  83     guarantee that a platform which is not dedicated to the
  84     experiment, will remain exactly the same between two tests,
  85     thereby forbidding any meaningful comparison. Simulations are
  86     then used to replace real experiments, so as to ensure the
  87     reproducibility of measured data. A key issue is the
  88     possibility to run the simulations against a realistic
  89     environment. The main idea of trace-based simulation is to
  90     record the platform parameters today, and to simulate the
  91     algorithms tomorrow, against the recorded data: even though it
  92     is not the current load of the platform, it is realistic,
  93     because it represents a fair summary of what happened
  94     previously. A good example of a trace-based simulation tool is
  95     SimGrid, a toolkit providing a set of core abstractions and
  96     functionalities that can be used to easily build simulators for
  97     specific application domains and/or computing environment
  98     topologies. Nevertheless, SimGrid lacks a number of convenient
  99     features to craft simulations of a distributed application
 100     where scheduling decisions are not taken by a single
 101     process. Furthermore, modeling a complex platform by hand is
 102     fastidious for a few hosts and is almost impossible for a real
 103     grid. This report is a survey on simulation for scheduling
 104     evaluation purposes and present MetaSimGrid, a simulator built
 105     on top of SimGrid.\n
 106     ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-28.ps.gz
 107
 108 \li <b>SimGrid: A Toolkit for the Simulation of Application
 109         Scheduling</b>\n
 110     by <em>Henri Casanova</em>\n
 111     Advances in hardware and software technologies have made it
 112     possible to deploy parallel applications over increasingly large
 113     sets of distributed resources. Consequently, the study of
 114     scheduling algorithms for such applications has been an active area
 115     of research. Given the nature of most scheduling problems one must
 116     resort to simulation to effectively evaluate and compare their
 117     efficacy over a wide range of scenarios. It has thus become
 118     necessary to simulate those algorithms for increasingly complex
 119     distributed, dynamic, heterogeneous environments. In this paper we
 120     present SimGrid, a simulation toolkit for the study of scheduling
 121     algorithms for distributed application. This paper gives the main
 122     concepts and models behind SimGrid, describes its API and
 123     highlights current implementation issues. We also give some
 124     experimental results and describe work that builds on SimGrid's
 125     functionalities.\n
 126     http://grail.sdsc.edu/papers/simgrid_ccgrid01.ps.gz
 127
 128 \section pub_ext Papers that use SimGrid-generated results (not counting our owns)
 129
 130 This list is a selection of articles. We list only papers written by people
 131 external to the development group, but we also use our tool ourselves (see
 132 next section).
 133
 134 - 2006
 135   - <b>Hierarchical Scheduling of Independent Tasks with Shared Files</b>\n
 136     by <em>H. Senger, F. Silva, W. Nascimento</em>.\n
 137     Proceedings of the Sixth IEEE International Symposium on Cluster Computing and the Grid Workshop (CCGRIDW'06), 2006.\n
 138     http://www.unisantos.br/mestrado/informatica/hermes/File/senger-HierarchicalScheduling-Workshop-TB120.pdf
 139   - <b>Critical Path and Area Based Scheduling of Parallel Task Graphs on Heterogeneous Platforms</b>\n
 140     by <em>Tchimou N'Takp&eacute; and Fr&eacute;d&eacute;ric Suter</em>\n
 141     Proceedings of the Twelfth International Conference on Parallel and Distributed Systems (ICPADS), 2006.
 142   - <b>Evaluation of Knapsack-based Scheduling using the NPACI JOBLOG</b>\n
 143     by <em>D. Vanderster, N. Dimopoulos, R. Parra-Hernandez and R. Sobie</em>.\n
 144     20th International Symposium on High-Performance Computing in an
 145       Advanced Collaborative Environment (HPCS'06)\n
 146     http://doi.ieeecomputersociety.org/10.1109/HPCS.2006.23
 147   - <b>Metascheduling Multiple Resource Types using the MMKP</b>\n
 148     by <em>D. Vanderster, N. Dimopoulos, R. Sobie</em>\n
 149     To Appear: 7th IEEE/ACM International Conference on Grid Computing,
 150       Barcelona, September 28th-29th 2006
 151 - 2005
 152   - <b>On Dynamic Resource Management Mechanism using Control
 153     Theoretic Approach for Wide-Area Grid Computing</b>\n
 154     by <em>Hiroyuki Ohsaki, Soushi Watanabe, and Makoto Imase</em>\n
 155     in Proceedings of IEEE Conference on Control Applications (CCA 2005), Aug. 2005.\n
 156     http://www.ispl.jp/~oosaki/papers/Ohsaki05_CCA.pdf
 157   - <b>Evaluation of Meta-scheduler Architectures and Task Assignment Policies for
 158     high Throughput Computing</b>\n
 159     by <em>Eddy Caron, Vincent Garonne and Andrei Tsaregorodtsev</em>\n
 160     Proceedings of 4th Internationnal Symposium on Parallel and
 161     Distributed Computing Job Scheduling Strategies for Parallel
 162     Processing (ISPDC'05), July 2005.\n
 163     http://www.ens-lyon.fr/LIP/Pub/Rapports/RR/RR2005/RR2005-27.pdf
 164 - 2004
 165   - <b>Deadline Scheduling with Priority for Client-Server Systems on the Grid</b>\n
 166     by <em>E Caron, PK Chouhan, F Desprez</em>\n
 167     in IEEE International Conference On Grid Computing. Super Computing 2004, oct 2004.
 168   - <b>Efficient Scheduling Heuristics for GridRPC Systems</b>\n
 169     by <em>Y. Caniou and E. Jeannot.</em>\n
 170     in IEEE QoS and Dynamic System workshop (QDS) of International Conference
 171     on Parallel and Distributed Systems (ICPADS), New-Port Beach California, USA,
 172     pages 621-630, July 2004\n
 173     http://graal.ens-lyon.fr/~ycaniou/QDS04.ps
 174   - <b>Exploiting Replication and Data Reuse to Efficiently Schedule
 175        Data-intensive Applications on Grids</b>\n
 176     by <em> E. Santos-Neto, W. Cirne, F. Brasileiro, A. Lima.</em>\n
 177     Proceedings of 10th Job Scheduling Strategies for Parallel Processing, June 2004.\n
 178     http://www.lsd.ufcg.edu.br/~elizeu/articles/jsspp.v6.pdf
 179   - <b>Resource Management and Knapsack Formulations on the Grid</b>\n
 180     by <em>R. Parra-Hernandez, D. Vanderster and N. J. Dimopoulos</em>\n
 181     Fifth IEEE/ACM International Workshop on Grid Computing (GRID'04)\n
 182     http://doi.ieeecomputersociety.org/10.1109/GRID.2004.54
 183   - <b>Scheduling BoT Applications in Grids using a Slave Oriented Adaptive
 184     Algorithm.</b>\n
 185     by <em>T. Ferreto, C. A. F. De Rose and C. Northfleet.</em>\n
 186     Second International Symposium on Parallel and Distributed Processing
 187     and Applications (ISPA), 2004, Hong Kong. Published in Lecture Notes in
 188     Computer Science (LNCS), Volume 3358, by Springer-Verlag. p. 392-398.
 189 - 2003
 190   - <b>Link-Contention-Aware Genetic Scheduling Using Task Duplication in Grid Environments</b>\n
 191     by <em>Wensheng Yao, Xiao Xie and Jinyuan You</em>\n
 192     in Grid and Cooperative Computing: Second International Workshop, GCC 2003, Shanghai, China, December 7-10, 2003 (LNCS)\n
 193     http://www.chinagrid.edu.cn/chinagrid/download/GCC2003/pdf/266.pdf
 194   - <b>New Dynamic Heuristics in the Client-Agent-Server Model</b>\n
 195     by <em>Y. Caniou and E. Jeannot</em>\n
 196     in IEEE 13th Heteregeneous Computing Workshop - HCW'03, Nice, France, April 2003.\n
 197     http://graal.ens-lyon.fr/~ycaniou/HCW03.ps
 198   - <b>A Hierarchical Resource Reservation Algorithm for Network Enabled Servers</b>\n
 199     by <em>E. Caron, F. Desprez, F. Petit, V. Villain</em>\n
 200     in the 17th International Parallel and Distributed Processing Symposium -- IPDPS'03, Nice - France, April 2003.
 201
 202 \section pub_self Our own papers that use SimGrid-generated results
 203
 204 This list is a selection of the articles we have written that used results
 205 generated by SimGrid.
 206
 207 - 2006
 208   - <b>On the Harmfulness of Redundant Batch Requests</b>\n
 209     by <em>H. Casanova</em>\n
 210     Proceedings of the IEEE International Symposium on High Performance Distributed Computing (HPDC-15), Paris, France, May 2006.\n
 211     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hpdc_2006.pdf
 212   - <b>An evaluation of Job Scheduling Strategies for Divisible Loads on Grid Platforms</b>\n
 213     by <em>Y. Cardinale, H. Casanova</em>\n
 214     in Proceedings of the High Performance Computing & Simulation Conference (HPC&S'06), Bonn, Germany, May 2006.\n
 215     http://navet.ics.hawaii.edu/~casanova/homepage/papers/cardinale_2006.pdf
 216   - <b>Interference-Aware Scheduling</b>\n
 217     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante, S. Nandy</em>\n
 218     International Journal of High Performance Computing Applications (IJHPCA), to appear.\n
 219     http://navet.ics.hawaii.edu/~casanova/homepage/papers/kreaseck_ijhpca_2005.pdf
 220 - 2004
 221   - <b>From Heterogeneous Task Scheduling to Heterogeneous Mixed Data and Task Parallel Scheduling</b>\n
 222     by <em>F. Suter, V. Boudet, F. Desprez, H. Casanova<em>\n
 223     Proceedings of Europar, 230--237, (LCNS volume 3149), Pisa, Italy, August 2004.
 224   - <b>On the Interference of Communication on Computation</b>\n
 225     by <em>B. Kreaseck, L. Carter, H. Casanova, J. Ferrante</em>\n
 226     Proceedings of the workshop on Performance Modeling, Evaluation, and Optimization of Parallel and Distributed Systems, Santa Fe, April 2004.\n
 227     http://navet.ics.hawaii.edu/~casanova/homepage/papers/k_pmeo2004.pdf
 228 - 2003
 229   - <b>RUMR: Robust Scheduling for Divisible Workloads</b>\n
 230     by <em>Y. Yang, H. Casanova</em>\n
 231     Proceedings of the 12th IEEE Symposium on High Performance and Distributed Computing (HPDC-12), Seattle, June 2003.\n
 232     http://navet.ics.hawaii.edu/~casanova/homepage/papers/yang_hpdc2003.pdf
 233   - <b>Resource Allocation Strategies for Guided Parameter Space Searches</b>\n
 234     by <em>M. Faerman, A. Birnbaum, F. Berman, H. Casanova</em>\n
 235     International Journal of High Performance Computing Applications (IJHPCA), 17(4), 383--402, 2003.\n
 236     http://grail.sdsc.edu/papers/faerman_ijhpca04.pdf
 237 - 2002
 238   - <b>Resource Allocation for Steerable Parallel Parameter Searches</b>\n
 239     by <em>M. Faerman, A. Birnbaum, H. Casanova, F. Berman</em>\n
 240     Proceedings of the Grid Computing Workshop, Baltimore, 157--169, November 2002.\n
 241     http://grail.sdsc.edu/projects/vi_itr/grid02.pdf
 242 - 2001
 243   - <b>Applying Scheduling and Tuning to On-line Parallel Tomography </b>\n
 244      by <em>Shava Smallen, Henri Casanova, Francine Berman</em>\n
 245      in Proceedings of Supercomputing 2001\n
 246      http://grail.sdsc.edu/papers/tomo_journal.ps.gz
 247 - 2000
 248   - <b>Heuristics for Scheduling Parameter Sweep applications in Grid environments</b>\n
 249     by <em>Henri Casanova, Arnaud Legrand, Dmitrii Zagorodnov and Francine Berman</em>\n
 250     in Proceedings of the 9th Heterogeneous Computing workshop (HCW'2000), pp349-363.\n
 251     http://navet.ics.hawaii.edu/~casanova/homepage/papers/hcw00_pst.pdf
 252
 253
 254 */
 255
 256 \li <b>Optimal algorithms for scheduling divisible workloads on
 257        heterogeneous systems</b>\n
 258     by <em>Olivier Beaumont and Arnaud Legrand and Yves Robert</em>\n
 259     in Proceedings of the 17th International Parallel and Distributed Processing Symposium (IPDPS'03).\n
 260     Preliminary version on ftp://ftp.ens-lyon.fr/pub/LIP/Rapports/RR/RR2002/RR2002-36.ps.gz
 261
 262
 263 \li <b>On-line Parallel Tomography</b>\n
 264     by <em>Shava Smallen</em>\n
 265     Masters Thesis, UCSD, May 2001