xwch.tex

   1 %------------------------------------
   2 % The XtremWeb-CH environment
   3 %------------------------------------
   4 XtremWeb-CH (XWCH) is a volunteer computing inspired, large-scale
   5 computing platform for distributed applications. It consists of three
   6 components: one coordinator, a set of workers and at least one
   7 warehouse. Client programs use these components.
   8
   9 The coordinator is the main component of the XWCH platform. It
  10 controls user access and schedules jobs to workers. It provides a web
  11 interface for managing jobs and users, and a set of web
  12 services. These are user service and worker/warehouse services
  13 implemented using WSDL \cite{WebServ2002}.
  14
  15 A worker is a Java daemon that runs on the user machine. Assumed to be
  16 volatile, the workers report periodically themselves to the
  17 coordinator, accept jobs, retrieve input, compute jobs, and store the
  18 results of the computation on warehouses. If the coordinator does not
  19 receive a signal from a worker, it will simply remove it from the
  20 scheduling list, and if a job had been assigned to that worker, it
  21 will be re-assigned to another one. A schema of the architecture is
  22 shown in Figure \ref{xwch}.
  23
  24 \begin{figure}[htp]
  25 \label{xwch}
  26  \begin{centering}
  27     \includegraphics [scale=0.2]{figures/xwcharchitecture.pdf}
  28     \caption{The XWCH Architecture}
  29  \end{centering}
  30 \end{figure}
  31
  32 A warehouse is a file server that acts as a data storage system for
  33 workers and client programs. Workers may not necessarily be able to
  34 communicate directly with each other, due to firewalls and NAT
  35 sub-networks. For these reasons, warehouses are used as intermediaries
  36 to exchange, store and retrieve data.
  37
  38 Job submission is done by a client program which is written using a
  39 flexible API, available for Java and C/C++ programs. The client
  40 program runs on a “client node” and calls the user services to submit
  41 jobs (Figure  \ref{xwch}, (1)). The main flexibility provided by the use of this
  42 architecture is to control and generate dynamically jobs especially
  43 when their number cannot be known in advance. Communications between
  44 the coordinator and the workers are always initiated by the workers
  45 following a pull model (Figure  \ref{xwch}, (2)):
  46 \begin{itemize}
  47 \item Workers receive jobs (Figure  \ref{xwch}, (3)) only if they send a “work
  48   request” signal;
  49 \item When a worker finishes its job, it stores its output file on
  50   warehouse and sends a “work result” signal to the coordinator;
  51 \item During its execution, a worker (respectively warehouse)
  52   periodically sends “work alive” to the worker services (respectively
  53   warehouse services) to report itself to the coordinator.
  54 \end{itemize}
  55
  56 As a whole, XWCH is easy to install, maintain and use. Its components
  57 are programmed mainly using Java, and their process memory sizes in a
  58 typical 32-bit GNU/Linux computer are:
  59 \begin{itemize}
  60  \item Coordinator 190 MB including the Glassfish Java container;
  61  \item Worker 40 MB;
  62  \item Warehouse 80 MB.
  63 \end{itemize}
  64
  65 Experiments presented in \cite{ccgridpaper} show that the
  66 performance of XWCH is comparable with Condor \cite{Condor1988},
  67 another non-intrusive computing system that has similar functionality
  68 but is somewhat more difficult to install.
  69
  70 The main characteristics of the new version of XWCH, compared to
  71 previous ones, are: dynamic job generation, flexible data sharing
  72 (data replication) and persistent jobs. These features are presented
  73 in \cite{VEZGrid} and will not be detailed in this paper.