examples/smpi/replay_multiple/generate_multiple_deployment.sh

   1 #! /bin/sh
   2
   3 # Copyright (c) 2007-2014. The SimGrid Team.
   4 # All rights reserved.
   5
   6 # This program is free software; you can redistribute it and/or modify it
   7 # under the terms of the license (GNU LGPL) which comes with this package.
   8
   9
  10 #usage to print the way this script should be called
  11 usage () {
  12     cat <<EOF
  13 Usage: $0 [OPTIONS] -platform <xmldesc> -hostfile <hostfile> replay-file output-file
  14 EOF
  15 }
  16
  17 #check if we have at least one parameter
  18 if [ $# -eq 0 ]
  19 then
  20     usage
  21     exit
  22 fi
  23
  24 EXTOPT=""
  25 WRAPPER=""
  26 HOSTFILE=""
  27
  28 while true; do
  29     case "$1" in
  30         "-platform")
  31             PLATFORM="$2"
  32             if [ ! -f "${PLATFORM}" ]; then
  33                 echo "[`basename $0`] ** error: the file '${PLATFORM}' does not exist. Aborting."
  34                 exit 1
  35             fi
  36             shift 2
  37             ;;
  38         "-hostfile")
  39             HOSTFILE="$2"
  40             if [ ! -f "${HOSTFILE}" ]; then
  41                 echo "[`basename $0`] ** error: the file '${HOSTFILE}' does not exist. Aborting."
  42                 exit 1
  43             fi
  44             shift 2
  45             ;;
  46         "-machinefile")
  47             HOSTFILE="$2"
  48             if [ ! -f "${HOSTFILE}" ]; then
  49                 echo "[`basename $0`] ** error: the file '${HOSTFILE}' does not exist. Aborting."
  50                 exit 1
  51             fi
  52             shift 2
  53             ;;
  54         *)
  55             break
  56             ;;
  57     esac
  58 done
  59
  60 # steel --cfg and --logs options
  61 while [ $# -gt 0 ]; do
  62     case "$1" in
  63         "--cfg="*|"--log="*)
  64             for OPT in ${1#*=}
  65             do
  66                 SIMOPTS="$SIMOPTS ${1%%=*}=$OPT"
  67             done
  68             shift 1
  69             ;;
  70         *)
  71             PROC_ARGS="${PROC_ARGS:+$PROC_ARGS }$1"
  72             shift
  73             ;;
  74     esac
  75 done
  76
  77
  78 ##-----------------------------------
  79
  80
  81 if [ -z "${HOSTFILE}" ] && [ -z "${PLATFORM}" ] ; then
  82     echo "No hostfile nor platform specified."
  83     usage
  84     exit 1
  85 fi
  86
  87 HOSTFILETMP=0
  88 if [ -z "${HOSTFILE}" ] ; then
  89     HOSTFILETMP=1
  90     HOSTFILE="$(mktemp tmphostXXXXXX)"
  91     perl -ne 'print "$1\n" if /.*<host.*?id="(.*?)".*?\/>.*/' ${PLATFORM} > ${HOSTFILE}
  92 fi
  93 UNROLLEDHOSTFILETMP=0
  94
  95 #parse if our lines are terminated by :num_process
  96 multiple_processes=`grep -c ":" $HOSTFILE`
  97 if [ "${multiple_processes}" -gt 0 ] ; then
  98     UNROLLEDHOSTFILETMP=1
  99     UNROLLEDHOSTFILE="$(mktemp tmphostXXXXXX)"
 100     perl -ne ' do{ for ( 1 .. $2 ) { print "$1\n" } } if /(.*?):(\d+).*/'  ${HOSTFILE}  > ${UNROLLEDHOSTFILE}
 101     if [ ${HOSTFILETMP} = 1 ] ; then
 102         rm ${HOSTFILE}
 103         HOSTFILETMP=0
 104     fi
 105     HOSTFILE=$UNROLLEDHOSTFILE
 106 fi
 107
 108
 109 # Don't use wc -l to compute it to avoid issues with trailing \n at EOF
 110 hostfile_procs=`grep -c "[a-zA-Z0-9]" $HOSTFILE`
 111 if [ ${hostfile_procs} = 0 ] ; then
 112    echo "[`basename $0`] ** error: the hostfile '${HOSTFILE}' is empty. Aborting." >&2
 113    exit 1
 114 fi
 115
 116
 117 ##-------------------------------- DEFAULT APPLICATION --------------------------------------
 118
 119 APPLICATIONTMP=$(echo ${PROC_ARGS}|cut -d' ' -f2)
 120
 121 cat > ${APPLICATIONTMP} <<APPLICATIONHEAD
 122 <?xml version='1.0'?>
 123 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
 124 <platform version="3">
 125 APPLICATIONHEAD
 126
 127 ##---- cache hostnames of hostfile---------------
 128 if [ -n "${HOSTFILE}" ] && [ -f ${HOSTFILE} ]; then
 129     hostnames=$(cat ${HOSTFILE} | tr '\n\r' '  ')
 130     NUMHOSTS=$(cat ${HOSTFILE} | wc -l)
 131 fi
 132
 133
 134     DESCRIPTIONFILE=$(echo $PROC_ARGS|cut -d' ' -f1)
 135
 136     if [ -n "${DESCRIPTIONFILE}" ] && [ -f "${DESCRIPTIONFILE}" ]; then
 137         NUMINSTANCES=$(cat ${DESCRIPTIONFILE} | wc -l)
 138         replayinstances=$(cat ${DESCRIPTIONFILE})
 139         IFS_OLD=$IFS
 140         IFS=$'\n'
 141         set -f
 142         NUMPROCS=0
 143         while IFS= read -r line; do
 144
 145         # return IFS back if you need to split new line by spaces:
 146         IFS=$IFS_OLD
 147         IFS_OLD=
 148         # generate three lists, one with instance id, ont with instance size, one with files
 149         instance=$(echo "$line"|cut -d' ' -f1)
 150         hosttrace=$(cat $(echo "$line"|cut -d' ' -f2)| tr '\n\r' '  ' )
 151         NUMPROCSMINE=$(cat $(echo "$line"|cut -d' ' -f2) | wc -l)
 152
 153         if [ $NUMPROCSMINE != $(echo "$line"|cut -d' ' -f3) ];
 154         then
 155           echo "declared num of processes for instance $instance : ${array[2]} is not the same as the one in the replay files : $NUMPROCSMINE. Please check consistency of these information"
 156           exit 1
 157         fi
 158
 159         sleeptime=$(echo "$line"|cut -d' ' -f4)
 160         HAVE_SEQ="`which seq 2>/dev/null`"
 161
 162         if [ -n "${HAVE_SEQ}" ]; then
 163             SEQ1=`${HAVE_SEQ} 0 $((${NUMPROCSMINE}-1))`
 164         else
 165             cnt=0
 166             while (( $cnt < ${NUMPROCSMINE} )) ; do
 167             SEQ1="$SEQ1 $cnt"
 168             cnt=$((cnt + 1));
 169             done
 170         fi
 171         #NUMPROCS=$((${NUMPROCS}+${NUMPROCSMINE}));
 172         for i in $SEQ1
 173
 174
 175 ##----------------------------------------------------------
 176 ##  generate application.xml with hostnames from hostfile:
 177 ##  the name of host_i (1<=i<=p, where -np p) is the line i
 178 ##  in hostfile (where -hostfile hostfile), or "host$i" if
 179 ##  hostfile has less than i lines.
 180 ##----------------------------------------------------------
 181
 182 ##---- generate <process> tags------------------------------
 183
 184         do
 185           if [ -n "${HOSTFILE}" ]; then
 186           j=$(( ${NUMPROCS} % ${NUMHOSTS} +1))
 187           fi
 188           hostname=$(echo $hostnames|cut -d' ' -f$j)
 189           if [ -z "${hostname}" ]; then
 190             host="host"$($j)
 191           else
 192             host="${hostname}"
 193           fi
 194
 195           echo "  <process host=\"${host}\" function=\"${instance}\"> <!-- function name used only for logging -->" >> ${APPLICATIONTMP}
 196           echo "    <argument value=\"${instance}\"/> <!-- instance -->" >> ${APPLICATIONTMP}
 197           echo "    <argument value=\"${i}\"/> <!-- rank -->" >> ${APPLICATIONTMP}
 198           echo "    <argument value=\"$(echo $hosttrace|cut -d' ' -f$(($i+1)))\"/>" >> ${APPLICATIONTMP}
 199
 200           echo "    <argument value=\"${sleeptime}\"/> <!-- delay -->" >> ${APPLICATIONTMP}
 201           echo "  </process>" >> ${APPLICATIONTMP}
 202           NUMPROCS=$(( ${NUMPROCS} +1))
 203         done
 204         # return IFS back to newline for "for" loop
 205         IFS_OLD=$IFS
 206         IFS=$'\n'
 207       done < ${DESCRIPTIONFILE}
 208
 209         # return delimiter to previous value
 210       IFS=$IFS_OLD
 211       IFS_OLD=
 212       else
 213         printf "File not found: %s\n", "${APP_TRACES[0]:-\${APP_TRACES[0]\}}" >&2
 214         exit 1
 215     fi
 216
 217
 218
 219 cat >> ${APPLICATIONTMP} <<APPLICATIONFOOT
 220 </platform>
 221 APPLICATIONFOOT
 222 ##-------------------------------- end DEFAULT APPLICATION --------------------------------------
 223
 224
 225     if [ ${HOSTFILETMP} = 1 ] ; then
 226         rm ${HOSTFILE}
 227     fi
 228     if [ ${UNROLLEDHOSTFILETMP} = 1 ] ; then
 229         rm ${UNROLLEDHOSTFILE}
 230     fi
 231
 232
 233 exit 0