examples/smpi/replay_multiple/generate_multiple_deployment.sh

   1 #! /bin/sh
   2
   3 # Copyright (c) 2007-2014. The SimGrid Team.
   4 # All rights reserved.
   5
   6 # This program is free software; you can redistribute it and/or modify it
   7 # under the terms of the license (GNU LGPL) which comes with this package.
   8
   9
  10 #usage to print the way this script should be called
  11 usage () {
  12     cat <<EOF
  13 Usage: $0 [OPTIONS] -platform <xmldesc> -hostfile <hostfile> replay-file output-file
  14 EOF
  15 }
  16
  17 #check if we have at least one parameter
  18 if [ $# -eq 0 ]
  19 then
  20     usage
  21     exit
  22 fi
  23
  24 EXTOPT=""
  25 WRAPPER=""
  26 HOSTFILE=""
  27
  28 while true; do
  29     case "$1" in
  30         "-platform")
  31             PLATFORM="$2"
  32             if [ ! -f "${PLATFORM}" ]; then
  33                 echo "[`basename $0`] ** error: the file '${PLATFORM}' does not exist. Aborting."
  34                 exit 1
  35             fi
  36             shift 2
  37             ;;
  38         "-hostfile")
  39             HOSTFILE="$2"
  40             if [ ! -f "${HOSTFILE}" ]; then
  41                 echo "[`basename $0`] ** error: the file '${HOSTFILE}' does not exist. Aborting."
  42                 exit 1
  43             fi
  44             shift 2
  45             ;;
  46         "-machinefile")
  47             HOSTFILE="$2"
  48             if [ ! -f "${HOSTFILE}" ]; then
  49                 echo "[`basename $0`] ** error: the file '${HOSTFILE}' does not exist. Aborting."
  50                 exit 1
  51             fi
  52             shift 2
  53             ;;
  54         *)
  55             break
  56             ;;
  57     esac
  58 done
  59
  60 # steel --cfg and --logs options
  61 while [ $# -gt 0 ]; do
  62     case "$1" in
  63         "--cfg="*|"--log="*)
  64             for OPT in ${1#*=}
  65             do
  66                 SIMOPTS="$SIMOPTS ${1%%=*}=$OPT"
  67             done
  68             shift 1
  69             ;;
  70         *)
  71             PROC_ARGS="${PROC_ARGS:+$PROC_ARGS }$1"
  72             shift
  73             ;;
  74     esac
  75 done
  76
  77
  78 ##-----------------------------------
  79
  80
  81 if [ -z "${HOSTFILE}" ] && [ -z "${PLATFORM}" ] ; then
  82     echo "No hostfile nor platform specified."
  83     usage
  84     exit 1
  85 fi
  86
  87 HOSTFILETMP=0
  88 if [ -z "${HOSTFILE}" ] ; then
  89     HOSTFILETMP=1
  90     HOSTFILE="$(mktemp tmphostXXXXXX)"
  91     perl -ne 'print "$1\n" if /.*<host.*?id="(.*?)".*?\/>.*/' ${PLATFORM} > ${HOSTFILE}
  92 fi
  93 UNROLLEDHOSTFILETMP=0
  94
  95 #parse if our lines are terminated by :num_process
  96 multiple_processes=`grep -c ":" $HOSTFILE`
  97 if [ "${multiple_processes}" -gt 0 ] ; then
  98     UNROLLEDHOSTFILETMP=1
  99     UNROLLEDHOSTFILE="$(mktemp tmphostXXXXXX)"
 100     perl -ne ' do{ for ( 1 .. $2 ) { print "$1\n" } } if /(.*?):(\d+).*/'  ${HOSTFILE}  > ${UNROLLEDHOSTFILE}
 101     if [ ${HOSTFILETMP} = 1 ] ; then
 102         rm ${HOSTFILE}
 103         HOSTFILETMP=0
 104     fi
 105     HOSTFILE=$UNROLLEDHOSTFILE
 106 fi
 107
 108
 109 # Don't use wc -l to compute it to avoid issues with trailing \n at EOF
 110 hostfile_procs=`grep -c "[a-zA-Z0-9]" $HOSTFILE`
 111 if [ ${hostfile_procs} = 0 ] ; then
 112    echo "[`basename $0`] ** error: the hostfile '${HOSTFILE}' is empty. Aborting." >&2
 113    exit 1
 114 fi
 115
 116
 117 ##-------------------------------- DEFAULT APPLICATION --------------------------------------
 118
 119 APPLICATIONTMP=$(echo ${PROC_ARGS}|cut -d' ' -f2)
 120
 121 cat > ${APPLICATIONTMP} <<APPLICATIONHEAD
 122 <?xml version='1.0'?>
 123 <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid.dtd">
 124 <platform version="3">
 125 APPLICATIONHEAD
 126
 127 ##---- cache hostnames of hostfile---------------
 128 if [ -n "${HOSTFILE}" ] && [ -f ${HOSTFILE} ]; then
 129     hostnames=$(cat ${HOSTFILE} | tr '\n\r' '  ')
 130     NUMHOSTS=$(cat ${HOSTFILE} | wc -l)
 131 fi
 132
 133
 134     DESCRIPTIONFILE=$(echo $PROC_ARGS|cut -d' ' -f1)
 135
 136     if [ -n "${DESCRIPTIONFILE}" ] && [ -f "${DESCRIPTIONFILE}" ]; then
 137         NUMINSTANCES=$(cat ${DESCRIPTIONFILE} | wc -l)
 138         replayinstances=$(cat ${DESCRIPTIONFILE})
 139         IFS_OLD=$IFS
 140         IFS=$'\n'
 141         NUMPROCS=0
 142         for line in $replayinstances; do
 143         # return IFS back if you need to split new line by spaces:
 144         IFS=$IFS_OLD
 145         IFS_OLD=
 146         # generate three lists, one with instance id, ont with instance size, one with files
 147         instance=$(echo $line|cut -d' ' -f1)
 148         hosttrace=$(cat $(echo $line|cut -d' ' -f2)| tr '\n\r' '  ' )
 149         NUMPROCSMINE=$(cat $(echo $line|cut -d' ' -f2) | wc -l)
 150
 151         if [ $NUMPROCSMINE != $(echo $line|cut -d' ' -f3) ];
 152         then
 153           echo "declared num of processes for instance $instance : ${array[2]} is not the same as the one in the replay files : $NUMPROCSMINE. Please check consistency of these information"
 154           exit 1
 155         fi
 156
 157         sleeptime=$(echo $line|cut -d' ' -f4)
 158         HAVE_SEQ="`which seq 2>/dev/null`"
 159
 160         if [ -n "${HAVE_SEQ}" ]; then
 161             SEQ1=`${HAVE_SEQ} 0 $((${NUMPROCSMINE}-1))`
 162         else
 163             cnt=0
 164             while (( $cnt < ${NUMPROCSMINE} )) ; do
 165             SEQ1="$SEQ1 $cnt"
 166             cnt=$((cnt + 1));
 167             done
 168         fi
 169         #NUMPROCS=$((${NUMPROCS}+${NUMPROCSMINE}));
 170         for i in $SEQ1
 171
 172
 173 ##----------------------------------------------------------
 174 ##  generate application.xml with hostnames from hostfile:
 175 ##  the name of host_i (1<=i<=p, where -np p) is the line i
 176 ##  in hostfile (where -hostfile hostfile), or "host$i" if
 177 ##  hostfile has less than i lines.
 178 ##----------------------------------------------------------
 179
 180 ##---- generate <process> tags------------------------------
 181
 182         do
 183           if [ -n "${HOSTFILE}" ]; then
 184           j=$(( ${NUMPROCS} % ${NUMHOSTS} +1))
 185           fi
 186           hostname=$(echo $hostnames|cut -d' ' -f$j)
 187           if [ -z "${hostname}" ]; then
 188             host="host"$($j)
 189           else
 190             host="${hostname}"
 191           fi
 192
 193           echo "  <process host=\"${host}\" function=\"${instance}\"> <!-- function name used only for logging -->" >> ${APPLICATIONTMP}
 194           echo "    <argument value=\"${instance}\"/> <!-- instance -->" >> ${APPLICATIONTMP}
 195           echo "    <argument value=\"${i}\"/> <!-- rank -->" >> ${APPLICATIONTMP}
 196           echo "    <argument value=\"$(echo $hosttrace|cut -d' ' -f$(($i+1)))\"/>" >> ${APPLICATIONTMP}
 197
 198           echo "    <argument value=\"${sleeptime}\"/> <!-- delay -->" >> ${APPLICATIONTMP}
 199           echo "  </process>" >> ${APPLICATIONTMP}
 200           NUMPROCS=$(( ${NUMPROCS} +1))
 201         done
 202         # return IFS back to newline for "for" loop
 203         IFS_OLD=$IFS
 204         IFS=$'\n'
 205       done
 206
 207         # return delimiter to previous value
 208       IFS=$IFS_OLD
 209       IFS_OLD=
 210       else
 211         printf "File not found: %s\n", "${APP_TRACES[0]:-\${APP_TRACES[0]\}}" >&2
 212         exit 1
 213     fi
 214
 215
 216
 217 cat >> ${APPLICATIONTMP} <<APPLICATIONFOOT
 218 </platform>
 219 APPLICATIONFOOT
 220 ##-------------------------------- end DEFAULT APPLICATION --------------------------------------
 221
 222
 223     if [ ${HOSTFILETMP} = 1 ] ; then
 224         rm ${HOSTFILE}
 225     fi
 226     if [ ${UNROLLEDHOSTFILETMP} = 1 ] ; then
 227         rm ${UNROLLEDHOSTFILE}
 228     fi
 229
 230
 231 exit 0