cluster_tools/gate_run_submit_cluster.sh

   1 #! /bin/bash -lx
   2
   3 set -u
   4 SCRIPTNAME="$(basename "${0}")"
   5
   6 # -------------------------------------------------
   7 function error {
   8     echo "ERROR: $1"
   9     usage
  10     exit 1
  11 }
  12 # -------------------------------------------------
  13
  14 DEFAULTRELEASESUFFIX="NONE"
  15 DEFAULTNUMBEROFJOBS="10"
  16
  17 # -------------------------------------------------
  18 function usage {
  19     echo "${SCRIPTNAME} mac/main.mac njobs releasesuffix paramtogate"
  20     echo "default njobs = ${DEFAULTNUMBEROFJOBS}"
  21     echo "default releasesuffix = ${DEFAULTRELEASESUFFIX} (NONE means use Gate in PATH)"
  22     echo "default paramtogate = \"\" (use \"\" around params and \\ in front of commas)"
  23 }
  24 # -------------------------------------------------
  25
  26 test $# -eq 0 && usage && exit 0
  27
  28 RELEASESUFFIX=${3:-"${DEFAULTRELEASESUFFIX}"}
  29 RELEASEDIR="${HOME}/releases/grid_release${RELEASESUFFIX}"
  30 if test "$(dnsdomainname)" = "in2p3.fr"
  31 then
  32     JOBFILE="$(dirname $0)/gate_job_ccin2p3.job"
  33 else
  34     JOBFILE="$(dirname $0)/gate_job_cluster.job"
  35 fi
  36
  37 echo "Checking stuff"
  38 test -f ${JOBFILE} || error "can't find job file ${JOBFILE}"
  39 if test "${RELEASESUFFIX}" = "${DEFAULTRELEASESUFFIX}"
  40 then
  41     RELEASEDIR="NONE"
  42     which Gate 2>&1 >/dev/null || error "there is no Gate in the PATH"
  43 else
  44     test -d ${RELEASEDIR} || error "invalid release dir ${RELEASEDIR}"
  45 fi
  46 MACRODIR=$(pwd)
  47 test -d ${MACRODIR}/mac && test -d ${MACRODIR}/data || error "invalid path"
  48 MACROFILE=${1:?"provide relative macro path"}
  49 test -f ${MACRODIR}/${MACROFILE} || error "invalid macro"
  50 if test "$(dnsdomainname)" = "in2p3.fr"
  51 then
  52     OUTPUTDIR=$(mktemp -d -p "${MACRODIR}" run.XXXX || error "can't create temp dir")
  53 else
  54     unamestr=`uname`
  55     if [[ "$unamestr" == 'Darwin' ]]; then
  56         ## On OSX (Darwin), mktemp version is different from Linux version . We
  57         ## need the absolute folder here
  58         OUTPUTDIR=$(mktemp -d run.XXXX || error "can't create temp dir")
  59         OUTPUTDIR=${MACRODIR}/${OUTPUTDIR}
  60     else
  61         OUTPUTDIR=$(mktemp --tmpdir=${MACRODIR} -d run.XXXX || error "can't create temp dir")
  62     fi
  63     echo $OUTPUTDIR
  64 fi
  65 test -d ${OUTPUTDIR} || error "can't locate output dir"
  66 RUNID=${OUTPUTDIR##*.}
  67 NJOBS=${2:-"${DEFAULTNUMBEROFJOBS}"}
  68 NJOBSMAX=${NJOBS}
  69 PARAM="${4:-\"\"}"
  70
  71 echo "Lets roll!!"
  72 echo "runid is ${RUNID}"
  73
  74 QSUB=$(which qsub 2> /dev/null)
  75 # echo "qsub is $(which qsub)"
  76 test -z "${QSUB}" && QSUB="noqsub"
  77 if test "${QSUB}" = "noqsub"
  78 then
  79     echo "qsub is not found. Simply run Gate on multiple cores."
  80 fi
  81
  82 test -z "${PARAM}" && echo "no param" || echo "param is ${PARAM}"
  83 if test "$RELEASESUFFIX" = "$DEFAULTRELEASESUFFIX"
  84 then
  85     echo "Gate is $(which Gate)"
  86 else
  87     echo "Gate release is $(basename ${RELEASEDIR})"
  88 fi
  89 echo "submitting ${NJOBS} jobs"
  90
  91 PARAMFILE="${OUTPUTDIR}/params.txt"
  92 echo "njobs = ${NJOBS}" >> "${PARAMFILE}"
  93 echo "macro = ${MACROFILE}" >> "${PARAMFILE}"
  94 test -z "${PARAM}" || echo "param = ${PARAM}" >> "${PARAMFILE}"
  95
  96 # Copy macros files (for log)
  97 mkdir ${OUTPUTDIR}/mac
  98 cp ${MACROFILE} ${OUTPUTDIR}/mac
  99 cp mac/* ${OUTPUTDIR}/mac/
 100 files=`grep "control/execute" ${MACROFILE} | cut -d " " -f 2`
 101 for i in $files
 102 do
 103     cp $i ${OUTPUTDIR}/mac
 104 done
 105
 106 while test $NJOBS -gt 0; do
 107
 108     if [ "$PARAM" = "\"\"" ]
 109     then
 110         JPARAM="-a [JOB_ID,${NJOBS}]"
 111     else
 112         JPARAM="${PARAM} [JOB_ID,${NJOBS}]"
 113     fi
 114
 115     if test "${QSUB}" = "noqsub"
 116     then
 117         echo "Launching Gate log in ${OUTPUTDIR}/gate_${NJOBS}.log"
 118         PARAM=\"${JPARAM}\" INDEX=${NJOBS} INDEXMAX=${NJOBSMAX} OUTPUTDIR=${OUTPUTDIR}  RELEASEDIR=${RELEASEDIR} MACROFILE=${MACROFILE} MACRODIR=${MACRODIR} PBS_JOBID="local_${NJOBS}" bash "${JOBFILE}" > ${OUTPUTDIR}/gate_${NJOBS}.log &
 119     elif test "$(dnsdomainname)" = "in2p3.fr"
 120     then
 121         PROJECTGROUP=creatis
 122         qsub -o "${OUTPUTDIR}" \
 123              -e "${OUTPUTDIR}" \
 124              -l sps=1 \
 125              -N "gate.${RUNID}" \
 126              -v "PARAM=\"${JPARAM}\",INDEX=${NJOBS},INDEXMAX=${NJOBSMAX},OUTPUTDIR=${OUTPUTDIR},RELEASEDIR=${RELEASEDIR},MACROFILE=${MACROFILE},MACRODIR=${MACRODIR}" \
 127              "${JOBFILE}" || error "submission error"
 128     else
 129         qsub -N "gatejob.${RUNID}" -o "${OUTPUTDIR}" \
 130       -v "PARAM=${PARAM},INDEX=${NJOBS},INDEXMAX=${NJOBSMAX},OUTPUTDIR=${OUTPUTDIR},RELEASEDIR=${RELEASEDIR},MACROFILE=${MACROFILE},MACRODIR=${MACRODIR}" \
 131       "${JOBFILE}" || error "submission error"
 132     fi
 133
 134     let NJOBS--
 135 done
 136
 137 echo "runid is ${RUNID}"