cluster_tools/gate_run_submit_cluster.sh

   1 #!/usr/bin/env bash
   2
   3 set -u
   4 SCRIPTNAME="$(basename "${0}")"
   5
   6 function error {
   7 echo "ERROR: $1"
   8 usage
   9 exit 1
  10 }
  11
  12 DEFAULTRELEASESUFFIX="NONE"
  13 DEFAULTNUMBEROFJOBS="10"
  14
  15 function usage {
  16 echo "${SCRIPTNAME} mac/main.mac njobs releasesuffix paramtogate"
  17 echo "default njobs = ${DEFAULTNUMBEROFJOBS}"
  18 echo "default releasesuffix = ${DEFAULTRELEASESUFFIX} (NONE means use Gate in PATH)"
  19 }
  20
  21 test $# -eq 0 && usage && exit 0
  22
  23 SCRIPTDIR="${HOME}/git/gate-tests/bin"
  24 RELEASESUFFIX=${3:-"${DEFAULTRELEASESUFFIX}"}
  25 RELEASEDIR="${HOME}/releases/grid_release${RELEASESUFFIX}"
  26 JOBFILE="$(dirname $0)/gate_job_cluster.job"
  27
  28 echo "Checking stuff"
  29 test -f ${JOBFILE} || error "can't find job file ${JOBFILE}"
  30 if test "${RELEASESUFFIX}" = "${DEFAULTRELEASESUFFIX}"
  31 then
  32         RELEASEDIR="NONE"
  33         which Gate 2>&1 >/dev/null || error "there is no Gate in the PATH"
  34 else
  35         test -d ${RELEASEDIR} || error "invalid release dir ${RELEASEDIR}"
  36 fi
  37 MACRODIR=$(pwd)
  38 test -d ${MACRODIR}/mac && test -d ${MACRODIR}/data || error "invalid path"
  39 MACROFILE=${1:?"provide relative macro path"}
  40 test -f ${MACRODIR}/${MACROFILE} || error "invalid macro"
  41 OUTPUTDIR=$(mktemp --tmpdir=${MACRODIR} -d run.XXXX || error "can't create temp dir")
  42 test -d ${OUTPUTDIR} || error "can't locate output dir"
  43 RUNID=${OUTPUTDIR##*.}
  44 NJOBS=${2:-"${DEFAULTNUMBEROFJOBS}"}
  45 NJOBSMAX=${NJOBS}
  46 PARAM="${4:-""}"
  47
  48 echo "Lets roll!!"
  49 echo "runid is ${RUNID}"
  50 echo "qsub is $(which qsub)"
  51 test -z "${PARAM}" && echo "no param" || echo "param is ${PARAM}"
  52 if test "$RELEASESUFFIX" = "$DEFAULTRELEASESUFFIX"
  53 then
  54         echo "using $(which Gate)"
  55 else
  56         echo "using release $(basename ${RELEASEDIR})"
  57 fi
  58 echo "submitting ${NJOBS} jobs"
  59
  60 PARAMFILE="${OUTPUTDIR}/params.txt"
  61 echo "njobs = ${NJOBS}" >> "${PARAMFILE}"
  62 echo "macro = ${MACROFILE}" >> "${PARAMFILE}"
  63 test -z "${PARAM}" || echo "param = ${PARAM}" >> "${PARAMFILE}"
  64
  65 while test $NJOBS -gt 0; do
  66         qsub -N "gatejob.${RUNID}" -o "${OUTPUTDIR}" \
  67         -v "PARAM=\"${PARAM}\",INDEX=${NJOBS},INDEXMAX=${NJOBSMAX},SCRIPTDIR=${SCRIPTDIR},OUTPUTDIR=${OUTPUTDIR},RELEASEDIR=${RELEASEDIR},MACROFILE=${MACROFILE},MACRODIR=${MACRODIR}" \
  68         "${JOBFILE}" || error "submission error"
  69         let NJOBS--
  70 done
  71
  72 echo "runid is ${RUNID}"