cluster_tools/gate_run_submit_cluster.sh

   1 #!/usr/bin/env bash
   2
   3 set -u
   4 SCRIPTNAME="$(basename "${0}")"
   5
   6 # -------------------------------------------------
   7 function error {
   8     echo "ERROR: $1"
   9     usage
  10     exit 1
  11 }
  12 # -------------------------------------------------
  13
  14 DEFAULTRELEASESUFFIX="NONE"
  15 DEFAULTNUMBEROFJOBS="10"
  16
  17 # -------------------------------------------------
  18 function usage {
  19     echo "${SCRIPTNAME} mac/main.mac njobs releasesuffix paramtogate"
  20     echo "default njobs = ${DEFAULTNUMBEROFJOBS}"
  21     echo "default releasesuffix = ${DEFAULTRELEASESUFFIX} (NONE means use Gate in PATH)"
  22 }
  23 # -------------------------------------------------
  24
  25 test $# -eq 0 && usage && exit 0
  26
  27 RELEASESUFFIX=${3:-"${DEFAULTRELEASESUFFIX}"}
  28 RELEASEDIR="${HOME}/releases/grid_release${RELEASESUFFIX}"
  29 if test "$(dnsdomainname)" = "in2p3.fr"
  30 then
  31     JOBFILE="$(dirname $0)/gate_job_ccin2p3.job"
  32 else
  33     JOBFILE="$(dirname $0)/gate_job_cluster.job"
  34 fi
  35
  36 echo "Checking stuff"
  37 test -f ${JOBFILE} || error "can't find job file ${JOBFILE}"
  38 if test "${RELEASESUFFIX}" = "${DEFAULTRELEASESUFFIX}"
  39 then
  40     RELEASEDIR="NONE"
  41     which Gate 2>&1 >/dev/null || error "there is no Gate in the PATH"
  42 else
  43     test -d ${RELEASEDIR} || error "invalid release dir ${RELEASEDIR}"
  44 fi
  45 MACRODIR=$(pwd)
  46 test -d ${MACRODIR}/mac && test -d ${MACRODIR}/data || error "invalid path"
  47 MACROFILE=${1:?"provide relative macro path"}
  48 test -f ${MACRODIR}/${MACROFILE} || error "invalid macro"
  49 if test "$(dnsdomainname)" = "in2p3.fr"
  50 then
  51     OUTPUTDIR=$(mktemp -d -p "${MACRODIR}" run.XXXX || error "can't create temp dir")
  52     ssh -i ${HOME}/.ssh/ccin2p3 linux1.dg.creatis.insa-lyon.fr mkdir -p "cc/$(basename ${OUTPUTDIR})"
  53 else
  54     OUTPUTDIR=$(mktemp --tmpdir=${MACRODIR} -d run.XXXX || error "can't create temp dir")
  55 fi
  56 test -d ${OUTPUTDIR} || error "can't locate output dir"
  57 RUNID=${OUTPUTDIR##*.}
  58 NJOBS=${2:-"${DEFAULTNUMBEROFJOBS}"}
  59 NJOBSMAX=${NJOBS}
  60 PARAM="${4:-""}"
  61
  62 echo "Lets roll!!"
  63 echo "runid is ${RUNID}"
  64
  65 QSUB=$(which qsub 2> /dev/null)
  66 # echo "qsub is $(which qsub)"
  67 test -z "${QSUB}" && QSUB="noqsub"
  68 if test "${QSUB}" = "noqsub"
  69 then
  70     echo "qsub is not found. Simply run Gate on multiple cores."
  71 fi
  72
  73 test -z "${PARAM}" && echo "no param" || echo "param is ${PARAM}"
  74 if test "$RELEASESUFFIX" = "$DEFAULTRELEASESUFFIX"
  75 then
  76     echo "Gate is $(which Gate)"
  77 else
  78     echo "Gate release is $(basename ${RELEASEDIR})"
  79 fi
  80 echo "submitting ${NJOBS} jobs"
  81
  82 PARAMFILE="${OUTPUTDIR}/params.txt"
  83 echo "njobs = ${NJOBS}" >> "${PARAMFILE}"
  84 echo "macro = ${MACROFILE}" >> "${PARAMFILE}"
  85 test -z "${PARAM}" || echo "param = ${PARAM}" >> "${PARAMFILE}"
  86
  87 # Copy macros files (for log)
  88 mkdir ${OUTPUTDIR}/mac
  89 cp ${MACROFILE} ${OUTPUTDIR}/mac
  90 files=`grep "control/execute" ${MACROFILE} | cut -d " " -f 2`
  91 for i in $files
  92 do
  93     cp $i ${OUTPUTDIR}/mac
  94 done
  95
  96 while test $NJOBS -gt 0; do
  97
  98     if test "${QSUB}" = "noqsub"
  99     then
 100         echo "Launching Gate log in ${OUTPUTDIR}/gate_${NJOBS}.log"
 101         PARAM=\"${PARAM}\" INDEX=${NJOBS} INDEXMAX=${NJOBSMAX} OUTPUTDIR=${OUTPUTDIR}  RELEASEDIR=${RELEASEDIR} MACROFILE=${MACROFILE} MACRODIR=${MACRODIR} PBS_JOBID="local_${NJOBS}" bash "${JOBFILE}" > ${OUTPUTDIR}/gate_${NJOBS}.log &
 102     elif test "$(dnsdomainname)" = "in2p3.fr"
 103     then
 104         PROJECTGROUP=creatis
 105         qsub -o "${OUTPUTDIR}" \
 106              -N "gate.${RUNID}" \
 107              -v "PARAM=\"${PARAM}\",INDEX=${NJOBS},INDEXMAX=${NJOBSMAX},OUTPUTDIR=${OUTPUTDIR},RELEASEDIR=${RELEASEDIR},MACROFILE=${MACROFILE},MACRODIR=${MACRODIR}" \
 108              "${JOBFILE}" || error "submission error"
 109     else
 110         qsub -N "gatejob.${RUNID}" -o "${OUTPUTDIR}" \
 111             -v "PARAM=\"${PARAM}\",INDEX=${NJOBS},INDEXMAX=${NJOBSMAX},OUTPUTDIR=${OUTPUTDIR},RELEASEDIR=${RELEASEDIR},MACROFILE=${MACROFILE},MACRODIR=${MACRODIR}" \
 112             "${JOBFILE}" || error "submission error"
 113     fi
 114
 115     let NJOBS--
 116 done
 117
 118 echo "runid is ${RUNID}"
 119 if test "$(dnsdomainname)" = "in2p3.fr"
 120 then
 121     rsync -av --remove-source-files -e "ssh -i ${HOME}/.ssh/ccin2p3" ${OUTPUTDIR}/ "linux1.dg.creatis.insa-lyon.fr:./cc/$(basename ${OUTPUTDIR})" --exclude '.__afs*' --exclude "${OUTPUTDIR}/gatejob.*.o*"
 122 fi