]> Creatis software - clitk.git/commitdiff
Prefer to use link instead of copy for ccIn2p3 data
authortbaudier <thomas.baudier@creatis.insa-lyon.fr>
Tue, 11 Dec 2018 08:47:15 +0000 (09:47 +0100)
committertbaudier <thomas.baudier@creatis.insa-lyon.fr>
Tue, 11 Dec 2018 08:47:15 +0000 (09:47 +0100)
Before, the job copied data into the temp calculation folder. We prefer to avoid copy of large data, so we use link now

cluster_tools/gate_job_ccin2p3.job

index c7abaacb11eb6d62d3ef05ca1da5e5735ce725a9..f07f9c2efec8d8b69ab0df6dd28584fcdc93f496 100644 (file)
@@ -22,6 +22,7 @@ function transferJobData {
     mkdir "${OUTPUTDIR}/output.${JOB_ID%%.*}"
     rsync -av --remove-source-files output/ "${OUTPUTDIR}/output.${JOB_ID%%.*}"
     echo "Cleanup"
+    unlink "${LOCALMACRODIR}"/data
     rm -r ${LOCALMACRODIR}
 }
 
@@ -76,7 +77,9 @@ echo "Copying inputs"
 LOCALMACRODIR=$(mktemp -d)
 trap "wait ; transferJobData ; exit 1" 1 2 3 15
 cd ${LOCALMACRODIR}
-cp -r -L "${MACRODIR}"/{data,mac} .
+cp -r -L "${MACRODIR}"/mac .
+ln -s "${MACRODIR}"/data ./data
+#cp -r -L "${MACRODIR}"/{data,mac} .
 mkdir output
 
 # Enforce one thread