]> Creatis software - clitk.git/blob - cluster_tools/gate_power_merge.sh
Merge branch 'master' of git.creatis.insa-lyon.fr:clitk
[clitk.git] / cluster_tools / gate_power_merge.sh
1 #!/usr/bin/env bash
2
3 set -u 
4
5 function error {
6 echo "ERROR: $1"
7 exit 1
8 }
9
10 warning_count=0
11 function warning {
12 let "warning_count++"
13 echo "MERGE_WARNING: $1"
14 }
15
16 function start_bar {
17 count_max="${1:?"provide count max"}"
18 }
19
20 function update_bar {
21 local count="${1:?"provide count"}"
22 local message="${2:?"provide message"}"
23 local percent=$(echo "100*${count}/${count_max}" | bc)
24 #printf "[%03d/%03d] %3d%% %-80.80s\r" ${count} ${count_max} ${percent} "${message}"
25 printf "[%03d/%03d] %3d%% %-80.80s\n" ${count} ${count_max} ${percent} "${message}"
26 }
27
28 function end_bar {
29 unset count_max
30 #echo -ne '\n'
31 }
32
33 function check_interfile {
34 local input_interfile="${1:?"provide input interfile"}"
35
36 grep -qs '!INTERFILE :=' "${input_interfile}" || return 1
37
38 local header_byte_size=$(awk -F' ' '
39 BEGIN { zsize = 0; }
40 /matrix size/ && $3 == "[1]" { xsize = $5; }
41 /matrix size/ && $3 == "[2]" { ysize = $5; }
42 /number of projections/ { zsize += $5; }
43 /number of bytes per pixel/ { byte_per_pixel = $7; }
44 END { print xsize * ysize * zsize * byte_per_pixel; }' "${input_interfile}")
45
46 local raw_interfile="$(dirname "${input_interfile}")/$(awk -F' := ' '/name of data file/ { print $2; }' "${input_interfile}")"
47
48 test -f "${raw_interfile}" || return 1
49 test $(stat -c%s "${raw_interfile}") -eq ${header_byte_size} || return 1
50 }
51
52 function write_mhd_header {
53 local input_interfile="${1:?"provide input interfile"}"
54 local output_mhd="$(dirname "${input_interfile}")/$(basename "${input_interfile}" ".hdr").mhd"
55
56 check_interfile "${input_interfile}" || error "${input_interfile} isn't an interfile image"
57
58 local header_start='ObjectType = Image
59 NDims = 3
60 AcquisitionDate = none
61 BinaryData = True
62 BinaryDataByteOrderMSB = False
63 CompressedData = False
64 TransformMatrix = 1 0 0 0 1 0 0 0 1
65 Offset = 0 0 0
66 CenterOfRotation = 0 0 0
67 DistanceUnits = mm
68 AnatomicalOrientation = RIP'
69
70 echo "${header_start}" > "${output_mhd}"
71
72 awk -F' ' '
73 /scaling factor/ && $4 == "[1]" { xspacing = $6; }
74 /scaling factor/ && $4 == "[2]" { yspacing = $6; }
75 END { print "ElementSpacing = " xspacing " " yspacing " 1"; }' "${input_interfile}" >> "${output_mhd}"
76
77 awk -F' ' '
78 BEGIN { zsize = 0; }
79 /matrix size/ && $3 == "[1]" { xsize = $5; }
80 /matrix size/ && $3 == "[2]" { ysize = $5; }
81 /number of projections/ { zsize += $5; }
82 END { print "DimSize = " xsize " " ysize " " zsize; }' "${input_interfile}" >> "${output_mhd}"
83
84 awk -F' := ' '
85 /number format/ { format = $2; }
86 /number of bytes per pixel/ { byte_per_pixel = $2 }
87 END {
88 if (format == "unsigned integer" && byte_per_pixel == 8) { print "ElementType = MET_ULONG"; exit };
89 if (format == "unsigned integer" && byte_per_pixel == 4) { print "ElementType = MET_UINT"; exit };
90 if (format == "unsigned integer" && byte_per_pixel == 2) { print "ElementType = MET_USHORT"; exit };
91 if (format == "unsigned integer" && byte_per_pixel == 1) { print "ElementType = MET_UCHAR"; exit };
92 if (format == "integer" && byte_per_pixel == 8) { print "ElementType = MET_LONG"; exit };
93 if (format == "integer" && byte_per_pixel == 4) { print "ElementType = MET_INT"; exit };
94 if (format == "integer" && byte_per_pixel == 2) { print "ElementType = MET_SHORT"; exit };
95 if (format == "integer" && byte_per_pixel == 1) { print "ElementType = MET_CHAR"; exit };
96 if (format == "float" && byte_per_pixel == 8) { print "ElementType = MET_FLOAT"; exit };
97 if (format == "float" && byte_per_pixel == 4) { print "ElementType = MET_DOUBLE"; exit };
98 print "ElementType = MET_INT";
99 }' "${input_interfile}" >> "${output_mhd}"
100
101 awk -F' := ' '
102 /name of data file/ { print "ElementDataFile = " $2; }' "${input_interfile}" >> "${output_mhd}"
103 }
104
105 rootMerger="clitkMergeRootFiles"
106 test -x "./clitkMergeRootFiles" && rootMerger="./clitkMergeRootFiles"
107
108 function merge_root {
109 local merged="$1"
110 shift
111 echo "  ${indent}entering root merger"
112 echo "  ${indent}merger is ${rootMerger}"
113 echo "  ${indent}creating ${merged}"
114 #echo "######## $#"
115 #echo "######## $*"
116
117 if test $# -eq 1
118 then
119     echo "  ${indent}just one partial file => just copy it"
120     cp "$1" "${merged}"
121     return
122 fi
123
124 local count=0
125 local arguments=" -o ${merged}"
126 while test $# -gt 0
127 do
128     local partial="$1"
129     shift
130     let count++
131     local arguments=" -i ${partial} ${arguments}"
132 done
133 ${rootMerger} ${arguments} > /dev/null || error "error while calling ${rootMerger}"
134 echo "  ${indent}merged ${count} files"
135 }
136
137 statMerger="mergeStatFile.sh"
138 test -x "./mergeStatFile.sh" && statMerger="./mergeStatFile.sh"
139
140 function merge_stat {
141 local merged="$1"
142 shift
143 echo "  ${indent}entering stat merger"
144 echo "  ${indent}merger is ${statMerger}"
145 echo "  ${indent}creating ${merged}"
146 local count=0
147 start_bar $#
148 while test $# -gt 0
149 do
150     local partial="$1"
151     shift
152     let count++
153
154     if test ! -f "${merged}"
155     then
156         update_bar ${count} "copying first partial result ${partial}"
157         cp "${partial}" "${merged}"
158         continue
159     fi
160
161     update_bar ${count} "adding ${partial}"
162     ${statMerger} -i "${merged}" -j "${partial}" -o "${merged}" 2> /dev/null > /dev/null || warning "error while calling ${statMerger}"
163 done
164 end_bar
165 echo "  ${indent}merged ${count} files"
166 }
167
168 doseMerger="mergeDosePerEnegryFile.sh"
169 test -x "./mergeDosePerEnergyFile.sh" && doseMerger="./mergeDosePerEnergyFile.sh"
170
171 function merge_dose {
172 local merged="$1"
173 shift
174 echo "  ${indent}entering dose merger"
175 echo "  ${indent}merger is ${doseMerger}"
176 echo "  ${indent}creating ${merged}"
177 local count=0
178 start_bar $#
179 while test $# -gt 0
180 do
181     local partial="$1"
182     shift
183     let count++
184
185     if test ! -f "${merged}"
186     then
187         update_bar ${count} "copying first partial result ${partial}"
188         cp "${partial}" "${merged}"
189         continue
190     fi
191
192     update_bar ${count} "adding ${partial}"
193     ${doseMerger} -i "${merged}" -j "${partial}" -o "${merged}" 2> /dev/null > /dev/null || warning "error while calling ${doseMerger}"
194 done
195 end_bar
196 echo "  ${indent}merged ${count} files"
197 }
198
199 txtImageMerger="clitkMergeAsciiDoseActor"
200 test -f "./clitkMergeAsciiDoseActor" && txtImageMerger="./clitkMergeAsciiDoseActor"
201
202 function merge_txt_image {
203 local merged="$1"
204 shift
205 echo "  ${indent}entering text image merger"
206 echo "  ${indent}merger is ${txtImageMerger}"
207 echo "  ${indent}creating ${merged}"
208 local count=0
209 start_bar $#
210 while test $# -gt 0
211 do
212     local partial="$1"
213     shift
214     let count++
215
216     if test ! -f "${merged}"
217     then
218         update_bar ${count} "copying first partial result ${partial}"
219         cp "${partial}" "${merged}"
220         continue
221     fi
222
223     update_bar ${count} "adding ${partial}"
224     local header="$(cat "${merged}" | head -n 6)"
225     local tmp="$(mktemp)"
226     ${txtImageMerger} -i "${partial}" -j "${merged}" -o "${tmp}" 2> /dev/null > /dev/null || warning "error while calling ${txtImageMerger}"
227     echo "${header}" > "${merged}"
228     grep -v '## Merge' "${tmp}" >> "${merged}"
229     rm "${tmp}"
230 done
231 end_bar
232 echo "  ${indent}merged ${count} files"
233 }
234
235 hdrImageMerger="clitkImageArithm"
236 test -x "./clitkImageArithm" && hdrImageMerger="./clitkImageArithm"
237
238 function merge_hdr_image {
239 local merged="$1"
240 local merged_bin="${merged%.*}.img"
241 shift
242 echo "  ${indent}entering hdr image merger"
243 echo "  ${indent}merger is ${hdrImageMerger}"
244 echo "  ${indent}creating ${merged}"
245 local count=0
246 start_bar $#
247 while test $# -gt 0
248 do
249     local partial="$1"
250     local partial_bin="${partial%.*}.img"
251     shift
252     let count++
253
254     if test ! -f "${merged}"
255     then
256         update_bar ${count} "copying first partial result ${partial}"
257         cp "${partial}" "${merged}"
258         cp "${partial_bin}" "${merged_bin}"
259         continue
260     fi
261
262     update_bar ${count} "adding ${partial}"
263     ${hdrImageMerger} -t 0 -i "${partial}" -j "${merged}" -o "${merged}" 2> /dev/null > /dev/null || warning "error while calling ${hdrImageMerger}"
264 done
265 end_bar
266 echo "  ${indent}merged ${count} files"
267 }
268
269 mhdImageMerger="clitkImageArithm"
270 test -x "./clitkImageArithm" && mhdImageMerger="./clitkImageArithm"
271
272 function merge_mhd_image {
273 local merged="$1"
274 local merged_bin="${merged%.*}.raw"
275 shift
276 echo "  ${indent}entering mhd image merger"
277 echo "  ${indent}merger is ${mhdImageMerger}"
278 echo "  ${indent}creating ${merged}"
279 local count=0
280 start_bar $#
281 while test $# -gt 0
282 do
283     local partial="$1"
284     local partial_bin="$(dirname "${partial}")/$(awk -F' = ' '/ElementDataFile/ { print $2; }' "${partial}")"
285     shift
286     let count++
287
288     if test ! -f "${merged}"
289     then
290         update_bar ${count} "copying first partial result ${partial}"
291         cp "${partial}" "${merged}"
292         cp "${partial_bin}" "${merged_bin%.*}.${partial_bin##*.}"
293         continue
294     fi
295
296     update_bar ${count} "adding ${partial}"
297     ${mhdImageMerger} -t 0 -i "${partial}" -j "${merged}" -o "${merged}" 2> /dev/null > /dev/null || warning "error while calling ${mhdImageMerger}"
298     mv "${merged_bin}" "${merged_bin%.*}.${partial_bin##*.}"
299     sed -i "s/$(basename "${merged_bin}")/$(basename "${merged_bin%.*}.${partial_bin##*.}")/" "${merged}"
300 done
301 end_bar
302 echo "  ${indent}merged ${count} files"
303 }
304
305 function merge_dispatcher {
306     local indent="  ** "
307     local outputfile="${1:?"provide output filename"}"
308     echo "merging ${outputfile}"
309
310     local partialoutputfiles="$(find "${rundir}" -mindepth 2 -type f -name "${outputfile}")"
311     local nboutputfiles="$(echo "${partialoutputfiles}" | wc -l)"
312     if test ${nboutputdirs} -ne ${nboutputfiles}
313     then
314         warning "missing files"
315         return
316     fi
317
318     local firstpartialoutputfile="$(echo "${partialoutputfiles}" | head -n 1)"
319     local firstpartialoutputextension="${firstpartialoutputfile##*.}"
320     echo "${indent}testing file type on ${firstpartialoutputfile}"
321
322     if test "${firstpartialoutputextension}" == "hdr" && grep -qs 'INTERFILE' "${firstpartialoutputfile}"
323     then
324         echo "${indent}this is a interfile image"
325         echo "${indent}creating mhd headers"
326         for partialoutputfile in $partialoutputfiles; do write_mhd_header "${partialoutputfile}"; done
327         local mhd_partialoutputfiles="$(for partialoutputfile in $partialoutputfiles; do echo "${partialoutputfile%.*}.mhd"; done)"
328         local mhd_mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}" ".hdr").mhd"
329         merge_mhd_image "${mhd_mergedfile}" ${mhd_partialoutputfiles} || error "error while merging"
330         echo "${indent}cleaning mhd headers"
331         for mhd_partialoutputfile in $mhd_partialoutputfiles; do rm "${mhd_partialoutputfile}"; done
332         rm "${mhd_mergedfile}"
333         echo "${indent}copy interfile header"
334         cp "${firstpartialoutputfile}" "${outputdir}"
335         return
336     fi
337
338     if test "${firstpartialoutputextension}" == "hdr"
339     then
340         echo "${indent}this is a analyse image"
341         local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
342         merge_hdr_image "${mergedfile}" ${partialoutputfiles} || error "error while merging"
343         return
344     fi
345
346     if test "${firstpartialoutputextension}" == "mhd"
347     then
348         echo "${indent}this is a mhd image"
349         local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
350         merge_mhd_image "${mergedfile}" ${partialoutputfiles} || error "error while merging"
351         return
352     fi
353
354     if test "${firstpartialoutputextension}" == "root"
355     then
356         echo "${indent}this is a root file"
357         local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
358         merge_root "${mergedfile}" ${partialoutputfiles} || error "error while merging"
359         return
360     fi
361
362     if test "${firstpartialoutputextension}" == "txt" && grep -qs 'NumberOfEvent' "${firstpartialoutputfile}"
363     then
364         echo "${indent}this is a stat file"
365         local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
366         merge_stat "${mergedfile}" ${partialoutputfiles} || error "error while merging"
367         return
368     fi
369
370     if test "${firstpartialoutputextension}" == "txt" && grep -qs 'energydose' "${firstpartialoutputfile}"
371     then
372         echo "${indent}this is a dose file"
373         local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
374         merge_dose "${mergedfile}" ${partialoutputfiles} || error "error while merging"
375         return
376     fi
377
378
379
380     if test "${firstpartialoutputextension}" == "txt" && grep -qs 'Resol' "${firstpartialoutputfile}"
381     then
382         local resol="$(sed -nr '/Resol/s/^.*=\s+\((.+)\)\s*$/\1/p' "${firstpartialoutputfile}")"
383         local resolx="$(echo "${resol}" | cut -d',' -f1)"
384         local resoly="$(echo "${resol}" | cut -d',' -f2)"
385         local resolz="$(echo "${resol}" | cut -d',' -f3)"
386         if test "${resol}" == "1,1,1"
387         then
388             echo "${indent}this is a txt integral value"
389             local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
390             merge_txt_image "${mergedfile}" ${partialoutputfiles} || error "error while merging"
391             return
392         fi
393         if test \( "${resolx}" == "1" -a "${resoly}" == "1" \) -o \( "${resoly}" == "1" -a "${resolz}" == "1" \) -o \( "${resolz}" == "1" -a "${resolx}" == "1" \)
394         then
395             echo "${indent}this is a txt profile"
396             local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
397             merge_txt_image "${mergedfile}" ${partialoutputfiles} || error "error while merging"
398             return
399         fi
400     fi
401
402     if test "${firstpartialoutputextension}" == "txt"
403     then
404         echo "${indent}this is a non specific txt output"
405         local mergedfile="${outputdir}/$(basename "${firstpartialoutputfile}")"
406         local nbdifferent="$(md5sum ${partialoutputfiles} | awk '{ print $1; }' | sort | uniq | wc -l)"
407         echo "  ${indent}${nbdifferent} different files"
408         if test ${nbdifferent} -gt 1
409         then
410             echo "  ${indent}catting to ${mergedfile}"
411             cat ${partialoutputfiles} > "${mergedfile}" || error "error while merging"
412             return
413         else
414             echo "  ${indent}moving to ${mergedfile}"
415             cp "${firstpartialoutputfile}" "${mergedfile}" || error "error while merging"
416             return
417         fi
418     fi
419
420     error "unknown file type"
421 }
422
423 echo "!!!! this is $0 v0.3k !!!!"
424
425 rundir="${1?"provide run dir"}"
426 rundir="$(echo "${rundir}" | sed 's|/*$||')"
427 nboutputdirs="$(find "${rundir}" -mindepth 1 -type d -name 'output*' | wc -l)"
428
429 test ${nboutputdirs} -gt 0 || error "no output dir found"
430 echo "found ${nboutputdirs} partial output dirs"
431
432 outputdir="results"
433 if [ "${rundir}" != "." -a "${rundir##*.}" != "${rundir}" ]
434 then
435     outputdir="results.${rundir##*.}"
436 fi
437 outputdir="$(basename "${outputdir}")"
438 echo "output dir is ${outputdir}"
439 test -d "${outputdir}" && rm -r "${outputdir}"
440 mkdir "${outputdir}"
441
442 for outputfile in $(find "${rundir}" -regextype 'posix-extended' -type f -regex "${rundir}/output.*\.(hdr|mhd|root|txt)" | awk -F '/' '{ print $NF; }' | sort | uniq)
443 do
444     merge_dispatcher "${outputfile}"
445 done
446
447 if [ -f "${rundir}/params.txt" ]
448 then
449         echo "copying params file"
450         cp "${rundir}/params.txt" "${outputdir}/params.txt"
451 fi
452
453 echo "these was ${warning_count} warning(s)"