]> Creatis software - clitk.git/blob - registration/clitkGenericOptimizer.h
Moved from repository clitk to clitk.private/tests_dav
[clitk.git] / registration / clitkGenericOptimizer.h
1 /*=========================================================================
2   Program:   vv                     http://www.creatis.insa-lyon.fr/rio/vv
3
4   Authors belong to:
5   - University of LYON              http://www.universite-lyon.fr/
6   - Léon Bérard cancer center       http://www.centreleonberard.fr
7   - CREATIS CNRS laboratory         http://www.creatis.insa-lyon.fr
8
9   This software is distributed WITHOUT ANY WARRANTY; without even
10   the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR
11   PURPOSE.  See the copyright notices for more information.
12
13   It is distributed under dual licence
14
15   - BSD        See included LICENSE.txt file
16   - CeCILL-B   http://www.cecill.info/licences/Licence_CeCILL-B_V1-en.html
17 ===========================================================================**/
18
19 #ifndef __clitkGenericOptimizer_h
20 #define __clitkGenericOptimizer_h
21
22 //clitk include
23 #include "clitkLBFGSBOptimizer.h"
24
25 //itk include
26 #include "itkAmoebaOptimizer.h"
27 #include "itkPowellOptimizer.h"
28 #include "itkFRPROptimizer.h"
29 #include "itkRegularStepGradientDescentOptimizer.h"
30 #include "itkVersorRigid3DTransformOptimizer.h"
31 #include "itkConjugateGradientOptimizer.h"
32 #include "itkLBFGSOptimizer.h"
33 #include "itkSPSAOptimizer.h"
34
35 // general
36 #include <iomanip>
37
38 /*Requires at least this section in the associated *.ggo file: (modify defaults to fit application)
39
40 option "optimizer"      -       "0=Simplex, 1=Powell, 2=FRPR, 3=Regular Step GD, 4=VersorRigid3D, 5=Conjugated Gradient, 6=L-BFGS, 7=L-BFGS-B" int no default="0"
41 option "delta"          -       "0: Initial delta, otherwise automatic"                                                 double  no
42 option "step"           -       "1,2,3,4: Initial stepsize (to be multiplied with the gradient)"                        double  no      default="2.0"
43 option "relax"          -       "3,4: Relaxation of the stepsize (multiplied each time the gradient changes sign)"      double  no      default="0.7"
44 option "valueTol"       -       "0,1,2: Tolerance on the function"                                                      double  no      default="0.01"
45 option "stepTol"        -       "0,1,3,4: Tolerance on the step size"                                                   double  no      default="0.1"
46 option "gradTol"        -       "3,4,6,7: Tolerance on the (projected) gradient magnitude (7: 1=low->1e-10=high precision)"     double  no      default="1e-5"
47 option "lineAcc"        -       "6: Line accuracy (eg: high=0.1, low=0.9)"      double  no      default="0.9"
48 option "convFactor"     -       "7: Convergence factor: terminate if factor*machine_precision>reduction in cost (1e+12 low -> 1e+1 high precision) "    double          no      default="1e+7"
49 option "maxIt"          -       "0-7: Maximum number of iterations"                                     int     no      default="500"
50 option "maxLineIt"      -       "1,2: Maximum number of line iterations"                                        int     no      default="50"
51 option "maxEval"        -       "6,7: Maximum number of evaluations"                                            int     no      default="500"
52 option "maxCorr"        -       "7: Maximum number of corrections"                                              int     no      default="5"
53 option "selectBound"    -       "7: Select the type of bound: 0=none, 1=u, 2=u&l, 3=l"                  int     no      default="0"
54 option "lowerBound"     -       "7: The lower bound"                                                    double  no
55 option "upperBound"     -       "7: The upper bound"                                                    double  no
56
57 */
58
59 namespace clitk
60 {
61 template<class args_info_type>
62 class GenericOptimizer : public itk::LightObject
63 {
64 public:
65   //==============================================
66   typedef GenericOptimizer     Self;
67   typedef itk::LightObject     Superclass;
68   typedef itk::SmartPointer<Self>            Pointer;
69   typedef itk::SmartPointer<const Self>      ConstPointer;
70
71   /** Method for creation through the object factory. */
72   itkNewMacro(Self);
73
74
75   typedef itk::SingleValuedNonLinearOptimizer OptimizerType;
76   typedef OptimizerType::Pointer OptimizerPointer;
77
78   //==============================================
79   //Set members
80   void SetArgsInfo(args_info_type args_info) {
81     m_ArgsInfo= args_info;
82     m_Verbose=m_ArgsInfo.verbose_flag;
83   }
84   void SetMaximize(bool f) {
85     m_Maximize=f;
86     m_MaximizeGiven=true;
87   }
88
89   void SetNumberOfParameters(unsigned int n) {
90     m_NumberOfParameters=n;
91   }
92
93   //==============================================
94   //Get members
95   OptimizerPointer GetOptimizerPointer(void) {
96
97     if (!m_MaximizeGiven)std::cerr<<"Warning: Maximize/Minimize was not given to the optimizer!!"<<std::endl;
98     else if(m_Verbose) {
99       if (m_Maximize)  std::cout<<"Maximizing similarity measure..."<<std::endl;
100       else std::cout<<"Minimizing similarity measure..."<<std::endl;
101     }
102
103
104     //============================================================================
105     //switch on  the  metric type chosen and set metric specific members
106     switch (m_ArgsInfo.optimizer_arg) {
107
108     case 0: {
109       itk::AmoebaOptimizer::Pointer m =
110         itk::AmoebaOptimizer::New();
111       m_OptimizerIsVNL=true;
112
113       //Set Parameters for this optimizer
114       m->SetMaximize(m_Maximize);
115       if (m_ArgsInfo.delta_given) {
116         itk::Array<double> delta(m_NumberOfParameters);
117         for (unsigned int i =0 ; i < m_NumberOfParameters; i ++)
118           delta[i]=m_ArgsInfo.delta_arg;
119         m->SetInitialSimplexDelta(delta);
120         m->SetAutomaticInitialSimplex(false);
121       } else m->SetAutomaticInitialSimplex(true);
122       m->SetMaximumNumberOfIterations(m_ArgsInfo.maxIt_arg);
123       m->SetFunctionConvergenceTolerance(m_ArgsInfo.valueTol_arg);
124       m->SetParametersConvergenceTolerance(m_ArgsInfo.stepTol_arg);
125       if (m_Verbose) std::cout<<"Using Simplex Optimizer..."<<std::endl;
126       m_Optimizer=m;
127       break;
128     }
129
130     case 1: {
131       itk::PowellOptimizer::Pointer m =
132         itk::PowellOptimizer::New();
133       m_OptimizerIsVNL=false;
134
135       //Set Parameters for this optimizer
136       m->SetMaximize(m_Maximize);
137       m->SetStepLength(m_ArgsInfo.step_arg);
138       m->SetStepTolerance(m_ArgsInfo.stepTol_arg);
139       m->SetValueTolerance (m_ArgsInfo.valueTol_arg);
140       m->SetMaximumIteration(m_ArgsInfo.maxIt_arg);
141       m->SetMaximumLineIteration(m_ArgsInfo.maxLineIt_arg);
142       if (m_Verbose) std::cout<<"Using Powell Optimizer..."<<std::endl;
143       m_Optimizer=m;
144       break;
145     }
146
147     case 2: {
148       itk::FRPROptimizer::Pointer m =
149         itk::FRPROptimizer::New();
150       m_OptimizerIsVNL=false;
151
152       //Set Parameters for this optimizer
153       m->SetMaximize(m_Maximize);
154       m->SetStepLength(m_ArgsInfo.step_arg);
155       m->SetStepTolerance(m_ArgsInfo.stepTol_arg);
156       m->SetValueTolerance (m_ArgsInfo.valueTol_arg);
157       m->SetMaximumIteration(m_ArgsInfo.maxIt_arg);
158       m->SetMaximumLineIteration(m_ArgsInfo.maxLineIt_arg);
159       if (m_Verbose) std::cout<<"Using Powell Optimizer..."<<std::endl;
160       m_Optimizer=m;
161       break;
162     }
163
164     case 3: {
165       itk::RegularStepGradientDescentOptimizer::Pointer m =
166         itk::RegularStepGradientDescentOptimizer::New();
167       m_OptimizerIsVNL=false;
168
169       //Set Parameters for this optimizer
170       m->SetMaximize(m_Maximize);
171       m->SetMinimumStepLength( m_ArgsInfo.stepTol_arg );
172       m->SetRelaxationFactor(  m_ArgsInfo.relax_arg );
173       m->SetMaximumStepLength( m_ArgsInfo.step_arg );
174       m->SetNumberOfIterations(m_ArgsInfo.maxIt_arg  );
175       m->SetGradientMagnitudeTolerance(m_ArgsInfo.gradTol_arg  );
176       if (m_Verbose) std::cout<<"Using Regular Step Gradient Descent Optimizer..."<<std::endl;
177       m_Optimizer=m;
178       break;
179     }
180
181     case 4: {
182       itk::VersorRigid3DTransformOptimizer::Pointer m
183       = itk::VersorRigid3DTransformOptimizer::New();
184       m_OptimizerIsVNL=false;
185
186       //Set Parameters for this optimizer
187       m->SetMaximize(m_Maximize);
188       m->SetMinimumStepLength( m_ArgsInfo.stepTol_arg );
189       m->SetRelaxationFactor(  m_ArgsInfo.relax_arg );
190       m->SetMaximumStepLength( m_ArgsInfo.step_arg );
191       m->SetNumberOfIterations(m_ArgsInfo.maxIt_arg  );
192       m->SetGradientMagnitudeTolerance(m_ArgsInfo.gradTol_arg  );
193       if (m_Verbose) std::cout<<"Using VersorRigid3DTransform Optimizer..."<<std::endl;
194       m_Optimizer=m;
195       break;
196     }
197
198     case 5: {
199
200       itk::ConjugateGradientOptimizer::Pointer m
201       = itk::ConjugateGradientOptimizer::New();
202       m_OptimizerIsVNL=true;
203
204       //Set Parameters for this optimizer
205       m->SetMaximize(m_Maximize);
206       if (m_Verbose) std::cout<<"Using Conjugated Gradient Optimizer..."<<std::endl;
207       m_Optimizer=m;
208       break;
209     }
210
211     case 6: {
212       itk::LBFGSOptimizer::Pointer m
213       = itk::LBFGSOptimizer::New();
214       m_OptimizerIsVNL=true;
215
216       //Set Parameters for this optimizer
217       m->SetMaximize(m_Maximize);
218       m->SetGradientConvergenceTolerance(m_ArgsInfo.gradTol_arg);
219       m->SetLineSearchAccuracy(m_ArgsInfo.lineAcc_arg);
220       m->SetMaximumNumberOfFunctionEvaluations(m_ArgsInfo.maxEval_arg);
221       m->SetTrace(true);
222       if (m_Verbose) std::cout<<"Using L-BFGS Optimizer..."<<std::endl;
223       m_Optimizer=m;
224       break;
225     }
226
227     case 7: {
228       LBFGSBOptimizer::Pointer m
229       = LBFGSBOptimizer::New();
230       m_OptimizerIsVNL=true;
231
232       //Set Parameters for this optimizer
233       m->SetMaximize(m_Maximize);
234       m->SetMaximumNumberOfEvaluations(m_ArgsInfo.maxEval_arg);
235       m->SetMaximumNumberOfIterations(m_ArgsInfo.maxIt_arg);
236       m->SetMaximumNumberOfCorrections(m_ArgsInfo.maxCorr_arg);
237       m->SetCostFunctionConvergenceFactor( m_ArgsInfo.convFactor_arg);
238       m->SetProjectedGradientTolerance( m_ArgsInfo.gradTol_arg);
239
240       // Bounds
241       clitk::LBFGSBOptimizer::BoundSelectionType boundSelect( m_NumberOfParameters );
242       clitk::LBFGSBOptimizer::BoundValueType upperBound( m_NumberOfParameters );
243       clitk::LBFGSBOptimizer::BoundValueType lowerBound( m_NumberOfParameters );
244       boundSelect.Fill( m_ArgsInfo.selectBound_arg );
245       upperBound.Fill( m_ArgsInfo.upperBound_arg );
246       lowerBound.Fill( m_ArgsInfo.lowerBound_arg );
247       m->SetBoundSelection( boundSelect );
248       m->SetUpperBound( upperBound );
249       m->SetLowerBound( lowerBound );
250
251       if (m_Verbose) std::cout<<"Using L-BFGS-B Optimizer..."<<std::endl;
252       m_Optimizer=m;
253       break;
254     }
255
256     //     case 8:
257     //       {
258     //  itk::SPSAOptimizer::Pointer m =
259     //    itk::SPSAOptimizerr::Pointer::New();
260     //      m_OptimizerIsVNL=false;
261
262     //  //Set Parameters for this optimizer
263     //  m->SetMaximize(m_Maximize);
264     //  m->SetGamma(m_ArgsInfo.gamma_arg);
265     //  m->SetAlpha(m_ArgsInfo.gamma_arg);
266     //  m->SetA(m_ArgsInfo.bigA_arg);
267     //  m->Seta(m_ArgsInfo.littleA_arg);
268     //  m->Setc(m_ArgsInfo.littleC_arg);
269     //  m->SetMaximumNumberOfIterations(m_ArgsInfo.maxIt_arg);
270     //  m->SetMinimumNumberOfIterations(m_ArgsInfo.minIt_arg);
271     //  m->SetNumberOfPerturbations(m_ArgsInfo.per_arg);
272     //  m->SetStateOfConvergenceDecayRate(args_inf.conv_arg);
273     //  if (m_Verbose) std::cout<<"Using SPSA Optimizer..."<<std::endl;
274     //  m_Optimizer=m;
275     //  break;
276     //       }
277
278     }
279
280
281     //============================================================================
282     //return the pointer
283     return m_Optimizer;
284   }
285
286
287   void OutputIterationInfo(void) const {
288     switch (m_ArgsInfo.optimizer_arg) {
289     case 0: {
290       itk::AmoebaOptimizer* o=dynamic_cast<itk::AmoebaOptimizer*>(m_Optimizer.GetPointer());
291       std::cout<<std::setprecision(6);
292       //if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetIteration()<<std::endl;
293       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCachedCurrentPosition()<<std::endl;
294       if (m_OutputValue)  std::cout<<"Value: "<< o->GetCachedValue()<<std::endl;
295       // if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetCachedDerivative()<<std::endl;
296       std::cout<<std::endl;
297       break;
298     }
299     case 1: {
300       itk::PowellOptimizer* o=dynamic_cast<itk::PowellOptimizer*>(m_Optimizer.GetPointer());
301       std::cout<<std::setprecision(6);
302       if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetCurrentIteration()<<std::endl;
303       if (m_OutputIteration)  std::cout<<"Line Iteration: "<< o->GetCurrentLineIteration()<<std::endl;
304       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCurrentPosition()<<std::endl;
305       if (m_OutputValue)  std::cout<<"Value: "<< o->GetCurrentCost()<<std::endl;
306       //if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetDerivative()<<std::endl;
307       std::cout<<std::endl;
308       break;
309     }
310     case 2: {
311       itk::FRPROptimizer* o=dynamic_cast<itk::FRPROptimizer*>(m_Optimizer.GetPointer());
312       std::cout<<std::setprecision(6);
313       if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetCurrentIteration()<<std::endl;
314       if (m_OutputIteration)  std::cout<<"Line Iteration: "<< o->GetCurrentLineIteration()<<std::endl;
315       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCurrentPosition()<<std::endl;
316       if (m_OutputValue)  std::cout<<"Value: "<< o->GetCurrentCost()<<std::endl;
317       //if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetDerivative()<<std::endl;
318       std::cout<<std::endl;
319       break;
320     }
321     case 3: {
322       itk::RegularStepGradientDescentOptimizer* o=dynamic_cast<itk::RegularStepGradientDescentOptimizer*>(m_Optimizer.GetPointer());
323       std::cout<<std::setprecision(6);
324       if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetCurrentIteration()<<std::endl;
325       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCurrentPosition()<<std::endl;
326       if (m_OutputValue)  std::cout<<"Step length: "<< o->GetCurrentStepLength()<<std::endl;
327       if (m_OutputValue)  std::cout<<"Value: "<< o->GetValue()<<std::endl;
328       if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetGradient()<<std::endl;
329       std::cout<<std::endl;
330       break;
331     }
332     case 4: {
333       itk::VersorRigid3DTransformOptimizer* o=dynamic_cast<itk::VersorRigid3DTransformOptimizer*>(m_Optimizer.GetPointer());
334       std::cout<<std::setprecision(6);
335       if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetCurrentIteration()<<std::endl;
336       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCurrentPosition()<<std::endl;
337       if (m_OutputPosition)  std::cout<<"Step length: "<< o->GetCurrentStepLength()<<std::endl;
338       if (m_OutputValue)  std::cout<<"Value: "<< o->GetValue()<<std::endl;
339       if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetGradient()<<std::endl;
340       std::cout<<std::endl;
341       break;
342     }
343     case 5: {
344       itk::ConjugateGradientOptimizer* o=dynamic_cast<itk::ConjugateGradientOptimizer*>(m_Optimizer.GetPointer());
345       std::cout<<std::setprecision(6);
346       if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetCurrentIteration()<<std::endl;
347       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCachedCurrentPosition()<<std::endl;
348       if (m_OutputValue)  std::cout<<"Value: "<< o->GetCachedValue()<<std::endl;
349       if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetCachedDerivative()<<std::endl;
350       std::cout<<std::endl;
351       break;
352     }
353     case 6: {
354       itk::LBFGSOptimizer* o=dynamic_cast<itk::LBFGSOptimizer*>(m_Optimizer.GetPointer());
355       std::cout<<std::setprecision(6);
356       //if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetCurrentIteration()<<std::endl;
357       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCachedCurrentPosition()<<std::endl;
358       if (m_OutputValue)  std::cout<<"Value: "<< o->GetCachedValue()<<std::endl;
359       //          if (m_OutputValue)  std::cout<<"Norm Projected Gradient: "<< o->GetInfinityNormOfProjectedGradient()<<std::endl;
360       if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetCachedDerivative()<<std::endl;
361       std::cout<<std::endl;
362       break;
363     }
364     case 7: {
365       clitk::LBFGSBOptimizer* o=dynamic_cast<clitk::LBFGSBOptimizer*>(m_Optimizer.GetPointer());
366       std::cout<<std::setprecision(6);
367       if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetCurrentIteration()<<std::endl;
368       if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCachedCurrentPosition()<<std::endl;
369       if (m_OutputValue)  std::cout<<"Value: "<< o->GetValue()<<std::endl;
370       if (m_OutputValue)  std::cout<<"Norm Projected Gradient:"<< o->GetInfinityNormOfProjectedGradient()<<std::endl;
371       if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetCachedDerivative()<<std::endl;
372       std::cout<<std::endl;
373       break;
374     }
375     //       case 8:
376     //  {
377     //    itk::VersorRigid3DTransformOptimizer* o=dynamic_cast<itk::VersorRigid3DTransformOptimizer*>(m_Optimizer.GetPointer());
378     //    std::cout<<std::setprecision(6);
379     //    if (m_OutputIteration)  std::cout<<"Iteration: "<< o->GetIteration()<<std::endl;
380     //    if (m_OutputPosition)  std::cout<<"Position: "<< o->GetCurrentPosition()<<std::endl;
381     //    if (m_OutputValue)  std::cout<<"Value: "<< o->GetCurrentCost()<<std::endl;
382     //    if (m_OutputGradient)  std::cout<<"Gradient: "<< o->GetDerivative()<<std::endl;
383     //    std::cout<<std::endl;
384     //  }
385     }
386   }
387
388   void SetOutputIteration(bool o) {
389     m_OutputIteration=o;
390   }
391   void SetOutputPosition(bool o) {
392     m_OutputPosition=o;
393   }
394   void SetOutputValue(bool o) {
395     m_OutputValue=o;
396   }
397   void SetOutputGradient(bool o) {
398     m_OutputGradient=o;
399   }
400
401
402   //==============================================
403 protected:
404   GenericOptimizer() {
405     m_Optimizer=NULL;
406     m_Maximize=false;
407     m_Verbose=false;
408     m_MaximizeGiven=false;
409     m_NumberOfParameters=1;
410     m_OptimizerIsVNL=false;
411     m_OutputIteration=true;
412     m_OutputPosition=false;
413     m_OutputValue=true;
414     m_OutputGradient=false;
415
416   }
417   ~GenericOptimizer() {};
418
419 private:
420   args_info_type m_ArgsInfo;
421   OptimizerPointer m_Optimizer;
422   bool m_Maximize;
423   bool m_Verbose;
424   bool m_MaximizeGiven;
425   unsigned int m_NumberOfParameters;
426   bool m_OptimizerIsVNL;
427   bool m_OutputIteration;
428   bool m_OutputPosition;
429   bool m_OutputValue;
430   bool m_OutputGradient;
431 };
432
433 } // end namespace clitk
434
435 #endif // #define __clitkGenericOptimizer_h