]> Creatis software - creaImageIO.git/blob - src/creaImageIOMultiThreadImageReader.cpp
Clean code
[creaImageIO.git] / src / creaImageIOMultiThreadImageReader.cpp
1 /*
2 # ---------------------------------------------------------------------
3 #
4 # Copyright (c) CREATIS (Centre de Recherche en Acquisition et Traitement de l'Image 
5 #                        pour la Santé)
6 # Authors : Eduardo Davila, Frederic Cervenansky, Claire Mouton
7 # Previous Authors : Laurent Guigues, Jean-Pierre Roux
8 # CreaTools website : www.creatis.insa-lyon.fr/site/fr/creatools_accueil
9 #
10 #  This software is governed by the CeCILL-B license under French law and 
11 #  abiding by the rules of distribution of free software. You can  use, 
12 #  modify and/ or redistribute the software under the terms of the CeCILL-B 
13 #  license as circulated by CEA, CNRS and INRIA at the following URL 
14 #  http://www.cecill.info/licences/Licence_CeCILL-B_V1-en.html 
15 #  or in the file LICENSE.txt.
16 #
17 #  As a counterpart to the access to the source code and  rights to copy,
18 #  modify and redistribute granted by the license, users are provided only
19 #  with a limited warranty  and the software's author,  the holder of the
20 #  economic rights,  and the successive licensors  have only  limited
21 #  liability. 
22 #
23 #  The fact that you are presently reading this means that you have had
24 #  knowledge of the CeCILL-B license and that you accept its terms.
25 # ------------------------------------------------------------------------
26 */
27
28
29 #include <creaImageIOMultiThreadImageReader.h>
30 #include <creaImageIOImageReader.h>
31 #include <wx/utils.h>
32 #include <creaImageIOSystem.h>
33
34         #include <creaImageIODicomImageReader.h>
35
36
37 #include <creaImageIOGimmick.h>
38 #ifdef _DEBUG
39 #define new DEBUG_NEW
40 #endif
41 namespace creaImageIO
42 {
43
44   //=====================================================================
45   void MultiThreadImageReaderUser::MultiThreadImageReaderSendEvent
46   ( const std::string& filename,
47     EventType type,
48     vtkImageData* image)
49   {
50     wxMutexLocker lock(mMultiThreadImageReaderUserMutex);
51     this->OnMultiThreadImageReaderEvent(filename,type,image);
52   }
53   //=====================================================================
54
55   class wxThreadEED2
56   { 
57   public:
58           void Delete() {  printf("EED wxThreadEED2::Delete() \n"); }
59           int Run() { printf("EED wxThreadEED2::Run() \n"); return 0;}
60           void Pause() { printf("EED wxThreadEED2::Pause() \n"); }
61           void Create() { printf("EED wxThreadEED2::Create() \n"); }
62           bool IsAlive() { printf("EED wxThreadEED2::IsAlive() \n"); return false; }
63           bool TestDestroy() { printf("EED wxThreadEED2::TestDestroy() \n"); return false; }
64           int GetCurrentId() { printf("EED wxThreadEED2::GetCurrentId() \n"); return -999; }      
65   };
66   
67   //=====================================================================
68 //EED 2018-08-20
69 //  class ThreadedImageReader: public wxThread
70   class ThreadedImageReader: public wxThreadEED2
71   {
72   public:
73     ThreadedImageReader(MultiThreadImageReader* tir) :
74       mMultiThreadImageReader(tir)
75     {}
76     void* Entry();
77     void  OnExit();
78     vtkImageData* Read(const std::string& filename);
79         struct deleter
80         {
81                 void operator()(ThreadedImageReader* p)
82                 {
83                         p->Delete();
84                 }
85         };
86         friend struct deleter;
87
88   private:
89     ImageReader mReader;
90     MultiThreadImageReader* mMultiThreadImageReader;
91   };
92
93   //=====================================================================
94
95   
96   //=====================================================================
97   MultiThreadImageReader::MultiThreadImageReader(int number_of_threads)
98     : //mDoNotSignal(false),
99       mReader(NULL),
100       mTotalMem(0),
101       mTotalMemMax(1000000)
102   {
103     //    std::cout << "#### MultiThreadImageReader::MultiThreadImageReader("
104     //        << " #threads= " << number_of_threads <<" )"<<std::endl;
105
106           mDone = false;
107     // Create the threads
108         
109     for (int i=0; i<number_of_threads; i++) 
110     {
111                 //ThreadedImageReader* t = new ThreadedImageReader(this);
112                 boost::shared_ptr<ThreadedImageReader> t(new ThreadedImageReader(this), ThreadedImageReader::deleter());
113                 mThreadedImageReaderList.push_back(t);
114                 std::cout << "  ===> Thread "<<i <<" successfully added"<< std::endl;
115       } // for
116     mNumberOfThreadedReadersRunning = 0;
117     // Init the queue
118     mQueue.set(mComparator);
119     mQueue.set(mIndexer);
120     // 
121     // no thread : alloc self reader
122 //    if (number_of_threads==0)
123 //      {
124         mReader = new ImageReader();
125 //      }
126   }
127   //=====================================================================
128
129
130   //=====================================================================
131   bool MultiThreadImageReader::Start()
132   {
133     //    std::cout << "#### MultiThreadImageReader::Start()"
134     //                <<std::endl;
135           if (mNumberOfThreadedReadersRunning > 0) return true;
136           
137     ThreadedImageReaderListType::iterator i;
138     for (i =mThreadedImageReaderList.begin();
139          i!=mThreadedImageReaderList.end();
140          i++)
141     {
142                 (*i)->Create();
143                 if ( (*i)->Run() != wxTHREAD_NO_ERROR )
144                   {
145                         std::cout << "ERROR starting a thread"<< std::endl;
146                         return false;
147                   }     else  {
148                                         std::cout << "  ===> Thread "<<(*i)->GetCurrentId()
149                                                   <<" successfully created"<< std::endl;
150                   } // if
151                 } // for
152                 wxMutexLocker locker(GetMultiThreadImageReaderUserMutex());
153                 //    std::cout << "EO Start : #Threads running = "
154                 //                    << mNumberOfThreadedReadersRunning<<std::endl;
155     return true;
156   }
157   //=====================================================================
158
159   //=====================================================================
160   void MultiThreadImageReader::Stop()
161   { 
162 //                  std::cout << "#### MultiThreadImageReader::Stop()"
163 //            <<std::endl;
164   //  std::cout << "Sending stop order to the threads..."<<std::endl;
165   
166           if (mDone) return;
167
168     ThreadedImageReaderListType::iterator i;
169     for (i =mThreadedImageReaderList.begin();
170          i!=mThreadedImageReaderList.end();
171          i++)
172     { 
173                 std::cout << "  ===> Thread "<<(*i)->GetCurrentId()
174                               <<" successfully stopped"<< std::endl;
175                   if((*i)->IsAlive())
176                   {
177                           (*i)->Pause();
178                           (*i).reset();
179 //                        (*i)->Delete();
180                   } // if i
181     } // for
182    mThreadedImageReaderList.clear();
183     // Wait a little to be sure that all threads have stopped
184     // A better way to do this ?
185     //    wxMilliSleep(1000);
186     // New method : the threads generate a stop event when they have finished
187     // We wait until all threads have stopped
188 //        std::cout << "Waiting for stop signals..."<<std::endl;
189     do 
190       {
191         // Sleep a little
192                 wxMilliSleep(10);
193         // Lock
194         {
195           wxMutexLocker locker(GetMultiThreadImageReaderUserMutex());
196 //                std::cout << "#Threads running = "
197 //                          << mNumberOfThreadedReadersRunning<<std::endl;
198           // Break if all readers have stopped
199           if (mNumberOfThreadedReadersRunning <= 0) 
200             {
201               break;
202             }
203         }
204       } 
205     while (true);
206 //        std::cout << "All threads stopped : OK "<<std::endl;
207
208
209         CleanMImagesMap();
210         
211         mDone = true;
212
213   }
214   //=====================================================================
215
216   
217    void MultiThreadImageReader::CleanMImagesMap()
218   {
219      ImageMapType::iterator j;
220      for (j=mImages.begin(); j!=mImages.end(); ++j)
221          {
222                 delete j->first;
223      } //for 
224      mImages.clear();
225   }
226   
227   //=====================================================================
228   MultiThreadImageReader::~MultiThreadImageReader()
229   {
230     //    std::cout << "#### MultiThreadImageReader::~MultiThreadImageReader()"
231     //        <<std::endl;
232     Stop();
233     if (mReader) delete mReader;
234         mThreadedImageReaderList.clear();
235
236         CleanMImagesMap();
237         
238 /*      
239         ImageMapType::iterator it;
240         for (it=mImages.begin() ; it!=mImages.end(); it++)
241         {
242                         printf("MultiThreadImageReader::~MultiThreadImageReader  %s ", it.first->GetFilename() );
243         } // for it
244 */
245         
246   }
247   //=====================================================================
248
249   //=====================================================================
250   void MultiThreadImageReader::UpdateUnloadPriority(ImageToLoadPtr p, 
251                                                     int priority)
252   {
253     // not in unload queue : ciao
254     if (p->UnloadIndex()<0) return;
255     int old_prio = p->GetPriority();
256     if (priority > old_prio) 
257       {
258         p->SetPriority(priority);
259         mUnloadQueue.downsort(p->UnloadIndex());
260       }
261     else if ( old_prio > priority )
262       {
263         p->SetPriority(priority);
264         mUnloadQueue.upsort(p->UnloadIndex());
265      }
266   }
267   //=====================================================================
268   // function to read attributes for a file
269   void MultiThreadImageReader::getAttributes(const std::string filename, 
270           std::map <std::string , std::string> &infos,std::vector<std::string> i_attr)
271   {
272           mReader->getAttributes(filename, infos, i_attr);
273   }
274
275   //=====================================================================
276   void MultiThreadImageReader::Request( MultiThreadImageReaderUser* user,
277                                         const std::string& filename, 
278                                         int priority )
279   {
280         wxMutexLocker lock(GetMultiThreadImageReaderUserMutex()); //mMutex);
281
282           if (mNumberOfThreadedReadersRunning==0)
283 //    if (mThreadedImageReaderList.size()==0) 
284       {
285         // no detached reader : use self reader
286         ImageToLoad itl(user,filename);
287         ImageMapType::iterator i = mImages.find(&itl);
288         if (i!=mImages.end())
289           {
290             ImageToLoadPtr pitl = const_cast<ImageToLoadPtr>(i->first);
291             // Already inserted
292             if (pitl->GetImage() != 0)
293               {
294                 // Already read
295                 pitl->SetUser(user);
296                 UpdateUnloadPriority(pitl,priority);
297                 SignalImageRead(pitl,false);
298                 return; // pitl->GetImage();
299               }
300           }
301         ImageToLoadPtr pitl = new ImageToLoad(user,filename,0);
302         mImages[pitl] = 0;
303         pitl->SetImage(mReader->ReadImage(filename));
304         UpdateUnloadPriority(pitl,priority);
305         SignalImageRead(pitl,true);
306         //      return pitl->GetImage();
307         return;
308       }
309
310     ImageToLoad itl(user,filename);
311     ImageMapType::iterator i = mImages.find(&itl);
312     if (i!=mImages.end())
313       {
314         // Already inserted
315         if (i->first->GetImage() != 0)
316           {
317             // Already read : ok :signal the user
318             UpdateUnloadPriority(i->first,priority);
319             SignalImageRead(i->first,false);
320             return;
321           }
322         /// Already requested : change the priority
323         ImageToLoadPtr pitl = const_cast<ImageToLoadPtr>(i->first);
324         pitl->SetPriority(priority);
325         // Already in queue
326         if (pitl->Index()>=0) 
327           {
328             // Re-sort the queue
329             mQueue.upsort(pitl->Index());
330           }
331         // Not read but not in queue = being read = ok
332         else 
333           {
334             
335           }
336       }
337     else 
338       {
339         // Never requested before or unloaded 
340         ImageToLoadPtr pitl = new ImageToLoad(user,filename,priority);
341         mImages[pitl] = 0;
342         mQueue.insert(pitl);
343       }
344   }
345   //=====================================================================
346
347   //=====================================================================
348   void MultiThreadImageReader::OnMultiThreadImageReaderEvent
349   (const std::string& filename,
350    MultiThreadImageReaderUser::EventType e,
351    vtkImageData* image)
352   {
353     if ((e==MultiThreadImageReaderUser::ImageLoaded) &&
354         (filename == mRequestedFilename))
355       {
356         mRequestedImage = image;
357       }
358     else if (e==MultiThreadImageReaderUser::ThreadedReaderStarted)
359       {
360         mNumberOfThreadedReadersRunning++;
361         //      std::cout << "#TR=" << mNumberOfThreadedReadersRunning << std::endl;
362       }
363     else if (e==MultiThreadImageReaderUser::ThreadedReaderStopped)
364       {
365         
366                  mNumberOfThreadedReadersRunning--;
367         //      std::cout << "#TR=" << mNumberOfThreadedReadersRunning << std::endl;
368       }
369   }
370   //=====================================================================
371
372   //=====================================================================
373   vtkImageData* MultiThreadImageReader::GetImage(const std::string& filename)
374   {
375
376     do 
377       {
378         //      wxMutexLocker lock(GetMultiThreadImageReaderUserMutex()); //mMutex);
379                 
380         //     std::cout << "** MultiThreadImageReader::GetImage('"<<filename
381         //             <<"') lock ok"
382         //               <<std::endl;
383     
384         //                if (mNumberOfThreadedReadersRunning==0)
385         //      if (mThreadedImageReaderList.size()==0)
386         if (true)
387         {
388             ImageToLoad itl(this,filename);
389             ImageMapType::iterator i = mImages.find(&itl);
390             if (i!=mImages.end())
391             {
392                         ImageToLoadPtr pitl = const_cast<ImageToLoadPtr>(i->first);
393                         // Already inserted
394                         if (pitl->GetImage() != NULL)
395                         {
396                                 // Already read
397                                 UpdateUnloadPriority( pitl, GetMaximalPriorityWithoutLocking()+1 );
398                                 return pitl->GetImage();
399                         } // if pitl->GetImage()
400             } // if i
401                 
402             ImageToLoadPtr pitl = new ImageToLoad(this,filename,0);
403             mImages[pitl]               = NULL;
404             pitl->SetImage( mReader->ReadImage(filename) );
405             UpdateUnloadPriority( pitl, GetMaximalPriorityWithoutLocking()+1 );
406             return pitl->GetImage();
407         } // if true
408         
409         /*      
410         mRequestedFilename = filename;
411         mRequestedImage = 0;
412         ImageToLoad itl(this,filename);
413         ImageMapType::iterator i = mImages.find(&itl);
414         if (i!=mImages.end())
415           {
416             // Already inserted in queue
417             if (i->first->GetImage() != 0)
418               {
419                 // Already read : ok : return it 
420                 return i->first->GetImage();
421               }
422             /// Already requested : change the priority
423               ImageToLoadPtr pitl = const_cast<ImageToLoadPtr>(i->first);
424               pitl->SetPriority( GetMaximalPriorityWithoutLocking() + 1 );
425               pitl->SetUser( this );
426               // Already in queue
427               if (pitl->Index()>=0) 
428                 {
429                   // Re-sort the queue
430                   mQueue.upsort(pitl->Index());
431                 }
432               // Not read but not in queue = being read = ok
433               else 
434                 {
435                   pitl->SetUser( this );
436                 }
437           }
438         else 
439           {
440             
441             // Never requested before or unloaded 
442             ImageToLoadPtr pitl = 
443               new ImageToLoad(this,filename,
444                               GetMaximalPriorityWithoutLocking() + 1);
445             mImages[pitl] = 0;
446             mQueue.insert(pitl);
447           }
448         */
449       }
450     while (0);
451
452     //    std::cout << "Waiting..."<<std::endl;
453
454     /*
455     // Waiting that it is read
456     int n = 0;
457     do 
458       {
459         //      std::cout << n++ << std::endl;
460         wxMilliSleep(10);
461         do 
462           {
463             //      wxMutexLocker lock(mMutex);
464             wxMutexLocker lock(GetMultiThreadImageReaderUserMutex());
465             if (mRequestedImage!=0) 
466               {
467                 return mRequestedImage;
468               } 
469           }
470         while (0);
471       }
472     while (true);
473     // 
474     */
475         
476   }
477   //=====================================================================
478   
479   //=====================================================================
480   void MultiThreadImageReader::SignalImageRead(ImageToLoadPtr p, 
481                                                bool purge)
482   {
483     
484 //    std::cout << "MultiThreadImageReader::SignalImageRead" <<std::endl;
485     //    std::cout << "this="<<this <<std::endl;
486     //    std::cout << "user="<<p->GetUser() <<std::endl;
487
488     if ( p->GetUser() == this ) 
489         {
490       GetMultiThreadImageReaderUserMutex().Unlock();
491         }
492
493     p->GetUser()->MultiThreadImageReaderSendEvent
494       (p->GetFilename(),
495        MultiThreadImageReaderUser::ImageLoaded,
496        p->GetImage());
497
498     /*
499       AN ATTEMPT TO UNLOAD OLDEST IMAGE IF EXCEEDED A CERTAIN MEMORY QUOTA
500       BUGGY : TO FIX 
501     */
502     if (!purge)  return;
503     GimmickMessage(5,"Image '"<<p->GetFilename()<<"' read"<<std::endl);
504
505     //    wxMutexLocker lock(GetMultiThreadImageReaderUserMutex());
506            
507     mUnloadQueue.insert(p);
508
509
510 //EED 2017-01-01 Migration VTK7
511 #if VTK_MAJOR_VERSION <= 5
512     p->GetImage()->UpdateInformation();
513     p->GetImage()->PropagateUpdateExtent();
514     long ImMem = p->GetImage()->GetEstimatedMemorySize();
515 #else
516         int ext[6];
517         int dim[3];
518         p->GetImage()->GetExtent(ext);
519         dim[0]          = ext[1]-ext[0]+1;
520         dim[1]          = ext[3]-ext[2]+1;
521         dim[2]          = ext[5]-ext[4]+1;
522     long ImMem  = dim[0]*dim[1]*dim[2]*p->GetImage()->GetScalarSize();;
523 #endif
524     mTotalMem += ImMem;
525
526     GimmickMessage(5,"==> Image in memory = "<<mUnloadQueue.size()<<std::endl);
527     GimmickMessage(5,"==> Total mem       = "<<mTotalMem<<" Ko"<<std::endl);
528
529     //  return;
530
531     while (mTotalMem > mTotalMemMax)
532       {
533         GimmickMessage(5,
534                        "   ! Exceeded max of "
535                        << mTotalMemMax << " Ko : unloading oldest image ... "
536                        << std::endl);
537         if ( mUnloadQueue.size() <= 1 ) 
538           {
539              GimmickMessage(5,
540                             "   Only one image : cannot load AND unload it !!"
541                             <<std::endl);
542             break; 
543             
544           }
545         ImageToLoadPtr unload = mUnloadQueue.remove_top();
546         MultiThreadImageReaderUser* user = unload->GetUser();
547
548         /*
549         if ((user!=0)&&(user!=this)) 
550           {
551             user->GetMultiThreadImageReaderUserMutex().Lock();
552           }
553         */
554
555         std::string filename = unload->GetFilename();
556
557         GimmickMessage(5,"'" << filename << "'" << std::endl);
558
559 //EED 2017-01-01 Migration VTK7
560 #if VTK_MAJOR_VERSION <= 5
561         mTotalMem -= unload->GetImage()->GetEstimatedMemorySize();
562 #else
563         int ext[6];
564         int dim[3];
565         unload->GetImage()->GetExtent(ext);
566         dim[0]          = ext[1]-ext[0]+1;
567         dim[1]          = ext[3]-ext[2]+1;
568         dim[2]          = ext[5]-ext[4]+1;
569         mTotalMem -= dim[0]*dim[1]*dim[2]*unload->GetImage()->GetScalarSize();
570 #endif
571
572         GimmickMessage(5," ==> Total mem = "<<mTotalMem<<" Ko "<<std::endl);
573
574         if (user!=0) 
575           {
576             //      std::cout << "unlock..."<<std::endl;
577             //   user->GetMultiThreadImageReaderUserMutex().Unlock();
578             //      std::cout << "event"<<std::endl;
579             user->MultiThreadImageReaderSendEvent
580               (filename,
581                MultiThreadImageReaderUser::ImageUnloaded,
582                0);
583             //      std::cout << "event ok"<<std::endl;
584           }     
585
586         if (unload->Index()>=0)
587           {
588             // GimmickMessage(5,"still in queue"<<std::endl);
589           }
590         unload->Index() = -1;
591
592
593         ImageMapType::iterator it = mImages.find(unload);
594         if (it!=mImages.end())
595           {
596             mImages.erase(it);
597           }
598         //          std::cout << "delete..."<<std::endl;
599         delete unload;
600         //          std::cout << "delete ok."<<std::endl;
601
602       }
603   }
604   //=====================================================================
605
606   //=====================================================================
607   int MultiThreadImageReader::GetMaximalPriority()
608   { 
609     wxMutexLocker lock(GetMultiThreadImageReaderUserMutex()); //mMutex);
610     return GetMaximalPriorityWithoutLocking();
611   }
612   //=====================================================================
613
614
615   //=====================================================================
616   int MultiThreadImageReader::GetMaximalPriorityWithoutLocking()
617   { 
618     long max = 0;
619     if (mQueue.size()>0) 
620       {
621         max = mQueue.top()->GetPriority();
622       }
623     if (mUnloadQueue.size()>0)
624       {
625         int max2 = mUnloadQueue.top()->GetPriority();
626         if (max2>max) max=max2;
627       }
628     return max;
629   }
630   //=====================================================================
631
632
633   //=====================================================================
634   //=====================================================================
635   //=====================================================================
636   //=====================================================================
637
638   //=====================================================================
639   void*  ThreadedImageReader::Entry()
640   {
641     //    std::cout << "### Thread "<<GetCurrentId()<<"::Entry()"
642     //                << std::endl;
643
644     mMultiThreadImageReader->MultiThreadImageReaderSendEvent
645       ("",
646        MultiThreadImageReaderUser::ThreadedReaderStarted,
647        0);
648
649     // While was not deleted 
650     while (!TestDestroy())
651       {
652                 //std::cout << "### Thread "<<GetCurrentId()<<" still alive"  << std::endl;
653           
654         // Lock the mutex
655         mMultiThreadImageReader->MultiThreadImageReaderEventLock();
656         //mMutex.Lock();
657         // If image in queue
658         if (mMultiThreadImageReader->mQueue.size()>0)
659           {
660             MultiThreadImageReader::ImageToLoadPtr i = 
661               mMultiThreadImageReader->mQueue.remove_top();
662
663             mMultiThreadImageReader->MultiThreadImageReaderEventUnlock();
664             //mMutex.Unlock();
665
666             
667             //      std::cout << "### Thread "<<GetCurrentId()<<" : reading '"
668             //                << i->GetFilename() << "'" << std::endl;
669             
670             // Do the job
671             vtkImageData* im = Read(i->GetFilename());
672
673             // Store it in the map
674             mMultiThreadImageReader->MultiThreadImageReaderEventLock();
675             //mMutex.Lock();
676             MultiThreadImageReader::ImageToLoad itl(0,i->GetFilename());
677             MultiThreadImageReader::ImageMapType::iterator it = 
678               mMultiThreadImageReader->mImages.find(&itl);
679             MultiThreadImageReader::ImageToLoadPtr 
680               pitl = const_cast<MultiThreadImageReader::ImageToLoadPtr>
681               (it->first);
682             pitl->SetImage(im);
683             mMultiThreadImageReader->SignalImageRead(pitl,true);//i->GetFilename());
684             mMultiThreadImageReader->MultiThreadImageReaderEventUnlock();           //mMutex.Unlock();
685             
686             //      std::cout << "### Thread "<<GetCurrentId()<<" : reading '"
687             //                << i->GetFilename() << "' : DONE" << std::endl;
688             
689           }     else  {
690             mMultiThreadImageReader->MultiThreadImageReaderEventUnlock();
691             //mMutex.Unlock();
692             // Wait a little to avoid blocking 
693             wxMilliSleep(10);
694           }
695       };
696     //    std::cout << "### Thread "<<GetCurrentId()<<" stopping"
697     //                << std::endl;
698        
699     return 0;
700   }
701   //=====================================================================
702
703   //=====================================================================
704   void ThreadedImageReader::OnExit()
705   {
706     mMultiThreadImageReader->MultiThreadImageReaderSendEvent
707       ("",
708        MultiThreadImageReaderUser::ThreadedReaderStopped,
709        0);
710   }
711   //=====================================================================
712
713   //=====================================================================
714   vtkImageData* ThreadedImageReader::Read(const std::string& filename)
715   {
716     return mReader.ReadImage(filename);
717   }
718   //=====================================================================
719
720 } // namespace creaImageIO