]> git.treefish.org Git - phys/latlib.git/blob - configcache.cpp
168de5e14494c122e8a262bd3176c223635a76fe
[phys/latlib.git] / configcache.cpp
1 #include "configcache.h"
2
3 #include <stdlib.h>
4 #include <iostream>
5 #include <time.h>
6 #include <dirent.h>
7
8 #define HEADER_READOK   0
9 #define HEADER_READERR  1
10 #define HEADER_READLAST 2
11
12 configcache::configcache(const string& cacheid, const int& nequi, const int& nskip, const string& datadir, char **configmem, const int& configMemSize, const int& cachemode,
13                          ostream *_log){
14   log = _log;
15
16   NEQUI = nequi;
17   NSKIP = nskip;
18   DATADIR = datadir;
19   CACHEID = cacheid;
20
21   if ( cacheid.find("_") != -1 ) {
22     if(log) *log << "CCACHE: Invalid cacheid \"" << cacheid << "\" given. Cacheids must not contain underscores!" << endl << flush;
23     exit(1);
24   }
25
26   configMem = (char*)malloc(configMemSize);
27   tmpConfig = (char*)malloc(configMemSize);
28
29   *configmem = configMem;
30   configSize = configMemSize;
31
32   outBuffer = NULL;
33   inBuffer = NULL;
34
35   MODE = cachemode;
36
37   refetchDataFiles = false;
38 }
39
40 string configcache::getFileId(int actnequi, const bool& shortid)
41 {
42   stringstream fileid;
43
44   if(!shortid) fileid << CACHEID << "_" << actnequi << "_" << NSKIP;
45   for(int ipara=0; ipara<Paras.size(); ipara++)
46     fileid << "_" << Paras[ipara].id << Paras[ipara].val;
47
48   return fileid.str();
49 }
50
51 void configcache::fetchDataFiles()
52 {
53   struct dirent *de=NULL;
54   DIR *d=NULL;
55   static infiledesc filedesc;
56   
57   d=opendir(DATADIR.c_str());
58   if(d != NULL){
59     while(de = readdir(d)){
60       string filename = de->d_name;
61       if(isValidInFile(filename, &filedesc)) 
62         {
63           inFiles.push_back(filedesc);
64         }
65     }
66   }
67 }
68
69 bool configcache::isValidInFile(const string& infile, infiledesc *filedesc)
70 {
71   char *inchar, *inParts;
72   string truncIn, truncOut;
73
74   filedesc->filename = infile;
75   filedesc->doVirtualEquilibration = false;
76   filedesc->readEquilibratedConfigs = 0;
77
78   if( infile.size() < 4 ) return false;
79
80   if( infile.substr(infile.size()-4) == ".dat" )
81     filedesc->extended = false;
82   else if( infile.substr(infile.size()-4) == "edat" )
83     filedesc->extended = true;
84   else
85     return false;
86
87   inchar = new char [infile.size()+1];
88   strcpy (inchar, infile.c_str());
89
90   inParts = strtok( inchar, "_" );
91   for(int iPart=0; inParts!=NULL; iPart++)
92     {
93       if( iPart>3 ) { truncIn += "_"; truncIn += inParts; }
94
95       switch(iPart)
96         {
97         case 1: if(inParts != CACHEID)
98             return false;
99           break;
100         case 2:
101           if (atoi(inParts) < NEQUI)
102             filedesc->doVirtualEquilibration = true;
103           filedesc->nequi = atoi(inParts);
104           break;
105         case 3: 
106           if(atoi(inParts) != NSKIP) 
107             return false;
108           filedesc->nskip = atoi(inParts);
109           break;
110         }
111       inParts = strtok( NULL, "_");
112     }
113   truncIn = truncIn.substr(0, truncIn.size()-4);
114
115   delete[] inchar;
116
117   if( truncIn.find( getFileId(NEQUI, true) + "_" ) == string::npos ) return false;
118
119   return true;
120 }
121
122 int configcache::readHeader()
123 {
124   long unsigned int headersize;
125   
126   if( readDataToMem((char *)&headersize, sizeof(long unsigned int)) == sizeof(long unsigned int) && inFile.is_open() ) {
127     if ( headersize == 0 )
128       return HEADER_READLAST;
129
130     pair<unsigned long, void *> newHeader;
131
132     if( readDataToMem((char *)&newHeader.first, sizeof(unsigned long)) == sizeof(unsigned long) && inFile.is_open() ) {
133       newHeader.second = malloc(headersize);
134
135       if( readDataToMem((char *)newHeader.second, headersize) == headersize && inFile.is_open() ) {
136         headerStore.push_back(newHeader);
137         return HEADER_READOK;
138       }
139       else {
140         if(log) *log << "CCACHE: Could not read heade-data! Closing dat-file: " << openFileDesc.filename << endl << flush;
141         inFile.close();
142         return HEADER_READERR;
143       }
144     }
145     else {
146       if(log) *log << "CCACHE: Could not read headerid-hash! Closing dat-file: " << openFileDesc.filename << endl << flush;
147       inFile.close();
148       return HEADER_READERR;
149     }
150   }
151   else {
152     if(log) *log << "CCACHE: Could not read header size. Closing dat-file: " << openFileDesc.filename << endl << flush;
153     inFile.close();
154     return HEADER_READERR;
155   }
156 }
157
158 bool configcache::readAllHeaders()
159 {
160   int readHeaderStatus;
161
162   deleteHeaderStore();
163   
164   do {
165     readHeaderStatus = readHeader();
166   }
167   while ( readHeaderStatus == HEADER_READOK );
168
169   if ( readHeaderStatus == HEADER_READLAST ) return true;
170   else if ( readHeaderStatus == HEADER_READERR ) return false;
171 }
172
173 void * configcache::getHeader(const string& headerid) {
174   for (vector< pair<unsigned long, void *> >::iterator headerStoreIt = headerStore.begin(); headerStoreIt != headerStore.end(); ++headerStoreIt)
175     if ( headerStoreIt->first == hash(headerid) )
176       return headerStoreIt->second;
177   
178   return NULL;
179 }
180
181 /* returns number of equilibration-steps left with new read configuration 
182    or zero if no new configuration was read */
183 void configcache::readConfig(bool& readnewconfig, int& nequileft, vector<unsigned long> *excludeFileHashes)
184 {
185   readnewconfig = false;
186   nequileft = NEQUI;
187
188   if(DATADIR == "" || MODE == CACHE_MODE_DISABLED) return;
189
190   if(refetchDataFiles){
191     refetchDataFiles = false;
192     fetchDataFiles();
193   }
194
195   while(true)
196     {
197       vector<infiledesc>::iterator inFileIt = getNextInfile(excludeFileHashes);
198
199       if( (!inFile.is_open()) && inFileIt == inFiles.end() ) return;
200
201       while( (!inFile.is_open()) && inFiles.size() > 0 ) {
202         openFileDesc = *inFileIt;
203
204         if(log) *log << "CCACHE: Opening dat-file: " << inFileIt->filename << endl << flush;
205         inFile.open( (DATADIR + "/" + inFileIt->filename).c_str(), std::ios::binary );
206         
207         inFiles.erase(inFileIt);
208         
209         if( !inFile.is_open() ) continue;
210
211         inBuffer = new boost::iostreams::filtering_istreambuf;
212         inBuffer->push( boost::iostreams::bzip2_decompressor() );
213         inBuffer->push(inFile);
214       }
215
216       if( inFile.is_open() ) 
217         {
218           if (openFileDesc.doVirtualEquilibration) {
219             if(log) *log << "CCACHE: Trying virtual equilibration." << endl << flush;
220             openFileDesc.doVirtualEquilibration = false;
221             for (int iskip=0; iskip < (NEQUI-openFileDesc.nequi)/openFileDesc.nskip; iskip++) {
222               if( readFullBlock(tmpConfig, configSize) != configSize || ! inFile.is_open() )
223                 break;
224               else if ( (NEQUI-openFileDesc.nequi) - (iskip+1)*openFileDesc.nskip < nequileft ) {
225                 memcpy(configMem, tmpConfig, configSize);
226                 nequileft = (NEQUI-openFileDesc.nequi) - (iskip+1)*openFileDesc.nskip;
227                 readnewconfig = true;
228               }
229             }
230           }
231
232           if( readFullBlock(tmpConfig, configSize) == configSize && inFile.is_open() )
233             {
234               memcpy(configMem, tmpConfig, configSize);
235               readnewconfig = true;
236               nequileft = NEQUI - openFileDesc.nequi - openFileDesc.readEquilibratedConfigs*openFileDesc.nskip;
237               openFileDesc.readEquilibratedConfigs++;
238               return;
239             }
240           else {
241             if(log) *log << "CCACHE: Could not read configuration. Closing dat-file: " << openFileDesc.filename << endl << flush;
242             inFile.close();
243           }
244         }
245     }
246 }
247
248 void configcache::openOutFile(int actnequi)
249 {
250   time_t secstamp = time(NULL);
251
252   outFileName.str("");
253   outFileName << DATADIR << "/" << secstamp << "_" << getFileId(actnequi) << "_.edat.tmp";
254
255   outFile.open( outFileName.str().c_str(), std::ios::binary );
256
257   outBuffer = new boost::iostreams::filtering_ostreambuf;
258   outBuffer->push(boost::iostreams::bzip2_compressor());
259   outBuffer->push(outFile);
260 }
261
262 void configcache::writeHeader(const string& headerid, const char *header, long unsigned int size, int actnequi) {
263   unsigned long headeridhash;
264
265   if( DATADIR == "" || MODE < 2 ) return;
266
267   if(!outFile.is_open())
268     openOutFile(actnequi);
269
270   headeridhash = hash(headerid);
271
272   boost::iostreams::write(*outBuffer, (char*)&size, sizeof(long unsigned int));
273   boost::iostreams::write(*outBuffer, (char*)&headeridhash, sizeof(unsigned long));
274   boost::iostreams::write(*outBuffer, header, size);
275 }
276
277 void configcache::writeConfig(int actnequi)
278 {
279   long unsigned int zeroheader=0;
280
281   if ( DATADIR == "" || MODE < 2 ) return;
282
283   if ( ! outFile.is_open() )
284     openOutFile(actnequi);
285   
286   boost::iostreams::write(*outBuffer, (char*)&zeroheader, sizeof(long unsigned int));
287
288   boost::iostreams::write(*outBuffer, configMem, configSize);
289 }
290
291 void configcache::addPara(const string& parid, const double& val){
292   parameter newPara;
293   newPara.id = parid;
294   newPara.val = val;
295   Paras.push_back(newPara);
296 }
297
298 int configcache::getParIndex(const string& parid){
299   for(int ipara=0; ipara<Paras.size(); ipara++)
300     if(Paras[ipara].id == parid) return ipara;
301 }
302
303 void configcache::setPara(const string& parid, const double& value){
304   Paras[getParIndex(parid)].val = value;
305   finishOutFile();
306   if(inBuffer != NULL) { delete inBuffer; inBuffer=NULL; } 
307   inFile.close();
308   inFiles.clear();
309
310   refetchDataFiles = true;
311 }
312
313 configcache::~configcache()
314 {
315   finishOutFile();
316   delete inBuffer;
317   inBuffer = NULL;
318 }
319
320 void configcache::finishOutFile()
321 {
322   if( outBuffer != NULL )
323     {
324       delete outBuffer;
325       outBuffer = NULL;
326     }
327
328   if( outFile.is_open() )
329     {
330       outFile.close();
331       rename( outFileName.str().c_str(), outFileName.str().substr(0, outFileName.str().size()-4).c_str() );
332     }
333 }
334
335 int configcache::readFullBlock(char *tmpData, long unsigned int dataSize)
336 {
337   /* try to read header */
338   if ( openFileDesc.extended )
339     if ( ! readAllHeaders() ) 
340       return -1;
341
342   /* read data */
343   return readDataToMem(tmpData, dataSize);
344 }
345
346 int configcache::readDataToMem(char *tmpData, long unsigned int dataSize)
347 {
348   int readturn = -1;
349
350   if ( dataSize == 0 ) return 0;
351
352   try { readturn = boost::iostreams::read(*inBuffer, tmpData, dataSize); }
353   catch(boost::iostreams::bzip2_error& error) { 
354     if(log) *log << "CCACHE: Caught bzip2 exception with error code: " << error.error() << endl << flush;
355     inFile.close();
356   } 
357   catch (std::exception const& ex) {
358     if(log) *log << "CCACHE: Caught exception: " << ex.what() << endl << flush;
359     inFile.close();
360   }
361   catch( ... ) {
362     if(log) *log << "CCACHE: Caught unknown exception while reading." << endl << flush;
363     inFile.close();
364   }
365
366   return readturn;
367 }
368
369 unsigned long configcache::hash(const string& str)
370 {
371   unsigned long hash = 5381;
372
373   for(string::const_iterator it=str.begin();it!=str.end();it++) 
374     hash = ((hash << 5) + hash) + *it; /* hash * 33 + character */
375
376   return hash;
377 }
378
379 void configcache::deleteHeaderStore()
380 {
381   while ( headerStore.size() > 0 ) {
382     free(headerStore.back().second);
383     headerStore.pop_back();
384   }
385 }
386
387 vector<infiledesc>::iterator configcache::getNextInfile(vector<unsigned long> *excludeFileHashes) {
388   for (vector<infiledesc>::iterator init = inFiles.begin(); init != inFiles.end(); ++init) {
389     if (excludeFileHashes != NULL) {
390       bool excludethisfile = false;
391
392       for (vector<unsigned long>::iterator exit = excludeFileHashes->begin(); exit != excludeFileHashes->end(); ++exit)
393         if ( *exit == hash(init->filename) ) {
394           excludethisfile = true;
395           break;
396         }
397
398       if (excludethisfile)
399         continue;
400     }
401     return init;
402   }
403   return inFiles.end();
404 }