]> git.treefish.org Git - phys/latlib.git/blob - configcache.cpp
implemented multiple datablock headers.
[phys/latlib.git] / configcache.cpp
1 #include "configcache.h"
2
3 #include <stdlib.h>
4 #include <iostream>
5 #include <time.h>
6 #include <dirent.h>
7
8 #define HEADER_READOK   0
9 #define HEADER_READERR  1
10 #define HEADER_READLAST 2
11
12 configcache::configcache(const string& cacheid, const int& nequi, const int& nskip, const string& datadir, char **configmem, const int& configMemSize, const int& cachemode,
13                          writeout *out_a){
14   out = out_a;
15
16   NEQUI = nequi;
17   NSKIP = nskip;
18   DATADIR = datadir;
19   CACHEID = cacheid;
20
21   configMem = (char*)malloc(configMemSize);
22   tmpConfig = (char*)malloc(configMemSize);
23
24   *configmem = configMem;
25   configSize = configMemSize;
26
27   outBuffer = NULL;
28   inBuffer = NULL;
29
30   MODE = cachemode;
31
32   refetchDataFiles = false;
33 }
34
35 string configcache::getFileId(const bool& shortid)
36 {
37   stringstream fileid;
38
39   if(!shortid) fileid << CACHEID << "_" << NEQUI << "_" << NSKIP;
40   for(int ipara=0; ipara<Paras.size(); ipara++)
41     fileid << "_" << Paras[ipara].id << Paras[ipara].val;
42
43   return fileid.str();
44 }
45
46 void configcache::fetchDataFiles()
47 {
48   struct dirent *de=NULL;
49   DIR *d=NULL;
50   static infiledesc filedesc;
51   
52   d=opendir(DATADIR.c_str());
53   if(d != NULL){
54     while(de = readdir(d)){
55       string filename = de->d_name;
56       if(isValidInFile(filename, &filedesc)) 
57         {
58           inFiles.push_back(filedesc);
59         }
60     }
61   }
62 }
63
64 bool configcache::isValidInFile(const string& infile, infiledesc *filedesc)
65 {
66   char *inchar, *inParts;
67   string truncIn, truncOut;
68
69   filedesc->filename = infile;
70   filedesc->doVirtualEquilibration = false;
71
72   if( infile.size() < 4 ) return false;
73
74   if( infile.substr(infile.size()-4) == ".dat" )
75     filedesc->extended = false;
76   else if( infile.substr(infile.size()-4) == "edat" )
77     filedesc->extended = true;
78   else
79     return false;
80
81   inchar = new char [infile.size()+1];
82   strcpy (inchar, infile.c_str());
83   
84   inParts = strtok( inchar, "_" );
85   for(int iPart=0; inParts!=NULL; iPart++)
86     {
87       if( iPart>3 ) { truncIn += "_"; truncIn += inParts; }
88
89       switch(iPart)
90         {
91         case 1: if(inParts != CACHEID) return false; break;
92         case 2: 
93           if (atoi(inParts) > NEQUI) 
94             return false; 
95           else if (atoi(inParts) < NEQUI)
96             filedesc->doVirtualEquilibration = true;
97           filedesc->nequi = atoi(inParts);
98           break;
99         case 3: 
100           if(atoi(inParts) != NSKIP) 
101             return false;
102           filedesc->nskip = atoi(inParts);
103           break;
104         }
105       inParts = strtok( NULL, "_");
106     }
107   truncIn = truncIn.substr(0, truncIn.size()-4);
108
109   delete[] inchar;
110
111   if( truncIn.find( getFileId(true) + "_" ) == string::npos ) return false;
112
113   return true;
114 }
115
116 int configcache::readHeader()
117 {
118   long unsigned int headersize;
119   
120   if( readDataToMem((char *)&headersize, sizeof(long unsigned int)) == sizeof(long unsigned int) && inFile.is_open() ) {
121     if ( headersize == 0 )
122       return HEADER_READLAST;
123
124     pair<unsigned long, void *> newHeader;
125
126     if( readDataToMem((char *)&newHeader.first, sizeof(unsigned long)) == sizeof(unsigned long) && inFile.is_open() ) {
127       newHeader.second = malloc(headersize);
128
129       if( readDataToMem((char *)newHeader.second, headersize) == headersize && inFile.is_open() ) {
130         headerStore.push_back(newHeader);
131         return HEADER_READOK;
132       }
133       else {
134         if(out) *out->log << "CCACHE: Could not read heade-data! Closing dat-file: " << openFileDesc.filename << endl << flush;
135         inFile.close();
136         return HEADER_READERR;
137       }
138     }
139     else {
140       if(out) *out->log << "CCACHE: Could not read headerid-hash! Closing dat-file: " << openFileDesc.filename << endl << flush;
141       inFile.close();
142       return HEADER_READERR;
143     }
144   }
145   else {
146     if(out) *out->log << "CCACHE: Could not read header size. Closing dat-file: " << openFileDesc.filename << endl << flush;
147     inFile.close();
148     return HEADER_READERR;
149   }
150 }
151
152 bool configcache::readAllHeaders()
153 {
154   int readHeaderStatus;
155
156   deleteHeaderStore();
157   
158   do {
159     readHeaderStatus = readHeader();
160   }
161   while ( readHeaderStatus == HEADER_READOK );
162
163   if ( readHeaderStatus == HEADER_READLAST ) return true;
164   else if ( readHeaderStatus == HEADER_READERR ) return false;
165 }
166
167 void * configcache::getHeader(const string& headerid) {
168   for (vector< pair<unsigned long, void *> >::iterator headerStoreIt = headerStore.begin(); headerStoreIt != headerStore.end(); ++headerStoreIt)
169     if ( headerStoreIt->first == hash(headerid) )
170       return headerStoreIt->second;
171   
172   return NULL;
173 }
174
175 bool configcache::readConfig()
176 {
177   if(DATADIR == "" || MODE == CACHE_MODE_DISABLED) return false;
178
179   if(refetchDataFiles){
180     refetchDataFiles = false;
181     fetchDataFiles();
182   }
183
184   while(true)
185     {
186       if( (!inFile.is_open()) && inFiles.size() == 0 ) return false;
187
188       while( (!inFile.is_open()) && inFiles.size() > 0 ) {
189         if(out) *out->log << "CCACHE: Opening dat-file: " << inFiles.back().filename << endl << flush;
190
191         openFileDesc = inFiles.back();
192         inFile.open( (DATADIR + "/" + inFiles.back().filename).c_str(), std::ios::binary );
193         inFiles.pop_back();
194
195         if( !inFile.is_open() ) continue;
196
197         inBuffer = new boost::iostreams::filtering_istreambuf;
198         inBuffer->push( boost::iostreams::bzip2_decompressor() );
199         inBuffer->push(inFile);
200       }
201
202       if( inFile.is_open() ) 
203         {
204           if (openFileDesc.doVirtualEquilibration) {
205             if(out) *out->log << "CCACHE: Trying virtual equilibration." << endl << flush;
206             openFileDesc.doVirtualEquilibration = false;
207             for (int iskip=0; iskip < (NEQUI-openFileDesc.nequi)/openFileDesc.nskip; iskip++) {
208               if( readFullBlock(tmpConfig, configSize) != configSize || ! inFile.is_open() )
209                 break;
210             }
211           }
212
213           if( readFullBlock(tmpConfig, configSize) == configSize && inFile.is_open() )
214             {
215               memcpy(configMem, tmpConfig, configSize);
216               return true;
217             }
218           else {
219             if(out) *out->log << "CCACHE: Could not read configuration. Closing dat-file: " << openFileDesc.filename << endl << flush;
220             inFile.close();
221           }
222         }
223     }
224 }
225
226 void configcache::openOutFile()
227 {
228   time_t secstamp = time(NULL);
229
230   outFileName.str("");
231   outFileName << DATADIR << "/" << secstamp << "_" << getFileId() << "_.edat.tmp";    
232   outFile.open( outFileName.str().c_str(), std::ios::binary );
233
234   outBuffer = new boost::iostreams::filtering_ostreambuf;
235   outBuffer->push(boost::iostreams::bzip2_compressor());
236   outBuffer->push(outFile);
237 }
238
239 void configcache::writeHeader(const string& headerid, char *header, long unsigned int size) {
240   unsigned long headeridhash;
241
242   if( DATADIR == "" || MODE < 2 ) return;
243
244   if(!outFile.is_open())
245     openOutFile();
246
247   headeridhash = hash(headerid);
248
249   boost::iostreams::write(*outBuffer, (char*)&size, sizeof(long unsigned int));
250   boost::iostreams::write(*outBuffer, (char*)&headeridhash, sizeof(unsigned long));
251   boost::iostreams::write(*outBuffer, header, size);
252 }
253
254 void configcache::writeConfig()
255 {
256   long unsigned int zeroheader=0;
257
258   if ( DATADIR == "" || MODE < 2 ) return;
259
260   if ( ! outFile.is_open() )
261     openOutFile();
262   
263   boost::iostreams::write(*outBuffer, (char*)&zeroheader, sizeof(long unsigned int));
264
265   boost::iostreams::write(*outBuffer, configMem, configSize);
266 }
267
268 void configcache::addPara(const string& parid, const double& val){
269   parameter newPara;
270   newPara.id = parid;
271   newPara.val = val;
272   Paras.push_back(newPara);
273 }
274
275 int configcache::getParIndex(const string& parid){
276   for(int ipara=0; ipara<Paras.size(); ipara++)
277     if(Paras[ipara].id == parid) return ipara;
278 }
279
280 void configcache::setPara(const string& parid, const double& value){
281   Paras[getParIndex(parid)].val = value;
282   finishOutFile();
283   if(inBuffer != NULL) { delete inBuffer; inBuffer=NULL; } 
284   inFile.close();
285   inFiles.clear();
286
287   refetchDataFiles = true;
288 }
289
290 configcache::~configcache()
291 {
292   finishOutFile();
293   delete inBuffer;
294   inBuffer = NULL;
295 }
296
297 void configcache::finishOutFile()
298 {
299   if( outBuffer != NULL )
300     {
301       delete outBuffer;
302       outBuffer = NULL;
303     }
304
305   if( outFile.is_open() )
306     {
307       outFile.close();
308       rename( outFileName.str().c_str(), outFileName.str().substr(0, outFileName.str().size()-4).c_str() );
309     }
310 }
311
312 int configcache::readFullBlock(char *tmpData, long unsigned int dataSize)
313 {
314   /* try to read header */
315   if ( openFileDesc.extended )
316     if ( ! readAllHeaders() ) 
317       return -1;
318
319   /* read data */
320   return readDataToMem(tmpData, dataSize);
321 }
322
323 int configcache::readDataToMem(char *tmpData, long unsigned int dataSize)
324 {
325   int readturn = -1;
326
327   if ( dataSize == 0 ) return 0;
328
329   try { readturn = boost::iostreams::read(*inBuffer, tmpData, dataSize); }
330   catch(boost::iostreams::bzip2_error& error) { 
331     if(out) *out->log << "CCACHE: Caught bzip2 exception with error code: " << error.error() << endl << flush;
332     inFile.close();
333   } 
334   catch (std::exception const& ex) {
335     if(out) *out->log << "CCACHE: Caught exception: " << ex.what() << endl << flush;
336     inFile.close();
337   }
338   catch( ... ) {
339     if(out) *out->log << "CCACHE: Caught unknown exception while reading." << endl << flush;
340     inFile.close();
341   }
342
343   return readturn;
344 }
345
346 unsigned long configcache::hash(const string& str)
347 {
348   unsigned long hash = 5381;
349
350   for(string::const_iterator it=str.begin();it!=str.end();it++) 
351     hash = ((hash << 5) + hash) + *it; /* hash * 33 + character */
352
353   return hash;
354 }
355
356 void configcache::deleteHeaderStore()
357 {
358   while ( headerStore.size() > 0 ) {
359     free(headerStore.back().second);
360     headerStore.pop_back();
361   }
362 }