configcache.cpp

   1 #include "configcache.h"
   2
   3 #include <stdlib.h>
   4 #include <iostream>
   5 #include <time.h>
   6 #include <dirent.h>
   7
   8 #define HEADER_READOK   0
   9 #define HEADER_READERR  1
  10 #define HEADER_READLAST 2
  11
  12 configcache::configcache(const string& cacheid, const int& nequi, const int& nskip, const string& datadir, char **configmem, const int& configMemSize, const int& cachemode,
  13                          ostream *_log){
  14   log = _log;
  15
  16   NEQUI = nequi;
  17   NSKIP = nskip;
  18   DATADIR = datadir;
  19   CACHEID = cacheid;
  20
  21   if ( cacheid.find("_") != -1 ) {
  22     if(log) *log << "CCACHE: Invalid cacheid \"" << cacheid << "\" given. Cacheids must not contain underscores!" << endl << flush;
  23     exit(1);
  24   }
  25
  26   configMem = (char*)malloc(configMemSize);
  27   tmpConfig = (char*)malloc(configMemSize);
  28
  29   *configmem = configMem;
  30   configSize = configMemSize;
  31
  32   outBuffer = NULL;
  33   inBuffer = NULL;
  34
  35   MODE = cachemode;
  36
  37   refetchDataFiles = false;
  38 }
  39
  40 string configcache::getFileId(const bool& shortid)
  41 {
  42   stringstream fileid;
  43
  44   if(!shortid) fileid << CACHEID << "_" << NEQUI << "_" << NSKIP;
  45   for(int ipara=0; ipara<Paras.size(); ipara++)
  46     fileid << "_" << Paras[ipara].id << Paras[ipara].val;
  47
  48   return fileid.str();
  49 }
  50
  51 void configcache::fetchDataFiles()
  52 {
  53   struct dirent *de=NULL;
  54   DIR *d=NULL;
  55   static infiledesc filedesc;
  56
  57   d=opendir(DATADIR.c_str());
  58   if(d != NULL){
  59     while(de = readdir(d)){
  60       string filename = de->d_name;
  61       if(isValidInFile(filename, &filedesc))
  62         {
  63           inFiles.push_back(filedesc);
  64         }
  65     }
  66   }
  67 }
  68
  69 bool configcache::isValidInFile(const string& infile, infiledesc *filedesc)
  70 {
  71   char *inchar, *inParts;
  72   string truncIn, truncOut;
  73
  74   filedesc->filename = infile;
  75   filedesc->doVirtualEquilibration = false;
  76
  77   if( infile.size() < 4 ) return false;
  78
  79   if( infile.substr(infile.size()-4) == ".dat" )
  80     filedesc->extended = false;
  81   else if( infile.substr(infile.size()-4) == "edat" )
  82     filedesc->extended = true;
  83   else
  84     return false;
  85
  86   inchar = new char [infile.size()+1];
  87   strcpy (inchar, infile.c_str());
  88
  89   inParts = strtok( inchar, "_" );
  90   for(int iPart=0; inParts!=NULL; iPart++)
  91     {
  92       if( iPart>3 ) { truncIn += "_"; truncIn += inParts; }
  93
  94       switch(iPart)
  95         {
  96         case 1: if(inParts != CACHEID) {
  97             return false;
  98             break;
  99           }
 100         case 2:
 101           if (atoi(inParts) > NEQUI)
 102             return false;
 103           else if (atoi(inParts) < NEQUI)
 104             filedesc->doVirtualEquilibration = true;
 105           filedesc->nequi = atoi(inParts);
 106           break;
 107         case 3:
 108           if(atoi(inParts) != NSKIP)
 109             return false;
 110           filedesc->nskip = atoi(inParts);
 111           break;
 112         }
 113       inParts = strtok( NULL, "_");
 114     }
 115   truncIn = truncIn.substr(0, truncIn.size()-4);
 116
 117   delete[] inchar;
 118
 119   if( truncIn.find( getFileId(true) + "_" ) == string::npos ) return false;
 120
 121   return true;
 122 }
 123
 124 int configcache::readHeader()
 125 {
 126   long unsigned int headersize;
 127
 128   if( readDataToMem((char *)&headersize, sizeof(long unsigned int)) == sizeof(long unsigned int) && inFile.is_open() ) {
 129     if ( headersize == 0 )
 130       return HEADER_READLAST;
 131
 132     pair<unsigned long, void *> newHeader;
 133
 134     if( readDataToMem((char *)&newHeader.first, sizeof(unsigned long)) == sizeof(unsigned long) && inFile.is_open() ) {
 135       newHeader.second = malloc(headersize);
 136
 137       if( readDataToMem((char *)newHeader.second, headersize) == headersize && inFile.is_open() ) {
 138         headerStore.push_back(newHeader);
 139         return HEADER_READOK;
 140       }
 141       else {
 142         if(log) *log << "CCACHE: Could not read heade-data! Closing dat-file: " << openFileDesc.filename << endl << flush;
 143         inFile.close();
 144         return HEADER_READERR;
 145       }
 146     }
 147     else {
 148       if(log) *log << "CCACHE: Could not read headerid-hash! Closing dat-file: " << openFileDesc.filename << endl << flush;
 149       inFile.close();
 150       return HEADER_READERR;
 151     }
 152   }
 153   else {
 154     if(log) *log << "CCACHE: Could not read header size. Closing dat-file: " << openFileDesc.filename << endl << flush;
 155     inFile.close();
 156     return HEADER_READERR;
 157   }
 158 }
 159
 160 bool configcache::readAllHeaders()
 161 {
 162   int readHeaderStatus;
 163
 164   deleteHeaderStore();
 165
 166   do {
 167     readHeaderStatus = readHeader();
 168   }
 169   while ( readHeaderStatus == HEADER_READOK );
 170
 171   if ( readHeaderStatus == HEADER_READLAST ) return true;
 172   else if ( readHeaderStatus == HEADER_READERR ) return false;
 173 }
 174
 175 void * configcache::getHeader(const string& headerid) {
 176   for (vector< pair<unsigned long, void *> >::iterator headerStoreIt = headerStore.begin(); headerStoreIt != headerStore.end(); ++headerStoreIt)
 177     if ( headerStoreIt->first == hash(headerid) )
 178       return headerStoreIt->second;
 179
 180   return NULL;
 181 }
 182
 183 /* returns number of equilibration-steps left */
 184 int configcache::readConfig(vector<unsigned long> *excludeFileHashes)
 185 {
 186   int nequileft = NEQUI;
 187
 188   if(DATADIR == "" || MODE == CACHE_MODE_DISABLED) return nequileft;
 189
 190   if(refetchDataFiles){
 191     refetchDataFiles = false;
 192     fetchDataFiles();
 193   }
 194
 195   while(true)
 196     {
 197       vector<infiledesc>::iterator inFileIt = getNextInfile(excludeFileHashes);
 198
 199       if( (!inFile.is_open()) && inFileIt == inFiles.end() ) return nequileft;
 200
 201       while( (!inFile.is_open()) && inFiles.size() > 0 ) {
 202         openFileDesc = *inFileIt;
 203
 204         if(log) *log << "CCACHE: Opening dat-file: " << inFileIt->filename << endl << flush;
 205         inFile.open( (DATADIR + "/" + inFileIt->filename).c_str(), std::ios::binary );
 206
 207         inFiles.erase(inFileIt);
 208
 209         if( !inFile.is_open() ) continue;
 210
 211         inBuffer = new boost::iostreams::filtering_istreambuf;
 212         inBuffer->push( boost::iostreams::bzip2_decompressor() );
 213         inBuffer->push(inFile);
 214       }
 215
 216       if( inFile.is_open() )
 217         {
 218           if (openFileDesc.doVirtualEquilibration) {
 219             if(log) *log << "CCACHE: Trying virtual equilibration." << endl << flush;
 220             openFileDesc.doVirtualEquilibration = false;
 221             for (int iskip=0; iskip < (NEQUI-openFileDesc.nequi)/openFileDesc.nskip; iskip++) {
 222               if( readFullBlock(tmpConfig, configSize) != configSize || ! inFile.is_open() )
 223                 break;
 224               else if ( (NEQUI-openFileDesc.nequi) - (iskip+1)*openFileDesc.nskip < nequileft ) {
 225                 memcpy(configMem, tmpConfig, configSize);
 226                 nequileft = (NEQUI-openFileDesc.nequi) - (iskip+1)*openFileDesc.nskip;
 227               }
 228             }
 229           }
 230
 231           if( readFullBlock(tmpConfig, configSize) == configSize && inFile.is_open() )
 232             {
 233               memcpy(configMem, tmpConfig, configSize);
 234               return -1;
 235             }
 236           else {
 237             if(log) *log << "CCACHE: Could not read configuration. Closing dat-file: " << openFileDesc.filename << endl << flush;
 238             inFile.close();
 239           }
 240         }
 241     }
 242 }
 243
 244 void configcache::openOutFile()
 245 {
 246   time_t secstamp = time(NULL);
 247
 248   outFileName.str("");
 249   outFileName << DATADIR << "/" << secstamp << "_" << getFileId() << "_.edat.tmp";
 250
 251   outFile.open( outFileName.str().c_str(), std::ios::binary );
 252
 253   outBuffer = new boost::iostreams::filtering_ostreambuf;
 254   outBuffer->push(boost::iostreams::bzip2_compressor());
 255   outBuffer->push(outFile);
 256 }
 257
 258 void configcache::writeHeader(const string& headerid, const char *header, long unsigned int size) {
 259   unsigned long headeridhash;
 260
 261   if( DATADIR == "" || MODE < 2 ) return;
 262
 263   if(!outFile.is_open())
 264     openOutFile();
 265
 266   headeridhash = hash(headerid);
 267
 268   boost::iostreams::write(*outBuffer, (char*)&size, sizeof(long unsigned int));
 269   boost::iostreams::write(*outBuffer, (char*)&headeridhash, sizeof(unsigned long));
 270   boost::iostreams::write(*outBuffer, header, size);
 271 }
 272
 273 void configcache::writeConfig()
 274 {
 275   long unsigned int zeroheader=0;
 276
 277   if ( DATADIR == "" || MODE < 2 ) return;
 278
 279   if ( ! outFile.is_open() )
 280     openOutFile();
 281
 282   boost::iostreams::write(*outBuffer, (char*)&zeroheader, sizeof(long unsigned int));
 283
 284   boost::iostreams::write(*outBuffer, configMem, configSize);
 285 }
 286
 287 void configcache::addPara(const string& parid, const double& val){
 288   parameter newPara;
 289   newPara.id = parid;
 290   newPara.val = val;
 291   Paras.push_back(newPara);
 292 }
 293
 294 int configcache::getParIndex(const string& parid){
 295   for(int ipara=0; ipara<Paras.size(); ipara++)
 296     if(Paras[ipara].id == parid) return ipara;
 297 }
 298
 299 void configcache::setPara(const string& parid, const double& value){
 300   Paras[getParIndex(parid)].val = value;
 301   finishOutFile();
 302   if(inBuffer != NULL) { delete inBuffer; inBuffer=NULL; }
 303   inFile.close();
 304   inFiles.clear();
 305
 306   refetchDataFiles = true;
 307 }
 308
 309 configcache::~configcache()
 310 {
 311   finishOutFile();
 312   delete inBuffer;
 313   inBuffer = NULL;
 314 }
 315
 316 void configcache::finishOutFile()
 317 {
 318   if( outBuffer != NULL )
 319     {
 320       delete outBuffer;
 321       outBuffer = NULL;
 322     }
 323
 324   if( outFile.is_open() )
 325     {
 326       outFile.close();
 327       rename( outFileName.str().c_str(), outFileName.str().substr(0, outFileName.str().size()-4).c_str() );
 328     }
 329 }
 330
 331 int configcache::readFullBlock(char *tmpData, long unsigned int dataSize)
 332 {
 333   /* try to read header */
 334   if ( openFileDesc.extended )
 335     if ( ! readAllHeaders() )
 336       return -1;
 337
 338   /* read data */
 339   return readDataToMem(tmpData, dataSize);
 340 }
 341
 342 int configcache::readDataToMem(char *tmpData, long unsigned int dataSize)
 343 {
 344   int readturn = -1;
 345
 346   if ( dataSize == 0 ) return 0;
 347
 348   try { readturn = boost::iostreams::read(*inBuffer, tmpData, dataSize); }
 349   catch(boost::iostreams::bzip2_error& error) {
 350     if(log) *log << "CCACHE: Caught bzip2 exception with error code: " << error.error() << endl << flush;
 351     inFile.close();
 352   }
 353   catch (std::exception const& ex) {
 354     if(log) *log << "CCACHE: Caught exception: " << ex.what() << endl << flush;
 355     inFile.close();
 356   }
 357   catch( ... ) {
 358     if(log) *log << "CCACHE: Caught unknown exception while reading." << endl << flush;
 359     inFile.close();
 360   }
 361
 362   return readturn;
 363 }
 364
 365 unsigned long configcache::hash(const string& str)
 366 {
 367   unsigned long hash = 5381;
 368
 369   for(string::const_iterator it=str.begin();it!=str.end();it++)
 370     hash = ((hash << 5) + hash) + *it; /* hash * 33 + character */
 371
 372   return hash;
 373 }
 374
 375 void configcache::deleteHeaderStore()
 376 {
 377   while ( headerStore.size() > 0 ) {
 378     free(headerStore.back().second);
 379     headerStore.pop_back();
 380   }
 381 }
 382
 383 vector<infiledesc>::iterator configcache::getNextInfile(vector<unsigned long> *excludeFileHashes) {
 384   for (vector<infiledesc>::iterator init = inFiles.begin(); init != inFiles.end(); ++init) {
 385     if (excludeFileHashes != NULL) {
 386       bool excludethisfile = false;
 387
 388       for (vector<unsigned long>::iterator exit = excludeFileHashes->begin(); exit != excludeFileHashes->end(); ++exit)
 389         if ( *exit == hash(init->filename) ) {
 390           excludethisfile = true;
 391           break;
 392         }
 393
 394       if (excludethisfile)
 395         continue;
 396     }
 397     return init;
 398   }
 399   return inFiles.end();
 400 }