configcache.cpp

   1 #include "configcache.h"
   2
   3 #include <stdlib.h>
   4 #include <iostream>
   5 #include <time.h>
   6 #include <dirent.h>
   7
   8 configcache::configcache(const string& cacheid, const int& nequi, const int& nskip, const string& datadir, char **configmem, const int& configMemSize, const int& cachemode,
   9                          writeout *out_a){
  10   out = out_a;
  11
  12   NEQUI = nequi;
  13   NSKIP = nskip;
  14   DATADIR = datadir;
  15   CACHEID = cacheid;
  16
  17   configMem = (char*)malloc(configMemSize);
  18   tmpConfig = (char*)malloc(configMemSize);
  19
  20   *configmem = configMem;
  21   configSize = configMemSize;
  22
  23   outBuffer = NULL;
  24   inBuffer = NULL;
  25
  26   MODE = cachemode;
  27
  28   refetchDataFiles = false;
  29
  30   readHeaderData = NULL;
  31 }
  32
  33 string configcache::getFileId(const bool& shortid)
  34 {
  35   stringstream fileid;
  36
  37   if(!shortid) fileid << CACHEID << "_" << NEQUI << "_" << NSKIP;
  38   for(int ipara=0; ipara<Paras.size(); ipara++)
  39     fileid << "_" << Paras[ipara].id << Paras[ipara].val;
  40
  41   return fileid.str();
  42 }
  43
  44 void configcache::fetchDataFiles()
  45 {
  46   struct dirent *de=NULL;
  47   DIR *d=NULL;
  48   static infiledesc filedesc;
  49
  50   d=opendir(DATADIR.c_str());
  51   if(d != NULL){
  52     while(de = readdir(d)){
  53       string filename = de->d_name;
  54       if(isValidInFile(filename, &filedesc))
  55         {
  56           inFiles.push_back(filedesc);
  57         }
  58     }
  59   }
  60 }
  61
  62 bool configcache::isValidInFile(const string& infile, infiledesc *filedesc)
  63 {
  64   char *inchar, *inParts;
  65   string truncIn, truncOut;
  66
  67   filedesc->filename = infile;
  68   filedesc->doVirtualEquilibration = false;
  69
  70   if( infile.size() < 4 ) return false;
  71
  72   if( infile.substr(infile.size()-4) == ".dat" )
  73     filedesc->extended = false;
  74   else if( infile.substr(infile.size()-4) == "edat" )
  75     filedesc->extended = true;
  76   else
  77     return false;
  78
  79   inchar = new char [infile.size()+1];
  80   strcpy (inchar, infile.c_str());
  81
  82   inParts = strtok( inchar, "_" );
  83   for(int iPart=0; inParts!=NULL; iPart++)
  84     {
  85       if( iPart>3 ) { truncIn += "_"; truncIn += inParts; }
  86
  87       switch(iPart)
  88         {
  89         case 1: if(inParts != CACHEID) return false; break;
  90         case 2:
  91           if (atoi(inParts) > NEQUI)
  92             return false;
  93           else if (atoi(inParts) < NEQUI)
  94             filedesc->doVirtualEquilibration = true;
  95           filedesc->nequi = atoi(inParts);
  96           break;
  97         case 3:
  98           if(atoi(inParts) != NSKIP)
  99             return false;
 100           filedesc->nskip = atoi(inParts);
 101           break;
 102         }
 103       inParts = strtok( NULL, "_");
 104     }
 105   truncIn = truncIn.substr(0, truncIn.size()-4);
 106
 107   delete[] inchar;
 108
 109   if( truncIn.find( getFileId(true) + "_" ) == string::npos ) return false;
 110
 111   return true;
 112 }
 113
 114 bool configcache::readHeader()
 115 {
 116   long unsigned int headersize;
 117
 118   if( readDataToMem((char*)&headersize, sizeof(long unsigned int)) == sizeof(long unsigned int) && inFile.is_open() )
 119     {
 120       if( readHeaderData != NULL ) free(readHeaderData);
 121
 122       readHeaderData = (char*) malloc(headersize);
 123
 124       if( readDataToMem(readHeaderData, headersize) == headersize && inFile.is_open() ) {
 125         return true;
 126       }
 127       else {
 128         if(out) *out->log << "CCACHE: Could not read header! Closing dat-file: " << openFileDesc.filename << endl << flush;
 129         inFile.close();
 130         return false;
 131       }
 132     }
 133   else {
 134     if(out) *out->log << "CCACHE: Could not read header size. Closing dat-file: " << openFileDesc.filename << endl << flush;
 135     inFile.close();
 136     return false;
 137   }
 138 }
 139
 140 void *configcache::getHeader() {
 141   return readHeaderData;
 142 }
 143
 144 bool configcache::readConfig()
 145 {
 146   if(DATADIR == "" || MODE == CACHE_MODE_DISABLED) return false;
 147
 148   if(refetchDataFiles){
 149     refetchDataFiles = false;
 150     fetchDataFiles();
 151   }
 152
 153   while(true)
 154     {
 155       if( (!inFile.is_open()) && inFiles.size() == 0 ) return false;
 156
 157       while( (!inFile.is_open()) && inFiles.size() > 0 ) {
 158         if(out) *out->log << "CCACHE: Opening dat-file: " << inFiles.back().filename << endl << flush;
 159
 160         openFileDesc = inFiles.back();
 161         inFile.open( (DATADIR + "/" + inFiles.back().filename).c_str(), std::ios::binary );
 162         inFiles.pop_back();
 163
 164         if( !inFile.is_open() ) continue;
 165
 166         inBuffer = new boost::iostreams::filtering_istreambuf;
 167         inBuffer->push( boost::iostreams::bzip2_decompressor() );
 168         inBuffer->push(inFile);
 169       }
 170
 171       if( inFile.is_open() )
 172         {
 173           if (openFileDesc.doVirtualEquilibration) {
 174             if(out) *out->log << "CCACHE: Trying virtual equilibration." << endl << flush;
 175             openFileDesc.doVirtualEquilibration = false;
 176             for (int iskip=0; iskip < (NEQUI-openFileDesc.nequi)/openFileDesc.nskip; iskip++) {
 177               if( readFullBlock(tmpConfig, configSize) != configSize || ! inFile.is_open() )
 178                 break;
 179             }
 180           }
 181
 182           if( readFullBlock(tmpConfig, configSize) == configSize && inFile.is_open() )
 183             {
 184               memcpy(configMem, tmpConfig, configSize);
 185               return true;
 186             }
 187           else {
 188             if(out) *out->log << "CCACHE: Could not read configuration. Closing dat-file: " << openFileDesc.filename << endl << flush;
 189             inFile.close();
 190           }
 191         }
 192     }
 193 }
 194
 195 void configcache::openOutFile()
 196 {
 197   time_t secstamp = time(NULL);
 198
 199   outFileName.str("");
 200   outFileName << DATADIR << "/" << secstamp << "_" << getFileId() << "_.edat.tmp";
 201   outFile.open( outFileName.str().c_str(), std::ios::binary );
 202
 203   outBuffer = new boost::iostreams::filtering_ostreambuf;
 204   outBuffer->push(boost::iostreams::bzip2_compressor());
 205   outBuffer->push(outFile);
 206
 207   headerWritten = false;
 208 }
 209
 210 void configcache::writeHeader(char *header, long unsigned int size) {
 211   if( DATADIR == "" || MODE < 2 ) return;
 212
 213   if(!outFile.is_open())
 214     openOutFile();
 215
 216   boost::iostreams::write(*outBuffer, (char*)&size, sizeof(long unsigned int));
 217   boost::iostreams::write(*outBuffer, header, size);
 218
 219   headerWritten = true;
 220 }
 221
 222 void configcache::writeConfig()
 223 {
 224   if ( DATADIR == "" || MODE < 2 ) return;
 225
 226   if ( ! outFile.is_open() )
 227     openOutFile();
 228
 229   if ( ! headerWritten ) {
 230     long unsigned int zeroheader=0;
 231     boost::iostreams::write(*outBuffer, (char*)&zeroheader, sizeof(long unsigned int));
 232   }
 233
 234   boost::iostreams::write(*outBuffer, configMem, configSize);
 235   headerWritten = false;
 236 }
 237
 238 void configcache::addPara(const string& parid, const double& val){
 239   parameter newPara;
 240   newPara.id = parid;
 241   newPara.val = val;
 242   Paras.push_back(newPara);
 243 }
 244
 245 int configcache::getParIndex(const string& parid){
 246   for(int ipara=0; ipara<Paras.size(); ipara++)
 247     if(Paras[ipara].id == parid) return ipara;
 248 }
 249
 250 void configcache::setPara(const string& parid, const double& value){
 251   Paras[getParIndex(parid)].val = value;
 252   finishOutFile();
 253   if(inBuffer != NULL) { delete inBuffer; inBuffer=NULL; }
 254   inFile.close();
 255   inFiles.clear();
 256
 257   refetchDataFiles = true;
 258 }
 259
 260 configcache::~configcache()
 261 {
 262   finishOutFile();
 263   delete inBuffer;
 264   inBuffer = NULL;
 265 }
 266
 267 void configcache::finishOutFile()
 268 {
 269   if( outBuffer != NULL )
 270     {
 271       delete outBuffer;
 272       outBuffer = NULL;
 273     }
 274
 275   if( outFile.is_open() )
 276     {
 277       outFile.close();
 278       rename( outFileName.str().c_str(), outFileName.str().substr(0, outFileName.str().size()-4).c_str() );
 279     }
 280 }
 281
 282 int configcache::readFullBlock(char *tmpData, long unsigned int dataSize)
 283 {
 284   /* try to read header */
 285   if ( openFileDesc.extended )
 286     if ( ! readHeader() )
 287       return -1;
 288
 289   /* read data */
 290   return readDataToMem(tmpData, dataSize);
 291 }
 292
 293 int configcache::readDataToMem(char *tmpData, long unsigned int dataSize)
 294 {
 295   int readturn = -1;
 296
 297   if ( dataSize == 0 ) return 0;
 298
 299   try { readturn = boost::iostreams::read(*inBuffer, tmpData, dataSize); }
 300   catch(boost::iostreams::bzip2_error& error) {
 301     if(out) *out->log << "CCACHE: Caught bzip2 exception with error code: " << error.error() << endl << flush;
 302     inFile.close();
 303   }
 304   catch (std::exception const& ex) {
 305     if(out) *out->log << "CCACHE: Caught exception: " << ex.what() << endl << flush;
 306     inFile.close();
 307   }
 308   catch( ... ) {
 309     if(out) *out->log << "CCACHE: Caught unknown exception while reading." << endl << flush;
 310     inFile.close();
 311   }
 312
 313   return readturn;
 314 }