Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
one step further on C++ization of replay
[simgrid.git] / src / xbt / xbt_replay.cpp
index d9e475b..044a56d 100644 (file)
@@ -1,98 +1,86 @@
-/* Copyright (c) 2010, 2012-2015. The SimGrid Team.
+/* Copyright (c) 2010, 2012-2015, 2017. The SimGrid Team.
  * All rights reserved.                                                     */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include "src/internal_config.h"
-#include "xbt/sysdep.h"
+#include "xbt/ex.hpp"
 #include "xbt/log.h"
+#include "xbt/replay.hpp"
 #include "xbt/str.h"
-#include "xbt/file.h"
-#include "xbt/replay.h"
+#include "xbt/sysdep.h"
 
-#include <errno.h>
+#include <boost/algorithm/string.hpp>
 #include <ctype.h>
+#include <errno.h>
+#include <fstream>
+#include <queue>
+#include <unordered_map>
 #include <wchar.h>
 
 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(replay,xbt,"Replay trace reader");
 
-typedef struct s_replay_reader {
-  FILE *fp;
-  char *line;
-  size_t line_len;
-  char *position; /* stable storage */
-  char *filename; 
-  int linenum;
-} s_xbt_replay_reader_t;
+namespace simgrid {
+namespace xbt {
 
-FILE *xbt_action_fp;
+bool is_replay_active = false;
+typedef std::vector<std::string> ReplayAction;
 
-xbt_dict_t xbt_action_funs = NULL;
-xbt_dict_t xbt_action_queues = NULL;
+bool replay_is_active()
+{
+  return is_replay_active;
+}
 
-static char *action_line = NULL;
-static size_t action_len = 0;
+class ReplayReader {
+  std::ifstream* fs;
+  std::string line;
 
-int is_replay_active = 0 ;
+public:
+  char* filename_;
+  int linenum = 0;
 
-static char **action_get_action(char *name);
+  explicit ReplayReader(const char* filename)
+  {
+    filename_ = xbt_strdup(filename);
+    fs        = new std::ifstream(filename, std::ifstream::in);
+  }
+  ~ReplayReader()
+  {
+    free(filename_);
+    delete fs;
+  }
+  bool get(ReplayAction* action);
+};
 
-static char *str_tolower (const char *str)
+bool ReplayReader::get(ReplayAction* action)
 {
-  char *ret = xbt_strdup (str);
-  int i, n = strlen (ret);
-  for (i = 0; i < n; i++)
-    ret[i] = tolower (str[i]);
-  return ret;
+  std::getline(*fs, line);
+  boost::trim(line);
+  XBT_DEBUG("got from trace: %s", line.c_str());
+  linenum++;
+
+  if (line.length() > 0 && line.find("#") == std::string::npos) {
+    boost::split(*action, line, boost::is_any_of(" \t"), boost::token_compress_on);
+    return !fs->eof();
+  } else {
+    if (fs->eof())
+      return false;
+    else
+      return this->get(action);
+  }
 }
-
-int _xbt_replay_is_active(void){
-  return is_replay_active;
+std::ifstream* action_fs = nullptr;
 }
-
-xbt_replay_reader_t xbt_replay_reader_new(const char *filename)
-{
-  xbt_replay_reader_t res = xbt_new0(s_xbt_replay_reader_t,1);
-  res->fp = fopen(filename, "r");
-  xbt_assert(res->fp != NULL, "Cannot open %s: %s", filename, strerror(errno));
-  res->filename = xbt_strdup(filename);
-  return res;
 }
 
-const char **xbt_replay_reader_get(xbt_replay_reader_t reader)
-{
-  ssize_t read;
-  xbt_dynar_t d;
-  read = xbt_getline(&reader->line, &reader->line_len, reader->fp);
-  //XBT_INFO("got from trace: %s",reader->line);
-  reader->linenum++;
-  if (read==-1)
-    return NULL; /* end of file */
-  char *comment = strchr(reader->line, '#');
-  if (comment != NULL)
-    *comment = '\0';
-  xbt_str_trim(reader->line, NULL);
-  if (reader->line[0] == '\0')
-    return xbt_replay_reader_get(reader); /* Get next line */
-
-  d=xbt_str_split_quoted_in_place(reader->line);
-  if (xbt_dynar_is_empty(d)) {
-    xbt_dynar_free(&d);
-    return xbt_replay_reader_get(reader); /* Get next line */
-  }
-  return (const char**) xbt_dynar_to_array(d);
-}
+std::unordered_map<std::string, action_fun> xbt_action_funs;
 
-void xbt_replay_reader_free(xbt_replay_reader_t *reader)
-{
-  free((*reader)->filename);
-  free((*reader)->position);
-  fclose((*reader)->fp);
-  free((*reader)->line);
-  free(*reader);
-  *reader=NULL;
-}
+xbt_dict_t xbt_action_queues = nullptr;
+
+bool is_replay_active = false;
+
+static simgrid::xbt::ReplayAction* action_get_action(char* name);
 
 /**
  * \ingroup XBT_replay
@@ -101,40 +89,30 @@ void xbt_replay_reader_free(xbt_replay_reader_t *reader)
  * Registers a function to handle a kind of action
  * This table is then used by \ref xbt_replay_action_runner
  *
- * The argument of the function is the line describing the action, splitted on spaces with xbt_str_split_quoted()
+ * The argument of the function is the line describing the action, fields separated by spaces.
  *
  * \param action_name the reference name of the action.
- * \param function prototype given by the type: void...(xbt_dynar_t action)
+ * \param function prototype given by the type: void...(const char** action)
  */
 void xbt_replay_action_register(const char *action_name, action_fun function)
 {
-  char* lowername = str_tolower (action_name);
-  xbt_dict_set(xbt_action_funs, lowername, (void*) function, NULL);
-  xbt_free(lowername);
+  if (!is_replay_active) // If the user registers a function before the start
+    _xbt_replay_action_init();
+  xbt_action_funs.insert({std::string(action_name), function});
 }
 
-/** @brief Initializes the replay mechanism, and returns true if (and only if) it was necessary
- *
- * It returns false if it was already done by another process.
- */
-int _xbt_replay_action_init(void)
+void _xbt_replay_action_init()
 {
-  if (xbt_action_funs)
-    return 0;
-  is_replay_active = 1;
-  xbt_action_funs = xbt_dict_new_homogeneous(NULL);
-  xbt_action_queues = xbt_dict_new_homogeneous(NULL);
-  return 1;
+  if (!is_replay_active) {
+    xbt_action_queues = xbt_dict_new_homogeneous(nullptr);
+    is_replay_active  = true;
+  }
 }
 
-void _xbt_replay_action_exit(void)
+void _xbt_replay_action_exit()
 {
   xbt_dict_free(&xbt_action_queues);
-  xbt_dict_free(&xbt_action_funs);
-  free(action_line);
-  xbt_action_queues = NULL;
-  xbt_action_funs = NULL;
-  action_line = NULL;
+  xbt_action_queues = nullptr;
 }
 
 /**
@@ -146,103 +124,122 @@ void _xbt_replay_action_exit(void)
  */
 int xbt_replay_action_runner(int argc, char *argv[])
 {
-  int i;
-  if (xbt_action_fp) {              // A unique trace file
-    char **evt;
-    while ((evt = action_get_action(argv[0]))) {
-      char* lowername = str_tolower (evt[1]);
-      action_fun function = (action_fun)xbt_dict_get(xbt_action_funs, lowername);
-      xbt_free(lowername);
+  if (simgrid::xbt::action_fs) { // A unique trace file
+    while (true) {
+      simgrid::xbt::ReplayAction* evt = action_get_action(argv[0]);
+      if (evt == nullptr)
+        break;
+
+      char** args = new char*[evt->size() + 1];
+      int i       = 0;
+      for (auto arg : *evt) {
+        args[i] = xbt_strdup(arg.c_str());
+        i++;
+      }
+      args[i]             = nullptr;
+      action_fun function = xbt_action_funs.at(evt->at(1));
+
       try {
-        function((const char **)evt);
+        function(args);
       }
       catch(xbt_ex& e) {
         xbt_die("Replay error :\n %s", e.what());
       }
-      for (i=0;evt[i]!= NULL;i++)
-        free(evt[i]);
-      free(evt);
+      for (unsigned int j = 0; j < evt->size(); j++)
+        xbt_free(args[j]);
+      delete[] args;
+      delete evt;
     }
   } else {                      // Should have got my trace file in argument
-    const char **evt;
+    simgrid::xbt::ReplayAction* evt = new simgrid::xbt::ReplayAction();
     xbt_assert(argc >= 2,
                 "No '%s' agent function provided, no simulation-wide trace file provided, "
                 "and no process-wide trace file provided in deployment file. Aborting.", argv[0]
         );
-    xbt_replay_reader_t reader = xbt_replay_reader_new(argv[1]);
-    while ((evt=xbt_replay_reader_get(reader))) {
-      if (!strcmp(argv[0],evt[0])) {
-        char* lowername = str_tolower (evt[1]);
-        action_fun function = (action_fun)xbt_dict_get(xbt_action_funs, lowername);
-        xbt_free(lowername);
+    simgrid::xbt::ReplayReader* reader = new simgrid::xbt::ReplayReader(argv[1]);
+    while (reader->get(evt)) {
+      if (evt->at(0).compare(argv[0]) == 0) {
+        char** args = new char*[evt->size() + 1];
+        int i       = 0;
+        for (auto arg : *evt) {
+          args[i] = xbt_strdup(arg.c_str());
+          i++;
+        }
+        args[i]             = nullptr;
+        action_fun function = xbt_action_funs.at(evt->at(1));
         try {
-          function(evt);
+          function(args);
         } catch(xbt_ex& e) {
-          free(evt);
-          xbt_die("Replay error on line %d of file %s :\n %s" , reader->linenum,reader->filename, e.what());
+          for (unsigned int j = 0; j < evt->size(); j++)
+            xbt_free(args[j]);
+          delete[] args;
+          evt->clear();
+          xbt_die("Replay error on line %d of file %s :\n %s", reader->linenum, reader->filename_, e.what());
         }
+        for (unsigned int j = 0; j < evt->size(); j++)
+          xbt_free(args[j]);
+        delete[] args;
       } else {
-        XBT_WARN("%s:%d: Ignore trace element not for me", reader->filename, reader->linenum);
+        XBT_WARN("%s:%d: Ignore trace element not for me", reader->filename_, reader->linenum);
       }
-      free(evt);
+      evt->clear();
     }
-    xbt_replay_reader_free(&reader);
+    delete evt;
+    delete reader;
   }
   return 0;
 }
 
-static char **action_get_action(char *name)
+static simgrid::xbt::ReplayAction* action_get_action(char* name)
 {
-  xbt_dynar_t evt = NULL;
-  char *evtname = NULL;
+  simgrid::xbt::ReplayAction* action;
 
-  xbt_dynar_t myqueue = (xbt_dynar_t) xbt_dict_get_or_null(xbt_action_queues, name);
-  if (myqueue == NULL || xbt_dynar_is_empty(myqueue)) {      // nothing stored for me. Read the file further
-    if (xbt_action_fp == NULL) {    // File closed now. There's nothing more to read. I'm out of here
+  std::queue<simgrid::xbt::ReplayAction*>* myqueue =
+      (std::queue<simgrid::xbt::ReplayAction*>*)xbt_dict_get_or_null(xbt_action_queues, name);
+  if (myqueue == nullptr || myqueue->empty()) { // nothing stored for me. Read the file further
+    if (simgrid::xbt::action_fs == nullptr) {   // File closed now. There's nothing more to read. I'm out of here
       goto todo_done;
     }
-    // Read lines until I reach something for me (which breaks in loop body)
-    // or end of file reached
-    while (xbt_getline(&action_line, &action_len, xbt_action_fp) != -1) {
+    // Read lines until I reach something for me (which breaks in loop body) or end of file reached
+    while (!simgrid::xbt::action_fs->eof()) {
+      std::string action_line;
+      std::getline(*simgrid::xbt::action_fs, action_line);
       // cleanup and split the string I just read
-      char *comment = strchr(action_line, '#');
-      if (comment != NULL)
-        *comment = '\0';
-      xbt_str_trim(action_line, NULL);
-      if (action_line[0] == '\0')
-        continue;
-      /* we cannot split in place here because we parse&store several lines for
-       * the colleagues... */
-      evt = xbt_str_split_quoted(action_line);
-
-      // if it's for me, I'm done
-      evtname = xbt_dynar_get_as(evt, 0, char *);
-      if (!strcasecmp(name, evtname)) {
-        return (char**) xbt_dynar_to_array(evt);
-      } else {
-        // Else, I have to store it for the relevant colleague
-        xbt_dynar_t otherqueue =
-            (xbt_dynar_t) xbt_dict_get_or_null(xbt_action_queues, evtname);
-        if (otherqueue == NULL) {       // Damn. Create the queue of that guy
-          otherqueue = xbt_dynar_new(sizeof(xbt_dynar_t), xbt_dynar_free_voidp);
-          xbt_dict_set(xbt_action_queues, evtname, otherqueue, NULL);
+      boost::trim(action_line);
+      if (action_line.length() > 0 && action_line.find("#") == std::string::npos) {
+        /* we cannot split in place here because we parse&store several lines for the colleagues... */
+        action = new simgrid::xbt::ReplayAction();
+        boost::split(*action, action_line, boost::is_any_of(" \t"), boost::token_compress_on);
+
+        // if it's for me, I'm done
+        std::string evtname = action->front();
+        if (evtname.compare(name) == 0) {
+          return action;
+        } else {
+          // Else, I have to store it for the relevant colleague
+          std::queue<simgrid::xbt::ReplayAction*>* otherqueue =
+              (std::queue<simgrid::xbt::ReplayAction*>*)xbt_dict_get_or_null(xbt_action_queues, evtname.c_str());
+          if (otherqueue == nullptr) { // Damn. Create the queue of that guy
+            otherqueue = new std::queue<simgrid::xbt::ReplayAction*>();
+            xbt_dict_set(xbt_action_queues, evtname.c_str(), otherqueue, nullptr);
+          }
+          otherqueue->push(action);
         }
-        xbt_dynar_push(otherqueue, &evt);
       }
     }
-    goto todo_done;             // end of file reached while searching in vain for more work
+    // end of file reached while searching in vain for more work
   } else {
     // Get something from my queue and return it
-    xbt_dynar_shift(myqueue, &evt);
-    return (char**) xbt_dynar_to_array(evt);
+    action = myqueue->front();
+    myqueue->pop();
+    return action;
   }
 
-  // I did all my actions for me in the file (either I closed the file, or a colleague did)
-  // Let's cleanup before leaving
+// All my actions in the file are done and either I or a colleague closed the file. Let's cleanup before leaving.
 todo_done:
-  if (myqueue != NULL) {
-    xbt_dynar_free(&myqueue);
+  if (myqueue != nullptr) {
+    delete myqueue;
     xbt_dict_remove(xbt_action_queues, name);
   }
-  return NULL;
+  return nullptr;
 }