Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
also use ofstream for tracing_files
[simgrid.git] / src / instr / instr_paje_containers.cpp
index c2b6515..2cea47f 100644 (file)
@@ -1,21 +1,22 @@
-/* Copyright (c) 2010-2017. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2010-2018. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include "simgrid/s4u/Engine.hpp"
 #include "simgrid/s4u/Host.hpp"
-
-#include "surf/surf.h"
-
-#include "src/instr/instr_private.h"
+#include "src/instr/instr_private.hpp"
 
 XBT_LOG_NEW_DEFAULT_SUBCATEGORY (instr_paje_containers, instr, "Paje tracing event system (containers)");
 
+extern std::ofstream tracing_file;
+std::map<container_t, std::ofstream*> tracing_files; // TI specific
+double prefix = 0.0;                               // TI specific
+
 static container_t rootContainer = nullptr;    /* the root container */
-static xbt_dict_t allContainers = nullptr;     /* all created containers indexed by name */
-xbt_dict_t trivaNodeTypes = nullptr;     /* all host types defined */
-xbt_dict_t trivaEdgeTypes = nullptr;     /* all link types defined */
+static std::map<std::string, container_t> allContainers; /* all created containers indexed by name */
+std::set<std::string> trivaNodeTypes;           /* all host types defined */
+std::set<std::string> trivaEdgeTypes;           /* all link types defined */
 
 long long int instr_new_paje_id ()
 {
@@ -23,229 +24,206 @@ long long int instr_new_paje_id ()
   return type_id++;
 }
 
-void PJ_container_alloc ()
+namespace simgrid {
+namespace instr {
+
+container_t Container::getRoot()
 {
-  allContainers = xbt_dict_new_homogeneous(nullptr);
-  trivaNodeTypes = xbt_dict_new_homogeneous(xbt_free_f);
-  trivaEdgeTypes = xbt_dict_new_homogeneous(xbt_free_f);
+  return rootContainer;
 }
 
-void PJ_container_release ()
+NetZoneContainer::NetZoneContainer(std::string name, unsigned int level, NetZoneContainer* father)
+    : Container::Container(name, "", father)
 {
-  xbt_dict_free (&allContainers);
-  xbt_dict_free (&trivaNodeTypes);
-  xbt_dict_free (&trivaEdgeTypes);
+  netpoint_ = simgrid::s4u::Engine::get_instance()->getNetpointByNameOrNull(name);
+  xbt_assert(netpoint_, "Element '%s' not found", name.c_str());
+  if (father_) {
+    type_ = father_->type_->getOrCreateContainerType(std::string("L") + std::to_string(level));
+    father_->children_.insert({get_name(), this});
+    logCreation();
+  } else {
+    type_         = new ContainerType("0");
+    rootContainer = this;
+  }
 }
 
-void PJ_container_set_root (container_t root)
+RouterContainer::RouterContainer(std::string name, Container* father) : Container::Container(name, "ROUTER", father)
 {
-  rootContainer = root;
+  xbt_assert(father, "Only the Root container has no father");
+
+  netpoint_ = simgrid::s4u::Engine::get_instance()->getNetpointByNameOrNull(name);
+  xbt_assert(netpoint_, "Element '%s' not found", name.c_str());
+
+  trivaNodeTypes.insert(type_->get_name());
 }
 
-container_t PJ_container_new (const char *name, e_container_types kind, container_t father)
+HostContainer::HostContainer(simgrid::s4u::Host& host, NetZoneContainer* father)
+    : Container::Container(host.get_cname(), "HOST", father)
 {
-  if (name == nullptr){
-    THROWF (tracing_error, 0, "can't create a container with a nullptr name");
-  }
+  xbt_assert(father, "Only the Root container has no father");
+
+  netpoint_ = host.pimpl_netpoint;
+  xbt_assert(netpoint_, "Element '%s' not found", host.get_cname());
 
+  trivaNodeTypes.insert(type_->get_name());
+}
+
+Container::Container(std::string name, std::string type_name, Container* father) : name_(name), father_(father)
+{
   static long long int container_id = 0;
-  char id_str[INSTR_DEFAULT_STR_SIZE];
-  snprintf (id_str, INSTR_DEFAULT_STR_SIZE, "%lld", container_id);
+  id_                               = container_id; // id (or alias) of the container
   container_id++;
 
-  container_t newContainer = xbt_new0(s_container_t, 1);
-  newContainer->name = xbt_strdup (name); // name of the container
-  newContainer->id = xbt_strdup (id_str); // id (or alias) of the container
-  newContainer->father = father;
-  sg_host_t sg_host = sg_host_by_name(name);
-
-  //Search for network_element_t
-  switch (kind){
-    case INSTR_HOST:
-      newContainer->netpoint = sg_host->pimpl_netpoint;
-      xbt_assert(newContainer->netpoint, "Element '%s' not found", name);
-      break;
-    case INSTR_ROUTER:
-      newContainer->netpoint = simgrid::s4u::Engine::instance()->netpointByNameOrNull(name);
-      xbt_assert(newContainer->netpoint, "Element '%s' not found", name);
-      break;
-    case INSTR_AS:
-      newContainer->netpoint = simgrid::s4u::Engine::instance()->netpointByNameOrNull(name);
-      xbt_assert(newContainer->netpoint, "Element '%s' not found", name);
-      break;
-    default:
-      newContainer->netpoint = nullptr;
-      break;
-  }
+  if (father_) {
+    XBT_DEBUG("new container %s, child of %s", name.c_str(), father->name_.c_str());
 
-  // level depends on level of father
-  if (newContainer->father){
-    newContainer->level = newContainer->father->level+1;
-    XBT_DEBUG("new container %s, child of %s", name, father->name);
-  }else{
-    newContainer->level = 0;
-  }
-  // type definition (method depends on kind of this new container)
-  newContainer->kind = kind;
-  if (newContainer->kind == INSTR_AS){
-    //if this container is of an AS, its type name depends on its level
-    char as_typename[INSTR_DEFAULT_STR_SIZE];
-    snprintf (as_typename, INSTR_DEFAULT_STR_SIZE, "L%d", newContainer->level);
-    if (newContainer->father){
-      newContainer->type = PJ_type_get_or_null (as_typename, newContainer->father->type);
-      if (newContainer->type == nullptr){
-        newContainer->type = PJ_type_container_new (as_typename, newContainer->father->type);
-      }
-    }else{
-      newContainer->type = PJ_type_container_new ("0", nullptr);
-    }
-  }else{
-    //otherwise, the name is its kind
-    char typeNameBuff[INSTR_DEFAULT_STR_SIZE];
-    switch (newContainer->kind){
-      case INSTR_HOST:
-        snprintf (typeNameBuff, INSTR_DEFAULT_STR_SIZE, "HOST");
-        break;
-      case INSTR_LINK:
-        snprintf (typeNameBuff, INSTR_DEFAULT_STR_SIZE, "LINK");
-        break;
-      case INSTR_ROUTER:
-        snprintf (typeNameBuff, INSTR_DEFAULT_STR_SIZE, "ROUTER");
-        break;
-      case INSTR_SMPI:
-        snprintf (typeNameBuff, INSTR_DEFAULT_STR_SIZE, "MPI");
-        break;
-      case INSTR_MSG_PROCESS:
-        snprintf (typeNameBuff, INSTR_DEFAULT_STR_SIZE, "MSG_PROCESS");
-        break;
-      case INSTR_MSG_VM:
-        snprintf (typeNameBuff, INSTR_DEFAULT_STR_SIZE, "MSG_VM");
-        break;
-      case INSTR_MSG_TASK:
-        snprintf (typeNameBuff, INSTR_DEFAULT_STR_SIZE, "MSG_TASK");
-        break;
-      default:
-        THROWF (tracing_error, 0, "new container kind is unknown.");
-        break;
+    if (not type_name.empty()) {
+      type_ = father_->type_->getOrCreateContainerType(type_name);
+      father_->children_.insert({name_, this});
+      logCreation();
     }
-    type_t type = PJ_type_get_or_null (typeNameBuff, newContainer->father->type);
-    if (type == nullptr){
-      newContainer->type = PJ_type_container_new (typeNameBuff, newContainer->father->type);
-    }else{
-      newContainer->type = type;
-    }
-  }
-  newContainer->children = xbt_dict_new_homogeneous(nullptr);
-  if (newContainer->father){
-    xbt_dict_set(newContainer->father->children, newContainer->name, newContainer, nullptr);
-    LogContainerCreation(newContainer);
   }
 
   //register all kinds by name
-  if (xbt_dict_get_or_null(allContainers, newContainer->name) != nullptr){
-    THROWF(tracing_error, 1, "container %s already present in allContainers data structure", newContainer->name);
-  }
+  if (not allContainers.emplace(name_, this).second)
+    THROWF(tracing_error, 1, "container %s already present in allContainers data structure", name_.c_str());
 
-  xbt_dict_set (allContainers, newContainer->name, newContainer, nullptr);
-  XBT_DEBUG("Add container name '%s'",newContainer->name);
+  XBT_DEBUG("Add container name '%s'", name_.c_str());
 
   //register NODE types for triva configuration
-  if (newContainer->kind == INSTR_HOST || newContainer->kind == INSTR_LINK || newContainer->kind == INSTR_ROUTER) {
-    xbt_dict_set (trivaNodeTypes, newContainer->type->name, xbt_strdup("1"), nullptr);
-  }
-  return newContainer;
+  if (type_name == "LINK")
+    trivaNodeTypes.insert(type_->get_name());
 }
 
-container_t PJ_container_get (const char *name)
+Container::~Container()
 {
-  container_t ret = PJ_container_get_or_null (name);
-  if (ret == nullptr){
-    THROWF(tracing_error, 1, "container with name %s not found", name);
-  }
-  return ret;
+  XBT_DEBUG("destroy container %s", name_.c_str());
+  // Begin with destroying my own children
+  for (auto child : children_)
+    delete child.second;
+
+  // obligation to dump previous events because they might reference the container that is about to be destroyed
+  TRACE_last_timestamp_to_dump = SIMIX_get_clock();
+  TRACE_paje_dump_buffer(true);
+
+  // trace my destruction, but not if user requests so or if the container is root
+  if (not TRACE_disable_destroy() && this != Container::getRoot())
+    logDestruction();
+
+  // remove me from the allContainers data structure
+  allContainers.erase(name_);
 }
 
-container_t PJ_container_get_or_null (const char *name)
+void Container::createChild(std::string name, std::string type_name)
 {
-  return static_cast<container_t>(name != nullptr ? xbt_dict_get_or_null(allContainers, name) : nullptr);
+  new Container(name, type_name, this);
 }
 
-container_t PJ_container_get_root ()
+Container* Container::byNameOrNull(std::string name)
 {
-  return rootContainer;
+  auto cont = allContainers.find(name);
+  return cont == allContainers.end() ? nullptr : cont->second;
 }
 
-void PJ_container_remove_from_parent (container_t child)
+Container* Container::byName(std::string name)
 {
-  if (child == nullptr){
-    THROWF (tracing_error, 0, "can't remove from parent with a nullptr child");
-  }
+  Container* ret = Container::byNameOrNull(name);
+  if (ret == nullptr)
+    THROWF(tracing_error, 1, "container with name %s not found", name.c_str());
 
-  container_t parent = child->father;
-  if (parent){
-    XBT_DEBUG("removeChildContainer (%s) FromContainer (%s) ",
-        child->name,
-        parent->name);
-    xbt_dict_remove (parent->children, child->name);
-  }
+  return ret;
 }
 
-void PJ_container_free (container_t container)
+void Container::removeFromParent()
 {
-  if (container == nullptr){
-    THROWF (tracing_error, 0, "trying to free a nullptr container");
-  }
-  XBT_DEBUG("destroy container %s", container->name);
-
-  //obligation to dump previous events because they might
-  //reference the container that is about to be destroyed
-  TRACE_last_timestamp_to_dump = surf_get_clock();
-  TRACE_paje_dump_buffer(1);
-
-  //trace my destruction
-  if (not TRACE_disable_destroy() && container != PJ_container_get_root()) {
-    //do not trace the container destruction if user requests
-    //or if the container is root
-    LogContainerDestruction(container);
+  if (father_) {
+    XBT_DEBUG("removeChildContainer (%s) FromContainer (%s) ", get_cname(), father_->get_cname());
+    father_->children_.erase(name_);
   }
+  delete this;
+}
 
-  //remove it from allContainers data structure
-  xbt_dict_remove (allContainers, container->name);
+void Container::logCreation()
+{
+  double timestamp = SIMIX_get_clock();
+  std::stringstream stream;
+
+  XBT_DEBUG("%s: event_type=%u, timestamp=%f", __func__, PAJE_CreateContainer, timestamp);
+
+  if (trace_format == simgrid::instr::TraceFormat::Paje) {
+    stream << std::fixed << std::setprecision(TRACE_precision()) << PAJE_CreateContainer << " ";
+    stream << timestamp << " " << id_ << " " << type_->get_id() << " " << father_->id_ << " \"" << name_ << "\"";
+    XBT_DEBUG("Dump %s", stream.str().c_str());
+    tracing_file << stream.str() << std::endl;
+  } else if (trace_format == simgrid::instr::TraceFormat::Ti) {
+    // if we are in the mode with only one file
+    static std::ofstream* ti_unique_file = nullptr;
+
+    if (tracing_files.empty()) {
+      // generate unique run id with time
+      prefix = xbt_os_time();
+    }
 
-  //free
-  xbt_free (container->name);
-  xbt_free (container->id);
-  xbt_dict_free (&container->children);
-  xbt_free (container);
-  container = nullptr;
+    if (not simgrid::config::get_value<bool>("tracing/smpi/format/ti-one-file") || ti_unique_file == nullptr) {
+      std::string folder_name = TRACE_get_filename() + "_files";
+      std::string filename    = folder_name + "/" + std::to_string(prefix) + "_" + name_ + ".txt";
+#ifdef WIN32
+      _mkdir(folder_name.c_str());
+#else
+      mkdir(folder_name.c_str(), S_IRWXU | S_IRWXG | S_IRWXO);
+#endif
+      ti_unique_file = new std::ofstream(filename.c_str(), std::ofstream::out);
+      xbt_assert(not ti_unique_file->fail(), "Tracefile %s could not be opened for writing", filename.c_str());
+      tracing_file << filename << std::endl;
+    }
+    tracing_files.insert({this, ti_unique_file});
+  } else {
+    THROW_IMPOSSIBLE;
+  }
 }
 
-static void recursiveDestroyContainer (container_t container)
+void Container::logDestruction()
 {
-  if (container == nullptr){
-    THROWF (tracing_error, 0, "trying to recursively destroy a nullptr container");
-  }
-  XBT_DEBUG("recursiveDestroyContainer %s", container->name);
-  xbt_dict_cursor_t cursor = nullptr;
-  container_t child;
-  char *child_name;
-  xbt_dict_foreach(container->children, cursor, child_name, child) {
-    recursiveDestroyContainer (child);
+  std::stringstream stream;
+  double timestamp = SIMIX_get_clock();
+
+  XBT_DEBUG("%s: event_type=%u, timestamp=%f", __func__, PAJE_DestroyContainer, timestamp);
+
+  if (trace_format == simgrid::instr::TraceFormat::Paje) {
+    stream << std::fixed << std::setprecision(TRACE_precision()) << PAJE_DestroyContainer << " ";
+    stream << timestamp << " " << type_->get_id() << " " << id_;
+    XBT_DEBUG("Dump %s", stream.str().c_str());
+    tracing_file << stream.str() << std::endl;
+  } else if (trace_format == simgrid::instr::TraceFormat::Ti) {
+    if (not simgrid::config::get_value<bool>("tracing/smpi/format/ti-one-file") || tracing_files.size() == 1) {
+      tracing_files.at(this)->close();
+      delete tracing_files.at(this);
+    }
+    tracing_files.erase(this);
+  } else {
+    THROW_IMPOSSIBLE;
   }
-  PJ_container_free (container);
 }
 
-void PJ_container_free_all ()
+StateType* Container::getState(std::string name)
 {
-  container_t root = PJ_container_get_root();
-  if (root == nullptr){
-    THROWF (tracing_error, 0, "trying to free all containers, but root is nullptr");
-  }
-  recursiveDestroyContainer (root);
-  rootContainer = nullptr;
+  StateType* ret = dynamic_cast<StateType*>(type_->byName(name));
+  ret->setCallingContainer(this);
+  return ret;
+}
 
-  //checks
-  if (not xbt_dict_is_empty(allContainers)) {
-    THROWF(tracing_error, 0, "some containers still present even after destroying all of them");
-  }
+LinkType* Container::getLink(std::string name)
+{
+  LinkType* ret = dynamic_cast<LinkType*>(type_->byName(name));
+  ret->setCallingContainer(this);
+  return ret;
+}
+
+VariableType* Container::getVariable(std::string name)
+{
+  VariableType* ret = dynamic_cast<VariableType*>(type_->byName(name));
+  ret->setCallingContainer(this);
+  return ret;
+}
+}
 }