Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Compare file prefix only.
[simgrid.git] / src / msg / msg_io.cpp
index 0da4d08..7156228 100644 (file)
@@ -3,7 +3,7 @@
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
-#include "../surf/StorageImpl.hpp"
+#include "simgrid/s4u/File.hpp"
 #include "simgrid/s4u/Host.hpp"
 #include "simgrid/s4u/Storage.hpp"
 #include "src/msg/msg_private.h"
@@ -19,21 +19,6 @@ SG_BEGIN_DECL()
  *  \see #msg_file_t
  */
 
-/********************************* File **************************************/
-void __MSG_file_get_info(msg_file_t fd){
-
-  xbt_dynar_t info = simcall_file_get_info(fd->simdata->smx_file);
-  sg_size_t *psize;
-
-  fd->storage_type = xbt_dynar_pop_as(info, char*);
-  fd->storageId    = xbt_dynar_pop_as(info, char*);
-  fd->mount_point  = xbt_dynar_pop_as(info, char*);
-  psize            = xbt_dynar_pop_as(info, sg_size_t*);
-  fd->size         = *psize;
-  xbt_free(psize);
-  xbt_dynar_free_container(&info);
-}
-
 static int MSG_host_get_file_descriptor_id(msg_host_t host)
 {
   simgrid::MsgHostExt* priv = host->extension<simgrid::MsgHostExt>();
@@ -60,7 +45,7 @@ static void MSG_host_release_file_descriptor_id(msg_host_t host, int id)
  */
 msg_error_t MSG_file_set_data(msg_file_t fd, void *data)
 {
-  fd->data = data;
+  fd->setUserdata(data);
   return MSG_OK;
 }
 
@@ -70,9 +55,9 @@ msg_error_t MSG_file_set_data(msg_file_t fd, void *data)
  *
  * This functions checks whether \a file is a valid pointer and return the user data associated to \a file if possible.
  */
-void *MSG_file_get_data(msg_file_t fd)
+voidMSG_file_get_data(msg_file_t fd)
 {
-  return fd->data;
+  return fd->getUserdata();
 }
 
 /** \ingroup msg_file
@@ -81,9 +66,6 @@ void *MSG_file_get_data(msg_file_t fd)
  * \param fd is a the file descriptor
  */
 void MSG_file_dump (msg_file_t fd){
-  /* Update the cached information first */
-  __MSG_file_get_info(fd);
-
   XBT_INFO("File Descriptor information:\n"
            "\t\tFull path: '%s'\n"
            "\t\tSize: %llu\n"
@@ -91,7 +73,8 @@ void MSG_file_dump (msg_file_t fd){
            "\t\tStorage Id: '%s'\n"
            "\t\tStorage Type: '%s'\n"
            "\t\tFile Descriptor Id: %d",
-           fd->fullpath, fd->size, fd->mount_point, fd->storageId, fd->storage_type, fd->desc_id);
+           fd->getPath(), fd->size(), fd->mount_point.c_str(), fd->storageId.c_str(), fd->storage_type.c_str(),
+           fd->desc_id);
 }
 
 /** \ingroup msg_file
@@ -105,17 +88,17 @@ sg_size_t MSG_file_read(msg_file_t fd, sg_size_t size)
 {
   sg_size_t read_size;
 
-  if (fd->size == 0) /* Nothing to read, return */
+  if (fd->size() == 0) /* Nothing to read, return */
     return 0;
 
   /* Find the host where the file is physically located and read it */
   msg_storage_t storage_src           = simgrid::s4u::Storage::byName(fd->storageId);
-  msg_host_t attached_host            = MSG_host_by_name(storage_src->host());
-  read_size                           = simcall_file_read(fd->simdata->smx_file, size, attached_host);
+  msg_host_t attached_host            = storage_src->getHost();
+  read_size                           = fd->read(size); // TODO re-add attached_host
 
-  if (strcmp(storage_src->host(), MSG_host_self()->cname())) {
+  if (strcmp(attached_host->getCname(), MSG_host_self()->getCname())) {
     /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
-    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", storage_src->host(), read_size);
+    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", attached_host->getCname(), read_size);
     msg_host_t m_host_list[] = {MSG_host_self(), attached_host};
     double flops_amount[]    = {0, 0};
     double bytes_amount[]    = {0, 0, static_cast<double>(read_size), 0};
@@ -127,7 +110,7 @@ sg_size_t MSG_file_read(msg_file_t fd, sg_size_t size)
 
     if(transfer != MSG_OK){
       if (transfer == MSG_HOST_FAILURE)
-        XBT_WARN("Transfer error, %s remote host just turned off!", attached_host->cname());
+        XBT_WARN("Transfer error, %s remote host just turned off!", attached_host->getCname());
       if (transfer == MSG_TASK_CANCELED)
         XBT_WARN("Transfer error, task has been canceled!");
 
@@ -151,11 +134,11 @@ sg_size_t MSG_file_write(msg_file_t fd, sg_size_t size)
 
   /* Find the host where the file is physically located (remote or local)*/
   msg_storage_t storage_src = simgrid::s4u::Storage::byName(fd->storageId);
-  msg_host_t attached_host  = MSG_host_by_name(storage_src->host());
+  msg_host_t attached_host  = storage_src->getHost();
 
-  if (strcmp(storage_src->host(), MSG_host_self()->cname())) {
+  if (strcmp(attached_host->getCname(), MSG_host_self()->getCname())) {
     /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
-    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", storage_src->host(), size);
+    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", attached_host->getCname(), size);
     msg_host_t m_host_list[] = {MSG_host_self(), attached_host};
     double flops_amount[]    = {0, 0};
     double bytes_amount[]    = {0, static_cast<double>(size), 0, 0};
@@ -167,7 +150,7 @@ sg_size_t MSG_file_write(msg_file_t fd, sg_size_t size)
 
     if(transfer != MSG_OK){
       if (transfer == MSG_HOST_FAILURE)
-        XBT_WARN("Transfer error, %s remote host just turned off!", attached_host->cname());
+        XBT_WARN("Transfer error, %s remote host just turned off!", attached_host->getCname());
       if (transfer == MSG_TASK_CANCELED)
         XBT_WARN("Transfer error, task has been canceled!");
 
@@ -175,9 +158,8 @@ sg_size_t MSG_file_write(msg_file_t fd, sg_size_t size)
     }
   }
   /* Write file on local or remote host */
-  sg_size_t offset     = simcall_file_tell(fd->simdata->smx_file);
-  sg_size_t write_size = simcall_file_write(fd->simdata->smx_file, size, attached_host);
-  fd->size             = offset + write_size;
+  // sg_size_t offset     = fd->tell();
+  sg_size_t write_size = fd->write(size); // TODO readd attached_host
 
   return write_size;
 }
@@ -192,15 +174,8 @@ sg_size_t MSG_file_write(msg_file_t fd, sg_size_t size)
  */
 msg_file_t MSG_file_open(const char* fullpath, void* data)
 {
-  msg_file_t fd         = xbt_new(s_msg_file_priv_t, 1);
-  fd->data              = data;
-  fd->fullpath          = xbt_strdup(fullpath);
-  fd->simdata           = xbt_new0(s_simdata_file_t, 1);
-  fd->simdata->smx_file = simcall_file_open(fullpath, MSG_host_self());
+  msg_file_t fd         = new simgrid::s4u::File(fullpath, MSG_host_self());
   fd->desc_id           = MSG_host_get_file_descriptor_id(MSG_host_self());
-
-  __MSG_file_get_info(fd);
-
   return fd;
 }
 
@@ -212,14 +187,10 @@ msg_file_t MSG_file_open(const char* fullpath, void* data)
  */
 int MSG_file_close(msg_file_t fd)
 {
-  if (fd->data)
-    xbt_free(fd->data);
-
-  int res = simcall_file_close(fd->simdata->smx_file, MSG_host_self());
   MSG_host_release_file_descriptor_id(MSG_host_self(), fd->desc_id);
-  __MSG_file_destroy(fd);
+  delete fd;
 
-  return res;
+  return MSG_OK;
 }
 
 /** \ingroup msg_file
@@ -230,12 +201,9 @@ int MSG_file_close(msg_file_t fd)
  */
 msg_error_t MSG_file_unlink(msg_file_t fd)
 {
-  /* Find the host where the file is physically located (remote or local)*/
-  msg_storage_t storage_src           = simgrid::s4u::Storage::byName(fd->storageId);
-  msg_host_t attached_host            = MSG_host_by_name(storage_src->host());
-  int res                             = simcall_file_unlink(fd->simdata->smx_file, attached_host);
-  __MSG_file_destroy(fd);
-  return static_cast<msg_error_t>(res);
+  fd->unlink();
+  delete fd;
+  return MSG_OK;
 }
 
 /** \ingroup msg_file
@@ -244,8 +212,9 @@ msg_error_t MSG_file_unlink(msg_file_t fd)
  * \param fd is the file descriptor (#msg_file_t)
  * \return the size of the file (as a #sg_size_t)
  */
-sg_size_t MSG_file_get_size(msg_file_t fd){
-  return simcall_file_get_size(fd->simdata->smx_file);
+sg_size_t MSG_file_get_size(msg_file_t fd)
+{
+  return fd->size();
 }
 
 /**
@@ -262,7 +231,8 @@ sg_size_t MSG_file_get_size(msg_file_t fd){
  */
 msg_error_t MSG_file_seek(msg_file_t fd, sg_offset_t offset, int origin)
 {
-  return static_cast<msg_error_t>(simcall_file_seek(fd->simdata->smx_file, offset, origin));
+  fd->seek(offset, origin);
+  return MSG_OK;
 }
 
 /**
@@ -275,12 +245,12 @@ msg_error_t MSG_file_seek(msg_file_t fd, sg_offset_t offset, int origin)
  */
 sg_size_t MSG_file_tell(msg_file_t fd)
 {
-  return simcall_file_tell(fd->simdata->smx_file);
+  return fd->tell();
 }
 
 const char *MSG_file_get_name(msg_file_t fd) {
   xbt_assert((fd != nullptr), "Invalid parameters");
-  return fd->fullpath;
+  return fd->getPath();
 }
 
 /**
@@ -290,7 +260,8 @@ const char *MSG_file_get_name(msg_file_t fd) {
  */
 msg_error_t MSG_file_move (msg_file_t fd, const char* fullpath)
 {
-  return static_cast<msg_error_t>(simcall_file_move(fd->simdata->smx_file, fullpath));
+  fd->move(fullpath);
+  return MSG_OK;
 }
 
 /**
@@ -305,65 +276,56 @@ msg_error_t MSG_file_rcopy (msg_file_t file, msg_host_t host, const char* fullpa
 {
   /* Find the host where the file is physically located and read it */
   msg_storage_t storage_src = simgrid::s4u::Storage::byName(file->storageId);
-  msg_host_t attached_host  = MSG_host_by_name(storage_src->host());
+  msg_host_t src_host       = storage_src->getHost();
   MSG_file_seek(file, 0, SEEK_SET);
-  sg_size_t read_size = simcall_file_read(file->simdata->smx_file, file->size, attached_host);
+  sg_size_t read_size = file->read(file->size());
 
-  /* Find the real host destination where the file will be physically stored */
-  xbt_dict_cursor_t cursor   = nullptr;
+  /* Find the host that owns the storage where the file has to be copied */
   msg_storage_t storage_dest = nullptr;
-  msg_host_t host_dest;
+  msg_host_t dst_host;
   size_t longest_prefix_length = 0;
 
-  xbt_dict_t storage_list = host->mountedStoragesAsDict();
-  char *mount_name;
-  char *storage_name;
-  xbt_dict_foreach(storage_list,cursor,mount_name,storage_name){
-    char* file_mount_name = static_cast<char*>(xbt_malloc(strlen(mount_name) + 1));
-    strncpy(file_mount_name, fullpath, strlen(mount_name) + 1);
-    file_mount_name[strlen(mount_name)] = '\0';
-
-    if (not strcmp(file_mount_name, mount_name) && strlen(mount_name) > longest_prefix_length) {
+  for (auto const& elm : host->getMountedStorages()) {
+    std::string mount_point = std::string(fullpath).substr(0, elm.first.size());
+    if (mount_point == elm.first && elm.first.length() > longest_prefix_length) {
       /* The current mount name is found in the full path and is bigger than the previous*/
-      longest_prefix_length = strlen(mount_name);
-      storage_dest          = simgrid::s4u::Storage::byName(storage_name);
+      longest_prefix_length = elm.first.length();
+      storage_dest          = elm.second;
     }
-    xbt_free(file_mount_name);
   }
-  xbt_dict_free(&storage_list);
 
-  if(longest_prefix_length>0){
+  if (storage_dest != nullptr) {
     /* Mount point found, retrieve the host the storage is attached to */
-    host_dest = MSG_host_by_name(storage_dest->host());
+    dst_host = storage_dest->getHost();
   }else{
-    XBT_WARN("Can't find mount point for '%s' on destination host '%s'", fullpath, host->cname());
+    XBT_WARN("Can't find mount point for '%s' on destination host '%s'", fullpath, host->getCname());
     return MSG_TASK_CANCELED;
   }
 
-  XBT_DEBUG("Initiate data transfer of %llu bytes between %s and %s.", read_size, storage_src->host(),
-            storage_dest->host());
-  msg_host_t m_host_list[] = {attached_host, host_dest};
+  XBT_DEBUG("Initiate data transfer of %llu bytes between %s and %s.", read_size, src_host->getCname(),
+            storage_dest->getHost()->getCname());
+  msg_host_t m_host_list[] = {src_host, dst_host};
   double flops_amount[]    = {0, 0};
   double bytes_amount[]    = {0, static_cast<double>(read_size), 0, 0};
 
   msg_task_t task =
       MSG_parallel_task_create("file transfer for write", 2, m_host_list, flops_amount, bytes_amount, nullptr);
-  msg_error_t transfer = MSG_parallel_task_execute(task);
+  msg_error_t err = MSG_parallel_task_execute(task);
   MSG_task_destroy(task);
 
-  if(transfer != MSG_OK){
-    if (transfer == MSG_HOST_FAILURE)
-      XBT_WARN("Transfer error, %s remote host just turned off!", storage_dest->host());
-    if (transfer == MSG_TASK_CANCELED)
+  if (err != MSG_OK) {
+    if (err == MSG_HOST_FAILURE)
+      XBT_WARN("Transfer error, %s remote host just turned off!", storage_dest->getHost()->getCname());
+    if (err == MSG_TASK_CANCELED)
       XBT_WARN("Transfer error, task has been canceled!");
 
-    return transfer;
+    return err;
   }
 
   /* Create file on remote host, write it and close it */
-  smx_file_t smx_file = simcall_file_open(fullpath, host_dest);
-  simcall_file_write(smx_file, read_size, host_dest);
-  simcall_file_close(smx_file, host_dest);
+  msg_file_t fd = new simgrid::s4u::File(fullpath, dst_host, nullptr);
+  fd->write(read_size);
+  delete fd;
   return MSG_OK;
 }
 
@@ -382,16 +344,6 @@ msg_error_t MSG_file_rmove (msg_file_t file, msg_host_t host, const char* fullpa
   return res;
 }
 
-/**
- * \brief Destroys a file (internal call only)
- */
-void __MSG_file_destroy(msg_file_t file)
-{
-  xbt_free(file->fullpath);
-  xbt_free(file->simdata);
-  xbt_free(file);
-}
-
 /********************************* Storage **************************************/
 /** @addtogroup msg_storage_management
  * (#msg_storage_t) and the functions for managing it.
@@ -403,9 +355,10 @@ void __MSG_file_destroy(msg_file_t file)
  *
  * This functions checks whether a storage is a valid pointer or not and return its name.
  */
-const char *MSG_storage_get_name(msg_storage_t storage) {
+const char* MSG_storage_get_name(msg_storage_t storage)
+{
   xbt_assert((storage != nullptr), "Invalid parameters");
-  return storage->name();
+  return storage->getName();
 }
 
 /** \ingroup msg_storage_management
@@ -413,8 +366,9 @@ const char *MSG_storage_get_name(msg_storage_t storage) {
  * \param storage a storage
  * \return the free space size of the storage element (as a #sg_size_t)
  */
-sg_size_t MSG_storage_get_free_size(msg_storage_t storage){
-  return storage->sizeFree();
+sg_size_t MSG_storage_get_free_size(msg_storage_t storage)
+{
+  return storage->getSizeFree();
 }
 
 /** \ingroup msg_storage_management
@@ -422,8 +376,9 @@ sg_size_t MSG_storage_get_free_size(msg_storage_t storage){
  * \param storage a storage
  * \return the used space size of the storage element (as a #sg_size_t)
  */
-sg_size_t MSG_storage_get_used_size(msg_storage_t storage){
-  return storage->sizeUsed();
+sg_size_t MSG_storage_get_used_size(msg_storage_t storage)
+{
+  return storage->getSizeUsed();
 }
 
 /** \ingroup msg_storage_management
@@ -434,7 +389,14 @@ sg_size_t MSG_storage_get_used_size(msg_storage_t storage){
 xbt_dict_t MSG_storage_get_properties(msg_storage_t storage)
 {
   xbt_assert((storage != nullptr), "Invalid parameters (storage is nullptr)");
-  return storage->properties();
+  xbt_dict_t as_dict = xbt_dict_new_homogeneous(xbt_free_f);
+  std::map<std::string, std::string>* props = storage->getProperties();
+  if (props == nullptr)
+    return nullptr;
+  for (auto const& elm : *props) {
+    xbt_dict_set(as_dict, elm.first.c_str(), xbt_strdup(elm.second.c_str()), nullptr);
+  }
+  return as_dict;
 }
 
 /** \ingroup msg_storage_management
@@ -458,7 +420,7 @@ void MSG_storage_set_property_value(msg_storage_t storage, const char* name, cha
  */
 const char *MSG_storage_get_property_value(msg_storage_t storage, const char *name)
 {
-  return storage->property(name);
+  return storage->getProperty(name);
 }
 
 /** \ingroup msg_storage_management
@@ -474,11 +436,13 @@ msg_storage_t MSG_storage_get_by_name(const char *name)
 /** \ingroup msg_storage_management
  * \brief Returns a dynar containing all the storage elements declared at a given point of time
  */
-xbt_dynar_t MSG_storages_as_dynar() {
+xbt_dynar_t MSG_storages_as_dynar()
+{
+  std::map<std::string, simgrid::s4u::Storage*>* storage_map = simgrid::s4u::allStorages();
   xbt_dynar_t res = xbt_dynar_new(sizeof(msg_storage_t),nullptr);
-  for (auto s : *simgrid::s4u::allStorages()) {
+  for (auto const& s : *storage_map)
     xbt_dynar_push(res, &(s.second));
-  }
+  delete storage_map;
   return res;
 }
 
@@ -502,7 +466,7 @@ msg_error_t MSG_storage_set_data(msg_storage_t storage, void *data)
 void *MSG_storage_get_data(msg_storage_t storage)
 {
   xbt_assert((storage != nullptr), "Invalid parameters");
-  return storage->userdata();
+  return storage->getUserdata();
 }
 
 /** \ingroup msg_storage_management
@@ -513,13 +477,15 @@ void *MSG_storage_get_data(msg_storage_t storage)
  */
 xbt_dict_t MSG_storage_get_content(msg_storage_t storage)
 {
-  std::map<std::string, sg_size_t*>* content = storage->content();
-  xbt_dict_t content_dict = xbt_dict_new_homogeneous(nullptr);
+  std::map<std::string, sg_size_t>* content = storage->getContent();
+  xbt_dict_t content_as_dict = xbt_dict_new_homogeneous(xbt_free_f);
 
-  for (auto entry : *content) {
-    xbt_dict_set(content_dict, entry.first.c_str(), entry.second, nullptr);
+  for (auto const& entry : *content) {
+    sg_size_t* psize = static_cast<sg_size_t*>(malloc(sizeof(sg_size_t)));
+    *psize           = entry.second;
+    xbt_dict_set(content_as_dict, entry.first.c_str(), psize, nullptr);
   }
-  return content_dict;
+  return content_as_dict;
 }
 
 /** \ingroup msg_storage_management
@@ -530,7 +496,7 @@ xbt_dict_t MSG_storage_get_content(msg_storage_t storage)
  */
 sg_size_t MSG_storage_get_size(msg_storage_t storage)
 {
-  return storage->size();
+  return storage->getSize();
 }
 
 /** \ingroup msg_storage_management
@@ -539,9 +505,10 @@ sg_size_t MSG_storage_get_size(msg_storage_t storage)
  *
  * This functions checks whether a storage is a valid pointer or not and return its name.
  */
-const char *MSG_storage_get_host(msg_storage_t storage) {
+const char* MSG_storage_get_host(msg_storage_t storage)
+{
   xbt_assert((storage != nullptr), "Invalid parameters");
-  return storage->host();
+  return storage->getHost()->getCname();
 }
 
 SG_END_DECL()