Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
try to reduce the ugliness of file management
authorFrederic Suter <frederic.suter@cc.in2p3.fr>
Mon, 12 Jun 2017 11:27:13 +0000 (13:27 +0200)
committerFrederic Suter <frederic.suter@cc.in2p3.fr>
Mon, 12 Jun 2017 11:27:13 +0000 (13:27 +0200)
still a long way to go

include/simgrid/forward.h
include/simgrid/msg.h
include/simgrid/s4u/File.hpp
include/simgrid/s4u/forward.hpp
include/simgrid/simix.h
src/msg/msg_io.cpp
src/s4u/s4u_file.cpp

index edfca2e..64730e0 100644 (file)
@@ -43,6 +43,7 @@ namespace trace_mgr {
 typedef simgrid::s4u::Actor s4u_Actor;
 typedef simgrid::s4u::Host s4u_Host;
 typedef simgrid::s4u::Link s4u_Link;
+typedef simgrid::s4u::File s4u_File;
 typedef simgrid::s4u::Storage s4u_Storage;
 typedef simgrid::s4u::NetZone s4u_NetZone;
 typedef simgrid::kernel::activity::ActivityImpl* smx_activity_t;
@@ -55,6 +56,7 @@ typedef simgrid::trace_mgr::trace tmgr_Trace;
 typedef struct s4u_Actor s4u_Actor;
 typedef struct s4u_Host s4u_Host;
 typedef struct s4u_Link s4u_Link;
+typedef struct s4u_File s4u_File;
 typedef struct s4u_Storage s4u_Storage;
 typedef struct s4u_NetZone s4u_NetZone;
 typedef struct kernel_Activity* smx_activity_t;
@@ -68,6 +70,7 @@ typedef s4u_NetZone* sg_netzone_t;
 typedef s4u_Host* sg_host_t;
 typedef s4u_Link* sg_link_t;
 typedef s4u_Storage* sg_storage_t;
+typedef s4u_File* sg_file_t;
 
 typedef routing_NetPoint* sg_netpoint_t;
 typedef surf_Resource *sg_resource_t;
index 1d870cc..d5bd22e 100644 (file)
@@ -57,21 +57,7 @@ typedef struct msg_task *msg_task_t;
 typedef msg_host_t msg_vm_t;
 
 /* ******************************** File ************************************ */
-
-typedef struct simdata_file* simdata_file_t;
-
-typedef struct msg_file_priv {
-  char *fullpath;
-  sg_size_t size;
-  char* mount_point;
-  char* storageId;
-  char* storage_type;
-  int desc_id;
-  void *data;
-  simdata_file_t simdata;
-} s_msg_file_priv_t;
-
-typedef struct msg_file_priv* msg_file_t;
+typedef sg_file_t msg_file_t;
 
 /* ******************************** Storage ************************************ */
 
index d9d0080..885509e 100644 (file)
@@ -8,6 +8,7 @@
 
 #include <xbt/base.h>
 
+#include "src/surf/StorageImpl.hpp"
 #include <simgrid/simix.h>
 
 namespace simgrid {
@@ -71,6 +72,10 @@ public:
   XBT_PUBLIC(msg_error_t) MSG_file_rcopy(msg_file_t fd, msg_host_t host, const char* fullpath);
   XBT_PUBLIC(msg_error_t) MSG_file_rmove(msg_file_t fd, msg_host_t host, const char* fullpath);
   */
+  char* storage_type;
+  char* storageId;
+  char* mount_point;
+  int desc_id = 0;
 
 private:
   smx_file_t pimpl_ = nullptr;
index cc29359..237a5eb 100644 (file)
@@ -26,6 +26,7 @@ using MailboxPtr = boost::intrusive_ptr<Mailbox>;
 class Mutex;
 class NetZone;
 
+class File;
 class Storage;
 
 XBT_PUBLIC(void) intrusive_ptr_release(Comm* c);
index 64f9aac..4292d94 100644 (file)
@@ -95,9 +95,6 @@ typedef struct s_smx_sem *smx_sem_t;
 /********************************** File *************************************/
 typedef struct s_smx_file *smx_file_t;
 
-/********************************** Storage *************************************/
-typedef xbt_dictelm_t smx_storage_t;
-
 /* ****************************** Process *********************************** */
 
 typedef enum {
@@ -359,8 +356,6 @@ XBT_PUBLIC(xbt_dynar_t) simcall_file_get_info(smx_file_t fd);
 XBT_PUBLIC(sg_size_t) simcall_file_tell(smx_file_t fd);
 XBT_PUBLIC(int) simcall_file_seek(smx_file_t fd, sg_offset_t offset, int origin);
 XBT_PUBLIC(int) simcall_file_move(smx_file_t fd, const char* fullpath);
-/*****************************   Storage   **********************************/
-XBT_PUBLIC(xbt_dict_t) simcall_storage_get_properties(smx_storage_t storage);
 /************************** MC simcalls   **********************************/
 XBT_PUBLIC(int) simcall_mc_random(int min, int max);
 
index 0da4d08..eeb421e 100644 (file)
@@ -4,6 +4,7 @@
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include "../surf/StorageImpl.hpp"
+#include "simgrid/s4u/File.hpp"
 #include "simgrid/s4u/Host.hpp"
 #include "simgrid/s4u/Storage.hpp"
 #include "src/msg/msg_private.h"
@@ -19,21 +20,6 @@ SG_BEGIN_DECL()
  *  \see #msg_file_t
  */
 
-/********************************* File **************************************/
-void __MSG_file_get_info(msg_file_t fd){
-
-  xbt_dynar_t info = simcall_file_get_info(fd->simdata->smx_file);
-  sg_size_t *psize;
-
-  fd->storage_type = xbt_dynar_pop_as(info, char*);
-  fd->storageId    = xbt_dynar_pop_as(info, char*);
-  fd->mount_point  = xbt_dynar_pop_as(info, char*);
-  psize            = xbt_dynar_pop_as(info, sg_size_t*);
-  fd->size         = *psize;
-  xbt_free(psize);
-  xbt_dynar_free_container(&info);
-}
-
 static int MSG_host_get_file_descriptor_id(msg_host_t host)
 {
   simgrid::MsgHostExt* priv = host->extension<simgrid::MsgHostExt>();
@@ -60,7 +46,7 @@ static void MSG_host_release_file_descriptor_id(msg_host_t host, int id)
  */
 msg_error_t MSG_file_set_data(msg_file_t fd, void *data)
 {
-  fd->data = data;
+  fd->setUserdata(data);
   return MSG_OK;
 }
 
@@ -72,7 +58,7 @@ msg_error_t MSG_file_set_data(msg_file_t fd, void *data)
  */
 void *MSG_file_get_data(msg_file_t fd)
 {
-  return fd->data;
+  return fd->userdata();
 }
 
 /** \ingroup msg_file
@@ -81,9 +67,6 @@ void *MSG_file_get_data(msg_file_t fd)
  * \param fd is a the file descriptor
  */
 void MSG_file_dump (msg_file_t fd){
-  /* Update the cached information first */
-  __MSG_file_get_info(fd);
-
   XBT_INFO("File Descriptor information:\n"
            "\t\tFull path: '%s'\n"
            "\t\tSize: %llu\n"
@@ -91,7 +74,7 @@ void MSG_file_dump (msg_file_t fd){
            "\t\tStorage Id: '%s'\n"
            "\t\tStorage Type: '%s'\n"
            "\t\tFile Descriptor Id: %d",
-           fd->fullpath, fd->size, fd->mount_point, fd->storageId, fd->storage_type, fd->desc_id);
+           fd->path(), fd->size(), fd->mount_point, fd->storageId, fd->storage_type, fd->desc_id);
 }
 
 /** \ingroup msg_file
@@ -105,17 +88,17 @@ sg_size_t MSG_file_read(msg_file_t fd, sg_size_t size)
 {
   sg_size_t read_size;
 
-  if (fd->size == 0) /* Nothing to read, return */
+  if (fd->size() == 0) /* Nothing to read, return */
     return 0;
 
   /* Find the host where the file is physically located and read it */
   msg_storage_t storage_src           = simgrid::s4u::Storage::byName(fd->storageId);
   msg_host_t attached_host            = MSG_host_by_name(storage_src->host());
-  read_size                           = simcall_file_read(fd->simdata->smx_file, size, attached_host);
+  read_size                           = fd->read(size); // TODO re-add attached_host;
 
-  if (strcmp(storage_src->host(), MSG_host_self()->cname())) {
+  if (strcmp(attached_host->cname(), MSG_host_self()->cname())) {
     /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
-    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", storage_src->host(), read_size);
+    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", attached_host->cname(), read_size);
     msg_host_t m_host_list[] = {MSG_host_self(), attached_host};
     double flops_amount[]    = {0, 0};
     double bytes_amount[]    = {0, 0, static_cast<double>(read_size), 0};
@@ -153,9 +136,9 @@ sg_size_t MSG_file_write(msg_file_t fd, sg_size_t size)
   msg_storage_t storage_src = simgrid::s4u::Storage::byName(fd->storageId);
   msg_host_t attached_host  = MSG_host_by_name(storage_src->host());
 
-  if (strcmp(storage_src->host(), MSG_host_self()->cname())) {
+  if (strcmp(attached_host->cname(), MSG_host_self()->cname())) {
     /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
-    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", storage_src->host(), size);
+    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", attached_host->cname(), size);
     msg_host_t m_host_list[] = {MSG_host_self(), attached_host};
     double flops_amount[]    = {0, 0};
     double bytes_amount[]    = {0, static_cast<double>(size), 0, 0};
@@ -175,9 +158,8 @@ sg_size_t MSG_file_write(msg_file_t fd, sg_size_t size)
     }
   }
   /* Write file on local or remote host */
-  sg_size_t offset     = simcall_file_tell(fd->simdata->smx_file);
-  sg_size_t write_size = simcall_file_write(fd->simdata->smx_file, size, attached_host);
-  fd->size             = offset + write_size;
+  // sg_size_t offset     = fd->tell();
+  sg_size_t write_size = fd->write(size); // TODO readd attached_host;
 
   return write_size;
 }
@@ -192,15 +174,8 @@ sg_size_t MSG_file_write(msg_file_t fd, sg_size_t size)
  */
 msg_file_t MSG_file_open(const char* fullpath, void* data)
 {
-  msg_file_t fd         = xbt_new(s_msg_file_priv_t, 1);
-  fd->data              = data;
-  fd->fullpath          = xbt_strdup(fullpath);
-  fd->simdata           = xbt_new0(s_simdata_file_t, 1);
-  fd->simdata->smx_file = simcall_file_open(fullpath, MSG_host_self());
+  msg_file_t fd         = new simgrid::s4u::File(fullpath, MSG_host_self());
   fd->desc_id           = MSG_host_get_file_descriptor_id(MSG_host_self());
-
-  __MSG_file_get_info(fd);
-
   return fd;
 }
 
@@ -212,14 +187,9 @@ msg_file_t MSG_file_open(const char* fullpath, void* data)
  */
 int MSG_file_close(msg_file_t fd)
 {
-  if (fd->data)
-    xbt_free(fd->data);
-
-  int res = simcall_file_close(fd->simdata->smx_file, MSG_host_self());
-  MSG_host_release_file_descriptor_id(MSG_host_self(), fd->desc_id);
-  __MSG_file_destroy(fd);
+  delete fd;
 
-  return res;
+  return MSG_OK;
 }
 
 /** \ingroup msg_file
@@ -231,11 +201,10 @@ int MSG_file_close(msg_file_t fd)
 msg_error_t MSG_file_unlink(msg_file_t fd)
 {
   /* Find the host where the file is physically located (remote or local)*/
-  msg_storage_t storage_src           = simgrid::s4u::Storage::byName(fd->storageId);
-  msg_host_t attached_host            = MSG_host_by_name(storage_src->host());
-  int res                             = simcall_file_unlink(fd->simdata->smx_file, attached_host);
-  __MSG_file_destroy(fd);
-  return static_cast<msg_error_t>(res);
+  // msg_storage_t storage_src           = simgrid::s4u::Storage::byName(fd->storageId);
+  // msg_host_t attached_host            = MSG_host_by_name(storage_src->host());
+  fd->unlink(); // simcall_file_unlink(fd->simdata->smx_file, attached_host);
+  return MSG_OK;
 }
 
 /** \ingroup msg_file
@@ -245,7 +214,7 @@ msg_error_t MSG_file_unlink(msg_file_t fd)
  * \return the size of the file (as a #sg_size_t)
  */
 sg_size_t MSG_file_get_size(msg_file_t fd){
-  return simcall_file_get_size(fd->simdata->smx_file);
+  return fd->size();
 }
 
 /**
@@ -262,7 +231,8 @@ sg_size_t MSG_file_get_size(msg_file_t fd){
  */
 msg_error_t MSG_file_seek(msg_file_t fd, sg_offset_t offset, int origin)
 {
-  return static_cast<msg_error_t>(simcall_file_seek(fd->simdata->smx_file, offset, origin));
+  fd->seek(offset); // TODO re-add origin
+  return MSG_OK;
 }
 
 /**
@@ -275,12 +245,12 @@ msg_error_t MSG_file_seek(msg_file_t fd, sg_offset_t offset, int origin)
  */
 sg_size_t MSG_file_tell(msg_file_t fd)
 {
-  return simcall_file_tell(fd->simdata->smx_file);
+  return fd->tell();
 }
 
 const char *MSG_file_get_name(msg_file_t fd) {
   xbt_assert((fd != nullptr), "Invalid parameters");
-  return fd->fullpath;
+  return fd->path();
 }
 
 /**
@@ -290,7 +260,8 @@ const char *MSG_file_get_name(msg_file_t fd) {
  */
 msg_error_t MSG_file_move (msg_file_t fd, const char* fullpath)
 {
-  return static_cast<msg_error_t>(simcall_file_move(fd->simdata->smx_file, fullpath));
+  fd->move(fullpath);
+  return MSG_OK;
 }
 
 /**
@@ -307,7 +278,7 @@ msg_error_t MSG_file_rcopy (msg_file_t file, msg_host_t host, const char* fullpa
   msg_storage_t storage_src = simgrid::s4u::Storage::byName(file->storageId);
   msg_host_t attached_host  = MSG_host_by_name(storage_src->host());
   MSG_file_seek(file, 0, SEEK_SET);
-  sg_size_t read_size = simcall_file_read(file->simdata->smx_file, file->size, attached_host);
+  sg_size_t read_size = file->read(file->size());
 
   /* Find the real host destination where the file will be physically stored */
   xbt_dict_cursor_t cursor   = nullptr;
@@ -340,7 +311,7 @@ msg_error_t MSG_file_rcopy (msg_file_t file, msg_host_t host, const char* fullpa
     return MSG_TASK_CANCELED;
   }
 
-  XBT_DEBUG("Initiate data transfer of %llu bytes between %s and %s.", read_size, storage_src->host(),
+  XBT_DEBUG("Initiate data transfer of %llu bytes between %s and %s.", read_size, attached_host->cname(),
             storage_dest->host());
   msg_host_t m_host_list[] = {attached_host, host_dest};
   double flops_amount[]    = {0, 0};
@@ -382,16 +353,6 @@ msg_error_t MSG_file_rmove (msg_file_t file, msg_host_t host, const char* fullpa
   return res;
 }
 
-/**
- * \brief Destroys a file (internal call only)
- */
-void __MSG_file_destroy(msg_file_t file)
-{
-  xbt_free(file->fullpath);
-  xbt_free(file->simdata);
-  xbt_free(file);
-}
-
 /********************************* Storage **************************************/
 /** @addtogroup msg_storage_management
  * (#msg_storage_t) and the functions for managing it.
index fafc21d..e63eba2 100644 (file)
 #include "simgrid/s4u/File.hpp"
 #include "simgrid/s4u/Host.hpp"
 #include "simgrid/s4u/Mailbox.hpp"
+#include "simgrid/s4u/Storage.hpp"
 
 XBT_LOG_NEW_DEFAULT_CATEGORY(s4u_file,"S4U files");
 
-
 namespace simgrid {
 namespace s4u {
 
 File::File(const char* fullpath, void* userdata) : path_(fullpath), userdata_(userdata)
 {
   // this cannot fail because we get a xbt_die if the mountpoint does not exist
-  pimpl_ = simcall_file_open(fullpath, Host::current());
+  pimpl_           = simcall_file_open(fullpath, Host::current());
+  xbt_dynar_t info = simcall_file_get_info(pimpl_);
+  storage_type     = xbt_dynar_pop_as(info, char*);
+  storageId        = xbt_dynar_pop_as(info, char*);
+  mount_point      = xbt_dynar_pop_as(info, char*);
 }
 
 File::~File() {
+  //  Host::current()->extension<simgrid::MsgHostExt>()->file_descriptor_table->push_back(desc_id_);
   simcall_file_close(pimpl_, Host::current());
 }