Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
allows for mount of remote disks in file system plugin
authorFrederic Suter <frederic.suter@cc.in2p3.fr>
Mon, 16 Sep 2019 09:17:14 +0000 (11:17 +0200)
committerFrederic Suter <frederic.suter@cc.in2p3.fr>
Mon, 16 Sep 2019 09:23:19 +0000 (11:23 +0200)
* host has to declare a <prop> in the platform file whose id is
"remote_disk" and value has the following format
"mount_point:disk_name:host_name"
* Extend the io-file-remote example and the hosts_with_disks.xml
platform file to test this feature

examples/platforms/hosts_with_disks.xml
examples/s4u/io-file-remote/s4u-io-file-remote.cpp
examples/s4u/io-file-remote/s4u-io-file-remote.tesh
examples/s4u/io-file-remote/s4u-io-file-remote_d.xml
include/simgrid/plugins/file_system.h
include/simgrid/s4u/Host.hpp
src/plugins/file_system/s4u_FileSystem.cpp
src/s4u/s4u_Host.cpp
src/surf/HostImpl.cpp
src/surf/HostImpl.hpp

index f42369d..cb22063 100644 (file)
       </disk>
     </host>
 
       </disk>
     </host>
 
+    <host id="carl" speed="1Gf">
+      <prop id="remote_disk" value="/scratch:Disk1:bob"/>
+    </host>
+
     <link id="link1" bandwidth="125MBps" latency="150us" />
     <link id="link1" bandwidth="125MBps" latency="150us" />
+    <link id="link2" bandwidth="125MBps" latency="150us" />
+    <link id="link3" bandwidth="125MBps" latency="150us" />
 
     <route src="bob" dst="alice">
       <link_ctn id="link1" />
     </route>
 
     <route src="bob" dst="alice">
       <link_ctn id="link1" />
     </route>
+    <route src="bob" dst="carl">
+      <link_ctn id="link2" />
+    </route>
+    <route src="alice" dst="carl">
+      <link_ctn id="link3" />
+    </route>
   </zone>
 </platform>
   </zone>
 </platform>
index b05b501..3579324 100644 (file)
@@ -21,16 +21,17 @@ static int host(int argc, char* argv[])
   sg_size_t write = file.write(file.size() * 1024);
   XBT_INFO("Have written %llu MiB to '%s'.", write / (1024 * 1024), filename);
 
   sg_size_t write = file.write(file.size() * 1024);
   XBT_INFO("Have written %llu MiB to '%s'.", write / (1024 * 1024), filename);
 
-  if (std::stoi(argv[4]) != 0) {
-    XBT_INFO("Move '%s' (of size %llu) from '%s' to '%s'", filename, file.size(),
-             simgrid::s4u::Host::current()->get_cname(), argv[2]);
-    file.remote_move(simgrid::s4u::Host::by_name(argv[2]), argv[3]);
-  } else {
-    XBT_INFO("Copy '%s' (of size %llu) from '%s' to '%s'", filename, file.size(),
-             simgrid::s4u::Host::current()->get_cname(), argv[2]);
-    file.remote_copy(simgrid::s4u::Host::by_name(argv[2]), argv[3]);
+  if (argc > 4) {
+    if (std::stoi(argv[4]) != 0) {
+      XBT_INFO("Move '%s' (of size %llu) from '%s' to '%s'", filename, file.size(),
+               simgrid::s4u::Host::current()->get_cname(), argv[2]);
+      file.remote_move(simgrid::s4u::Host::by_name(argv[2]), argv[3]);
+    } else {
+      XBT_INFO("Copy '%s' (of size %llu) from '%s' to '%s'", filename, file.size(),
+               simgrid::s4u::Host::current()->get_cname(), argv[2]);
+      file.remote_copy(simgrid::s4u::Host::by_name(argv[2]), argv[3]);
+    }
   }
   }
-
   return 0;
 }
 
   return 0;
 }
 
@@ -45,8 +46,8 @@ int main(int argc, char** argv)
 
   for (auto const& h : all_hosts) {
     for (auto const& d : h->get_disks())
 
   for (auto const& h : all_hosts) {
     for (auto const& d : h->get_disks())
-      XBT_INFO("Init: %llu/%llu MiB used/free on '%s@%s'", sg_disk_get_size_used(d) / INMEGA,
-               sg_disk_get_size_free(d) / INMEGA, d->get_cname(), h->get_cname());
+      XBT_INFO("Init: %s: %llu/%llu MiB used/free on '%s@%s'", h->get_cname(), sg_disk_get_size_used(d) / INMEGA,
+               sg_disk_get_size_free(d) / INMEGA, d->get_cname(), d->get_host()->get_cname());
   }
 
   e.run();
   }
 
   e.run();
index 6fd81fa..1b13cba 100644 (file)
@@ -1,9 +1,10 @@
 #!/usr/bin/env tesh
 
 $ ${bindir:=.}/s4u-io-file-remote ${platfdir}/hosts_with_disks.xml s4u-io-file-remote_d.xml "--log=root.fmt:[%10.6r]%e(%i@%5h)%e%m%n"
 #!/usr/bin/env tesh
 
 $ ${bindir:=.}/s4u-io-file-remote ${platfdir}/hosts_with_disks.xml s4u-io-file-remote_d.xml "--log=root.fmt:[%10.6r]%e(%i@%5h)%e%m%n"
-> [  0.000000] (0@     ) Init: 12/511987 MiB used/free on 'Disk1@alice'
-> [  0.000000] (0@     ) Init: 35/511964 MiB used/free on 'Disk1@bob'
-> [  0.000000] (0@     ) Init: 0/512000 MiB used/free on 'Disk2@bob'
+> [  0.000000] (0@     ) Init: alice: 12/511987 MiB used/free on 'Disk1@alice'
+> [  0.000000] (0@     ) Init: bob: 35/511964 MiB used/free on 'Disk1@bob'
+> [  0.000000] (0@     ) Init: bob: 0/512000 MiB used/free on 'Disk2@bob'
+> [  0.000000] (0@     ) Init: carl: 35/511964 MiB used/free on 'Disk1@bob'
 > [  0.000000] (1@alice) Opened file '/lib/libsimgrid.so.3.6.2'
 > [  0.000000] (1@alice) File Descriptor information:
 >              Full path: '/lib/libsimgrid.so.3.6.2'
 > [  0.000000] (1@alice) Opened file '/lib/libsimgrid.so.3.6.2'
 > [  0.000000] (1@alice) File Descriptor information:
 >              Full path: '/lib/libsimgrid.so.3.6.2'
@@ -22,11 +23,21 @@ $ ${bindir:=.}/s4u-io-file-remote ${platfdir}/hosts_with_disks.xml s4u-io-file-r
 >              Host Id: 'bob'
 >              File Descriptor Id: 0
 > [  0.000000] (2@  bob) Try to write 16 MiB to '/scratch/doc/simgrid/examples/platforms/g5k.xml'
 >              Host Id: 'bob'
 >              File Descriptor Id: 0
 > [  0.000000] (2@  bob) Try to write 16 MiB to '/scratch/doc/simgrid/examples/platforms/g5k.xml'
+> [  0.000000] (3@ carl) Opened file '/scratch/lib/libsimgrid.so.3.6.2'
+> [  0.000000] (3@ carl) File Descriptor information:
+>              Full path: '/scratch/lib/libsimgrid.so.3.6.2'
+>              Size: 12710497
+>              Mount point: '/scratch'
+>              Disk Id: 'Disk1'
+>              Host Id: 'bob'
+>              File Descriptor Id: 0
+> [  0.000000] (3@ carl) Try to write 12412 MiB to '/scratch/lib/libsimgrid.so.3.6.2'
 > [  0.435917] (2@  bob) Have written 16 MiB to '/scratch/doc/simgrid/examples/platforms/g5k.xml'.
 > [  0.435917] (2@  bob) Copy '/scratch/doc/simgrid/examples/platforms/g5k.xml' (of size 17436672) from 'bob' to 'alice'
 > [162.912320] (1@alice) Have written 12412 MiB to '/lib/libsimgrid.so.3.6.2'.
 > [162.912320] (1@alice) Move '/lib/libsimgrid.so.3.6.2' (of size 13015548928) from 'alice' to 'bob'
 > [  0.435917] (2@  bob) Have written 16 MiB to '/scratch/doc/simgrid/examples/platforms/g5k.xml'.
 > [  0.435917] (2@  bob) Copy '/scratch/doc/simgrid/examples/platforms/g5k.xml' (of size 17436672) from 'bob' to 'alice'
 > [162.912320] (1@alice) Have written 12412 MiB to '/lib/libsimgrid.so.3.6.2'.
 > [162.912320] (1@alice) Move '/lib/libsimgrid.so.3.6.2' (of size 13015548928) from 'alice' to 'bob'
-> [666.092709] (0@     ) End: 17/511982 MiB used/free on 'Disk1@alice'
-> [666.092709] (0@     ) End: 12452/499547 MiB used/free on 'Disk1@bob'
-> [666.092709] (0@     ) End: 0/512000 MiB used/free on 'Disk2@bob'
-> [666.092709] (0@     ) Simulation time 666.093
+> [438.102645] (3@ carl) Have written 12412 MiB to '/scratch/lib/libsimgrid.so.3.6.2'.
+> [778.806631] (0@     ) End: 17/511982 MiB used/free on 'Disk1@alice'
+> [778.806631] (0@     ) End: 24852/487147 MiB used/free on 'Disk1@bob'
+> [778.806631] (0@     ) End: 0/512000 MiB used/free on 'Disk2@bob'
+> [778.806631] (0@     ) Simulation time 778.807
index 188dbff..956f940 100644 (file)
@@ -13,4 +13,7 @@
     <argument value = "/tmp/platforms/g5k.xml"/>
     <argument value = "0"/>
   </actor>
     <argument value = "/tmp/platforms/g5k.xml"/>
     <argument value = "0"/>
   </actor>
+  <actor host="carl" function="host">
+    <argument value = "/scratch/lib/libsimgrid.so.3.6.2"/>
+  </actor>
 </platform>
 </platform>
index 086b34f..8f8b4d5 100644 (file)
@@ -152,6 +152,8 @@ public:
   std::map<std::string, sg_size_t>* parse_content(const std::string& filename);
   std::map<std::string, sg_size_t>* get_content() const { return content_.get(); }
   const char* get_mount_point() { return mount_point_.c_str(); }
   std::map<std::string, sg_size_t>* parse_content(const std::string& filename);
   std::map<std::string, sg_size_t>* get_content() const { return content_.get(); }
   const char* get_mount_point() { return mount_point_.c_str(); }
+  const char* get_mount_point(s4u::Host* remote_host) { return remote_mount_points_[remote_host].c_str(); }
+  void add_remote_mount(Host* host, std::string mount_point) { remote_mount_points_.insert({host, mount_point}); }
   sg_size_t get_size() const { return size_; }
   sg_size_t get_used_size() const { return used_size_; }
   void decr_used_size(sg_size_t size) { used_size_ -= size; }
   sg_size_t get_size() const { return size_; }
   sg_size_t get_used_size() const { return used_size_; }
   void decr_used_size(sg_size_t size) { used_size_ -= size; }
@@ -159,6 +161,7 @@ public:
 
 private:
   std::unique_ptr<std::map<std::string, sg_size_t>> content_;
 
 private:
   std::unique_ptr<std::map<std::string, sg_size_t>> content_;
+  std::map<Host*, std::string> remote_mount_points_;
   std::string mount_point_;
   sg_size_t used_size_ = 0;
   sg_size_t size_      = static_cast<sg_size_t>(500 * 1024) * 1024 * 1024;
   std::string mount_point_;
   sg_size_t used_size_ = 0;
   sg_size_t size_      = static_cast<sg_size_t>(500 * 1024) * 1024 * 1024;
index e28a95b..cce5c6b 100644 (file)
@@ -116,6 +116,8 @@ public:
   int get_pstate() const;
 
   std::vector<Disk*> get_disks() const;
   int get_pstate() const;
 
   std::vector<Disk*> get_disks() const;
+  void add_disk(Disk* disk);
+  void remove_disk(std::string disk_name);
 
   std::vector<const char*> get_attached_storages() const;
 
 
   std::vector<const char*> get_attached_storages() const;
 
index 5c3eb02..f23b028 100644 (file)
@@ -5,6 +5,7 @@
 
 #include "simgrid/plugins/file_system.h"
 #include "simgrid/s4u/Actor.hpp"
 
 #include "simgrid/plugins/file_system.h"
 #include "simgrid/s4u/Actor.hpp"
+#include "simgrid/s4u/Engine.hpp"
 #include "src/surf/HostImpl.hpp"
 #include "src/surf/xml/platf_private.hpp"
 #include "xbt/config.hpp"
 #include "src/surf/HostImpl.hpp"
 #include "src/surf/xml/platf_private.hpp"
 #include "xbt/config.hpp"
@@ -57,7 +58,11 @@ File::File(const std::string& fullpath, sg_host_t host, void* userdata) : fullpa
     Disk* d                      = nullptr;
     size_t longest_prefix_length = 0;
     for (auto const& disk : host->get_disks()) {
     Disk* d                      = nullptr;
     size_t longest_prefix_length = 0;
     for (auto const& disk : host->get_disks()) {
-      std::string current_mount = disk->extension<FileSystemDiskExt>()->get_mount_point();
+      std::string current_mount;
+      if (disk->get_host() != host)
+        current_mount = disk->extension<FileSystemDiskExt>()->get_mount_point(disk->get_host());
+      else
+        current_mount = disk->extension<FileSystemDiskExt>()->get_mount_point();
       mount_point_              = fullpath_.substr(0, current_mount.length());
       if (mount_point_ == current_mount && current_mount.length() > longest_prefix_length) {
         /* The current mount name is found in the full path and is bigger than the previous*/
       mount_point_              = fullpath_.substr(0, current_mount.length());
       if (mount_point_ == current_mount && current_mount.length() > longest_prefix_length) {
         /* The current mount name is found in the full path and is bigger than the previous*/
@@ -139,30 +144,31 @@ sg_size_t File::read(sg_size_t size)
   if (size_ == 0) /* Nothing to read, return */
     return 0;
   sg_size_t read_size = 0;
   if (size_ == 0) /* Nothing to read, return */
     return 0;
   sg_size_t read_size = 0;
-
+  Host* host          = nullptr;
   if (local_storage_) {
     /* Find the host where the file is physically located and read it */
   if (local_storage_) {
     /* Find the host where the file is physically located and read it */
-    Host* host = local_storage_->get_host();
+    host = local_storage_->get_host();
     XBT_DEBUG("READ %s on disk '%s'", get_path(), local_storage_->get_cname());
     // if the current position is close to the end of the file, we may not be able to read the requested size
     read_size = local_storage_->read(std::min(size, size_ - current_position_));
     current_position_ += read_size;
     XBT_DEBUG("READ %s on disk '%s'", get_path(), local_storage_->get_cname());
     // if the current position is close to the end of the file, we may not be able to read the requested size
     read_size = local_storage_->read(std::min(size, size_ - current_position_));
     current_position_ += read_size;
-
-    if (host->get_name() != Host::current()->get_name() && read_size > 0) {
-      /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
-      XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", host->get_cname(), read_size);
-      host->send_to(Host::current(), read_size);
-    }
   }
 
   if (local_disk_) {
     /* Find the host where the file is physically located and read it */
   }
 
   if (local_disk_) {
     /* Find the host where the file is physically located and read it */
+    host = local_disk_->get_host();
     XBT_DEBUG("READ %s on disk '%s'", get_path(), local_disk_->get_cname());
     // if the current position is close to the end of the file, we may not be able to read the requested size
     read_size = local_disk_->read(std::min(size, size_ - current_position_));
     current_position_ += read_size;
   }
 
     XBT_DEBUG("READ %s on disk '%s'", get_path(), local_disk_->get_cname());
     // if the current position is close to the end of the file, we may not be able to read the requested size
     read_size = local_disk_->read(std::min(size, size_ - current_position_));
     current_position_ += read_size;
   }
 
+  if (host->get_name() != Host::current()->get_name() && read_size > 0) {
+    /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
+    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", host->get_cname(), read_size);
+    host->send_to(Host::current(), read_size);
+  }
+
   return read_size;
 }
 
   return read_size;
 }
 
@@ -176,17 +182,21 @@ sg_size_t File::write(sg_size_t size, int write_inside)
   if (size == 0) /* Nothing to write, return */
     return 0;
   sg_size_t write_size = 0;
   if (size == 0) /* Nothing to write, return */
     return 0;
   sg_size_t write_size = 0;
+  Host* host           = nullptr;
 
 
-  if (local_storage_) {
-    /* Find the host where the file is physically located (remote or local)*/
-    Host* host = local_storage_->get_host();
+  /* Find the host where the file is physically located (remote or local)*/
+  if (local_storage_)
+    host = local_storage_->get_host();
+  if (local_disk_)
+    host = local_disk_->get_host();
 
 
-    if (host->get_name() != Host::current()->get_name()) {
-      /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
-      XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", host->get_cname(), size);
-      Host::current()->send_to(host, size);
-    }
+  if (host->get_name() != Host::current()->get_name()) {
+    /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
+    XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", host->get_cname(), size);
+    Host::current()->send_to(host, size);
+  }
 
 
+  if (local_storage_) {
     XBT_DEBUG("WRITE %s on disk '%s'. size '%llu/%llu' '%llu:%llu'", get_path(), local_storage_->get_cname(), size,
               size_, sg_storage_get_size_used(local_storage_), sg_storage_get_size(local_storage_));
     // If the storage is full before even starting to write
     XBT_DEBUG("WRITE %s on disk '%s'. size '%llu/%llu' '%llu:%llu'", get_path(), local_storage_->get_cname(), size,
               size_, sg_storage_get_size_used(local_storage_), sg_storage_get_size(local_storage_));
     // If the storage is full before even starting to write
@@ -516,6 +526,51 @@ static void on_host_creation(simgrid::s4u::Host& host)
   host.extension_set<FileDescriptorHostExt>(new FileDescriptorHostExt());
 }
 
   host.extension_set<FileDescriptorHostExt>(new FileDescriptorHostExt());
 }
 
+static void on_platform_created()
+{
+  for (auto const& host : simgrid::s4u::Engine::get_instance()->get_all_hosts()) {
+    const char* remote_disk_str = host->get_property("remote_disk");
+    if (remote_disk_str) {
+      std::vector<std::string> tokens;
+      boost::split(tokens, remote_disk_str, boost::is_any_of(":"));
+      std::string mount_point         = tokens[0];
+      simgrid::s4u::Host* remote_host = simgrid::s4u::Host::by_name_or_null(tokens[2]);
+      xbt_assert(remote_host, "You're trying to access a host that does not exist. Please check your platform file");
+
+      simgrid::s4u::Disk* disk = nullptr;
+      for (auto const& d : remote_host->get_disks())
+        if (d->get_name() == tokens[1]) {
+          disk = d;
+          break;
+        }
+
+      xbt_assert(disk, "You're trying to mount a disk that does not exist. Please check your platform file");
+      disk->extension<FileSystemDiskExt>()->add_remote_mount(remote_host, mount_point);
+      host->add_disk(disk);
+
+      XBT_DEBUG("Host '%s' wants to mount a remote disk: %s of %s mounted on %s", host->get_cname(), disk->get_cname(),
+                remote_host->get_cname(), mount_point.c_str());
+      XBT_DEBUG("Host '%s' now has %lu disks", host->get_cname(), host->get_disks().size());
+    }
+  }
+}
+
+static void on_simulation_end()
+{
+  XBT_DEBUG("Simulation is over, time to unregister remote disks if any");
+  for (auto const& host : simgrid::s4u::Engine::get_instance()->get_all_hosts()) {
+    const char* remote_disk_str = host->get_property("remote_disk");
+    if (remote_disk_str) {
+      std::vector<std::string> tokens;
+      boost::split(tokens, remote_disk_str, boost::is_any_of(":"));
+      XBT_DEBUG("Host '%s' wants to unmount a remote disk: %s of %s mounted on %s", host->get_cname(),
+                tokens[1].c_str(), tokens[2].c_str(), tokens[0].c_str());
+      host->remove_disk(tokens[1]);
+      XBT_DEBUG("Host '%s' now has %lu disks", host->get_cname(), host->get_disks().size());
+    }
+  }
+}
+
 /* **************************** Public interface *************************** */
 void sg_storage_file_system_init()
 {
 /* **************************** Public interface *************************** */
 void sg_storage_file_system_init()
 {
@@ -537,6 +592,8 @@ void sg_storage_file_system_init()
     FileDescriptorHostExt::EXTENSION_ID = simgrid::s4u::Host::extension_create<FileDescriptorHostExt>();
     simgrid::s4u::Host::on_creation.connect(&on_host_creation);
   }
     FileDescriptorHostExt::EXTENSION_ID = simgrid::s4u::Host::extension_create<FileDescriptorHostExt>();
     simgrid::s4u::Host::on_creation.connect(&on_host_creation);
   }
+  simgrid::s4u::on_platform_created.connect(&on_platform_created);
+  simgrid::s4u::on_simulation_end.connect(&on_simulation_end);
 }
 
 sg_file_t sg_file_open(const char* fullpath, void* data)
 }
 
 sg_file_t sg_file_open(const char* fullpath, void* data)
index 0bb59b5..6dbee95 100644 (file)
@@ -289,6 +289,14 @@ std::vector<Disk*> Host::get_disks() const
   return kernel::actor::simcall([this] { return this->pimpl_->get_disks(); });
 }
 
   return kernel::actor::simcall([this] { return this->pimpl_->get_disks(); });
 }
 
+void Host::add_disk(Disk* disk)
+{
+  kernel::actor::simcall([this, disk] { this->pimpl_->add_disk(disk); });
+}
+void Host::remove_disk(std::string disk_name)
+{
+  kernel::actor::simcall([this, disk_name] { this->pimpl_->remove_disk(disk_name); });
+}
 /**
  * @ingroup simix_storage_management
  * @brief Returns the list of storages attached to a host.
 /**
  * @ingroup simix_storage_management
  * @brief Returns the list of storages attached to a host.
index f1a1b1e..c037bf9 100644 (file)
@@ -159,6 +159,23 @@ std::vector<s4u::Disk*> HostImpl::get_disks()
   return disks;
 }
 
   return disks;
 }
 
+void HostImpl::add_disk(s4u::Disk* disk)
+{
+  disks_.push_back(disk->get_impl());
+}
+
+void HostImpl::remove_disk(std::string disk_name)
+{
+  auto position = disks_.begin();
+  for (auto const& d : disks_) {
+    if (d->get_name() == disk_name) {
+      disks_.erase(position);
+      break;
+    }
+    position++;
+  }
+}
+
 std::vector<const char*> HostImpl::get_attached_storages()
 {
   std::vector<const char*> storages;
 std::vector<const char*> HostImpl::get_attached_storages()
 {
   std::vector<const char*> storages;
index daf3841..791b135 100644 (file)
@@ -49,6 +49,9 @@ public:
   virtual ~HostImpl();
 
   std::vector<s4u::Disk*> get_disks();
   virtual ~HostImpl();
 
   std::vector<s4u::Disk*> get_disks();
+  void add_disk(s4u::Disk* disk);
+  void remove_disk(std::string disk_name);
+
   /** @brief Get the vector of storages (by names) attached to the Host */
   virtual std::vector<const char*> get_attached_storages();
 
   /** @brief Get the vector of storages (by names) attached to the Host */
   virtual std::vector<const char*> get_attached_storages();