Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
s4u filesystem: correctly update size of files when changed
[simgrid.git] / src / plugins / file_system / s4u_FileSystem.cpp
index 51d3ccc..8e4926f 100644 (file)
@@ -71,7 +71,7 @@ File::File(const std::string& fullpath, void* userdata) : File(fullpath, Host::c
 
 File::File(const std::string& fullpath, const_sg_host_t host, void* userdata) : fullpath_(fullpath)
 {
-  kernel::actor::simcall([this, &host, userdata] {
+  kernel::actor::simcall_answered([this, &host, userdata] {
     this->set_data(userdata);
     // this cannot fail because we get a xbt_die if the mountpoint does not exist
     local_disk_ = find_local_disk_on(host);
@@ -86,7 +86,6 @@ File::File(const std::string& fullpath, const_sg_host_t host, void* userdata) :
     desc_id = ext->file_descriptor_table->back();
     ext->file_descriptor_table->pop_back();
 
-    XBT_DEBUG("\tOpen file '%s'", path_.c_str());
     std::map<std::string, sg_size_t, std::less<>>* content = nullptr;
     content = local_disk_->extension<FileSystemDiskExt>()->get_content();
 
@@ -95,6 +94,7 @@ File::File(const std::string& fullpath, const_sg_host_t host, void* userdata) :
       auto sz = content->find(path_);
       if (sz != content->end()) {
         size_ = sz->second;
+       XBT_DEBUG("\tOpen file '%s', size %llu", path_.c_str(), size_);
       } else {
         size_ = 0;
         content->insert({path_, size_});
@@ -104,18 +104,26 @@ File::File(const std::string& fullpath, const_sg_host_t host, void* userdata) :
   });
 }
 
-File::~File()
-{
-  std::vector<int>* desc_table =
-      Host::current()->extension<simgrid::s4u::FileDescriptorHostExt>()->file_descriptor_table.get();
-  kernel::actor::simcall([this, desc_table] { desc_table->push_back(this->desc_id); });
-}
+File::~File() = default;
 
 File* File::open(const std::string& fullpath, void* userdata)
 {
   return new File(fullpath, userdata);
 }
 
+File* File::open(const std::string& fullpath, const_sg_host_t host, void* userdata)
+{
+  return new File(fullpath, host, userdata);
+}
+
+void File::close()
+{
+  std::vector<int>* desc_table =
+      Host::current()->extension<simgrid::s4u::FileDescriptorHostExt>()->file_descriptor_table.get();
+  kernel::actor::simcall_answered([this, desc_table] { desc_table->push_back(this->desc_id); });
+  delete this;
+}
+
 void File::dump() const
 {
   XBT_INFO("File Descriptor information:\n"
@@ -168,9 +176,7 @@ sg_size_t File::write(sg_size_t size, bool write_inside)
 
   sg_size_t write_size = 0;
   /* Find the host where the file is physically located (remote or local)*/
-  Host* host = local_disk_->get_host();
-
-  if (host && host->get_name() != Host::current()->get_name()) {
+  if (Host* host = local_disk_->get_host(); host && host->get_name() != Host::current()->get_name()) {
     /* the file is hosted on a remote host, initiate a communication between src and dest hosts for data transfer */
     XBT_DEBUG("File is on %s remote host, initiate data transfer of %llu bytes.", host->get_cname(), size);
     Comm::sendto(Host::current(), host, size);
@@ -180,25 +186,11 @@ sg_size_t File::write(sg_size_t size, bool write_inside)
   // If the disk is full before even starting to write
   if (sg_disk_get_size_used(local_disk_) >= sg_disk_get_size(local_disk_))
     return 0;
-  if (not write_inside) {
+  if (not write_inside)
     /* Subtract the part of the file that might disappear from the used sized on the storage element */
     local_disk_->extension<FileSystemDiskExt>()->decr_used_size(size_ - current_position_);
-    write_size = local_disk_->write(size);
-    local_disk_->extension<FileSystemDiskExt>()->incr_used_size(write_size);
-    current_position_ += write_size;
-    size_ = current_position_;
-  } else {
-    write_size = local_disk_->write(size);
-    current_position_ += write_size;
-    if (current_position_ > size_)
-      size_ = current_position_;
-  }
-  kernel::actor::simcall([this] {
-    std::map<std::string, sg_size_t, std::less<>>* content = local_disk_->extension<FileSystemDiskExt>()->get_content();
-
-    content->erase(path_);
-    content->insert({path_, size_});
-  });
+  write_size = local_disk_->write(size);
+  update_position(current_position_ + write_size);
 
   return write_size;
 }
@@ -217,19 +209,36 @@ void File::seek(sg_offset_t offset, int origin)
 {
   switch (origin) {
     case SEEK_SET:
-      current_position_ = offset;
-      break;
+      update_position(offset);
+     break;
     case SEEK_CUR:
-      current_position_ += offset;
+      update_position(current_position_ + offset);
       break;
     case SEEK_END:
-      current_position_ = size_ + offset;
+      update_position(size_ + offset);
       break;
     default:
       break;
   }
 }
 
+void File::update_position(sg_offset_t position)
+{
+  xbt_assert(position >= 0, "Error in seek, cannot seek before file %s", get_path());
+  current_position_ = position;
+  if(current_position_>size_){
+    XBT_DEBUG("Updating size of file %s from %llu to %llu", path_.c_str(), size_, position);
+    local_disk_->extension<FileSystemDiskExt>()->incr_used_size(current_position_-size_);
+    size_ = current_position_;
+
+    kernel::actor::simcall_answered([this] {
+    std::map<std::string, sg_size_t, std::less<>>* content = local_disk_->extension<FileSystemDiskExt>()->get_content();
+    content->erase(path_);
+    content->insert({path_, size_});
+  });
+  }
+}
+
 sg_size_t File::tell() const
 {
   return current_position_;
@@ -268,10 +277,9 @@ int File::unlink() const
     XBT_WARN("File %s is not on disk %s. Impossible to unlink", path_.c_str(), name);
     return -1;
   } else {
-    XBT_DEBUG("UNLINK %s on disk '%s'", path_.c_str(), name);
+    XBT_DEBUG("UNLINK %s of size %llu on disk '%s'", path_.c_str(), size_, name);
 
     local_disk_->extension<FileSystemDiskExt>()->decr_used_size(size_);
-
     // Remove the file from storage
     content->erase(path_);
 
@@ -319,8 +327,9 @@ int File::remote_copy(sg_host_t host, const std::string& fullpath)
   }
 
   /* Create file on remote host, write it and close it */
-  File fd(fullpath, dst_host, nullptr);
-  fd.write(read_size);
+  auto* fd = File::open(fullpath, dst_host, nullptr);
+  fd->write(read_size);
+  fd->close();
   return 0;
 }
 
@@ -333,19 +342,17 @@ int File::remote_move(sg_host_t host, const std::string& fullpath)
 
 FileSystemDiskExt::FileSystemDiskExt(const Disk* ptr)
 {
-  const char* size_str    = ptr->get_property("size");
-  std::string dummyfile;
-  if (size_str)
+  if (const char* size_str = ptr->get_property("size")) {
+    std::string dummyfile;
     size_ = xbt_parse_get_size(dummyfile, -1, size_str, "disk size " + ptr->get_name());
+  }
 
-  const char* current_mount_str = ptr->get_property("mount");
-  if (current_mount_str)
+  if (const char* current_mount_str = ptr->get_property("mount"))
     mount_point_ = std::string(current_mount_str);
   else
     mount_point_ = std::string("/");
 
-  const char* content_str = ptr->get_property("content");
-  if (content_str)
+  if (const char* content_str = ptr->get_property("content"))
     content_.reset(parse_content(content_str));
 }
 
@@ -377,14 +384,19 @@ std::map<std::string, sg_size_t, std::less<>>* FileSystemDiskExt::parse_content(
   return parse_content;
 }
 
+void FileSystemDiskExt::add_remote_mount(Host* host, const std::string& mount_point)
+{
+  remote_mount_points_.try_emplace(host, mount_point);
+}
+
 void FileSystemDiskExt::decr_used_size(sg_size_t size)
 {
-  simgrid::kernel::actor::simcall([this, size] { used_size_ -= size; });
+  simgrid::kernel::actor::simcall_answered([this, size] { used_size_ -= size; });
 }
 
 void FileSystemDiskExt::incr_used_size(sg_size_t size)
 {
-  simgrid::kernel::actor::simcall([this, size] { used_size_ += size; });
+  simgrid::kernel::actor::simcall_answered([this, size] { used_size_ += size; });
 }
 }
 }
@@ -560,7 +572,7 @@ void sg_file_move(const_sg_file_t fd, const char* fullpath)
 void sg_file_unlink(sg_file_t fd)
 {
   fd->unlink();
-  delete fd;
+  fd->close();
 }
 
 /**