Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
more pluginification of our pseudo file system
[simgrid.git] / src / s4u / s4u_file.cpp
1 /* Copyright (c) 2015-2017. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #include "xbt/log.h"
7
8 #include "simgrid/s4u/File.hpp"
9 #include "simgrid/s4u/Host.hpp"
10 #include "simgrid/s4u/Storage.hpp"
11 #include "simgrid/simix.hpp"
12 #include "src/surf/HostImpl.hpp"
13
14 #include <algorithm>
15 #include <boost/algorithm/string.hpp>
16 #include <boost/algorithm/string/join.hpp>
17 #include <boost/algorithm/string/split.hpp>
18 #include <fstream>
19
20 XBT_LOG_NEW_DEFAULT_CATEGORY(s4u_file,"S4U files");
21
22 namespace simgrid {
23 namespace s4u {
24 simgrid::xbt::Extension<s4u::Storage, FileSystemStorageExt> FileSystemStorageExt::EXTENSION_ID;
25
26 File::File(std::string fullpath, void* userdata) : File(fullpath, Host::current(), userdata){};
27
28 File::File(std::string fullpath, sg_host_t host, void* userdata) : fullpath_(fullpath), userdata_(userdata)
29 {
30   // this cannot fail because we get a xbt_die if the mountpoint does not exist
31   Storage* st                  = nullptr;
32   size_t longest_prefix_length = 0;
33   XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath.c_str(), host->getCname());
34
35   for (auto const& mnt : host->getMountedStorages()) {
36     XBT_DEBUG("See '%s'", mnt.first.c_str());
37     mount_point_ = fullpath.substr(0, mnt.first.length());
38
39     if (mount_point_ == mnt.first && mnt.first.length() > longest_prefix_length) {
40       /* The current mount name is found in the full path and is bigger than the previous*/
41       longest_prefix_length = mnt.first.length();
42       st                    = mnt.second;
43     }
44   }
45   if (longest_prefix_length > 0) { /* Mount point found, split fullpath into mount_name and path+filename*/
46     mount_point_ = fullpath.substr(0, longest_prefix_length);
47     path_        = fullpath.substr(longest_prefix_length, fullpath.length());
48   } else
49     xbt_die("Can't find mount point for '%s' on '%s'", fullpath.c_str(), host->getCname());
50
51   localStorage = st;
52
53   XBT_DEBUG("\tOpen file '%s'", path_.c_str());
54   std::map<std::string, sg_size_t>* content = localStorage->getContent();
55   // if file does not exist create an empty file
56   auto sz = content->find(path_);
57   if (sz != content->end()) {
58     size_ = sz->second;
59   } else {
60     size_ = 0;
61     content->insert({path_, size_});
62     XBT_DEBUG("File '%s' was not found, file created.", path_.c_str());
63   }
64 }
65
66 sg_size_t File::read(sg_size_t size)
67 {
68   XBT_DEBUG("READ %s on disk '%s'", getPath(), localStorage->getCname());
69   // if the current position is close to the end of the file, we may not be able to read the requested size
70   sg_size_t read_size = localStorage->read(std::min(size, size_ - current_position_));
71   current_position_ += read_size;
72   return read_size;
73 }
74
75 sg_size_t File::write(sg_size_t size)
76 {
77   XBT_DEBUG("WRITE %s on disk '%s'. size '%llu/%llu'", getPath(), localStorage->getCname(), size, size_);
78   // If the storage is full before even starting to write
79   if (sg_storage_get_size_used(localStorage) >= sg_storage_get_size(localStorage))
80     return 0;
81   /* Substract the part of the file that might disappear from the used sized on the storage element */
82   localStorage->extension<FileSystemStorageExt>()->decrUsedSize(size_ - current_position_);
83
84   sg_size_t write_size = localStorage->write(size);
85   localStorage->extension<FileSystemStorageExt>()->incrUsedSize(write_size);
86
87   current_position_ += write_size;
88   size_ = current_position_;
89
90   localStorage->getContent()->erase(path_);
91   localStorage->getContent()->insert({path_, size_});
92
93   return write_size;
94 }
95
96 sg_size_t File::size()
97 {
98   return size_;
99 }
100
101 void File::seek(sg_offset_t offset)
102 {
103   current_position_ = offset;
104 }
105
106 void File::seek(sg_offset_t offset, int origin)
107 {
108   switch (origin) {
109     case SEEK_SET:
110       current_position_ = offset;
111       break;
112     case SEEK_CUR:
113       current_position_ += offset;
114       break;
115     case SEEK_END:
116       current_position_ = size_ + offset;
117       break;
118     default:
119       break;
120   }
121 }
122
123 sg_size_t File::tell()
124 {
125   return current_position_;
126 }
127
128 void File::move(std::string fullpath)
129 {
130   /* Check if the new full path is on the same mount point */
131   if (not strncmp(mount_point_.c_str(), fullpath.c_str(), mount_point_.length())) {
132     std::map<std::string, sg_size_t>* content = localStorage->getContent();
133     auto sz = content->find(path_);
134     if (sz != content->end()) { // src file exists
135       sg_size_t new_size = sz->second;
136       content->erase(path_);
137       std::string path = fullpath.substr(mount_point_.length(), fullpath.length());
138       content->insert({path.c_str(), new_size});
139       XBT_DEBUG("Move file from %s to %s, size '%llu'", path_.c_str(), fullpath.c_str(), new_size);
140     } else {
141       XBT_WARN("File %s doesn't exist", path_.c_str());
142     }
143   } else {
144     XBT_WARN("New full path %s is not on the same mount point: %s.", fullpath.c_str(), mount_point_.c_str());
145   }
146 }
147
148 int File::unlink()
149 {
150   /* Check if the file is on local storage */
151   if (localStorage->getContent()->find(path_) == localStorage->getContent()->end()) {
152     XBT_WARN("File %s is not on disk %s. Impossible to unlink", path_.c_str(), localStorage->getCname());
153     return -1;
154   } else {
155     XBT_DEBUG("UNLINK %s on disk '%s'", path_.c_str(), localStorage->getCname());
156     localStorage->extension<FileSystemStorageExt>()->decrUsedSize(size_);
157
158     // Remove the file from storage
159     localStorage->getContent()->erase(fullpath_);
160
161     return 0;
162   }
163 }
164
165 FileSystemStorageExt::FileSystemStorageExt(simgrid::s4u::Storage* ptr)
166 {
167   content_ = parseContent(ptr->getImpl()->content_name);
168 }
169
170 FileSystemStorageExt::~FileSystemStorageExt()
171 {
172   delete content_;
173 }
174
175 std::map<std::string, sg_size_t>* FileSystemStorageExt::parseContent(std::string filename)
176 {
177   if (filename.empty())
178     return nullptr;
179
180   std::map<std::string, sg_size_t>* parse_content = new std::map<std::string, sg_size_t>();
181
182   std::ifstream* fs = surf_ifsopen(filename);
183
184   std::string line;
185   std::vector<std::string> tokens;
186   do {
187     std::getline(*fs, line);
188     boost::trim(line);
189     if (line.length() > 0) {
190       boost::split(tokens, line, boost::is_any_of(" \t"), boost::token_compress_on);
191       xbt_assert(tokens.size() == 2, "Parse error in %s: %s", filename.c_str(), line.c_str());
192       sg_size_t size = std::stoull(tokens.at(1));
193
194       usedSize_ += size;
195       parse_content->insert({tokens.front(), size});
196     }
197   } while (not fs->eof());
198   delete fs;
199   return parse_content;
200 }
201 }
202 }
203
204 using simgrid::s4u::FileSystemStorageExt;
205
206 static void onStorageCreation(simgrid::s4u::Storage& st)
207 {
208   st.extension_set(new FileSystemStorageExt(&st));
209 }
210
211 static void onStorageDestruction(simgrid::s4u::Storage& st)
212 {
213   delete st.extension<FileSystemStorageExt>();
214 }
215
216 /* **************************** Public interface *************************** */
217 SG_BEGIN_DECL()
218
219 void sg_storage_file_system_init()
220 {
221
222   if (FileSystemStorageExt::EXTENSION_ID.valid())
223     return;
224
225   FileSystemStorageExt::EXTENSION_ID = simgrid::s4u::Storage::extension_create<FileSystemStorageExt>();
226
227   simgrid::s4u::Storage::onCreation.connect(&onStorageCreation);
228   simgrid::s4u::Storage::onDestruction.connect(&onStorageDestruction);
229 }
230
231 sg_size_t sg_storage_get_size_free(sg_storage_t st)
232 {
233   return st->getImpl()->getSize() - st->extension<FileSystemStorageExt>()->getUsedSize();
234 }
235
236 sg_size_t sg_storage_get_size_used(sg_storage_t st)
237 {
238   return st->extension<FileSystemStorageExt>()->getUsedSize();
239 }
240
241 sg_size_t sg_storage_get_size(sg_storage_t st)
242 {
243   return st->getImpl()->getSize();
244 }
245
246 SG_END_DECL()