Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
d74dfd2f9140820aec02cb8038bc169fc8f0875a
[simgrid.git] / src / surf / HostImpl.cpp
1 /* Copyright (c) 2013-2016. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #include "src/plugins/vm/VirtualMachineImpl.hpp"
7 #include <string>
8
9 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_host, surf, "Logging specific to the SURF host module");
10
11 simgrid::surf::HostModel *surf_host_model = nullptr;
12
13 /*************
14  * Callbacks *
15  *************/
16
17 namespace simgrid {
18 namespace surf {
19
20 /*********
21  * Model *
22  *********/
23
24 /* Each VM has a dummy CPU action on the PM layer. This CPU action works as the
25  * constraint (capacity) of the VM in the PM layer. If the VM does not have any
26  * active task, the dummy CPU action must be deactivated, so that the VM does
27  * not get any CPU share in the PM layer. */
28 void HostModel::adjustWeightOfDummyCpuActions()
29 {
30   /* iterate for all virtual machines */
31   for (s4u::VirtualMachine* ws_vm : vm::VirtualMachineImpl::allVms_) {
32
33     Cpu* cpu = ws_vm->pimpl_cpu;
34
35     int is_active = lmm_constraint_used(cpu->model()->getMaxminSystem(), cpu->constraint());
36
37     if (is_active) {
38       /* some tasks exist on this VM */
39       XBT_DEBUG("set the weight of the dummy CPU action on PM to 1");
40
41       /* FIXME: we should use lmm_update_variable_weight() ? */
42       /* FIXME: If we assign 1.05 and 0.05, the system makes apparently wrong values. */
43       ws_vm->pimpl_vm_->action_->setPriority(1);
44
45     } else {
46       /* no task exits on this VM */
47       XBT_DEBUG("set the weight of the dummy CPU action on PM to 0");
48
49       ws_vm->pimpl_vm_->action_->setPriority(0);
50     }
51   }
52 }
53
54 /* Helper function for executeParallelTask */
55 static inline double has_cost(double* array, int pos)
56 {
57   if (array)
58     return array[pos];
59   else
60     return -1.0;
61 }
62 Action* HostModel::executeParallelTask(int host_nb, simgrid::s4u::Host** host_list, double* flops_amount,
63     double* bytes_amount, double rate)
64 {
65   Action* action = nullptr;
66   if ((host_nb == 1) && (has_cost(bytes_amount, 0) <= 0)) {
67     action = host_list[0]->pimpl_cpu->execution_start(flops_amount[0]);
68   } else if ((host_nb == 1) && (has_cost(flops_amount, 0) <= 0)) {
69     action = surf_network_model->communicate(host_list[0], host_list[0], bytes_amount[0], rate);
70   } else if ((host_nb == 2) && (has_cost(flops_amount, 0) <= 0) && (has_cost(flops_amount, 1) <= 0)) {
71     int nb = 0;
72     double value = 0.0;
73
74     for (int i = 0; i < host_nb * host_nb; i++) {
75       if (has_cost(bytes_amount, i) > 0.0) {
76         nb++;
77         value = has_cost(bytes_amount, i);
78       }
79     }
80     if (nb == 1) {
81       action = surf_network_model->communicate(host_list[0], host_list[1], value, rate);
82     } else if (nb == 0) {
83       xbt_die("Cannot have a communication with no flop to exchange in this model. You should consider using the "
84           "ptask model");
85     } else {
86       xbt_die("Cannot have a communication that is not a simple point-to-point in this model. You should consider "
87           "using the ptask model");
88     }
89   } else
90     xbt_die(
91         "This model only accepts one of the following. You should consider using the ptask model for the other cases.\n"
92         " - execution with one host only and no communication\n"
93         " - Self-comms with one host only\n"
94         " - Communications with two hosts and no computation");
95   xbt_free(host_list);
96   return action;
97 }
98
99 /************
100  * Resource *
101  ************/
102 HostImpl::HostImpl(s4u::Host* host) : piface_(host)
103 {
104   /* The VM wants to reinstall a new HostImpl, but we don't want to leak the previously existing one */
105   delete piface_->pimpl_;
106   piface_->pimpl_ = this;
107 }
108
109 /** @brief use destroy() instead of this destructor */
110 HostImpl::~HostImpl() = default;
111
112 simgrid::surf::Storage* HostImpl::findStorageOnMountList(const char* mount)
113 {
114   simgrid::surf::Storage* st = nullptr;
115
116   XBT_DEBUG("Search for storage name '%s' on '%s'", mount, piface_->cname());
117   for (auto mnt : storage_) {
118     XBT_DEBUG("See '%s'", mnt.name);
119     if (!strcmp(mount, mnt.name)) {
120       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
121       break;
122     }
123   }
124   if (!st)
125     xbt_die("Can't find mount '%s' for '%s'", mount, piface_->cname());
126   return st;
127 }
128
129 xbt_dict_t HostImpl::getMountedStorageList()
130 {
131   xbt_dict_t storage_list = xbt_dict_new_homogeneous(nullptr);
132   char* storage_name      = nullptr;
133
134   for (auto mnt : storage_) {
135     storage_name = (char*)static_cast<simgrid::surf::Storage*>(mnt.storage)->cname();
136     xbt_dict_set(storage_list, mnt.name, storage_name, nullptr);
137   }
138   return storage_list;
139 }
140
141 xbt_dynar_t HostImpl::getAttachedStorageList()
142 {
143   xbt_lib_cursor_t cursor;
144   char* key;
145   void** data;
146   xbt_dynar_t result = xbt_dynar_new(sizeof(void*), nullptr);
147   xbt_lib_foreach(storage_lib, cursor, key, data)
148   {
149     if (xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL) != nullptr) {
150       simgrid::surf::Storage* storage = static_cast<simgrid::surf::Storage*>(
151           xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL));
152       if (!strcmp(static_cast<const char*>(storage->attach_), piface_->cname())) {
153         xbt_dynar_push_as(result, void*, (void*)storage->cname());
154       }
155     }
156   }
157   return result;
158 }
159
160 Action* HostImpl::open(const char* fullpath)
161 {
162
163   simgrid::surf::Storage* st = nullptr;
164   size_t longest_prefix_length = 0;
165   std::string path;
166   std::string mount_name;
167
168   XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath, piface_->cname());
169   for (auto mnt : storage_) {
170     XBT_DEBUG("See '%s'", mnt.name);
171     std::string file_mount_name = std::string(fullpath).substr(0, strlen(mnt.name));
172
173     if (!strcmp(file_mount_name.c_str(), mnt.name) &&
174         strlen(mnt.name) > longest_prefix_length) { /* The current mount name is found in the full path and is
175                                                            bigger than the previous*/
176       longest_prefix_length = strlen(mnt.name);
177       st                    = static_cast<simgrid::surf::Storage*>(mnt.storage);
178     }
179   }
180   if (longest_prefix_length > 0) { /* Mount point found, split fullpath into mount_name and path+filename*/
181     mount_name = std::string(fullpath).substr(0, longest_prefix_length);
182     path       = std::string(fullpath).substr(longest_prefix_length, strlen(fullpath));
183   } else
184     xbt_die("Can't find mount point for '%s' on '%s'", fullpath, piface_->cname());
185
186   XBT_DEBUG("OPEN %s on disk '%s'", path.c_str(), st->cname());
187   Action* action = st->open(mount_name.c_str(), path.c_str());
188   return action;
189 }
190
191 Action* HostImpl::close(surf_file_t fd)
192 {
193   simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
194   XBT_DEBUG("CLOSE %s on disk '%s'", fd->name, st->cname());
195   return st->close(fd);
196 }
197
198 Action* HostImpl::read(surf_file_t fd, sg_size_t size)
199 {
200   simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
201   XBT_DEBUG("READ %s on disk '%s'", fd->name, st->cname());
202   return st->read(fd, size);
203 }
204
205 Action* HostImpl::write(surf_file_t fd, sg_size_t size)
206 {
207   simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
208   XBT_DEBUG("WRITE %s on disk '%s'", fd->name, st->cname());
209   return st->write(fd, size);
210 }
211
212 int HostImpl::unlink(surf_file_t fd)
213 {
214   if (!fd) {
215     XBT_WARN("No such file descriptor. Impossible to unlink");
216     return -1;
217   } else {
218
219     simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
220     /* Check if the file is on this storage */
221     if (!xbt_dict_get_or_null(st->content_, fd->name)) {
222       XBT_WARN("File %s is not on disk %s. Impossible to unlink", fd->name, st->cname());
223       return -1;
224     } else {
225       XBT_DEBUG("UNLINK %s on disk '%s'", fd->name, st->cname());
226       st->usedSize_ -= fd->size;
227
228       // Remove the file from storage
229       xbt_dict_remove(st->content_, fd->name);
230
231       xbt_free(fd->name);
232       xbt_free(fd->mount);
233       xbt_free(fd);
234       return 0;
235     }
236   }
237 }
238
239 sg_size_t HostImpl::getSize(surf_file_t fd)
240 {
241   return fd->size;
242 }
243
244 xbt_dynar_t HostImpl::getInfo(surf_file_t fd)
245 {
246   simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
247   sg_size_t* psize           = xbt_new(sg_size_t, 1);
248   *psize                     = fd->size;
249   xbt_dynar_t info           = xbt_dynar_new(sizeof(void*), nullptr);
250   xbt_dynar_push_as(info, sg_size_t*, psize);
251   xbt_dynar_push_as(info, void*, fd->mount);
252   xbt_dynar_push_as(info, void*, (void*)st->cname());
253   xbt_dynar_push_as(info, void*, st->typeId_);
254   xbt_dynar_push_as(info, void*, st->contentType_);
255
256   return info;
257 }
258
259 sg_size_t HostImpl::fileTell(surf_file_t fd)
260 {
261   return fd->current_position;
262 }
263
264 int HostImpl::fileSeek(surf_file_t fd, sg_offset_t offset, int origin)
265 {
266
267   switch (origin) {
268   case SEEK_SET:
269     fd->current_position = offset;
270     return 0;
271   case SEEK_CUR:
272     fd->current_position += offset;
273     return 0;
274   case SEEK_END:
275     fd->current_position = fd->size + offset;
276     return 0;
277   default:
278     return -1;
279   }
280 }
281
282 int HostImpl::fileMove(surf_file_t fd, const char* fullpath)
283 {
284   /* Check if the new full path is on the same mount point */
285   if (!strncmp((const char*)fd->mount, fullpath, strlen(fd->mount))) {
286     sg_size_t* psize = (sg_size_t*)xbt_dict_get_or_null(findStorageOnMountList(fd->mount)->content_, fd->name);
287     if (psize) { // src file exists
288       sg_size_t* new_psize = xbt_new(sg_size_t, 1);
289       *new_psize           = *psize;
290       xbt_dict_remove(findStorageOnMountList(fd->mount)->content_, fd->name);
291       std::string path = std::string(fullpath).substr(strlen(fd->mount), strlen(fullpath));
292       xbt_dict_set(findStorageOnMountList(fd->mount)->content_, path.c_str(), new_psize, nullptr);
293       XBT_DEBUG("Move file from %s to %s, size '%llu'", fd->name, fullpath, *psize);
294       return 0;
295     } else {
296       XBT_WARN("File %s doesn't exist", fd->name);
297       return -1;
298     }
299   } else {
300     XBT_WARN("New full path %s is not on the same mount point: %s. Action has been canceled.", fullpath, fd->mount);
301     return -1;
302   }
303 }
304
305 }
306 }