src/surf/HostImpl.cpp

   1 /* Copyright (c) 2013-2016. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include <simgrid/s4u/host.hpp>
   7
   8 #include "src/simix/smx_private.h"
   9 #include "cpu_cas01.hpp"
  10 #include "src/surf/HostImpl.hpp"
  11 #include "simgrid/sg_config.h"
  12
  13 #include "network_interface.hpp"
  14 #include "virtual_machine.hpp"
  15
  16 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_host, surf, "Logging specific to the SURF host module");
  17
  18 simgrid::surf::HostModel *surf_host_model = nullptr;
  19
  20 /*************
  21  * Callbacks *
  22  *************/
  23
  24 namespace simgrid {
  25 namespace surf {
  26
  27 /*********
  28  * Model *
  29  *********/
  30
  31 /* Each VM has a dummy CPU action on the PM layer. This CPU action works as the
  32  * constraint (capacity) of the VM in the PM layer. If the VM does not have any
  33  * active task, the dummy CPU action must be deactivated, so that the VM does
  34  * not get any CPU share in the PM layer. */
  35 void HostModel::adjustWeightOfDummyCpuActions()
  36 {
  37   /* iterate for all virtual machines */
  38   for (VirtualMachine *ws_vm : VirtualMachine::allVms_) {
  39
  40     Cpu* cpu = ws_vm->piface_->pimpl_cpu;
  41
  42     int is_active = lmm_constraint_used(cpu->getModel()->getMaxminSystem(), cpu->getConstraint());
  43
  44     if (is_active) {
  45       /* some tasks exist on this VM */
  46       XBT_DEBUG("set the weight of the dummy CPU action on PM to 1");
  47
  48       /* FIXME: we should use lmm_update_variable_weight() ? */
  49       /* FIXME: If we assign 1.05 and 0.05, the system makes apparently wrong values. */
  50       ws_vm->action_->setPriority(1);
  51
  52     } else {
  53       /* no task exits on this VM */
  54       XBT_DEBUG("set the weight of the dummy CPU action on PM to 0");
  55
  56       ws_vm->action_->setPriority(0);
  57     }
  58   }
  59 }
  60
  61 Action* HostModel::executeParallelTask(int host_nb, simgrid::s4u::Host** host_list, double* flops_amount,
  62                                        double* bytes_amount, double rate)
  63 {
  64 #define cost_or_zero(array,pos) ((array)?(array)[pos]:0.0)
  65   Action *action =nullptr;
  66   if ((host_nb == 1)
  67       && (cost_or_zero(bytes_amount, 0) == 0.0)){
  68     action = host_list[0]->pimpl_cpu->execution_start(flops_amount[0]);
  69   } else if ((host_nb == 1)
  70            && (cost_or_zero(flops_amount, 0) == 0.0)) {
  71     action = surf_network_model->communicate(host_list[0], host_list[0], bytes_amount[0], rate);
  72   } else if ((host_nb == 2)
  73              && (cost_or_zero(flops_amount, 0) == 0.0)
  74              && (cost_or_zero(flops_amount, 1) == 0.0)) {
  75     int i,nb = 0;
  76     double value = 0.0;
  77
  78     for (i = 0; i < host_nb * host_nb; i++) {
  79       if (cost_or_zero(bytes_amount, i) > 0.0) {
  80         nb++;
  81         value = cost_or_zero(bytes_amount, i);
  82       }
  83     }
  84     if (nb == 1) {
  85       action = surf_network_model->communicate(host_list[0], host_list[1], value, rate);
  86     } else if (nb == 0) {
  87        xbt_die("Cannot have a communication with no flop to exchange in this model. You should consider using the ptask model");
  88     } else {
  89        xbt_die("Cannot have a communication that is not a simple point-to-point in this model. You should consider using the ptask model");
  90     }
  91   } else
  92     xbt_die("This model only accepts one of the following. You should consider using the ptask model for the other cases.\n - execution with one host only and no communication\n - Self-comms with one host only\n - Communications with two hosts and no computation");
  93 #undef cost_or_zero
  94   xbt_free(host_list);
  95   return action;
  96 }
  97
  98 /************
  99  * Resource *
 100  ************/
 101 HostImpl::HostImpl(simgrid::surf::HostModel* model, const char* name, xbt_dynar_t storage)
 102     : PropertyHolder(nullptr), storage_(storage)
 103 {
 104   params_.ramsize = 0;
 105 }
 106
 107 HostImpl::HostImpl(simgrid::surf::HostModel* model, const char* name, lmm_constraint_t constraint, xbt_dynar_t storage)
 108     : PropertyHolder(nullptr), storage_(storage)
 109 {
 110   params_.ramsize = 0;
 111 }
 112
 113 /** @brief use destroy() instead of this destructor */
 114 HostImpl::~HostImpl() = default;
 115
 116 void HostImpl::attach(simgrid::s4u::Host* host)
 117 {
 118   if (piface_ != nullptr)
 119     xbt_die("Already attached to host %s", host->name().c_str());
 120   host->pimpl_ = this;
 121   piface_ = host;
 122 }
 123
 124 simgrid::surf::Storage *HostImpl::findStorageOnMountList(const char* mount)
 125 {
 126   simgrid::surf::Storage *st = nullptr;
 127   s_mount_t mnt;
 128   unsigned int cursor;
 129
 130   XBT_DEBUG("Search for storage name '%s' on '%s'", mount, piface_->name().c_str());
 131   xbt_dynar_foreach(storage_,cursor,mnt){
 132     XBT_DEBUG("See '%s'",mnt.name);
 133     if(!strcmp(mount,mnt.name)){
 134       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 135       break;
 136     }
 137   }
 138   if(!st)
 139     xbt_die("Can't find mount '%s' for '%s'", mount, piface_->name().c_str());
 140   return st;
 141 }
 142
 143 xbt_dict_t HostImpl::getMountedStorageList()
 144 {
 145   s_mount_t mnt;
 146   unsigned int i;
 147   xbt_dict_t storage_list = xbt_dict_new_homogeneous(nullptr);
 148   char *storage_name = nullptr;
 149
 150   xbt_dynar_foreach(storage_,i,mnt){
 151     storage_name = (char *)static_cast<simgrid::surf::Storage*>(mnt.storage)->getName();
 152     xbt_dict_set(storage_list,mnt.name,storage_name,nullptr);
 153   }
 154   return storage_list;
 155 }
 156
 157 xbt_dynar_t HostImpl::getAttachedStorageList()
 158 {
 159   xbt_lib_cursor_t cursor;
 160   char *key;
 161   void **data;
 162   xbt_dynar_t result = xbt_dynar_new(sizeof(void*), nullptr);
 163   xbt_lib_foreach(storage_lib, cursor, key, data) {
 164     if (xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL) != nullptr) {
 165       simgrid::surf::Storage* storage = static_cast<simgrid::surf::Storage*>(
 166           xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL));
 167       if (!strcmp((const char*)storage->attach_, piface_->name().c_str())) {
 168         xbt_dynar_push_as(result, void*, (void*)storage->getName());
 169       }
 170   }
 171   }
 172   return result;
 173 }
 174
 175 Action *HostImpl::open(const char* fullpath) {
 176
 177   simgrid::surf::Storage *st = nullptr;
 178   s_mount_t mnt;
 179   unsigned int cursor;
 180   size_t longest_prefix_length = 0;
 181   char *path = nullptr;
 182   char *file_mount_name = nullptr;
 183   char *mount_name = nullptr;
 184
 185   XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath, piface_->name().c_str());
 186   xbt_dynar_foreach(storage_,cursor,mnt)
 187   {
 188     XBT_DEBUG("See '%s'",mnt.name);
 189     file_mount_name = (char *) xbt_malloc ((strlen(mnt.name)+1));
 190     strncpy(file_mount_name,fullpath,strlen(mnt.name)+1);
 191     file_mount_name[strlen(mnt.name)] = '\0';
 192
 193     if(!strcmp(file_mount_name,mnt.name) && strlen(mnt.name)>longest_prefix_length)
 194     {/* The current mount name is found in the full path and is bigger than the previous*/
 195       longest_prefix_length = strlen(mnt.name);
 196       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 197     }
 198     free(file_mount_name);
 199   }
 200   if(longest_prefix_length>0)
 201   { /* Mount point found, split fullpath into mount_name and path+filename*/
 202   path = (char *) xbt_malloc ((strlen(fullpath)-longest_prefix_length+1));
 203   mount_name = (char *) xbt_malloc ((longest_prefix_length+1));
 204   strncpy(mount_name, fullpath, longest_prefix_length+1);
 205   strncpy(path, fullpath+longest_prefix_length, strlen(fullpath)-longest_prefix_length+1);
 206   path[strlen(fullpath)-longest_prefix_length] = '\0';
 207   mount_name[longest_prefix_length] = '\0';
 208   }
 209   else
 210     xbt_die("Can't find mount point for '%s' on '%s'", fullpath, piface_->name().c_str());
 211
 212   XBT_DEBUG("OPEN %s on disk '%s'",path, st->getName());
 213   Action *action = st->open((const char*)mount_name, (const char*)path);
 214   free((char*)path);
 215   free((char*)mount_name);
 216   return action;
 217 }
 218
 219 Action *HostImpl::close(surf_file_t fd) {
 220   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 221   XBT_DEBUG("CLOSE %s on disk '%s'",fd->name, st->getName());
 222   return st->close(fd);
 223 }
 224
 225 Action *HostImpl::read(surf_file_t fd, sg_size_t size) {
 226   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 227   XBT_DEBUG("READ %s on disk '%s'",fd->name, st->getName());
 228   return st->read(fd, size);
 229 }
 230
 231 Action *HostImpl::write(surf_file_t fd, sg_size_t size) {
 232   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 233   XBT_DEBUG("WRITE %s on disk '%s'",fd->name, st->getName());
 234   return st->write(fd, size);
 235 }
 236
 237 int HostImpl::unlink(surf_file_t fd) {
 238   if (!fd){
 239     XBT_WARN("No such file descriptor. Impossible to unlink");
 240     return -1;
 241   } else {
 242
 243     simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 244     /* Check if the file is on this storage */
 245     if (!xbt_dict_get_or_null(st->content_, fd->name)){
 246       XBT_WARN("File %s is not on disk %s. Impossible to unlink", fd->name,
 247           st->getName());
 248       return -1;
 249     } else {
 250       XBT_DEBUG("UNLINK %s on disk '%s'",fd->name, st->getName());
 251       st->usedSize_ -= fd->size;
 252
 253       // Remove the file from storage
 254       xbt_dict_remove(st->content_, fd->name);
 255
 256       xbt_free(fd->name);
 257       xbt_free(fd->mount);
 258       xbt_free(fd);
 259       return 0;
 260     }
 261   }
 262 }
 263
 264 sg_size_t HostImpl::getSize(surf_file_t fd){
 265   return fd->size;
 266 }
 267
 268 xbt_dynar_t HostImpl::getInfo( surf_file_t fd)
 269 {
 270   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 271   sg_size_t *psize = xbt_new(sg_size_t, 1);
 272   *psize = fd->size;
 273   xbt_dynar_t info = xbt_dynar_new(sizeof(void*), nullptr);
 274   xbt_dynar_push_as(info, sg_size_t *, psize);
 275   xbt_dynar_push_as(info, void *, fd->mount);
 276   xbt_dynar_push_as(info, void *, (void *)st->getName());
 277   xbt_dynar_push_as(info, void *, st->typeId_);
 278   xbt_dynar_push_as(info, void *, st->contentType_);
 279
 280   return info;
 281 }
 282
 283 sg_size_t HostImpl::fileTell(surf_file_t fd){
 284   return fd->current_position;
 285 }
 286
 287 int HostImpl::fileSeek(surf_file_t fd, sg_offset_t offset, int origin){
 288
 289   switch (origin) {
 290   case SEEK_SET:
 291     fd->current_position = offset;
 292     return 0;
 293   case SEEK_CUR:
 294     fd->current_position += offset;
 295     return 0;
 296   case SEEK_END:
 297     fd->current_position = fd->size + offset;
 298     return 0;
 299   default:
 300     return -1;
 301   }
 302 }
 303
 304 int HostImpl::fileMove(surf_file_t fd, const char* fullpath){
 305   /* Check if the new full path is on the same mount point */
 306   if(!strncmp((const char*)fd->mount, fullpath, strlen(fd->mount))) {
 307     sg_size_t *psize, *new_psize;
 308     psize = (sg_size_t*)
 309         xbt_dict_get_or_null(findStorageOnMountList(fd->mount)->content_,
 310                              fd->name);
 311     new_psize = xbt_new(sg_size_t, 1);
 312     *new_psize = *psize;
 313     if (psize){// src file exists
 314       xbt_dict_remove(findStorageOnMountList(fd->mount)->content_, fd->name);
 315       char *path = (char *) xbt_malloc ((strlen(fullpath)-strlen(fd->mount)+1));
 316       strncpy(path, fullpath+strlen(fd->mount),
 317               strlen(fullpath)-strlen(fd->mount)+1);
 318       xbt_dict_set(findStorageOnMountList(fd->mount)->content_, path,
 319                    new_psize,nullptr);
 320       XBT_DEBUG("Move file from %s to %s, size '%llu'",fd->name, fullpath, *psize);
 321       free(path);
 322       return 0;
 323     } else {
 324       XBT_WARN("File %s doesn't exist", fd->name);
 325       return -1;
 326     }
 327   } else {
 328     XBT_WARN("New full path %s is not on the same mount point: %s. Action has been canceled.",
 329              fullpath, fd->mount);
 330     return -1;
 331   }
 332 }
 333
 334 xbt_dynar_t HostImpl::getVms()
 335 {
 336   xbt_dynar_t dyn = xbt_dynar_new(sizeof(simgrid::surf::VirtualMachine*), nullptr);
 337
 338   for (VirtualMachine *ws_vm : VirtualMachine::allVms_) {
 339     if (this == ws_vm->getPm()->pimpl_)
 340       xbt_dynar_push(dyn, &ws_vm);
 341   }
 342
 343   return dyn;
 344 }
 345
 346 void HostImpl::getParams(vm_params_t params)
 347 {
 348   *params = params_;
 349 }
 350
 351 void HostImpl::setParams(vm_params_t params)
 352 {
 353   /* may check something here. */
 354   params_ = *params;
 355 }
 356
 357 }}