src/surf/HostImpl.cpp

   1 /* Copyright (c) 2013-2016. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "src/surf/HostImpl.hpp"
   7 #include "src/plugins/vm/VirtualMachineImpl.hpp"
   8
   9 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_host, surf, "Logging specific to the SURF host module");
  10
  11 simgrid::surf::HostModel *surf_host_model = nullptr;
  12
  13 /*************
  14  * Callbacks *
  15  *************/
  16
  17 namespace simgrid {
  18 namespace surf {
  19
  20 /*********
  21  * Model *
  22  *********/
  23
  24 /* Each VM has a dummy CPU action on the PM layer. This CPU action works as the
  25  * constraint (capacity) of the VM in the PM layer. If the VM does not have any
  26  * active task, the dummy CPU action must be deactivated, so that the VM does
  27  * not get any CPU share in the PM layer. */
  28 void HostModel::adjustWeightOfDummyCpuActions()
  29 {
  30   /* iterate for all virtual machines */
  31   for (s4u::VirtualMachine* ws_vm : vm::VirtualMachineImpl::allVms_) {
  32
  33     Cpu* cpu = ws_vm->pimpl_cpu;
  34
  35     int is_active = lmm_constraint_used(cpu->model()->getMaxminSystem(), cpu->constraint());
  36
  37     if (is_active) {
  38       /* some tasks exist on this VM */
  39       XBT_DEBUG("set the weight of the dummy CPU action on PM to 1");
  40
  41       /* FIXME: we should use lmm_update_variable_weight() ? */
  42       /* FIXME: If we assign 1.05 and 0.05, the system makes apparently wrong values. */
  43       ws_vm->pimpl_vm_->action_->setPriority(1);
  44
  45     } else {
  46       /* no task exits on this VM */
  47       XBT_DEBUG("set the weight of the dummy CPU action on PM to 0");
  48
  49       ws_vm->pimpl_vm_->action_->setPriority(0);
  50     }
  51   }
  52 }
  53
  54 Action* HostModel::executeParallelTask(int host_nb, simgrid::s4u::Host** host_list, double* flops_amount,
  55                                        double* bytes_amount, double rate)
  56 {
  57 #define cost_or_zero(array,pos) ((array)?(array)[pos]:0.0)
  58   Action* action = nullptr;
  59   if ((host_nb == 1) && (cost_or_zero(bytes_amount, 0) == 0.0)) {
  60     action = host_list[0]->pimpl_cpu->execution_start(flops_amount[0]);
  61   } else if ((host_nb == 1) && (cost_or_zero(flops_amount, 0) == 0.0)) {
  62     action = surf_network_model->communicate(host_list[0], host_list[0], bytes_amount[0], rate);
  63   } else if ((host_nb == 2) && (cost_or_zero(flops_amount, 0) == 0.0) && (cost_or_zero(flops_amount, 1) == 0.0)) {
  64     int i, nb = 0;
  65     double value = 0.0;
  66
  67     for (i = 0; i < host_nb * host_nb; i++) {
  68       if (cost_or_zero(bytes_amount, i) > 0.0) {
  69         nb++;
  70         value = cost_or_zero(bytes_amount, i);
  71       }
  72     }
  73     if (nb == 1) {
  74       action = surf_network_model->communicate(host_list[0], host_list[1], value, rate);
  75     } else if (nb == 0) {
  76       xbt_die("Cannot have a communication with no flop to exchange in this model. You should consider using the "
  77               "ptask model");
  78     } else {
  79       xbt_die("Cannot have a communication that is not a simple point-to-point in this model. You should consider "
  80               "using the ptask model");
  81     }
  82   } else
  83     xbt_die("This model only accepts one of the following. You should consider using the ptask model for the other "
  84             "cases.\n - execution with one host only and no communication\n - Self-comms with one host only\n - "
  85             "Communications with two hosts and no computation");
  86 #undef cost_or_zero
  87   xbt_free(host_list);
  88   return action;
  89 }
  90
  91 /************
  92  * Resource *
  93  ************/
  94 HostImpl::HostImpl(s4u::Host* host) : piface_(host)
  95 {
  96   /* The VM wants to reinstall a new HostImpl, but we don't want to leak the previously existing one */
  97   delete piface_->pimpl_;
  98   piface_->pimpl_ = this;
  99 }
 100
 101 /** @brief use destroy() instead of this destructor */
 102 HostImpl::~HostImpl() = default;
 103
 104 simgrid::surf::Storage* HostImpl::findStorageOnMountList(const char* mount)
 105 {
 106   simgrid::surf::Storage* st = nullptr;
 107   s_mount_t mnt;
 108   unsigned int cursor;
 109
 110   XBT_DEBUG("Search for storage name '%s' on '%s'", mount, piface_->cname());
 111   xbt_dynar_foreach (storage_, cursor, mnt) {
 112     XBT_DEBUG("See '%s'", mnt.name);
 113     if (!strcmp(mount, mnt.name)) {
 114       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 115       break;
 116     }
 117   }
 118   if (!st)
 119     xbt_die("Can't find mount '%s' for '%s'", mount, piface_->cname());
 120   return st;
 121 }
 122
 123 xbt_dict_t HostImpl::getMountedStorageList()
 124 {
 125   s_mount_t mnt;
 126   unsigned int i;
 127   xbt_dict_t storage_list = xbt_dict_new_homogeneous(nullptr);
 128   char* storage_name      = nullptr;
 129
 130   xbt_dynar_foreach (storage_, i, mnt) {
 131     storage_name = (char*)static_cast<simgrid::surf::Storage*>(mnt.storage)->cname();
 132     xbt_dict_set(storage_list, mnt.name, storage_name, nullptr);
 133   }
 134   return storage_list;
 135 }
 136
 137 xbt_dynar_t HostImpl::getAttachedStorageList()
 138 {
 139   xbt_lib_cursor_t cursor;
 140   char* key;
 141   void** data;
 142   xbt_dynar_t result = xbt_dynar_new(sizeof(void*), nullptr);
 143   xbt_lib_foreach(storage_lib, cursor, key, data)
 144   {
 145     if (xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL) != nullptr) {
 146       simgrid::surf::Storage* storage = static_cast<simgrid::surf::Storage*>(
 147           xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL));
 148       if (!strcmp((const char*)storage->attach_, piface_->cname())) {
 149         xbt_dynar_push_as(result, void*, (void*)storage->cname());
 150       }
 151     }
 152   }
 153   return result;
 154     }
 155
 156     Action* HostImpl::open(const char* fullpath)
 157     {
 158
 159       simgrid::surf::Storage* st = nullptr;
 160       s_mount_t mnt;
 161       unsigned int cursor;
 162       size_t longest_prefix_length = 0;
 163       char* path                   = nullptr;
 164       char* file_mount_name        = nullptr;
 165       char* mount_name             = nullptr;
 166
 167       XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath, piface_->cname());
 168       xbt_dynar_foreach (storage_, cursor, mnt) {
 169         XBT_DEBUG("See '%s'", mnt.name);
 170         file_mount_name = (char*)xbt_malloc((strlen(mnt.name) + 1));
 171         strncpy(file_mount_name, fullpath, strlen(mnt.name) + 1);
 172         file_mount_name[strlen(mnt.name)] = '\0';
 173
 174         if (!strcmp(file_mount_name, mnt.name) &&
 175             strlen(mnt.name) > longest_prefix_length) { /* The current mount name is found in the full path and is
 176                                                            bigger than the previous*/
 177           longest_prefix_length = strlen(mnt.name);
 178           st                    = static_cast<simgrid::surf::Storage*>(mnt.storage);
 179         }
 180         free(file_mount_name);
 181       }
 182       if (longest_prefix_length > 0) { /* Mount point found, split fullpath into mount_name and path+filename*/
 183         path       = (char*)xbt_malloc((strlen(fullpath) - longest_prefix_length + 1));
 184         mount_name = (char*)xbt_malloc((longest_prefix_length + 1));
 185         strncpy(mount_name, fullpath, longest_prefix_length + 1);
 186         strncpy(path, fullpath + longest_prefix_length, strlen(fullpath) - longest_prefix_length + 1);
 187         path[strlen(fullpath) - longest_prefix_length] = '\0';
 188         mount_name[longest_prefix_length]              = '\0';
 189       } else
 190         xbt_die("Can't find mount point for '%s' on '%s'", fullpath, piface_->cname());
 191
 192       XBT_DEBUG("OPEN %s on disk '%s'", path, st->cname());
 193       Action* action = st->open((const char*)mount_name, (const char*)path);
 194       free((char*)path);
 195       free((char*)mount_name);
 196       return action;
 197     }
 198
 199     Action* HostImpl::close(surf_file_t fd)
 200     {
 201       simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
 202       XBT_DEBUG("CLOSE %s on disk '%s'", fd->name, st->cname());
 203       return st->close(fd);
 204     }
 205
 206     Action* HostImpl::read(surf_file_t fd, sg_size_t size)
 207     {
 208       simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
 209       XBT_DEBUG("READ %s on disk '%s'", fd->name, st->cname());
 210       return st->read(fd, size);
 211     }
 212
 213     Action* HostImpl::write(surf_file_t fd, sg_size_t size)
 214     {
 215       simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
 216       XBT_DEBUG("WRITE %s on disk '%s'", fd->name, st->cname());
 217       return st->write(fd, size);
 218     }
 219
 220     int HostImpl::unlink(surf_file_t fd)
 221     {
 222       if (!fd) {
 223         XBT_WARN("No such file descriptor. Impossible to unlink");
 224         return -1;
 225       } else {
 226
 227         simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
 228         /* Check if the file is on this storage */
 229         if (!xbt_dict_get_or_null(st->content_, fd->name)) {
 230           XBT_WARN("File %s is not on disk %s. Impossible to unlink", fd->name, st->cname());
 231           return -1;
 232         } else {
 233           XBT_DEBUG("UNLINK %s on disk '%s'", fd->name, st->cname());
 234           st->usedSize_ -= fd->size;
 235
 236           // Remove the file from storage
 237           xbt_dict_remove(st->content_, fd->name);
 238
 239           xbt_free(fd->name);
 240           xbt_free(fd->mount);
 241           xbt_free(fd);
 242           return 0;
 243         }
 244       }
 245     }
 246
 247     sg_size_t HostImpl::getSize(surf_file_t fd)
 248     {
 249       return fd->size;
 250     }
 251
 252     xbt_dynar_t HostImpl::getInfo(surf_file_t fd)
 253     {
 254       simgrid::surf::Storage* st = findStorageOnMountList(fd->mount);
 255       sg_size_t* psize           = xbt_new(sg_size_t, 1);
 256       *psize                     = fd->size;
 257       xbt_dynar_t info           = xbt_dynar_new(sizeof(void*), nullptr);
 258       xbt_dynar_push_as(info, sg_size_t*, psize);
 259       xbt_dynar_push_as(info, void*, fd->mount);
 260       xbt_dynar_push_as(info, void*, (void*)st->cname());
 261       xbt_dynar_push_as(info, void*, st->typeId_);
 262       xbt_dynar_push_as(info, void*, st->contentType_);
 263
 264       return info;
 265     }
 266
 267     sg_size_t HostImpl::fileTell(surf_file_t fd)
 268     {
 269       return fd->current_position;
 270     }
 271
 272     int HostImpl::fileSeek(surf_file_t fd, sg_offset_t offset, int origin)
 273     {
 274
 275       switch (origin) {
 276         case SEEK_SET:
 277           fd->current_position = offset;
 278           return 0;
 279         case SEEK_CUR:
 280           fd->current_position += offset;
 281           return 0;
 282         case SEEK_END:
 283           fd->current_position = fd->size + offset;
 284           return 0;
 285         default:
 286           return -1;
 287       }
 288     }
 289
 290     int HostImpl::fileMove(surf_file_t fd, const char* fullpath)
 291     {
 292       /* Check if the new full path is on the same mount point */
 293       if (!strncmp((const char*)fd->mount, fullpath, strlen(fd->mount))) {
 294         sg_size_t* psize = (sg_size_t*)xbt_dict_get_or_null(findStorageOnMountList(fd->mount)->content_, fd->name);
 295         if (psize) { // src file exists
 296           sg_size_t* new_psize = xbt_new(sg_size_t, 1);
 297           *new_psize           = *psize;
 298           xbt_dict_remove(findStorageOnMountList(fd->mount)->content_, fd->name);
 299           char* path = (char*)xbt_malloc((strlen(fullpath) - strlen(fd->mount) + 1));
 300           strncpy(path, fullpath + strlen(fd->mount), strlen(fullpath) - strlen(fd->mount) + 1);
 301           xbt_dict_set(findStorageOnMountList(fd->mount)->content_, path, new_psize, nullptr);
 302           XBT_DEBUG("Move file from %s to %s, size '%llu'", fd->name, fullpath, *psize);
 303           free(path);
 304           return 0;
 305         } else {
 306           XBT_WARN("File %s doesn't exist", fd->name);
 307           return -1;
 308         }
 309       } else {
 310         XBT_WARN("New full path %s is not on the same mount point: %s. Action has been canceled.", fullpath, fd->mount);
 311         return -1;
 312       }
 313     }
 314
 315     }
 316     }