src/surf/HostImpl.cpp

   1 /* Copyright (c) 2013-2016. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include <simgrid/s4u/host.hpp>
   7
   8 #include "src/simix/smx_private.h"
   9 #include "cpu_cas01.hpp"
  10 #include "src/surf/HostImpl.hpp"
  11 #include "simgrid/sg_config.h"
  12
  13 #include "network_interface.hpp"
  14 #include "virtual_machine.hpp"
  15
  16 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_host, surf, "Logging specific to the SURF host module");
  17
  18 simgrid::surf::HostModel *surf_host_model = nullptr;
  19
  20 /*************
  21  * Callbacks *
  22  *************/
  23
  24 namespace simgrid {
  25 namespace surf {
  26
  27 simgrid::xbt::Extension<simgrid::s4u::Host, HostImpl> HostImpl::EXTENSION_ID;
  28
  29 /*********
  30  * Model *
  31  *********/
  32
  33 /* Each VM has a dummy CPU action on the PM layer. This CPU action works as the
  34  * constraint (capacity) of the VM in the PM layer. If the VM does not have any
  35  * active task, the dummy CPU action must be deactivated, so that the VM does
  36  * not get any CPU share in the PM layer. */
  37 void HostModel::adjustWeightOfDummyCpuActions()
  38 {
  39   /* iterate for all virtual machines */
  40   for (VirtualMachine *ws_vm : VirtualMachine::allVms_) {
  41
  42     Cpu *cpu = ws_vm->cpu_;
  43
  44     int is_active = lmm_constraint_used(cpu->getModel()->getMaxminSystem(), cpu->getConstraint());
  45
  46     if (is_active) {
  47       /* some tasks exist on this VM */
  48       XBT_DEBUG("set the weight of the dummy CPU action on PM to 1");
  49
  50       /* FIXME: we should use lmm_update_variable_weight() ? */
  51       /* FIXME: If we assign 1.05 and 0.05, the system makes apparently wrong values. */
  52       ws_vm->action_->setPriority(1);
  53
  54     } else {
  55       /* no task exits on this VM */
  56       XBT_DEBUG("set the weight of the dummy CPU action on PM to 0");
  57
  58       ws_vm->action_->setPriority(0);
  59     }
  60   }
  61 }
  62
  63 Action* HostModel::executeParallelTask(int host_nb, simgrid::s4u::Host** host_list, double* flops_amount,
  64                                        double* bytes_amount, double rate)
  65 {
  66 #define cost_or_zero(array,pos) ((array)?(array)[pos]:0.0)
  67   Action *action =nullptr;
  68   if ((host_nb == 1)
  69       && (cost_or_zero(bytes_amount, 0) == 0.0)){
  70     action = host_list[0]->pimpl_cpu->execution_start(flops_amount[0]);
  71   } else if ((host_nb == 1)
  72            && (cost_or_zero(flops_amount, 0) == 0.0)) {
  73     action = surf_network_model->communicate(host_list[0], host_list[0], bytes_amount[0], rate);
  74   } else if ((host_nb == 2)
  75              && (cost_or_zero(flops_amount, 0) == 0.0)
  76              && (cost_or_zero(flops_amount, 1) == 0.0)) {
  77     int i,nb = 0;
  78     double value = 0.0;
  79
  80     for (i = 0; i < host_nb * host_nb; i++) {
  81       if (cost_or_zero(bytes_amount, i) > 0.0) {
  82         nb++;
  83         value = cost_or_zero(bytes_amount, i);
  84       }
  85     }
  86     if (nb == 1) {
  87       action = surf_network_model->communicate(host_list[0], host_list[1], value, rate);
  88     } else if (nb == 0) {
  89        xbt_die("Cannot have a communication with no flop to exchange in this model. You should consider using the ptask model");
  90     } else {
  91        xbt_die("Cannot have a communication that is not a simple point-to-point in this model. You should consider using the ptask model");
  92     }
  93   } else
  94     xbt_die("This model only accepts one of the following. You should consider using the ptask model for the other cases.\n - execution with one host only and no communication\n - Self-comms with one host only\n - Communications with two hosts and no computation");
  95 #undef cost_or_zero
  96   xbt_free(host_list);
  97   return action;
  98 }
  99
 100 /************
 101  * Resource *
 102  ************/
 103 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, xbt_dynar_t storage, Cpu *cpu)
 104  : Resource(model, name)
 105  , PropertyHolder(nullptr)
 106  , storage_(storage), cpu_(cpu)
 107 {
 108   if (!EXTENSION_ID.valid())
 109     EXTENSION_ID = simgrid::s4u::Host::extension_create<simgrid::surf::HostImpl>();
 110   params_.ramsize = 0;
 111 }
 112
 113 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, lmm_constraint_t constraint,
 114                  xbt_dynar_t storage, Cpu *cpu)
 115  : Resource(model, name, constraint)
 116  , PropertyHolder(nullptr)
 117  , storage_(storage), cpu_(cpu)
 118 {
 119   params_.ramsize = 0;
 120 }
 121
 122 /** @brief use destroy() instead of this destructor */
 123 HostImpl::~HostImpl()
 124 {
 125 }
 126
 127 void HostImpl::attach(simgrid::s4u::Host* host)
 128 {
 129   if (piface_ != nullptr)
 130     xbt_die("Already attached to host %s", host->name().c_str());
 131   host->extension_set(this);
 132   piface_ = host;
 133 }
 134
 135 bool HostImpl::isOn() const {
 136   return cpu_->isOn();
 137 }
 138 bool HostImpl::isOff() const {
 139   return cpu_->isOff();
 140 }
 141 void HostImpl::turnOn(){
 142   if (isOff()) {
 143     cpu_->turnOn();
 144     simgrid::s4u::Host::onStateChange(*this->piface_);
 145   }
 146 }
 147 void HostImpl::turnOff(){
 148   if (isOn()) {
 149     cpu_->turnOff();
 150     simgrid::s4u::Host::onStateChange(*this->piface_);
 151   }
 152 }
 153
 154 simgrid::surf::Storage *HostImpl::findStorageOnMountList(const char* mount)
 155 {
 156   simgrid::surf::Storage *st = nullptr;
 157   s_mount_t mnt;
 158   unsigned int cursor;
 159
 160   XBT_DEBUG("Search for storage name '%s' on '%s'", mount, getName());
 161   xbt_dynar_foreach(storage_,cursor,mnt){
 162     XBT_DEBUG("See '%s'",mnt.name);
 163     if(!strcmp(mount,mnt.name)){
 164       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 165       break;
 166     }
 167   }
 168   if(!st)
 169     xbt_die("Can't find mount '%s' for '%s'", mount, getName());
 170   return st;
 171 }
 172
 173 xbt_dict_t HostImpl::getMountedStorageList()
 174 {
 175   s_mount_t mnt;
 176   unsigned int i;
 177   xbt_dict_t storage_list = xbt_dict_new_homogeneous(nullptr);
 178   char *storage_name = nullptr;
 179
 180   xbt_dynar_foreach(storage_,i,mnt){
 181     storage_name = (char *)static_cast<simgrid::surf::Storage*>(mnt.storage)->getName();
 182     xbt_dict_set(storage_list,mnt.name,storage_name,nullptr);
 183   }
 184   return storage_list;
 185 }
 186
 187 xbt_dynar_t HostImpl::getAttachedStorageList()
 188 {
 189   xbt_lib_cursor_t cursor;
 190   char *key;
 191   void **data;
 192   xbt_dynar_t result = xbt_dynar_new(sizeof(void*), nullptr);
 193   xbt_lib_foreach(storage_lib, cursor, key, data) {
 194     if(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL) != nullptr) {
 195     simgrid::surf::Storage *storage = static_cast<simgrid::surf::Storage*>(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL));
 196     if(!strcmp((const char*)storage->attach_,this->getName())){
 197       xbt_dynar_push_as(result, void *, (void*)storage->getName());
 198     }
 199   }
 200   }
 201   return result;
 202 }
 203
 204 Action *HostImpl::open(const char* fullpath) {
 205
 206   simgrid::surf::Storage *st = nullptr;
 207   s_mount_t mnt;
 208   unsigned int cursor;
 209   size_t longest_prefix_length = 0;
 210   char *path = nullptr;
 211   char *file_mount_name = nullptr;
 212   char *mount_name = nullptr;
 213
 214   XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath, getName());
 215   xbt_dynar_foreach(storage_,cursor,mnt)
 216   {
 217     XBT_DEBUG("See '%s'",mnt.name);
 218     file_mount_name = (char *) xbt_malloc ((strlen(mnt.name)+1));
 219     strncpy(file_mount_name,fullpath,strlen(mnt.name)+1);
 220     file_mount_name[strlen(mnt.name)] = '\0';
 221
 222     if(!strcmp(file_mount_name,mnt.name) && strlen(mnt.name)>longest_prefix_length)
 223     {/* The current mount name is found in the full path and is bigger than the previous*/
 224       longest_prefix_length = strlen(mnt.name);
 225       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 226     }
 227     free(file_mount_name);
 228   }
 229   if(longest_prefix_length>0)
 230   { /* Mount point found, split fullpath into mount_name and path+filename*/
 231   path = (char *) xbt_malloc ((strlen(fullpath)-longest_prefix_length+1));
 232   mount_name = (char *) xbt_malloc ((longest_prefix_length+1));
 233   strncpy(mount_name, fullpath, longest_prefix_length+1);
 234   strncpy(path, fullpath+longest_prefix_length, strlen(fullpath)-longest_prefix_length+1);
 235   path[strlen(fullpath)-longest_prefix_length] = '\0';
 236   mount_name[longest_prefix_length] = '\0';
 237   }
 238   else
 239     xbt_die("Can't find mount point for '%s' on '%s'", fullpath, getName());
 240
 241   XBT_DEBUG("OPEN %s on disk '%s'",path, st->getName());
 242   Action *action = st->open((const char*)mount_name, (const char*)path);
 243   free((char*)path);
 244   free((char*)mount_name);
 245   return action;
 246 }
 247
 248 Action *HostImpl::close(surf_file_t fd) {
 249   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 250   XBT_DEBUG("CLOSE %s on disk '%s'",fd->name, st->getName());
 251   return st->close(fd);
 252 }
 253
 254 Action *HostImpl::read(surf_file_t fd, sg_size_t size) {
 255   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 256   XBT_DEBUG("READ %s on disk '%s'",fd->name, st->getName());
 257   return st->read(fd, size);
 258 }
 259
 260 Action *HostImpl::write(surf_file_t fd, sg_size_t size) {
 261   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 262   XBT_DEBUG("WRITE %s on disk '%s'",fd->name, st->getName());
 263   return st->write(fd, size);
 264 }
 265
 266 int HostImpl::unlink(surf_file_t fd) {
 267   if (!fd){
 268     XBT_WARN("No such file descriptor. Impossible to unlink");
 269     return -1;
 270   } else {
 271
 272     simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 273     /* Check if the file is on this storage */
 274     if (!xbt_dict_get_or_null(st->content_, fd->name)){
 275       XBT_WARN("File %s is not on disk %s. Impossible to unlink", fd->name,
 276           st->getName());
 277       return -1;
 278     } else {
 279       XBT_DEBUG("UNLINK %s on disk '%s'",fd->name, st->getName());
 280       st->usedSize_ -= fd->size;
 281
 282       // Remove the file from storage
 283       xbt_dict_remove(st->content_, fd->name);
 284
 285       xbt_free(fd->name);
 286       xbt_free(fd->mount);
 287       xbt_free(fd);
 288       return 0;
 289     }
 290   }
 291 }
 292
 293 sg_size_t HostImpl::getSize(surf_file_t fd){
 294   return fd->size;
 295 }
 296
 297 xbt_dynar_t HostImpl::getInfo( surf_file_t fd)
 298 {
 299   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 300   sg_size_t *psize = xbt_new(sg_size_t, 1);
 301   *psize = fd->size;
 302   xbt_dynar_t info = xbt_dynar_new(sizeof(void*), nullptr);
 303   xbt_dynar_push_as(info, sg_size_t *, psize);
 304   xbt_dynar_push_as(info, void *, fd->mount);
 305   xbt_dynar_push_as(info, void *, (void *)st->getName());
 306   xbt_dynar_push_as(info, void *, st->typeId_);
 307   xbt_dynar_push_as(info, void *, st->contentType_);
 308
 309   return info;
 310 }
 311
 312 sg_size_t HostImpl::fileTell(surf_file_t fd){
 313   return fd->current_position;
 314 }
 315
 316 int HostImpl::fileSeek(surf_file_t fd, sg_offset_t offset, int origin){
 317
 318   switch (origin) {
 319   case SEEK_SET:
 320     fd->current_position = offset;
 321     return 0;
 322   case SEEK_CUR:
 323     fd->current_position += offset;
 324     return 0;
 325   case SEEK_END:
 326     fd->current_position = fd->size + offset;
 327     return 0;
 328   default:
 329     return -1;
 330   }
 331 }
 332
 333 int HostImpl::fileMove(surf_file_t fd, const char* fullpath){
 334   /* Check if the new full path is on the same mount point */
 335   if(!strncmp((const char*)fd->mount, fullpath, strlen(fd->mount))) {
 336     sg_size_t *psize, *new_psize;
 337     psize = (sg_size_t*)
 338         xbt_dict_get_or_null(findStorageOnMountList(fd->mount)->content_,
 339                              fd->name);
 340     new_psize = xbt_new(sg_size_t, 1);
 341     *new_psize = *psize;
 342     if (psize){// src file exists
 343       xbt_dict_remove(findStorageOnMountList(fd->mount)->content_, fd->name);
 344       char *path = (char *) xbt_malloc ((strlen(fullpath)-strlen(fd->mount)+1));
 345       strncpy(path, fullpath+strlen(fd->mount),
 346               strlen(fullpath)-strlen(fd->mount)+1);
 347       xbt_dict_set(findStorageOnMountList(fd->mount)->content_, path,
 348                    new_psize,nullptr);
 349       XBT_DEBUG("Move file from %s to %s, size '%llu'",fd->name, fullpath, *psize);
 350       free(path);
 351       return 0;
 352     } else {
 353       XBT_WARN("File %s doesn't exist", fd->name);
 354       return -1;
 355     }
 356   } else {
 357     XBT_WARN("New full path %s is not on the same mount point: %s. Action has been canceled.",
 358              fullpath, fd->mount);
 359     return -1;
 360   }
 361 }
 362
 363 xbt_dynar_t HostImpl::getVms()
 364 {
 365   xbt_dynar_t dyn = xbt_dynar_new(sizeof(simgrid::surf::VirtualMachine*), nullptr);
 366
 367   for (VirtualMachine *ws_vm : VirtualMachine::allVms_) {
 368     if (this == ws_vm->getPm()->extension<simgrid::surf::HostImpl>())
 369       xbt_dynar_push(dyn, &ws_vm);
 370   }
 371
 372   return dyn;
 373 }
 374
 375 void HostImpl::getParams(vm_params_t params)
 376 {
 377   *params = params_;
 378 }
 379
 380 void HostImpl::setParams(vm_params_t params)
 381 {
 382   /* may check something here. */
 383   params_ = *params;
 384 }
 385
 386 }}