src/surf/HostImpl.cpp

   1 /* Copyright (c) 2013-2016. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include <simgrid/s4u/host.hpp>
   7
   8 #include "src/simix/smx_private.h"
   9 #include "cpu_cas01.hpp"
  10 #include "src/surf/HostImpl.hpp"
  11 #include "simgrid/sg_config.h"
  12
  13 #include "network_interface.hpp"
  14 #include "virtual_machine.hpp"
  15
  16 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_host, surf, "Logging specific to the SURF host module");
  17
  18 simgrid::surf::HostModel *surf_host_model = nullptr;
  19
  20 /*************
  21  * Callbacks *
  22  *************/
  23
  24 namespace simgrid {
  25 namespace surf {
  26
  27 simgrid::xbt::Extension<simgrid::s4u::Host, HostImpl> HostImpl::EXTENSION_ID;
  28
  29 /*********
  30  * Model *
  31  *********/
  32 HostImpl *HostModel::createHost(const char *name, kernel::routing::NetCard *netElm, Cpu *cpu){
  33   xbt_dynar_t storageList = (xbt_dynar_t)xbt_lib_get_or_null(storage_lib, name, ROUTING_STORAGE_HOST_LEVEL);
  34
  35   HostImpl *host = new simgrid::surf::HostImpl(surf_host_model, name, storageList, cpu);
  36   XBT_DEBUG("Create host %s with %ld mounted disks", name, xbt_dynar_length(host->p_storage));
  37   return host;
  38 }
  39
  40 /* Each VM has a dummy CPU action on the PM layer. This CPU action works as the
  41  * constraint (capacity) of the VM in the PM layer. If the VM does not have any
  42  * active task, the dummy CPU action must be deactivated, so that the VM does
  43  * not get any CPU share in the PM layer. */
  44 void HostModel::adjustWeightOfDummyCpuActions()
  45 {
  46   /* iterate for all virtual machines */
  47   for (VMModel::vm_list_t::iterator iter =
  48          VMModel::ws_vms.begin();
  49        iter !=  VMModel::ws_vms.end(); ++iter) {
  50
  51     VirtualMachine *ws_vm = &*iter;
  52     Cpu *cpu = ws_vm->p_cpu;
  53
  54     int is_active = lmm_constraint_used(cpu->getModel()->getMaxminSystem(), cpu->getConstraint());
  55
  56     if (is_active) {
  57       /* some tasks exist on this VM */
  58       XBT_DEBUG("set the weight of the dummy CPU action on PM to 1");
  59
  60       /* FIXME: we should use lmm_update_variable_weight() ? */
  61       /* FIXME: If we assign 1.05 and 0.05, the system makes apparently wrong values. */
  62       ws_vm->action_->setPriority(1);
  63
  64     } else {
  65       /* no task exits on this VM */
  66       XBT_DEBUG("set the weight of the dummy CPU action on PM to 0");
  67
  68       ws_vm->action_->setPriority(0);
  69     }
  70   }
  71 }
  72
  73 Action *HostModel::executeParallelTask(int host_nb,
  74     sg_host_t *host_list,
  75     double *flops_amount,
  76     double *bytes_amount,
  77     double rate)
  78 {
  79 #define cost_or_zero(array,pos) ((array)?(array)[pos]:0.0)
  80   Action *action =nullptr;
  81   if ((host_nb == 1)
  82       && (cost_or_zero(bytes_amount, 0) == 0.0)){
  83     action = host_list[0]->pimpl_cpu->execution_start(flops_amount[0]);
  84   } else if ((host_nb == 1)
  85            && (cost_or_zero(flops_amount, 0) == 0.0)) {
  86     action = surf_network_model->communicate(host_list[0]->pimpl_netcard,
  87                                          host_list[0]->pimpl_netcard,
  88                        bytes_amount[0], rate);
  89   } else if ((host_nb == 2)
  90              && (cost_or_zero(flops_amount, 0) == 0.0)
  91              && (cost_or_zero(flops_amount, 1) == 0.0)) {
  92     int i,nb = 0;
  93     double value = 0.0;
  94
  95     for (i = 0; i < host_nb * host_nb; i++) {
  96       if (cost_or_zero(bytes_amount, i) > 0.0) {
  97         nb++;
  98         value = cost_or_zero(bytes_amount, i);
  99       }
 100     }
 101     if (nb == 1) {
 102       action = surf_network_model->communicate(host_list[0]->pimpl_netcard, host_list[1]->pimpl_netcard, value, rate);
 103     } else if (nb == 0) {
 104        xbt_die("Cannot have a communication with no flop to exchange in this model. You should consider using the ptask model");
 105     } else {
 106        xbt_die("Cannot have a communication that is not a simple point-to-point in this model. You should consider using the ptask model");
 107     }
 108   } else
 109     xbt_die("This model only accepts one of the following. You should consider using the ptask model for the other cases.\n - execution with one host only and no communication\n - Self-comms with one host only\n - Communications with two hosts and no computation");
 110 #undef cost_or_zero
 111   xbt_free(host_list);
 112   return action;
 113 }
 114
 115 /************
 116  * Resource *
 117  ************/
 118 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, xbt_dynar_t storage, Cpu *cpu)
 119  : Resource(model, name)
 120  , PropertyHolder(nullptr)
 121  , p_storage(storage), p_cpu(cpu)
 122 {
 123   if (!EXTENSION_ID.valid())
 124     EXTENSION_ID = simgrid::s4u::Host::extension_create<simgrid::surf::HostImpl>();
 125   p_params.ramsize = 0;
 126 }
 127
 128 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, lmm_constraint_t constraint,
 129                  xbt_dynar_t storage, Cpu *cpu)
 130  : Resource(model, name, constraint)
 131  , PropertyHolder(nullptr)
 132  , p_storage(storage), p_cpu(cpu)
 133 {
 134   p_params.ramsize = 0;
 135 }
 136
 137 /** @brief use destroy() instead of this destructor */
 138 HostImpl::~HostImpl()
 139 {
 140 }
 141
 142 void HostImpl::attach(simgrid::s4u::Host* host)
 143 {
 144   if (piface != nullptr)
 145     xbt_die("Already attached to host %s", host->name().c_str());
 146   host->extension_set(this);
 147   piface = host;
 148 }
 149
 150 bool HostImpl::isOn() const {
 151   return p_cpu->isOn();
 152 }
 153 bool HostImpl::isOff() const {
 154   return p_cpu->isOff();
 155 }
 156 void HostImpl::turnOn(){
 157   if (isOff()) {
 158     p_cpu->turnOn();
 159     simgrid::s4u::Host::onStateChange(*this->piface);
 160   }
 161 }
 162 void HostImpl::turnOff(){
 163   if (isOn()) {
 164     p_cpu->turnOff();
 165     simgrid::s4u::Host::onStateChange(*this->piface);
 166   }
 167 }
 168
 169 simgrid::surf::Storage *HostImpl::findStorageOnMountList(const char* mount)
 170 {
 171   simgrid::surf::Storage *st = nullptr;
 172   s_mount_t mnt;
 173   unsigned int cursor;
 174
 175   XBT_DEBUG("Search for storage name '%s' on '%s'", mount, getName());
 176   xbt_dynar_foreach(p_storage,cursor,mnt){
 177     XBT_DEBUG("See '%s'",mnt.name);
 178     if(!strcmp(mount,mnt.name)){
 179       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 180       break;
 181     }
 182   }
 183   if(!st)
 184     xbt_die("Can't find mount '%s' for '%s'", mount, getName());
 185   return st;
 186 }
 187
 188 xbt_dict_t HostImpl::getMountedStorageList()
 189 {
 190   s_mount_t mnt;
 191   unsigned int i;
 192   xbt_dict_t storage_list = xbt_dict_new_homogeneous(nullptr);
 193   char *storage_name = nullptr;
 194
 195   xbt_dynar_foreach(p_storage,i,mnt){
 196     storage_name = (char *)static_cast<simgrid::surf::Storage*>(mnt.storage)->getName();
 197     xbt_dict_set(storage_list,mnt.name,storage_name,nullptr);
 198   }
 199   return storage_list;
 200 }
 201
 202 xbt_dynar_t HostImpl::getAttachedStorageList()
 203 {
 204   xbt_lib_cursor_t cursor;
 205   char *key;
 206   void **data;
 207   xbt_dynar_t result = xbt_dynar_new(sizeof(void*), nullptr);
 208   xbt_lib_foreach(storage_lib, cursor, key, data) {
 209     if(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL) != nullptr) {
 210     simgrid::surf::Storage *storage = static_cast<simgrid::surf::Storage*>(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL));
 211     if(!strcmp((const char*)storage->attach_,this->getName())){
 212       xbt_dynar_push_as(result, void *, (void*)storage->getName());
 213     }
 214   }
 215   }
 216   return result;
 217 }
 218
 219 Action *HostImpl::open(const char* fullpath) {
 220
 221   simgrid::surf::Storage *st = nullptr;
 222   s_mount_t mnt;
 223   unsigned int cursor;
 224   size_t longest_prefix_length = 0;
 225   char *path = nullptr;
 226   char *file_mount_name = nullptr;
 227   char *mount_name = nullptr;
 228
 229   XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath, getName());
 230   xbt_dynar_foreach(p_storage,cursor,mnt)
 231   {
 232     XBT_DEBUG("See '%s'",mnt.name);
 233     file_mount_name = (char *) xbt_malloc ((strlen(mnt.name)+1));
 234     strncpy(file_mount_name,fullpath,strlen(mnt.name)+1);
 235     file_mount_name[strlen(mnt.name)] = '\0';
 236
 237     if(!strcmp(file_mount_name,mnt.name) && strlen(mnt.name)>longest_prefix_length)
 238     {/* The current mount name is found in the full path and is bigger than the previous*/
 239       longest_prefix_length = strlen(mnt.name);
 240       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 241     }
 242     free(file_mount_name);
 243   }
 244   if(longest_prefix_length>0)
 245   { /* Mount point found, split fullpath into mount_name and path+filename*/
 246   path = (char *) xbt_malloc ((strlen(fullpath)-longest_prefix_length+1));
 247   mount_name = (char *) xbt_malloc ((longest_prefix_length+1));
 248   strncpy(mount_name, fullpath, longest_prefix_length+1);
 249   strncpy(path, fullpath+longest_prefix_length, strlen(fullpath)-longest_prefix_length+1);
 250   path[strlen(fullpath)-longest_prefix_length] = '\0';
 251   mount_name[longest_prefix_length] = '\0';
 252   }
 253   else
 254     xbt_die("Can't find mount point for '%s' on '%s'", fullpath, getName());
 255
 256   XBT_DEBUG("OPEN %s on disk '%s'",path, st->getName());
 257   Action *action = st->open((const char*)mount_name, (const char*)path);
 258   free((char*)path);
 259   free((char*)mount_name);
 260   return action;
 261 }
 262
 263 Action *HostImpl::close(surf_file_t fd) {
 264   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 265   XBT_DEBUG("CLOSE %s on disk '%s'",fd->name, st->getName());
 266   return st->close(fd);
 267 }
 268
 269 Action *HostImpl::read(surf_file_t fd, sg_size_t size) {
 270   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 271   XBT_DEBUG("READ %s on disk '%s'",fd->name, st->getName());
 272   return st->read(fd, size);
 273 }
 274
 275 Action *HostImpl::write(surf_file_t fd, sg_size_t size) {
 276   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 277   XBT_DEBUG("WRITE %s on disk '%s'",fd->name, st->getName());
 278   return st->write(fd, size);
 279 }
 280
 281 int HostImpl::unlink(surf_file_t fd) {
 282   if (!fd){
 283     XBT_WARN("No such file descriptor. Impossible to unlink");
 284     return -1;
 285   } else {
 286
 287     simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 288     /* Check if the file is on this storage */
 289     if (!xbt_dict_get_or_null(st->content_, fd->name)){
 290       XBT_WARN("File %s is not on disk %s. Impossible to unlink", fd->name,
 291           st->getName());
 292       return -1;
 293     } else {
 294       XBT_DEBUG("UNLINK %s on disk '%s'",fd->name, st->getName());
 295       st->usedSize_ -= fd->size;
 296
 297       // Remove the file from storage
 298       xbt_dict_remove(st->content_, fd->name);
 299
 300       xbt_free(fd->name);
 301       xbt_free(fd->mount);
 302       xbt_free(fd);
 303       return 0;
 304     }
 305   }
 306 }
 307
 308 sg_size_t HostImpl::getSize(surf_file_t fd){
 309   return fd->size;
 310 }
 311
 312 xbt_dynar_t HostImpl::getInfo( surf_file_t fd)
 313 {
 314   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 315   sg_size_t *psize = xbt_new(sg_size_t, 1);
 316   *psize = fd->size;
 317   xbt_dynar_t info = xbt_dynar_new(sizeof(void*), nullptr);
 318   xbt_dynar_push_as(info, sg_size_t *, psize);
 319   xbt_dynar_push_as(info, void *, fd->mount);
 320   xbt_dynar_push_as(info, void *, (void *)st->getName());
 321   xbt_dynar_push_as(info, void *, st->typeId_);
 322   xbt_dynar_push_as(info, void *, st->contentType_);
 323
 324   return info;
 325 }
 326
 327 sg_size_t HostImpl::fileTell(surf_file_t fd){
 328   return fd->current_position;
 329 }
 330
 331 int HostImpl::fileSeek(surf_file_t fd, sg_offset_t offset, int origin){
 332
 333   switch (origin) {
 334   case SEEK_SET:
 335     fd->current_position = offset;
 336     return 0;
 337   case SEEK_CUR:
 338     fd->current_position += offset;
 339     return 0;
 340   case SEEK_END:
 341     fd->current_position = fd->size + offset;
 342     return 0;
 343   default:
 344     return -1;
 345   }
 346 }
 347
 348 int HostImpl::fileMove(surf_file_t fd, const char* fullpath){
 349   /* Check if the new full path is on the same mount point */
 350   if(!strncmp((const char*)fd->mount, fullpath, strlen(fd->mount))) {
 351     sg_size_t *psize, *new_psize;
 352     psize = (sg_size_t*)
 353         xbt_dict_get_or_null(findStorageOnMountList(fd->mount)->content_,
 354                              fd->name);
 355     new_psize = xbt_new(sg_size_t, 1);
 356     *new_psize = *psize;
 357     if (psize){// src file exists
 358       xbt_dict_remove(findStorageOnMountList(fd->mount)->content_, fd->name);
 359       char *path = (char *) xbt_malloc ((strlen(fullpath)-strlen(fd->mount)+1));
 360       strncpy(path, fullpath+strlen(fd->mount),
 361               strlen(fullpath)-strlen(fd->mount)+1);
 362       xbt_dict_set(findStorageOnMountList(fd->mount)->content_, path,
 363                    new_psize,nullptr);
 364       XBT_DEBUG("Move file from %s to %s, size '%llu'",fd->name, fullpath, *psize);
 365       free(path);
 366       return 0;
 367     } else {
 368       XBT_WARN("File %s doesn't exist", fd->name);
 369       return -1;
 370     }
 371   } else {
 372     XBT_WARN("New full path %s is not on the same mount point: %s. Action has been canceled.",
 373              fullpath, fd->mount);
 374     return -1;
 375   }
 376 }
 377
 378 xbt_dynar_t HostImpl::getVms()
 379 {
 380   xbt_dynar_t dyn = xbt_dynar_new(sizeof(simgrid::surf::VirtualMachine*), nullptr);
 381
 382   /* iterate for all virtual machines */
 383   for (simgrid::surf::VMModel::vm_list_t::iterator iter =
 384          simgrid::surf::VMModel::ws_vms.begin();
 385        iter !=  simgrid::surf::VMModel::ws_vms.end(); ++iter) {
 386
 387     simgrid::surf::VirtualMachine *ws_vm = &*iter;
 388     if (this == ws_vm->getPm()->extension(simgrid::surf::HostImpl::EXTENSION_ID))
 389       xbt_dynar_push(dyn, &ws_vm);
 390   }
 391
 392   return dyn;
 393 }
 394
 395 void HostImpl::getParams(vm_params_t params)
 396 {
 397   *params = p_params;
 398 }
 399
 400 void HostImpl::setParams(vm_params_t params)
 401 {
 402   /* may check something here. */
 403   p_params = *params;
 404 }
 405
 406 }}