src/surf/HostImpl.cpp

   1 /* Copyright (c) 2013-2015. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 #include <simgrid/s4u/host.hpp>
   8
   9 #include "src/simix/smx_private.h"
  10 #include "cpu_cas01.hpp"
  11 #include "src/surf/HostImpl.hpp"
  12 #include "simgrid/sg_config.h"
  13
  14 #include "network_interface.hpp"
  15 #include "virtual_machine.hpp"
  16
  17 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_host, surf,
  18                                 "Logging specific to the SURF host module");
  19
  20 simgrid::surf::HostModel *surf_host_model = nullptr;
  21
  22 /*************
  23  * Callbacks *
  24  *************/
  25
  26 namespace simgrid {
  27 namespace surf {
  28
  29 simgrid::xbt::Extension<simgrid::s4u::Host, HostImpl> HostImpl::EXTENSION_ID;
  30
  31 /*********
  32  * Model *
  33  *********/
  34 HostImpl *HostModel::createHost(const char *name, routing::NetCard *netElm, Cpu *cpu){
  35   xbt_dynar_t storageList = (xbt_dynar_t)xbt_lib_get_or_null(storage_lib, name, ROUTING_STORAGE_HOST_LEVEL);
  36
  37   HostImpl *host = new simgrid::surf::HostImpl(surf_host_model, name, storageList, cpu);
  38   XBT_DEBUG("Create host %s with %ld mounted disks", name, xbt_dynar_length(host->p_storage));
  39   return host;
  40 }
  41
  42 /* Each VM has a dummy CPU action on the PM layer. This CPU action works as the
  43  * constraint (capacity) of the VM in the PM layer. If the VM does not have any
  44  * active task, the dummy CPU action must be deactivated, so that the VM does
  45  * not get any CPU share in the PM layer. */
  46 void HostModel::adjustWeightOfDummyCpuActions()
  47 {
  48   /* iterate for all virtual machines */
  49   for (VMModel::vm_list_t::iterator iter =
  50          VMModel::ws_vms.begin();
  51        iter !=  VMModel::ws_vms.end(); ++iter) {
  52
  53     VirtualMachine *ws_vm = &*iter;
  54     Cpu *cpu = ws_vm->p_cpu;
  55
  56     int is_active = lmm_constraint_used(cpu->getModel()->getMaxminSystem(), cpu->getConstraint());
  57
  58     if (is_active) {
  59       /* some tasks exist on this VM */
  60       XBT_DEBUG("set the weight of the dummy CPU action on PM to 1");
  61
  62       /* FIXME: we should use lmm_update_variable_weight() ? */
  63       /* FIXME: If we assign 1.05 and 0.05, the system makes apparently wrong values. */
  64       ws_vm->action_->setPriority(1);
  65
  66     } else {
  67       /* no task exits on this VM */
  68       XBT_DEBUG("set the weight of the dummy CPU action on PM to 0");
  69
  70       ws_vm->action_->setPriority(0);
  71     }
  72   }
  73 }
  74
  75 Action *HostModel::executeParallelTask(int host_nb,
  76     sg_host_t *host_list,
  77     double *flops_amount,
  78     double *bytes_amount,
  79     double rate){
  80 #define cost_or_zero(array,pos) ((array)?(array)[pos]:0.0)
  81   Action *action =nullptr;
  82   if ((host_nb == 1)
  83       && (cost_or_zero(bytes_amount, 0) == 0.0)){
  84     action = host_list[0]->pimpl_cpu->execution_start(flops_amount[0]);
  85   } else if ((host_nb == 1)
  86            && (cost_or_zero(flops_amount, 0) == 0.0)) {
  87     action = surf_network_model->communicate(host_list[0]->pimpl_netcard,
  88                                          host_list[0]->pimpl_netcard,
  89                        bytes_amount[0], rate);
  90   } else if ((host_nb == 2)
  91              && (cost_or_zero(flops_amount, 0) == 0.0)
  92              && (cost_or_zero(flops_amount, 1) == 0.0)) {
  93     int i,nb = 0;
  94     double value = 0.0;
  95
  96     for (i = 0; i < host_nb * host_nb; i++) {
  97       if (cost_or_zero(bytes_amount, i) > 0.0) {
  98         nb++;
  99         value = cost_or_zero(bytes_amount, i);
 100       }
 101     }
 102     if (nb == 1){
 103       action = surf_network_model->communicate(host_list[0]->pimpl_netcard,
 104                                            host_list[1]->pimpl_netcard,
 105                          value, rate);
 106     }
 107   } else
 108     THROW_UNIMPLEMENTED;      /* This model does not implement parallel tasks for more than 2 hosts */
 109 #undef cost_or_zero
 110   xbt_free(host_list);
 111   if(action==nullptr)
 112     xbt_die("This model doesn't support tasks with 0 comm and 0 computation, please use ptask_L07 instead");
 113   return action;
 114 }
 115
 116 /************
 117  * Resource *
 118  ************/
 119
 120
 121 void HostImpl::classInit()
 122 {
 123   if (!EXTENSION_ID.valid()) {
 124     EXTENSION_ID = simgrid::s4u::Host::extension_create<simgrid::surf::HostImpl>();
 125   }
 126 }
 127
 128 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, xbt_dynar_t storage, Cpu *cpu)
 129  : Resource(model, name)
 130  , PropertyHolder(nullptr)
 131  , p_storage(storage), p_cpu(cpu)
 132 {
 133   p_params.ramsize = 0;
 134 }
 135
 136 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, lmm_constraint_t constraint,
 137                  xbt_dynar_t storage, Cpu *cpu)
 138  : Resource(model, name, constraint)
 139  , PropertyHolder(nullptr)
 140  , p_storage(storage), p_cpu(cpu)
 141 {
 142   p_params.ramsize = 0;
 143 }
 144
 145 /** @brief use destroy() instead of this destructor */
 146 HostImpl::~HostImpl()
 147 {
 148 }
 149
 150 void HostImpl::attach(simgrid::s4u::Host* host)
 151 {
 152   if (p_host != nullptr)
 153     xbt_die("Already attached to host %s", host->name().c_str());
 154   host->extension_set(this);
 155   p_host = host;
 156 }
 157
 158 bool HostImpl::isOn() const {
 159   return p_cpu->isOn();
 160 }
 161 bool HostImpl::isOff() const {
 162   return p_cpu->isOff();
 163 }
 164 void HostImpl::turnOn(){
 165   if (isOff()) {
 166     p_cpu->turnOn();
 167     simgrid::s4u::Host::onStateChange(*this->p_host);
 168   }
 169 }
 170 void HostImpl::turnOff(){
 171   if (isOn()) {
 172     p_cpu->turnOff();
 173     simgrid::s4u::Host::onStateChange(*this->p_host);
 174   }
 175 }
 176
 177 simgrid::surf::Storage *HostImpl::findStorageOnMountList(const char* mount)
 178 {
 179   simgrid::surf::Storage *st = nullptr;
 180   s_mount_t mnt;
 181   unsigned int cursor;
 182
 183   XBT_DEBUG("Search for storage name '%s' on '%s'", mount, getName());
 184   xbt_dynar_foreach(p_storage,cursor,mnt)
 185   {
 186     XBT_DEBUG("See '%s'",mnt.name);
 187     if(!strcmp(mount,mnt.name)){
 188       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 189       break;
 190     }
 191   }
 192   if(!st) xbt_die("Can't find mount '%s' for '%s'", mount, getName());
 193   return st;
 194 }
 195
 196 xbt_dict_t HostImpl::getMountedStorageList()
 197 {
 198   s_mount_t mnt;
 199   unsigned int i;
 200   xbt_dict_t storage_list = xbt_dict_new_homogeneous(nullptr);
 201   char *storage_name = nullptr;
 202
 203   xbt_dynar_foreach(p_storage,i,mnt){
 204     storage_name = (char *)static_cast<simgrid::surf::Storage*>(mnt.storage)->getName();
 205     xbt_dict_set(storage_list,mnt.name,storage_name,nullptr);
 206   }
 207   return storage_list;
 208 }
 209
 210 xbt_dynar_t HostImpl::getAttachedStorageList()
 211 {
 212   xbt_lib_cursor_t cursor;
 213   char *key;
 214   void **data;
 215   xbt_dynar_t result = xbt_dynar_new(sizeof(void*), nullptr);
 216   xbt_lib_foreach(storage_lib, cursor, key, data) {
 217     if(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL) != nullptr) {
 218     simgrid::surf::Storage *storage = static_cast<simgrid::surf::Storage*>(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL));
 219     if(!strcmp((const char*)storage->p_attach,this->getName())){
 220       xbt_dynar_push_as(result, void *, (void*)storage->getName());
 221     }
 222   }
 223   }
 224   return result;
 225 }
 226
 227 Action *HostImpl::open(const char* fullpath) {
 228
 229   simgrid::surf::Storage *st = nullptr;
 230   s_mount_t mnt;
 231   unsigned int cursor;
 232   size_t longest_prefix_length = 0;
 233   char *path = nullptr;
 234   char *file_mount_name = nullptr;
 235   char *mount_name = nullptr;
 236
 237   XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath, getName());
 238   xbt_dynar_foreach(p_storage,cursor,mnt)
 239   {
 240     XBT_DEBUG("See '%s'",mnt.name);
 241     file_mount_name = (char *) xbt_malloc ((strlen(mnt.name)+1));
 242     strncpy(file_mount_name,fullpath,strlen(mnt.name)+1);
 243     file_mount_name[strlen(mnt.name)] = '\0';
 244
 245     if(!strcmp(file_mount_name,mnt.name) && strlen(mnt.name)>longest_prefix_length)
 246     {/* The current mount name is found in the full path and is bigger than the previous*/
 247       longest_prefix_length = strlen(mnt.name);
 248       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 249     }
 250     free(file_mount_name);
 251   }
 252   if(longest_prefix_length>0)
 253   { /* Mount point found, split fullpath into mount_name and path+filename*/
 254   path = (char *) xbt_malloc ((strlen(fullpath)-longest_prefix_length+1));
 255   mount_name = (char *) xbt_malloc ((longest_prefix_length+1));
 256   strncpy(mount_name, fullpath, longest_prefix_length+1);
 257   strncpy(path, fullpath+longest_prefix_length, strlen(fullpath)-longest_prefix_length+1);
 258   path[strlen(fullpath)-longest_prefix_length] = '\0';
 259   mount_name[longest_prefix_length] = '\0';
 260   }
 261   else
 262     xbt_die("Can't find mount point for '%s' on '%s'", fullpath, getName());
 263
 264   XBT_DEBUG("OPEN %s on disk '%s'",path, st->getName());
 265   Action *action = st->open((const char*)mount_name, (const char*)path);
 266   free((char*)path);
 267   free((char*)mount_name);
 268   return action;
 269 }
 270
 271 Action *HostImpl::close(surf_file_t fd) {
 272   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 273   XBT_DEBUG("CLOSE %s on disk '%s'",fd->name, st->getName());
 274   return st->close(fd);
 275 }
 276
 277 Action *HostImpl::read(surf_file_t fd, sg_size_t size) {
 278   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 279   XBT_DEBUG("READ %s on disk '%s'",fd->name, st->getName());
 280   return st->read(fd, size);
 281 }
 282
 283 Action *HostImpl::write(surf_file_t fd, sg_size_t size) {
 284   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 285   XBT_DEBUG("WRITE %s on disk '%s'",fd->name, st->getName());
 286   return st->write(fd, size);
 287 }
 288
 289 int HostImpl::unlink(surf_file_t fd) {
 290   if (!fd){
 291     XBT_WARN("No such file descriptor. Impossible to unlink");
 292     return -1;
 293   } else {
 294
 295     simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 296     /* Check if the file is on this storage */
 297     if (!xbt_dict_get_or_null(st->p_content, fd->name)){
 298       XBT_WARN("File %s is not on disk %s. Impossible to unlink", fd->name,
 299           st->getName());
 300       return -1;
 301     } else {
 302       XBT_DEBUG("UNLINK %s on disk '%s'",fd->name, st->getName());
 303       st->m_usedSize -= fd->size;
 304
 305       // Remove the file from storage
 306       xbt_dict_remove(st->p_content, fd->name);
 307
 308       xbt_free(fd->name);
 309       xbt_free(fd->mount);
 310       xbt_free(fd);
 311       return 0;
 312     }
 313   }
 314 }
 315
 316 sg_size_t HostImpl::getSize(surf_file_t fd){
 317   return fd->size;
 318 }
 319
 320 xbt_dynar_t HostImpl::getInfo( surf_file_t fd)
 321 {
 322   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 323   sg_size_t *psize = xbt_new(sg_size_t, 1);
 324   *psize = fd->size;
 325   xbt_dynar_t info = xbt_dynar_new(sizeof(void*), nullptr);
 326   xbt_dynar_push_as(info, sg_size_t *, psize);
 327   xbt_dynar_push_as(info, void *, fd->mount);
 328   xbt_dynar_push_as(info, void *, (void *)st->getName());
 329   xbt_dynar_push_as(info, void *, st->p_typeId);
 330   xbt_dynar_push_as(info, void *, st->p_contentType);
 331
 332   return info;
 333 }
 334
 335 sg_size_t HostImpl::fileTell(surf_file_t fd){
 336   return fd->current_position;
 337 }
 338
 339 int HostImpl::fileSeek(surf_file_t fd, sg_offset_t offset, int origin){
 340
 341   switch (origin) {
 342   case SEEK_SET:
 343     fd->current_position = offset;
 344     return 0;
 345   case SEEK_CUR:
 346     fd->current_position += offset;
 347     return 0;
 348   case SEEK_END:
 349     fd->current_position = fd->size + offset;
 350     return 0;
 351   default:
 352     return -1;
 353   }
 354 }
 355
 356 int HostImpl::fileMove(surf_file_t fd, const char* fullpath){
 357   /* Check if the new full path is on the same mount point */
 358   if(!strncmp((const char*)fd->mount, fullpath, strlen(fd->mount))) {
 359     sg_size_t *psize, *new_psize;
 360     psize = (sg_size_t*)
 361         xbt_dict_get_or_null(findStorageOnMountList(fd->mount)->p_content,
 362                              fd->name);
 363     new_psize = xbt_new(sg_size_t, 1);
 364     *new_psize = *psize;
 365     if (psize){// src file exists
 366       xbt_dict_remove(findStorageOnMountList(fd->mount)->p_content, fd->name);
 367       char *path = (char *) xbt_malloc ((strlen(fullpath)-strlen(fd->mount)+1));
 368       strncpy(path, fullpath+strlen(fd->mount),
 369               strlen(fullpath)-strlen(fd->mount)+1);
 370       xbt_dict_set(findStorageOnMountList(fd->mount)->p_content, path,
 371                    new_psize,nullptr);
 372       XBT_DEBUG("Move file from %s to %s, size '%llu'",fd->name, fullpath, *psize);
 373       free(path);
 374       return 0;
 375     } else {
 376       XBT_WARN("File %s doesn't exist", fd->name);
 377       return -1;
 378     }
 379   } else {
 380     XBT_WARN("New full path %s is not on the same mount point: %s. Action has been canceled.",
 381              fullpath, fd->mount);
 382     return -1;
 383   }
 384 }
 385
 386 xbt_dynar_t HostImpl::getVms()
 387 {
 388   xbt_dynar_t dyn = xbt_dynar_new(sizeof(simgrid::surf::VirtualMachine*), nullptr);
 389
 390   /* iterate for all virtual machines */
 391   for (simgrid::surf::VMModel::vm_list_t::iterator iter =
 392          simgrid::surf::VMModel::ws_vms.begin();
 393        iter !=  simgrid::surf::VMModel::ws_vms.end(); ++iter) {
 394
 395     simgrid::surf::VirtualMachine *ws_vm = &*iter;
 396     if (this == ws_vm->getPm()->extension(simgrid::surf::HostImpl::EXTENSION_ID))
 397       xbt_dynar_push(dyn, &ws_vm);
 398   }
 399
 400   return dyn;
 401 }
 402
 403 void HostImpl::getParams(vm_params_t params)
 404 {
 405   *params = p_params;
 406 }
 407
 408 void HostImpl::setParams(vm_params_t params)
 409 {
 410   /* may check something here. */
 411   p_params = *params;
 412 }
 413
 414 }
 415 }