src/surf/HostImpl.cpp

   1 /* Copyright (c) 2013-2015. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 #include <simgrid/s4u/host.hpp>
   8
   9 #include "src/simix/smx_private.h"
  10 #include "cpu_cas01.hpp"
  11 #include "src/surf/HostImpl.hpp"
  12 #include "simgrid/sg_config.h"
  13
  14 #include "network_interface.hpp"
  15 #include "virtual_machine.hpp"
  16
  17 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_host, surf,
  18                                 "Logging specific to the SURF host module");
  19
  20 simgrid::surf::HostModel *surf_host_model = NULL;
  21
  22 /*************
  23  * Callbacks *
  24  *************/
  25
  26 namespace simgrid {
  27 namespace surf {
  28
  29 simgrid::xbt::Extension<simgrid::s4u::Host, HostImpl> HostImpl::EXTENSION_ID;
  30
  31 /*********
  32  * Model *
  33  *********/
  34 HostImpl *HostModel::createHost(const char *name,NetCard *netElm, Cpu *cpu, xbt_dict_t props){
  35   xbt_dynar_t storageList = (xbt_dynar_t)xbt_lib_get_or_null(storage_lib, name, ROUTING_STORAGE_HOST_LEVEL);
  36
  37   HostImpl *host = new simgrid::surf::HostImpl(surf_host_model, name, props, storageList, cpu);
  38   XBT_DEBUG("Create host %s with %ld mounted disks", name, xbt_dynar_length(host->p_storage));
  39   return host;
  40 }
  41
  42 /* Each VM has a dummy CPU action on the PM layer. This CPU action works as the
  43  * constraint (capacity) of the VM in the PM layer. If the VM does not have any
  44  * active task, the dummy CPU action must be deactivated, so that the VM does
  45  * not get any CPU share in the PM layer. */
  46 void HostModel::adjustWeightOfDummyCpuActions()
  47 {
  48   /* iterate for all virtual machines */
  49   for (VMModel::vm_list_t::iterator iter =
  50          VMModel::ws_vms.begin();
  51        iter !=  VMModel::ws_vms.end(); ++iter) {
  52
  53     VirtualMachine *ws_vm = &*iter;
  54     Cpu *cpu = ws_vm->p_cpu;
  55
  56     int is_active = lmm_constraint_used(cpu->getModel()->getMaxminSystem(), cpu->getConstraint());
  57
  58     if (is_active) {
  59       /* some tasks exist on this VM */
  60       XBT_DEBUG("set the weight of the dummy CPU action on PM to 1");
  61
  62       /* FIXME: we should use lmm_update_variable_weight() ? */
  63       /* FIXME: If we assign 1.05 and 0.05, the system makes apparently wrong values. */
  64       ws_vm->p_action->setPriority(1);
  65
  66     } else {
  67       /* no task exits on this VM */
  68       XBT_DEBUG("set the weight of the dummy CPU action on PM to 0");
  69
  70       ws_vm->p_action->setPriority(0);
  71     }
  72   }
  73 }
  74
  75 Action *HostModel::executeParallelTask(int host_nb,
  76     sg_host_t *host_list,
  77     double *flops_amount,
  78     double *bytes_amount,
  79     double rate){
  80 #define cost_or_zero(array,pos) ((array)?(array)[pos]:0.0)
  81   Action *action =NULL;
  82   if ((host_nb == 1)
  83       && (cost_or_zero(bytes_amount, 0) == 0.0)){
  84     action = host_list[0]->pimpl_cpu->execution_start(flops_amount[0]);
  85   } else if ((host_nb == 1)
  86            && (cost_or_zero(flops_amount, 0) == 0.0)) {
  87     action = surf_network_model->communicate(host_list[0]->pimpl_netcard,
  88                                          host_list[0]->pimpl_netcard,
  89                        bytes_amount[0], rate);
  90   } else if ((host_nb == 2)
  91              && (cost_or_zero(flops_amount, 0) == 0.0)
  92              && (cost_or_zero(flops_amount, 1) == 0.0)) {
  93     int i,nb = 0;
  94     double value = 0.0;
  95
  96     for (i = 0; i < host_nb * host_nb; i++) {
  97       if (cost_or_zero(bytes_amount, i) > 0.0) {
  98         nb++;
  99         value = cost_or_zero(bytes_amount, i);
 100       }
 101     }
 102     if (nb == 1){
 103       action = surf_network_model->communicate(host_list[0]->pimpl_netcard,
 104                                            host_list[1]->pimpl_netcard,
 105                          value, rate);
 106     }
 107   } else
 108     THROW_UNIMPLEMENTED;      /* This model does not implement parallel tasks for more than 2 hosts */
 109 #undef cost_or_zero
 110   xbt_free(host_list);
 111   return action;
 112 }
 113
 114 /************
 115  * Resource *
 116  ************/
 117
 118
 119 void HostImpl::classInit()
 120 {
 121   if (!EXTENSION_ID.valid()) {
 122     EXTENSION_ID = simgrid::s4u::Host::extension_create<simgrid::surf::HostImpl>();
 123   }
 124 }
 125
 126 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, xbt_dict_t props,
 127                      xbt_dynar_t storage, Cpu *cpu)
 128  : Resource(model, name)
 129  , PropertyHolder(props)
 130  , p_storage(storage), p_cpu(cpu)
 131 {
 132   p_params.ramsize = 0;
 133 }
 134
 135 HostImpl::HostImpl(simgrid::surf::HostModel *model, const char *name, xbt_dict_t props, lmm_constraint_t constraint,
 136                  xbt_dynar_t storage, Cpu *cpu)
 137  : Resource(model, name, constraint)
 138  , PropertyHolder(props)
 139  , p_storage(storage), p_cpu(cpu)
 140 {
 141   p_params.ramsize = 0;
 142 }
 143
 144 /** @brief use destroy() instead of this destructor */
 145 HostImpl::~HostImpl()
 146 {
 147 }
 148
 149 void HostImpl::attach(simgrid::s4u::Host* host)
 150 {
 151   if (p_host != nullptr)
 152     xbt_die("Already attached to host %s", host->name().c_str());
 153   host->extension_set(this);
 154   p_host = host;
 155 }
 156
 157 bool HostImpl::isOn() const {
 158   return p_cpu->isOn();
 159 }
 160 bool HostImpl::isOff() const {
 161   return p_cpu->isOff();
 162 }
 163 void HostImpl::turnOn(){
 164   if (isOff()) {
 165     p_cpu->turnOn();
 166     simgrid::s4u::Host::onStateChange(*this->p_host);
 167   }
 168 }
 169 void HostImpl::turnOff(){
 170   if (isOn()) {
 171     p_cpu->turnOff();
 172     simgrid::s4u::Host::onStateChange(*this->p_host);
 173   }
 174 }
 175
 176 simgrid::surf::Storage *HostImpl::findStorageOnMountList(const char* mount)
 177 {
 178   simgrid::surf::Storage *st = NULL;
 179   s_mount_t mnt;
 180   unsigned int cursor;
 181
 182   XBT_DEBUG("Search for storage name '%s' on '%s'", mount, getName());
 183   xbt_dynar_foreach(p_storage,cursor,mnt)
 184   {
 185     XBT_DEBUG("See '%s'",mnt.name);
 186     if(!strcmp(mount,mnt.name)){
 187       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 188       break;
 189     }
 190   }
 191   if(!st) xbt_die("Can't find mount '%s' for '%s'", mount, getName());
 192   return st;
 193 }
 194
 195 xbt_dict_t HostImpl::getMountedStorageList()
 196 {
 197   s_mount_t mnt;
 198   unsigned int i;
 199   xbt_dict_t storage_list = xbt_dict_new_homogeneous(NULL);
 200   char *storage_name = NULL;
 201
 202   xbt_dynar_foreach(p_storage,i,mnt){
 203     storage_name = (char *)static_cast<simgrid::surf::Storage*>(mnt.storage)->getName();
 204     xbt_dict_set(storage_list,mnt.name,storage_name,NULL);
 205   }
 206   return storage_list;
 207 }
 208
 209 xbt_dynar_t HostImpl::getAttachedStorageList()
 210 {
 211   xbt_lib_cursor_t cursor;
 212   char *key;
 213   void **data;
 214   xbt_dynar_t result = xbt_dynar_new(sizeof(void*), NULL);
 215   xbt_lib_foreach(storage_lib, cursor, key, data) {
 216     if(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL) != NULL) {
 217     simgrid::surf::Storage *storage = static_cast<simgrid::surf::Storage*>(xbt_lib_get_level(xbt_lib_get_elm_or_null(storage_lib, key), SURF_STORAGE_LEVEL));
 218     if(!strcmp((const char*)storage->p_attach,this->getName())){
 219       xbt_dynar_push_as(result, void *, (void*)storage->getName());
 220     }
 221   }
 222   }
 223   return result;
 224 }
 225
 226 Action *HostImpl::open(const char* fullpath) {
 227
 228   simgrid::surf::Storage *st = NULL;
 229   s_mount_t mnt;
 230   unsigned int cursor;
 231   size_t longest_prefix_length = 0;
 232   char *path = NULL;
 233   char *file_mount_name = NULL;
 234   char *mount_name = NULL;
 235
 236   XBT_DEBUG("Search for storage name for '%s' on '%s'", fullpath, getName());
 237   xbt_dynar_foreach(p_storage,cursor,mnt)
 238   {
 239     XBT_DEBUG("See '%s'",mnt.name);
 240     file_mount_name = (char *) xbt_malloc ((strlen(mnt.name)+1));
 241     strncpy(file_mount_name,fullpath,strlen(mnt.name)+1);
 242     file_mount_name[strlen(mnt.name)] = '\0';
 243
 244     if(!strcmp(file_mount_name,mnt.name) && strlen(mnt.name)>longest_prefix_length)
 245     {/* The current mount name is found in the full path and is bigger than the previous*/
 246       longest_prefix_length = strlen(mnt.name);
 247       st = static_cast<simgrid::surf::Storage*>(mnt.storage);
 248     }
 249     free(file_mount_name);
 250   }
 251   if(longest_prefix_length>0)
 252   { /* Mount point found, split fullpath into mount_name and path+filename*/
 253   path = (char *) xbt_malloc ((strlen(fullpath)-longest_prefix_length+1));
 254   mount_name = (char *) xbt_malloc ((longest_prefix_length+1));
 255   strncpy(mount_name, fullpath, longest_prefix_length+1);
 256   strncpy(path, fullpath+longest_prefix_length, strlen(fullpath)-longest_prefix_length+1);
 257   path[strlen(fullpath)-longest_prefix_length] = '\0';
 258   mount_name[longest_prefix_length] = '\0';
 259   }
 260   else
 261     xbt_die("Can't find mount point for '%s' on '%s'", fullpath, getName());
 262
 263   XBT_DEBUG("OPEN %s on disk '%s'",path, st->getName());
 264   Action *action = st->open((const char*)mount_name, (const char*)path);
 265   free((char*)path);
 266   free((char*)mount_name);
 267   return action;
 268 }
 269
 270 Action *HostImpl::close(surf_file_t fd) {
 271   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 272   XBT_DEBUG("CLOSE %s on disk '%s'",fd->name, st->getName());
 273   return st->close(fd);
 274 }
 275
 276 Action *HostImpl::read(surf_file_t fd, sg_size_t size) {
 277   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 278   XBT_DEBUG("READ %s on disk '%s'",fd->name, st->getName());
 279   return st->read(fd, size);
 280 }
 281
 282 Action *HostImpl::write(surf_file_t fd, sg_size_t size) {
 283   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 284   XBT_DEBUG("WRITE %s on disk '%s'",fd->name, st->getName());
 285   return st->write(fd, size);
 286 }
 287
 288 int HostImpl::unlink(surf_file_t fd) {
 289   if (!fd){
 290     XBT_WARN("No such file descriptor. Impossible to unlink");
 291     return -1;
 292   } else {
 293
 294     simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 295     /* Check if the file is on this storage */
 296     if (!xbt_dict_get_or_null(st->p_content, fd->name)){
 297       XBT_WARN("File %s is not on disk %s. Impossible to unlink", fd->name,
 298           st->getName());
 299       return -1;
 300     } else {
 301       XBT_DEBUG("UNLINK %s on disk '%s'",fd->name, st->getName());
 302       st->m_usedSize -= fd->size;
 303
 304       // Remove the file from storage
 305       xbt_dict_remove(st->p_content, fd->name);
 306
 307       xbt_free(fd->name);
 308       xbt_free(fd->mount);
 309       xbt_free(fd);
 310       return 0;
 311     }
 312   }
 313 }
 314
 315 sg_size_t HostImpl::getSize(surf_file_t fd){
 316   return fd->size;
 317 }
 318
 319 xbt_dynar_t HostImpl::getInfo( surf_file_t fd)
 320 {
 321   simgrid::surf::Storage *st = findStorageOnMountList(fd->mount);
 322   sg_size_t *psize = xbt_new(sg_size_t, 1);
 323   *psize = fd->size;
 324   xbt_dynar_t info = xbt_dynar_new(sizeof(void*), NULL);
 325   xbt_dynar_push_as(info, sg_size_t *, psize);
 326   xbt_dynar_push_as(info, void *, fd->mount);
 327   xbt_dynar_push_as(info, void *, (void *)st->getName());
 328   xbt_dynar_push_as(info, void *, st->p_typeId);
 329   xbt_dynar_push_as(info, void *, st->p_contentType);
 330
 331   return info;
 332 }
 333
 334 sg_size_t HostImpl::fileTell(surf_file_t fd){
 335   return fd->current_position;
 336 }
 337
 338 int HostImpl::fileSeek(surf_file_t fd, sg_offset_t offset, int origin){
 339
 340   switch (origin) {
 341   case SEEK_SET:
 342     fd->current_position = offset;
 343     return 0;
 344   case SEEK_CUR:
 345     fd->current_position += offset;
 346     return 0;
 347   case SEEK_END:
 348     fd->current_position = fd->size + offset;
 349     return 0;
 350   default:
 351     return -1;
 352   }
 353 }
 354
 355 int HostImpl::fileMove(surf_file_t fd, const char* fullpath){
 356   /* Check if the new full path is on the same mount point */
 357   if(!strncmp((const char*)fd->mount, fullpath, strlen(fd->mount))) {
 358     sg_size_t *psize, *new_psize;
 359     psize = (sg_size_t*)
 360         xbt_dict_get_or_null(findStorageOnMountList(fd->mount)->p_content,
 361                              fd->name);
 362     new_psize = xbt_new(sg_size_t, 1);
 363     *new_psize = *psize;
 364     if (psize){// src file exists
 365       xbt_dict_remove(findStorageOnMountList(fd->mount)->p_content, fd->name);
 366       char *path = (char *) xbt_malloc ((strlen(fullpath)-strlen(fd->mount)+1));
 367       strncpy(path, fullpath+strlen(fd->mount),
 368               strlen(fullpath)-strlen(fd->mount)+1);
 369       xbt_dict_set(findStorageOnMountList(fd->mount)->p_content, path,
 370                    new_psize,NULL);
 371       XBT_DEBUG("Move file from %s to %s, size '%llu'",fd->name, fullpath, *psize);
 372       free(path);
 373       return 0;
 374     } else {
 375       XBT_WARN("File %s doesn't exist", fd->name);
 376       return -1;
 377     }
 378   } else {
 379     XBT_WARN("New full path %s is not on the same mount point: %s. Action has been canceled.",
 380              fullpath, fd->mount);
 381     return -1;
 382   }
 383 }
 384
 385 xbt_dynar_t HostImpl::getVms()
 386 {
 387   xbt_dynar_t dyn = xbt_dynar_new(sizeof(simgrid::surf::VirtualMachine*), NULL);
 388
 389   /* iterate for all virtual machines */
 390   for (simgrid::surf::VMModel::vm_list_t::iterator iter =
 391          simgrid::surf::VMModel::ws_vms.begin();
 392        iter !=  simgrid::surf::VMModel::ws_vms.end(); ++iter) {
 393
 394     simgrid::surf::VirtualMachine *ws_vm = &*iter;
 395     if (this == ws_vm->p_hostPM->extension(simgrid::surf::HostImpl::EXTENSION_ID))
 396       xbt_dynar_push(dyn, &ws_vm);
 397   }
 398
 399   return dyn;
 400 }
 401
 402 void HostImpl::getParams(vm_params_t params)
 403 {
 404   *params = p_params;
 405 }
 406
 407 void HostImpl::setParams(vm_params_t params)
 408 {
 409   /* may check something here. */
 410   p_params = *params;
 411 }
 412
 413 }
 414 }