src/plugins/vm/VmLiveMigration.cpp

   1 /* Copyright (c) 2013-2017. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include <simgrid/plugins/live_migration.h>
   7 #include <simgrid/s4u.hpp>
   8 #include <simgrid/s4u/VirtualMachine.hpp>
   9 #include <src/instr/instr_private.hpp>
  10 #include <src/plugins/vm/VirtualMachineImpl.hpp>
  11 #include <src/plugins/vm/VmLiveMigration.hpp>
  12 #include <xbt/ex.hpp>
  13
  14 XBT_LOG_NEW_DEFAULT_CATEGORY(vm_live_migration, "S4U virtual machines live migration");
  15
  16 namespace simgrid {
  17 namespace vm {
  18
  19 void MigrationRx::operator()()
  20 {
  21   XBT_DEBUG("mig: rx_start");
  22   bool received_finalize = false;
  23
  24   std::string finalize_task_name =
  25       std::string("__mig_stage3:") + vm_->getCname() + "(" + src_pm_->getCname() + "-" + dst_pm_->getCname() + ")";
  26
  27   while (not received_finalize) {
  28     std::string* payload = static_cast<std::string*>(mbox->get());
  29
  30     if (finalize_task_name == *payload)
  31       received_finalize = true;
  32
  33     delete payload;
  34   }
  35
  36   // Here Stage 1, 2  and 3 have been performed.
  37   // Hence complete the migration
  38
  39   /* Update the vm location */
  40   /* precopy migration makes the VM temporally paused */
  41   xbt_assert(vm_->getState() == SURF_VM_STATE_SUSPENDED);
  42
  43   /* Update the vm location and resume it */
  44   vm_->setPm(dst_pm_);
  45   vm_->resume();
  46
  47   // Now the VM is running on the new host (the migration is completed) (even if the SRC crash)
  48   vm_->pimpl_vm_->isMigrating = false;
  49   XBT_DEBUG("VM(%s) moved from PM(%s) to PM(%s)", vm_->getCname(), src_pm_->getCname(), dst_pm_->getCname());
  50
  51   if (TRACE_msg_vm_is_enabled()) {
  52     static long long int counter = 0;
  53     std::string key              = std::to_string(counter);
  54     counter++;
  55
  56     // start link
  57     container_t msg = simgrid::instr::Container::byName(vm_->getName());
  58     simgrid::instr::Container::getRoot()->getLink("MSG_VM_LINK")->startEvent(msg, "M", key);
  59
  60     // destroy existing container of this vm
  61     container_t existing_container = simgrid::instr::Container::byName(vm_->getName());
  62     existing_container->removeFromParent();
  63     delete existing_container;
  64
  65     // create new container on the new_host location
  66     new simgrid::instr::Container(vm_->getCname(), "MSG_VM", simgrid::instr::Container::byName(dst_pm_->getName()));
  67
  68     // end link
  69     msg = simgrid::instr::Container::byName(vm_->getName());
  70     simgrid::instr::Container::getRoot()->getLink("MSG_VM_LINK")->endEvent(msg, "M", key);
  71   }
  72   // Inform the SRC that the migration has been correctly performed
  73   std::string* payload = new std::string("__mig_stage4:");
  74   *payload             = *payload + vm_->getCname() + "(" + src_pm_->getCname() + "-" + dst_pm_->getCname() + ")";
  75
  76   mbox_ctl->put(payload, 0);
  77
  78   XBT_DEBUG("mig: rx_done");
  79 }
  80
  81 static sg_size_t get_updated_size(double computed, double dp_rate, double dp_cap)
  82 {
  83   double updated_size = computed * dp_rate;
  84   XBT_DEBUG("updated_size %f dp_rate %f", updated_size, dp_rate);
  85   if (updated_size > dp_cap) {
  86     updated_size = dp_cap;
  87   }
  88
  89   return static_cast<sg_size_t>(updated_size);
  90 }
  91
  92 sg_size_t MigrationTx::sendMigrationData(sg_size_t size, int stage, int stage2_round, double mig_speed, double timeout)
  93 {
  94   sg_size_t sent   = size;
  95   std::string* msg = new std::string("__mig_stage");
  96   *msg = *msg + std::to_string(stage) + ":" + vm_->getCname() + "(" + src_pm_->getCname() + "-" + dst_pm_->getCname() +
  97          ")";
  98
  99   double clock_sta = s4u::Engine::getClock();
 100
 101   s4u::Activity* comm = nullptr;
 102   try {
 103     if (mig_speed > 0)
 104       comm = mbox->put_init(msg, size)->setRate(mig_speed)->wait(timeout);
 105     else
 106       comm = mbox->put_async(msg, size)->wait();
 107   } catch (xbt_ex& e) {
 108     if (comm) {
 109       sg_size_t remaining = static_cast<sg_size_t>(comm->getRemains());
 110       XBT_VERB("timeout (%lf s) in sending_migration_data, remaining %llu bytes of %llu", timeout, remaining, size);
 111       sent -= remaining;
 112     }
 113   }
 114
 115   double clock_end    = s4u::Engine::getClock();
 116   double duration     = clock_end - clock_sta;
 117   double actual_speed = size / duration;
 118
 119   if (stage == 2)
 120     XBT_DEBUG("mig-stage%d.%d: sent %llu duration %f actual_speed %f (target %f)", stage, stage2_round, size, duration,
 121               actual_speed, mig_speed);
 122   else
 123     XBT_DEBUG("mig-stage%d: sent %llu duration %f actual_speed %f (target %f)", stage, size, duration, actual_speed,
 124               mig_speed);
 125
 126   return sent;
 127 }
 128
 129 void MigrationTx::operator()()
 130 {
 131   XBT_DEBUG("mig: tx_start");
 132
 133   double host_speed = vm_->getPm()->getSpeed();
 134   s_vm_params_t params;
 135   vm_->getParameters(&params);
 136   const sg_size_t ramsize = vm_->getRamsize();
 137   const double dp_rate    = host_speed ? (params.mig_speed * params.dp_intensity) / host_speed : 1;
 138   const double dp_cap     = params.dp_cap;
 139   const double mig_speed  = params.mig_speed;
 140   double max_downtime     = params.max_downtime;
 141
 142   double mig_timeout = 10000000.0;
 143   bool skip_stage2   = false;
 144
 145   size_t remaining_size = ramsize;
 146   size_t threshold      = 0.0;
 147
 148   /* check parameters */
 149   if (ramsize == 0)
 150     XBT_WARN("migrate a VM, but ramsize is zero");
 151
 152   if (max_downtime <= 0) {
 153     XBT_WARN("use the default max_downtime value 30ms");
 154     max_downtime = 0.03;
 155   }
 156
 157   /* Stage1: send all memory pages to the destination. */
 158   XBT_DEBUG("mig-stage1: remaining_size %zu", remaining_size);
 159   sg_vm_start_dirty_page_tracking(vm_);
 160
 161   double computed_during_stage1 = 0;
 162   double clock_prev_send        = s4u::Engine::getClock();
 163
 164   try {
 165     /* At stage 1, we do not need timeout. We have to send all the memory pages even though the duration of this
 166      * transfer exceeds the timeout value. */
 167     XBT_VERB("Stage 1: Gonna send %llu bytes", ramsize);
 168     sg_size_t sent = sendMigrationData(ramsize, 1, 0, mig_speed, -1);
 169     remaining_size -= sent;
 170     computed_during_stage1 = sg_vm_lookup_computed_flops(vm_);
 171
 172     if (sent < ramsize) {
 173       XBT_VERB("mig-stage1: timeout, force moving to stage 3");
 174       skip_stage2 = true;
 175     } else if (sent > ramsize)
 176       XBT_CRITICAL("bug");
 177
 178   } catch (xbt_ex& e) {
 179     // hostfailure (if you want to know whether this is the SRC or the DST check directly in send_migration_data code)
 180     // Stop the dirty page tracking an return (there is no memory space to release)
 181     sg_vm_stop_dirty_page_tracking(vm_);
 182     return;
 183   }
 184
 185   double clock_post_send = s4u::Engine::getClock();
 186   mig_timeout -= (clock_post_send - clock_prev_send);
 187   if (mig_timeout < 0) {
 188     XBT_VERB("The duration of stage 1 exceeds the timeout value, skip stage 2");
 189     skip_stage2 = true;
 190   }
 191
 192   /* estimate bandwidth */
 193   double bandwidth = ramsize / (clock_post_send - clock_prev_send);
 194   threshold        = bandwidth * max_downtime;
 195   XBT_DEBUG("actual bandwidth %f (MB/s), threshold %zu", bandwidth / 1024 / 1024, threshold);
 196
 197   /* Stage2: send update pages iteratively until the size of remaining states becomes smaller than threshold value. */
 198   if (not skip_stage2) {
 199
 200     int stage2_round = 0;
 201     for (;;) {
 202       sg_size_t updated_size = 0;
 203       if (stage2_round == 0) {
 204         /* just after stage1, nothing has been updated. But, we have to send the data updated during stage1 */
 205         updated_size = get_updated_size(computed_during_stage1, dp_rate, dp_cap);
 206       } else {
 207         double computed = sg_vm_lookup_computed_flops(vm_);
 208         updated_size    = get_updated_size(computed, dp_rate, dp_cap);
 209       }
 210
 211       XBT_DEBUG("mig-stage 2:%d updated_size %llu computed_during_stage1 %f dp_rate %f dp_cap %f", stage2_round,
 212                 updated_size, computed_during_stage1, dp_rate, dp_cap);
 213
 214       /* Check whether the remaining size is below the threshold value. If so, move to stage 3. */
 215       remaining_size += updated_size;
 216       XBT_DEBUG("mig-stage2.%d: remaining_size %zu (%s threshold %zu)", stage2_round, remaining_size,
 217                 (remaining_size < threshold) ? "<" : ">", threshold);
 218       if (remaining_size < threshold)
 219         break;
 220
 221       sg_size_t sent         = 0;
 222       double clock_prev_send = s4u::Engine::getClock();
 223       try {
 224         XBT_DEBUG("Stage 2, gonna send %llu", updated_size);
 225         sent = sendMigrationData(updated_size, 2, stage2_round, mig_speed, mig_timeout);
 226       } catch (xbt_ex& e) {
 227         // hostfailure (if you want to know whether this is the SRC or the DST check directly in send_migration_data
 228         // code)
 229         // Stop the dirty page tracking an return (there is no memory space to release)
 230         sg_vm_stop_dirty_page_tracking(vm_);
 231         return;
 232       }
 233       double clock_post_send = s4u::Engine::getClock();
 234
 235       if (sent == updated_size) {
 236         /* timeout did not happen */
 237         double bandwidth = updated_size / (clock_post_send - clock_prev_send);
 238         threshold        = bandwidth * max_downtime;
 239         XBT_DEBUG("actual bandwidth %f, threshold %zu", bandwidth / 1024 / 1024, threshold);
 240         remaining_size -= sent;
 241         stage2_round += 1;
 242         mig_timeout -= (clock_post_send - clock_prev_send);
 243         xbt_assert(mig_timeout > 0);
 244
 245       } else if (sent < updated_size) {
 246         /* When timeout happens, we move to stage 3. The size of memory pages
 247          * updated before timeout must be added to the remaining size. */
 248         XBT_VERB("mig-stage2.%d: timeout, force moving to stage 3. sent %llu / %llu, eta %lf", stage2_round, sent,
 249                  updated_size, (clock_post_send - clock_prev_send));
 250         remaining_size -= sent;
 251
 252         double computed = sg_vm_lookup_computed_flops(vm_);
 253         updated_size    = get_updated_size(computed, dp_rate, dp_cap);
 254         remaining_size += updated_size;
 255         break;
 256       } else
 257         XBT_CRITICAL("bug");
 258     }
 259   }
 260
 261   /* Stage3: stop the VM and copy the rest of states. */
 262   XBT_DEBUG("mig-stage3: remaining_size %zu", remaining_size);
 263   vm_->suspend();
 264   sg_vm_stop_dirty_page_tracking(vm_);
 265
 266   try {
 267     XBT_DEBUG("Stage 3: Gonna send %zu bytes", remaining_size);
 268     sendMigrationData(remaining_size, 3, 0, mig_speed, -1);
 269   } catch (xbt_ex& e) {
 270     // hostfailure (if you want to know whether this is the SRC or the DST check directly in send_migration_data code)
 271     // Stop the dirty page tracking an return (there is no memory space to release)
 272     vm_->resume();
 273     return;
 274   }
 275
 276   // At that point the Migration is considered valid for the SRC node but remind that the DST side should relocate
 277   // effectively the VM on the DST node.
 278   XBT_DEBUG("mig: tx_done");
 279 }
 280 }
 281 }
 282
 283 SG_BEGIN_DECL()
 284 void sg_vm_migrate(simgrid::s4u::VirtualMachine* vm, simgrid::s4u::Host* dst_pm)
 285 {
 286   simgrid::s4u::Host* src_pm = vm->getPm();
 287
 288   if (src_pm->isOff())
 289     THROWF(vm_error, 0, "Cannot migrate VM '%s' from host '%s', which is offline.", vm->getCname(), src_pm->getCname());
 290   if (dst_pm->isOff())
 291     THROWF(vm_error, 0, "Cannot migrate VM '%s' to host '%s', which is offline.", vm->getCname(), dst_pm->getCname());
 292   if (vm->getState() != SURF_VM_STATE_RUNNING)
 293     THROWF(vm_error, 0, "Cannot migrate VM '%s' that is not running yet.", vm->getCname());
 294   if (vm->isMigrating())
 295     THROWF(vm_error, 0, "Cannot migrate VM '%s' that is already migrating.", vm->getCname());
 296
 297   vm->pimpl_vm_->isMigrating = true;
 298
 299   std::string rx_name =
 300       std::string("__pr_mig_rx:") + vm->getCname() + "(" + src_pm->getCname() + "-" + dst_pm->getCname() + ")";
 301   std::string tx_name =
 302       std::string("__pr_mig_tx:") + vm->getCname() + "(" + src_pm->getCname() + "-" + dst_pm->getCname() + ")";
 303
 304   simgrid::s4u::ActorPtr rx =
 305       simgrid::s4u::Actor::createActor(rx_name.c_str(), dst_pm, simgrid::vm::MigrationRx(vm, dst_pm));
 306   simgrid::s4u::ActorPtr tx =
 307       simgrid::s4u::Actor::createActor(tx_name.c_str(), src_pm, simgrid::vm::MigrationTx(vm, dst_pm));
 308
 309   /* wait until the migration have finished or on error has occurred */
 310   XBT_DEBUG("wait for reception of the final ACK (i.e. migration has been correctly performed");
 311   simgrid::s4u::MailboxPtr mbox_ctl = simgrid::s4u::Mailbox::byName(
 312       std::string("__mbox_mig_ctl:") + vm->getCname() + "(" + src_pm->getCname() + "-" + dst_pm->getCname() + ")");
 313   delete static_cast<std::string*>(mbox_ctl->get());
 314
 315   tx->join();
 316   rx->join();
 317
 318   vm->pimpl_vm_->isMigrating = false;
 319 }
 320 }