src/kernel/resource/VirtualMachineImpl.cpp

   1 /* Copyright (c) 2013-2023. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include <simgrid/Exception.hpp>
   7 #include <simgrid/kernel/routing/NetPoint.hpp>
   8 #include <simgrid/kernel/routing/NetZoneImpl.hpp>
   9 #include <simgrid/s4u/Exec.hpp>
  10
  11 #include "src/kernel/EngineImpl.hpp"
  12 #include "src/kernel/activity/ExecImpl.hpp"
  13 #include "src/kernel/resource/VirtualMachineImpl.hpp"
  14 #include "src/kernel/resource/models/cpu_cas01.hpp"
  15 #include "src/kernel/resource/models/cpu_ti.hpp"
  16 #include "src/simgrid/module.hpp"
  17 #include "src/simgrid/sg_config.hpp"
  18
  19 #include <numeric>
  20
  21 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(res_vm, ker_resource, "Virtual Machines, containing actors and mobile across hosts");
  22
  23 void simgrid_vm_model_init_HL13()
  24 {
  25   auto* cpu_pm_model = simgrid::s4u::Engine::get_instance()->get_netzone_root()->get_impl()->get_cpu_pm_model().get();
  26   auto vm_model = std::make_shared<simgrid::kernel::resource::VMModel>("VM_HL13");
  27   auto* engine  = simgrid::kernel::EngineImpl::get_instance();
  28
  29   engine->add_model(vm_model, {cpu_pm_model});
  30   std::shared_ptr<simgrid::kernel::resource::CpuModel> cpu_model_vm;
  31
  32   if (simgrid::config::get_value<std::string>("cpu/optim") == "TI") {
  33     cpu_model_vm = std::make_shared<simgrid::kernel::resource::CpuTiModel>("VmCpu_TI");
  34   } else {
  35     cpu_model_vm = std::make_shared<simgrid::kernel::resource::CpuCas01Model>("VmCpu_Cas01");
  36   }
  37   engine->add_model(cpu_model_vm, {cpu_pm_model, vm_model.get()});
  38   engine->get_netzone_root()->set_cpu_vm_model(cpu_model_vm);
  39 }
  40
  41 namespace simgrid {
  42 template class xbt::Extendable<kernel::resource::VirtualMachineImpl>;
  43
  44 namespace kernel::resource {
  45
  46 /*********
  47  * Model *
  48  *********/
  49
  50 std::deque<s4u::VirtualMachine*> VirtualMachineImpl::allVms_;
  51
  52 /* In the real world, processes on the guest operating system will be somewhat degraded due to virtualization overhead.
  53  * The total CPU share these processes get is smaller than that of the VM process gets on a host operating system.
  54  * FIXME: add a configuration flag for this
  55  */
  56 const double virt_overhead = 1; // 0.95
  57
  58 static void host_state_change(s4u::Host const& host)
  59 {
  60   if (not host.is_on()) { // just turned off.
  61     std::vector<s4u::VirtualMachine*> trash;
  62     /* Find all VMs living on that host */
  63     for (auto* vm : VirtualMachineImpl::allVms_)
  64       if (vm->get_pm() == &host)
  65         trash.push_back(vm);
  66     for (auto* vm : trash)
  67       vm->shutdown();
  68   }
  69 }
  70
  71 static void add_active_exec(s4u::Exec const& task)
  72 {
  73   const s4u::VirtualMachine* vm = dynamic_cast<s4u::VirtualMachine*>(task.get_host());
  74   if (vm != nullptr) {
  75     VirtualMachineImpl* vm_impl = vm->get_vm_impl();
  76     for (int i = 1; i <= task.get_thread_count(); i++)
  77       vm_impl->add_active_exec();
  78     vm_impl->update_action_weight();
  79   }
  80 }
  81
  82 static void remove_active_exec(s4u::Activity const& task)
  83 {
  84   const auto* exec = dynamic_cast<s4u::Exec const*>(&task);
  85   if (exec == nullptr)
  86     return;
  87   if (not exec->is_assigned())
  88     return;
  89   const s4u::VirtualMachine* vm = dynamic_cast<s4u::VirtualMachine*>(exec->get_host());
  90   if (vm != nullptr) {
  91     VirtualMachineImpl* vm_impl = vm->get_vm_impl();
  92     for (int i = 1; i <= exec->get_thread_count(); i++)
  93       vm_impl->remove_active_exec();
  94     vm_impl->update_action_weight();
  95   }
  96 }
  97
  98 static s4u::VirtualMachine* get_vm_from_activity(s4u::Activity const& act)
  99 {
 100   auto* exec = dynamic_cast<kernel::activity::ExecImpl const*>(act.get_impl());
 101   return exec != nullptr ? dynamic_cast<s4u::VirtualMachine*>(exec->get_host()) : nullptr;
 102 }
 103
 104 static void add_active_activity(s4u::Activity const& act)
 105 {
 106   const s4u::VirtualMachine* vm = get_vm_from_activity(act);
 107   if (vm != nullptr) {
 108     VirtualMachineImpl* vm_impl = vm->get_vm_impl();
 109     vm_impl->add_active_exec();
 110     vm_impl->update_action_weight();
 111   }
 112 }
 113
 114 static void remove_active_activity(s4u::Activity const& act)
 115 {
 116   const s4u::VirtualMachine* vm = get_vm_from_activity(act);
 117   if (vm != nullptr) {
 118     VirtualMachineImpl* vm_impl = vm->get_vm_impl();
 119     vm_impl->remove_active_exec();
 120     vm_impl->update_action_weight();
 121   }
 122 }
 123
 124 VMModel::VMModel(const std::string& name) : HostModel(name)
 125 {
 126   s4u::Host::on_state_change_cb(host_state_change);
 127   s4u::Exec::on_start_cb(add_active_exec);
 128   s4u::Activity::on_completion_cb(remove_active_exec);
 129   s4u::Activity::on_resume_cb(add_active_activity);
 130   s4u::Activity::on_suspend_cb(remove_active_activity);
 131 }
 132
 133 double VMModel::next_occurring_event(double now)
 134 {
 135   /* TODO: update action's cost with the total cost of processes on the VM. */
 136
 137   /* 1. Now we know how many resource should be assigned to each virtual
 138    * machine. We update constraints of the virtual machine layer.
 139    *
 140    * If we have two virtual machine (VM1 and VM2) on a physical machine (PM1).
 141    *     X1 + X2 = C       (Equation 1)
 142    * where
 143    *    the resource share of VM1: X1
 144    *    the resource share of VM2: X2
 145    *    the capacity of PM1: C
 146    *
 147    * Then, if we have two process (P1 and P2) on VM1.
 148    *     X1_1 + X1_2 = X1  (Equation 2)
 149    * where
 150    *    the resource share of P1: X1_1
 151    *    the resource share of P2: X1_2
 152    *    the capacity of VM1: X1
 153    *
 154    * Equation 1 was solved in the physical machine layer.
 155    * Equation 2 is solved in the virtual machine layer (here).
 156    * X1 must be passed to the virtual machine layer as a constraint value.
 157    **/
 158
 159   /* iterate for all virtual machines */
 160   for (auto const* ws_vm : VirtualMachineImpl::allVms_) {
 161     if (ws_vm->get_state() == s4u::VirtualMachine::State::SUSPENDED) // Ignore suspended VMs
 162       continue;
 163
 164     const kernel::resource::CpuImpl* cpu = ws_vm->get_cpu();
 165
 166     // solved_value below is X1 in comment above: what this VM got in the sharing on the PM
 167     double solved_value = ws_vm->get_vm_impl()->get_action()->get_rate();
 168     XBT_DEBUG("assign %f to vm %s @ pm %s", solved_value, ws_vm->get_cname(), ws_vm->get_pm()->get_cname());
 169
 170     lmm::System* vcpu_system = cpu->get_model()->get_maxmin_system();
 171     vcpu_system->update_constraint_bound(cpu->get_constraint(), virt_overhead * solved_value);
 172   }
 173   /* actual next occurring event is determined by VM CPU model at EngineImpl::solve */
 174   return -1.0;
 175 }
 176
 177 Action* VMModel::execute_thread(const s4u::Host* host, double flops_amount, int thread_count)
 178 {
 179   auto cpu = host->get_cpu();
 180   return cpu->execution_start(thread_count * flops_amount, thread_count, -1);
 181 }
 182
 183 /************
 184  * Resource *
 185  ************/
 186
 187 VirtualMachineImpl::VirtualMachineImpl(const std::string& name, s4u::VirtualMachine* piface,
 188                                        simgrid::s4u::Host* host_PM, int core_amount, size_t ramsize)
 189     : VirtualMachineImpl(name, host_PM, core_amount, ramsize)
 190 {
 191   set_piface(piface);
 192 }
 193
 194 VirtualMachineImpl::VirtualMachineImpl(const std::string& name, simgrid::s4u::Host* host_PM, int core_amount,
 195                                        size_t ramsize)
 196     : HostImpl(name), physical_host_(host_PM), core_amount_(core_amount), ramsize_(ramsize)
 197 {
 198   /* We create cpu_action corresponding to a VM process on the host operating system. */
 199   /* TODO: we have to periodically input GUESTOS_NOISE to the system? how ?
 200    * The value for GUESTOS_NOISE corresponds to the cost of the global action associated to the VM.  It corresponds to
 201    * the cost of a VM running no tasks.
 202    */
 203   action_ = physical_host_->get_cpu()->execution_start(0, core_amount_, 0);
 204
 205   // It's empty for now, so it should not request resources in the PM
 206   update_action_weight();
 207   XBT_VERB("Create VM(%s)@PM(%s)", name.c_str(), physical_host_->get_cname());
 208 }
 209
 210 void VirtualMachineImpl::set_piface(s4u::VirtualMachine* piface)
 211 {
 212   xbt_assert(not piface_, "Pointer to interface already configured for this VM (%s)", get_cname());
 213   piface_ = piface;
 214   /* Register this VM to the list of all VMs */
 215   allVms_.push_back(piface);
 216 }
 217
 218 /** @brief A physical host does not disappear in the current SimGrid code, but a VM may disappear during a simulation */
 219 void VirtualMachineImpl::vm_destroy()
 220 {
 221   /* I was already removed from the allVms set if the VM was destroyed cleanly */
 222   if (auto iter = find(allVms_.begin(), allVms_.end(), piface_); iter != allVms_.end())
 223     allVms_.erase(iter);
 224
 225   /* Free the cpu_action of the VM. */
 226   XBT_ATTRIB_UNUSED bool ret = action_->unref();
 227   xbt_assert(ret, "Bug: some resource still remains");
 228
 229   // VM uses the host's netpoint, clean but don't destroy it
 230   get_iface()->set_netpoint(nullptr);
 231   // Take a temporary copy to delete iface safely after impl is destroy'ed
 232   const auto* iface = get_iface();
 233   // calls the HostImpl() destroy, it'll delete the impl object
 234   destroy();
 235
 236   delete iface;
 237 }
 238
 239 void VirtualMachineImpl::start()
 240 {
 241   s4u::VirtualMachine::on_start(*get_iface());
 242   s4u::VmHostExt::ensureVmExtInstalled();
 243
 244   if (physical_host_->extension<s4u::VmHostExt>() == nullptr)
 245     physical_host_->extension_set(new s4u::VmHostExt());
 246
 247   if (size_t pm_ramsize = physical_host_->extension<s4u::VmHostExt>()->ramsize;
 248       pm_ramsize &&
 249       not physical_host_->extension<s4u::VmHostExt>()->overcommit) { /* Need to verify that we don't overcommit */
 250     /* Retrieve the memory occupied by the VMs on that host. Yep, we have to traverse all VMs of all hosts for that */
 251     size_t total_ramsize_of_vms = 0;
 252     for (auto const* ws_vm : allVms_)
 253       if (physical_host_ == ws_vm->get_pm())
 254         total_ramsize_of_vms += ws_vm->get_ramsize();
 255
 256     if (total_ramsize_of_vms + get_ramsize() > pm_ramsize) {
 257       XBT_WARN("cannot start %s@%s due to memory shortage: get_ramsize() %zu, free %zu, pm_ramsize %zu (bytes).",
 258                get_cname(), physical_host_->get_cname(), get_ramsize(), pm_ramsize - total_ramsize_of_vms, pm_ramsize);
 259       throw VmFailureException(XBT_THROW_POINT,
 260                                xbt::string_printf("Memory shortage on host '%s', VM '%s' cannot be started",
 261                                                   physical_host_->get_cname(), get_cname()));
 262     }
 263   }
 264   vm_state_ = s4u::VirtualMachine::State::RUNNING;
 265
 266   s4u::VirtualMachine::on_started(*get_iface());
 267 }
 268
 269 void VirtualMachineImpl::suspend(const actor::ActorImpl* issuer)
 270 {
 271   s4u::VirtualMachine::on_suspend(*get_iface());
 272
 273   if (vm_state_ != s4u::VirtualMachine::State::RUNNING)
 274     throw VmFailureException(XBT_THROW_POINT,
 275                              xbt::string_printf("Cannot suspend VM %s: it is not running.", piface_->get_cname()));
 276   if (issuer->get_host() == piface_)
 277     throw VmFailureException(XBT_THROW_POINT, xbt::string_printf("Actor %s cannot suspend the VM %s in which it runs",
 278                                                                  issuer->get_cname(), piface_->get_cname()));
 279
 280   XBT_DEBUG("suspend VM(%s), where %zu actors exist", piface_->get_cname(), get_actor_count());
 281
 282   action_->suspend();
 283
 284   foreach_actor([](auto& actor) {
 285     XBT_DEBUG("suspend %s", actor.get_cname());
 286     actor.suspend();
 287   });
 288
 289   XBT_DEBUG("suspend all actors on the VM done done");
 290
 291   vm_state_ = s4u::VirtualMachine::State::SUSPENDED;
 292 }
 293
 294 void VirtualMachineImpl::resume()
 295 {
 296   if (vm_state_ != s4u::VirtualMachine::State::SUSPENDED)
 297     throw VmFailureException(XBT_THROW_POINT,
 298                              xbt::string_printf("Cannot resume VM %s: it was not suspended", piface_->get_cname()));
 299
 300   XBT_DEBUG("Resume VM %s, containing %zu actors.", piface_->get_cname(), get_actor_count());
 301
 302   action_->resume();
 303
 304   foreach_actor([](auto& actor) {
 305     XBT_DEBUG("resume %s", actor.get_cname());
 306     actor.resume();
 307   });
 308
 309   vm_state_ = s4u::VirtualMachine::State::RUNNING;
 310   s4u::VirtualMachine::on_resume(*get_iface());
 311 }
 312
 313 /** @brief Power off a VM.
 314  *
 315  * All hosted processes will be killed, but the VM state is preserved on memory.
 316  * It can later be restarted.
 317  *
 318  * @param issuer the actor requesting the shutdown
 319  */
 320 void VirtualMachineImpl::shutdown(actor::ActorImpl* issuer)
 321 {
 322   if (vm_state_ != s4u::VirtualMachine::State::RUNNING)
 323     XBT_VERB("Shutting down the VM %s even if it's not running but in state %s", piface_->get_cname(),
 324              s4u::VirtualMachine::to_c_str(get_state()));
 325
 326   XBT_DEBUG("shutdown VM %s, that contains %zu actors", piface_->get_cname(), get_actor_count());
 327
 328   foreach_actor([issuer](auto& actor) {
 329     XBT_DEBUG("kill %s@%s on behalf of %s which shutdown that VM.", actor.get_cname(), actor.get_host()->get_cname(),
 330               issuer->get_cname());
 331     issuer->kill(&actor);
 332   });
 333
 334   set_state(s4u::VirtualMachine::State::DESTROYED);
 335
 336   s4u::VirtualMachine::on_shutdown(*get_iface());
 337 }
 338
 339 /** @brief Change the physical host on which the given VM is running
 340  *
 341  * This is an instantaneous migration.
 342  */
 343 void VirtualMachineImpl::set_physical_host(s4u::Host* destination)
 344 {
 345   std::string vm_name     = piface_->get_name();
 346   std::string pm_name_src = physical_host_->get_name();
 347   std::string pm_name_dst = destination->get_name();
 348
 349   /* update net_elm with that of the destination physical host */
 350   piface_->set_netpoint(destination->get_netpoint());
 351   physical_host_->get_impl()->move_vm(this, destination->get_impl());
 352
 353   /* Adapt the speed, pstate and other physical characteristics to the one of our new physical CPU */
 354   piface_->get_cpu()->reset_vcpu(destination->get_cpu());
 355
 356   physical_host_ = destination;
 357
 358   /* Update vcpu's action for the new pm */
 359   /* create a cpu action bound to the pm model at the destination. */
 360   CpuAction* new_cpu_action = destination->get_cpu()->execution_start(0, this->core_amount_);
 361
 362   if (action_->get_remains_no_update() > 0)
 363     XBT_CRITICAL("FIXME: need copy the state(?), %f", action_->get_remains_no_update());
 364
 365   /* keep the bound value of the cpu action of the VM. */
 366   if (double old_bound = action_->get_bound(); old_bound > 0) {
 367     XBT_DEBUG("migrate VM(%s): set bound (%f) at %s", vm_name.c_str(), old_bound, pm_name_dst.c_str());
 368     new_cpu_action->set_bound(old_bound);
 369   }
 370
 371   XBT_ATTRIB_UNUSED bool ret = action_->unref();
 372   xbt_assert(ret, "Bug: some resource still remains");
 373
 374   action_ = new_cpu_action;
 375
 376   XBT_DEBUG("migrate VM(%s): change PM (%s to %s)", vm_name.c_str(), pm_name_src.c_str(), pm_name_dst.c_str());
 377 }
 378
 379 void VirtualMachineImpl::set_bound(double bound)
 380 {
 381   user_bound_ = bound;
 382   action_->set_user_bound(user_bound_);
 383   update_action_weight();
 384 }
 385
 386 void VirtualMachineImpl::update_action_weight()
 387 {
 388   /* The impact of the VM over its PM is the min between its vCPU amount and the amount of tasks it contains */
 389   int impact = std::min(active_execs_, get_core_amount());
 390
 391   XBT_DEBUG("set the weight of the dummy CPU action of VM%p on PM to %d (#tasks: %u)", this, impact, active_execs_);
 392
 393   if (impact > 0)
 394     action_->set_sharing_penalty(1. / impact);
 395   else
 396     action_->set_sharing_penalty(0.);
 397
 398   action_->set_bound(std::min(impact * physical_host_->get_speed(), user_bound_));
 399 }
 400
 401 void VirtualMachineImpl::start_migration()
 402 {
 403   is_migrating_ = true;
 404   s4u::VirtualMachine::on_migration_start(*get_iface());
 405 }
 406
 407 void VirtualMachineImpl::end_migration()
 408 {
 409   is_migrating_ = false;
 410   s4u::VirtualMachine::on_migration_end(*get_iface());
 411 }
 412
 413 void VirtualMachineImpl::seal()
 414 {
 415   HostImpl::seal();
 416   s4u::VirtualMachine::on_vm_creation(*get_iface());
 417 }
 418
 419 } // namespace kernel::resource
 420 } // namespace simgrid