Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
No vm when ptask on
[simgrid.git] / src / surf / vm_workstation.cpp
1 /*
2  * vm_workstation.cpp
3  *
4  *  Created on: Nov 12, 2013
5  *      Author: bedaride
6  */
7 #include "vm_workstation.hpp"
8 #include "cpu_cas01.hpp"
9 #include "maxmin_private.h"
10
11 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_vm_workstation, surf,
12                                 "Logging specific to the SURF VM workstation module");
13
14 WorkstationVMModelPtr surf_vm_workstation_model = NULL;
15
16 void surf_vm_workstation_model_init_current_default(void){
17   if (surf_cpu_model_vm) {
18     surf_vm_workstation_model = new WorkstationVMModel();
19     ModelPtr model = static_cast<ModelPtr>(surf_vm_workstation_model);
20
21     xbt_dynar_push(model_list, &model);
22     xbt_dynar_push(model_list_invoke, &model);
23   }
24 }
25
26 /*********
27  * Model *
28  *********/
29
30 WorkstationVMModel::WorkstationVMModel() : WorkstationModel("Virtual Workstation") {
31   p_cpuModel = surf_cpu_model_vm;
32 }
33
34 /* ind means ''indirect'' that this is a reference on the whole dict_elm
35  * structure (i.e not on the surf_resource_private infos) */
36
37 void WorkstationVMModel::createResource(const char *name, void *ind_phys_workstation)
38 {
39   WorkstationVM2013LmmPtr ws = new WorkstationVM2013Lmm(this, name, NULL, static_cast<surf_resource_t>(ind_phys_workstation));
40
41   xbt_lib_set(host_lib, name, SURF_WKS_LEVEL, ws);
42
43   /* TODO:
44    * - check how network requests are scheduled between distinct processes competing for the same card.
45    */
46 }
47
48 static inline double get_solved_value(CpuActionLmmPtr cpu_action)
49 {
50   return cpu_action->p_variable->value;
51 }
52
53 /* In the real world, processes on the guest operating system will be somewhat
54  * degraded due to virtualization overhead. The total CPU share that these
55  * processes get is smaller than that of the VM process gets on a host
56  * operating system. */
57 // const double virt_overhead = 0.95;
58 const double virt_overhead = 1;
59
60 double WorkstationVMModel::shareResources(double now)
61 {
62   /* TODO: udpate action's cost with the total cost of processes on the VM. */
63
64
65   /* 0. Make sure that we already calculated the resource share at the physical
66    * machine layer. */
67   {
68         ModelPtr ws_model = static_cast<ModelPtr>(surf_workstation_model);
69         ModelPtr vm_ws_model = static_cast<ModelPtr>(surf_vm_workstation_model);
70     unsigned int index_of_pm_ws_model = xbt_dynar_search(model_list_invoke, &ws_model);
71     unsigned int index_of_vm_ws_model = xbt_dynar_search(model_list_invoke, &vm_ws_model);
72     xbt_assert((index_of_pm_ws_model < index_of_vm_ws_model), "Cannot assume surf_workstation_model comes before");
73
74     /* Another option is that we call sub_ws->share_resource() here. The
75      * share_resource() function has no side-effect. We can call it here to
76      * ensure that. */
77   }
78
79
80   /* 1. Now we know how many resource should be assigned to each virtual
81    * machine. We update constraints of the virtual machine layer.
82    *
83    *
84    * If we have two virtual machine (VM1 and VM2) on a physical machine (PM1).
85    *     X1 + X2 = C       (Equation 1)
86    * where
87    *    the resource share of VM1: X1
88    *    the resource share of VM2: X2
89    *    the capacity of PM1: C
90    *
91    * Then, if we have two process (P1 and P2) on VM1.
92    *     X1_1 + X1_2 = X1  (Equation 2)
93    * where
94    *    the resource share of P1: X1_1
95    *    the resource share of P2: X1_2
96    *    the capacity of VM1: X1
97    *
98    * Equation 1 was solved in the physical machine layer.
99    * Equation 2 is solved in the virtual machine layer (here).
100    * X1 must be passed to the virtual machine laye as a constraint value.
101    *
102    **/
103
104   /* iterate for all hosts including virtual machines */
105   xbt_lib_cursor_t cursor;
106   char *key;
107   void **ind_host;
108   xbt_lib_foreach(host_lib, cursor, key, ind_host) {
109     WorkstationCLM03Ptr ws_clm03 = dynamic_cast<WorkstationCLM03Ptr>(
110                                    static_cast<ResourcePtr>(ind_host[SURF_WKS_LEVEL]));
111     CpuCas01LmmPtr cpu_cas01 = dynamic_cast<CpuCas01LmmPtr>(
112                                static_cast<ResourcePtr>(ind_host[SURF_CPU_LEVEL]));
113
114     if (!ws_clm03)
115       continue;
116     /* skip if it is not a virtual machine */
117     if (ws_clm03->p_model != static_cast<ModelPtr>(surf_vm_workstation_model))
118       continue;
119     xbt_assert(cpu_cas01, "cpu-less workstation");
120
121     /* It is a virtual machine, so we can cast it to workstation_VM2013_t */
122     WorkstationVM2013Ptr ws_vm2013 = dynamic_cast<WorkstationVM2013Ptr>(ws_clm03);
123
124     double solved_value = get_solved_value(ws_vm2013->p_action);
125     XBT_DEBUG("assign %f to vm %s @ pm %s", solved_value,
126         ws_clm03->m_name, ws_vm2013->p_subWs->m_name);
127
128     // TODO: check lmm_update_constraint_bound() works fine instead of the below manual substitution.
129     // cpu_cas01->constraint->bound = solved_value;
130     xbt_assert(cpu_cas01->p_model == static_cast<ModelPtr>(surf_cpu_model_vm));
131     lmm_system_t vcpu_system = cpu_cas01->p_model->p_maxminSystem;
132     lmm_update_constraint_bound(vcpu_system, cpu_cas01->p_constraint, virt_overhead * solved_value);
133   }
134
135
136   /* 2. Calculate resource share at the virtual machine layer. */
137   double ret = WorkstationModel::shareResources(now);
138
139
140   /* FIXME: 3. do we have to re-initialize our cpu_action object? */
141 #if 0
142   /* iterate for all hosts including virtual machines */
143   xbt_lib_foreach(host_lib, cursor, key, ind_host) {
144     WorkstationCLM03Ptr ws_clm03 = ind_host[SURF_WKS_LEVEL];
145
146     /* skip if it is not a virtual machine */
147     if (!ws_clm03)
148       continue;
149     if (ws_clm03->p_model != surf_vm_workstation_model)
150       continue;
151
152     /* It is a virtual machine, so we can cast it to workstation_VM2013_t */
153     {
154 #if 0
155       WorkstationVM2013Ptr ws_vm2013 = (workstation_VM2013_t) ws_clm03;
156       XBT_INFO("cost %f remains %f start %f finish %f", ws_vm2013->cpu_action->cost,
157           ws_vm2013->cpu_action->remains,
158           ws_vm2013->cpu_action->start,
159           ws_vm2013->cpu_action->finish
160           );
161 #endif
162 #if 0
163       void *ind_sub_host = xbt_lib_get_elm_or_null(host_lib, ws_vm2013->sub_ws->generic_resource.name);
164       surf_cpu_model_pm->action_unref(ws_vm2013->cpu_action);
165       /* FIXME: this means busy loop? */
166       // ws_vm2013->cpu_action = surf_cpu_model_pm->extension.cpu.execute(ind_sub_host, GUESTOS_NOISE);
167       ws_vm2013->cpu_action = surf_cpu_model_pm->extension.cpu.execute(ind_sub_host, 0);
168 #endif
169
170     }
171   }
172 #endif
173
174
175   return ret;
176 }
177
178 /************
179  * Resource *
180  ************/
181
182 WorkstationVM2013Lmm::WorkstationVM2013Lmm(WorkstationVMModelPtr model, const char* name, xbt_dict_t props,
183                                                    surf_resource_t ind_phys_workstation)
184   :  WorkstationVM2013(model, name, props, NULL, NULL),
185      WorkstationCLM03Lmm(model, name, props, NULL, NULL, NULL),
186      WorkstationCLM03(model, name, props, NULL, NULL, NULL),
187      Resource(model, name, props) {
188   WorkstationCLM03Ptr sub_ws = dynamic_cast<WorkstationCLM03Ptr>(
189                                static_cast<ResourcePtr>(
190                                  surf_workstation_resource_priv(ind_phys_workstation)));
191
192   /* Currently, we assume a VM has no storage. */
193   p_storage = NULL;
194
195   /* Currently, a VM uses the network resource of its physical host. In
196    * host_lib, this network resource object is refered from two different keys.
197    * When deregistering the reference that points the network resource object
198    * from the VM name, we have to make sure that the system does not call the
199    * free callback for the network resource object. The network resource object
200    * is still used by the physical machine. */
201   p_netElm = static_cast<RoutingEdgePtr>(xbt_lib_get_or_null(host_lib, sub_ws->m_name, ROUTING_HOST_LEVEL));
202   xbt_lib_set(host_lib, name, ROUTING_HOST_LEVEL, p_netElm);
203
204   p_subWs = sub_ws;
205   p_currentState = SURF_VM_STATE_CREATED;
206
207   // //// CPU  RELATED STUFF ////
208   // Roughly, create a vcpu resource by using the values of the sub_cpu one.
209   CpuCas01LmmPtr sub_cpu = dynamic_cast<CpuCas01LmmPtr>(
210                    static_cast<ResourcePtr>(
211                          surf_cpu_resource_priv(ind_phys_workstation)));
212
213   /* We can assume one core and cas01 cpu for the first step.
214    * Do xbt_lib_set(host_lib, name, SURF_CPU_LEVEL, cpu) if you get the resource. */
215
216   static_cast<CpuCas01ModelPtr>(surf_cpu_model_vm)->createResource(name, // name
217       sub_cpu->p_powerPeakList,        // host->power_peak,
218       sub_cpu->m_pstate,
219       1,                          // host->power_scale,
220       NULL,                       // host->power_trace,
221       1,                          // host->core_amount,
222       SURF_RESOURCE_ON,           // host->initial_state,
223       NULL,                       // host->state_trace,
224       NULL);                       // host->properties,
225
226   /* We create cpu_action corresponding to a VM process on the host operating system. */
227   /* FIXME: TODO: we have to peridocally input GUESTOS_NOISE to the system? how ? */
228   // vm_ws->cpu_action = surf_cpu_model_pm->extension.cpu.execute(ind_phys_workstation, GUESTOS_NOISE);
229   p_action = dynamic_cast<CpuActionLmmPtr>(sub_cpu->execute(0));
230
231   /* The SURF_WKS_LEVEL at host_lib saves workstation_CLM03 objects. Please
232    * note workstation_VM2013 objects, inheriting the workstation_CLM03
233    * structure, are also saved there.
234    *
235    * If you want to get a workstation_VM2013 object from host_lib, see
236    * ws->generic_resouce.model->type first. If it is
237    * SURF_MODEL_TYPE_VM_WORKSTATION, you can cast ws to vm_ws. */
238   XBT_INFO("Create VM(%s)@PM(%s) with %ld mounted disks", name, sub_ws->m_name, xbt_dynar_length(p_storage));
239 }
240
241 /*
242  * A physical host does not disapper in the current SimGrid code, but a VM may
243  * disapper during a simulation.
244  */
245 WorkstationVM2013Lmm::~WorkstationVM2013Lmm()
246 {
247   /* ind_phys_workstation equals to smx_host_t */
248   surf_resource_t ind_vm_workstation = xbt_lib_get_elm_or_null(host_lib, m_name);
249
250   /* Before clearing the entries in host_lib, we have to pick up resources. */
251   CpuCas01LmmPtr cpu = dynamic_cast<CpuCas01LmmPtr>(
252                     static_cast<ResourcePtr>(
253                       surf_cpu_resource_priv(ind_vm_workstation)));
254
255   /* We deregister objects from host_lib, without invoking the freeing callback
256    * of each level.
257    *
258    * Do not call xbt_lib_remove() here. It deletes all levels of the key,
259    * including MSG_HOST_LEVEL and others. We should unregister only what we know.
260    */
261   xbt_lib_unset(host_lib, m_name, SURF_CPU_LEVEL, 0);
262   xbt_lib_unset(host_lib, m_name, ROUTING_HOST_LEVEL, 0);
263   xbt_lib_unset(host_lib, m_name, SURF_WKS_LEVEL, 0);
264
265   /* TODO: comment out when VM stroage is implemented. */
266   // xbt_lib_unset(host_lib, name, SURF_STORAGE_LEVEL, 0);
267
268
269   /* Free the cpu_action of the VM. */
270   int ret = p_action->unref();
271   xbt_assert(ret == 1, "Bug: some resource still remains");
272
273   /* Free the cpu resource of the VM. If using power_trace, we will have to
274    * free other objects than lmm_constraint. */
275   lmm_constraint_free(cpu->p_model->p_maxminSystem, cpu->p_constraint);
276   {
277     unsigned long i;
278     for (i = 0; i < cpu->m_core; i++) {
279       void *cnst_id = cpu->p_constraintCore[i]->id;
280       lmm_constraint_free(cpu->p_model->p_maxminSystem, cpu->p_constraintCore[i]);
281       xbt_free(cnst_id);
282     }
283
284     xbt_free(cpu->p_constraintCore);
285   }
286
287   delete cpu;
288
289   /* Free the network resource of the VM. */
290         // Nothing has to be done, because net_elmts is just a pointer on the physical one
291
292   /* Free the storage resource of the VM. */
293   // Not relevant yet
294
295         /* Free the workstation resource of the VM. */
296 }
297
298 e_surf_resource_state_t WorkstationVM2013Lmm::getState()
299 {
300   return (e_surf_resource_state_t) p_currentState;
301 }
302
303 void WorkstationVM2013Lmm::setState(e_surf_resource_state_t state)
304 {
305   p_currentState = (e_surf_vm_state_t) state;
306 }
307
308 void WorkstationVM2013Lmm::suspend()
309 {
310   p_action->suspend();
311   p_currentState = SURF_VM_STATE_SUSPENDED;
312 }
313
314 void WorkstationVM2013Lmm::resume()
315 {
316   p_action->resume();
317   p_currentState = SURF_VM_STATE_RUNNING;
318 }
319
320 void WorkstationVM2013Lmm::save()
321 {
322   p_currentState = SURF_VM_STATE_SAVING;
323
324   /* FIXME: do something here */
325   p_action->suspend();
326   p_currentState = SURF_VM_STATE_SAVED;
327 }
328
329 void WorkstationVM2013Lmm::restore()
330 {
331   p_currentState = SURF_VM_STATE_RESTORING;
332
333   /* FIXME: do something here */
334   p_action->resume();
335   p_currentState = SURF_VM_STATE_RUNNING;
336 }
337
338 /*
339  * Update the physical host of the given VM
340  */
341 void WorkstationVM2013Lmm::migrate(surf_resource_t ind_dst_pm)
342 {
343    /* ind_phys_workstation equals to smx_host_t */
344    WorkstationCLM03Ptr ws_clm03_dst = dynamic_cast<WorkstationCLM03Ptr>(
345                                           static_cast<ResourcePtr>(
346                                            surf_workstation_resource_priv(ind_dst_pm)));
347    const char *vm_name = m_name;
348    const char *pm_name_src = p_subWs->m_name;
349    const char *pm_name_dst = ws_clm03_dst->m_name;
350
351    xbt_assert(ws_clm03_dst);
352
353    /* do something */
354
355    /* update net_elm with that of the destination physical host */
356    RoutingEdgePtr old_net_elm = p_netElm;
357    RoutingEdgePtr new_net_elm = static_cast<RoutingEdgePtr>(xbt_lib_get_or_null(host_lib, pm_name_dst, ROUTING_HOST_LEVEL));
358    xbt_assert(new_net_elm);
359
360    /* Unregister the current net_elm from host_lib. Do not call the free callback. */
361    xbt_lib_unset(host_lib, vm_name, ROUTING_HOST_LEVEL, 0);
362
363    /* Then, resister the new one. */
364    p_netElm = new_net_elm;
365    xbt_lib_set(host_lib, vm_name, ROUTING_HOST_LEVEL, p_netElm);
366
367    p_subWs = ws_clm03_dst;
368
369    /* Update vcpu's action for the new pm */
370    {
371 #if 0
372      XBT_INFO("cpu_action->remains %g", p_action->remains);
373      XBT_INFO("cost %f remains %f start %f finish %f", p_action->cost,
374          p_action->remains,
375          p_action->start,
376          p_action->finish
377          );
378      XBT_INFO("cpu_action state %d", surf_action_get_state(p_action));
379 #endif
380
381      /* create a cpu action bound to the pm model at the destination. */
382      CpuActionLmmPtr new_cpu_action = dynamic_cast<CpuActionLmmPtr>(
383                                             dynamic_cast<CpuCas01LmmPtr>(
384                                         static_cast<ResourcePtr>(
385                                         surf_cpu_resource_priv(ind_dst_pm)))->execute(0));
386
387      e_surf_action_state_t state = surf_action_get_state(p_action);
388      if (state != SURF_ACTION_DONE)
389        XBT_CRITICAL("FIXME: may need a proper handling, %d", state);
390      if (p_action->m_remains > 0)
391        XBT_CRITICAL("FIXME: need copy the state(?), %f", p_action->m_remains);
392
393      int ret = p_action->unref();
394      xbt_assert(ret == 1, "Bug: some resource still remains");
395
396      p_action = new_cpu_action;
397    }
398
399    XBT_DEBUG("migrate VM(%s): change net_elm (%p to %p)", vm_name, old_net_elm, new_net_elm);
400    XBT_DEBUG("migrate VM(%s): change PM (%s to %s)", vm_name, pm_name_src, pm_name_dst);
401 }
402
403 void WorkstationVM2013Lmm::setBound(double bound){
404  p_action->setBound(bound);
405 }
406
407 void WorkstationVM2013Lmm::setAffinity(CpuLmmPtr cpu, unsigned long mask){
408  p_action->setAffinity(cpu, mask);
409 }
410
411 /*
412  * A surf level object will be useless in the upper layer. Returing the
413  * dict_elm of the host.
414  **/
415 surf_resource_t WorkstationVM2013Lmm::getPm()
416 {
417   return xbt_lib_get_elm_or_null(host_lib, p_subWs->m_name);
418 }
419
420 /* Adding a task to a VM updates the VCPU task on its physical machine. */
421 ActionPtr WorkstationVM2013Lmm::execute(double size)
422 {
423   double old_cost = p_action->m_cost;
424   double new_cost = old_cost + size;
425
426   XBT_DEBUG("VM(%s)@PM(%s): update dummy action's cost (%f -> %f)",
427       m_name, p_subWs->m_name,
428       old_cost, new_cost);
429
430   p_action->m_cost = new_cost;
431
432   return WorkstationCLM03::execute(size);
433 }
434
435 /**********
436  * Action *
437  **********/
438
439 //FIME:: handle action cancel
440