Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
610678fe55023e33923a36d610657bcd72275e3d
[simgrid.git] / src / simix / ActorImpl.cpp
1 /* Copyright (c) 2007-2017. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #include <exception>
7 #include <functional>
8 #include <map>
9 #include <string>
10 #include <utility>
11
12 #include <boost/range/algorithm.hpp>
13
14 #include "xbt/ex.hpp"
15 #include "xbt/functional.hpp"
16 #include "xbt/log.h"
17 #include "xbt/sysdep.h"
18
19 #include "simgrid/s4u/Host.hpp"
20
21 #include "mc/mc.h"
22
23 #include "smx_private.h"
24 #include "src/kernel/activity/SleepImpl.hpp"
25 #include "src/kernel/activity/SynchroIo.hpp"
26 #include "src/kernel/activity/SynchroRaw.hpp"
27 #include "src/mc/mc_replay.h"
28 #include "src/mc/remote/Client.hpp"
29 #include "src/msg/msg_private.h"
30 #include "src/surf/cpu_interface.hpp"
31 #include "src/surf/surf_interface.hpp"
32
33 #ifdef HAVE_SMPI
34 #include "src/smpi/include/private.hpp"
35 #endif
36
37 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(simix_process, simix, "Logging specific to SIMIX (process)");
38
39 unsigned long simix_process_maxpid = 0;
40
41 /**
42  * \brief Returns the current agent.
43  *
44  * This functions returns the currently running SIMIX process.
45  *
46  * \return The SIMIX process
47  */
48 smx_actor_t SIMIX_process_self()
49 {
50   smx_context_t self_context = SIMIX_context_self();
51
52   return (self_context != nullptr) ? self_context->process() : nullptr;
53 }
54
55 /**
56  * \brief Returns whether a process has pending asynchronous communications.
57  * \return true if there are asynchronous communications in this process
58  */
59 int SIMIX_process_has_pending_comms(smx_actor_t process) {
60
61   return process->comms.size() > 0;
62 }
63
64 /**
65  * \brief Moves a process to the list of processes to destroy.
66  */
67 void SIMIX_process_cleanup(smx_actor_t process)
68 {
69   XBT_DEBUG("Cleanup process %s (%p), waiting synchro %p", process->name.c_str(), process,
70             process->waiting_synchro.get());
71
72   process->finished = true;
73   SIMIX_process_on_exit_runall(process);
74
75   /* Unregister from the kill timer if any */
76   if (process->kill_timer != nullptr)
77     SIMIX_timer_remove(process->kill_timer);
78
79   xbt_os_mutex_acquire(simix_global->mutex);
80
81   /* cancel non-blocking communications */
82   while (not process->comms.empty()) {
83     smx_activity_t synchro = process->comms.front();
84     process->comms.pop_front();
85     simgrid::kernel::activity::CommImplPtr comm =
86         boost::static_pointer_cast<simgrid::kernel::activity::CommImpl>(synchro);
87
88     /* make sure no one will finish the comm after this process is destroyed,
89      * because src_proc or dst_proc would be an invalid pointer */
90
91     if (comm->src_proc == process) {
92       XBT_DEBUG("Found an unfinished send comm %p (detached = %d), state %d, src = %p, dst = %p", comm.get(),
93                 comm->detached, (int)comm->state, comm->src_proc, comm->dst_proc);
94       comm->src_proc = nullptr;
95
96     } else if (comm->dst_proc == process) {
97       XBT_DEBUG("Found an unfinished recv comm %p, state %d, src = %p, dst = %p", comm.get(), (int)comm->state,
98                 comm->src_proc, comm->dst_proc);
99       comm->dst_proc = nullptr;
100
101       if (comm->detached && comm->src_proc != nullptr) {
102         /* the comm will be freed right now, remove it from the sender */
103         comm->src_proc->comms.remove(comm);
104       }
105     } else {
106       xbt_die("Communication synchro %p is in my list but I'm not the sender nor the receiver", synchro.get());
107     }
108     comm->cancel();
109   }
110
111   XBT_DEBUG("%p should not be run anymore",process);
112   simix_global->process_list.erase(process->pid);
113   if (process->host)
114     xbt_swag_remove(process, process->host->extension<simgrid::simix::Host>()->process_list);
115   xbt_swag_insert(process, simix_global->process_to_destroy);
116   process->context->iwannadie = 0;
117
118   xbt_os_mutex_release(simix_global->mutex);
119 }
120
121 /**
122  * Garbage collection
123  *
124  * Should be called some time to time to free the memory allocated for processes that have finished (or killed).
125  */
126 void SIMIX_process_empty_trash()
127 {
128   smx_actor_t process = static_cast<smx_actor_t>(xbt_swag_extract(simix_global->process_to_destroy));
129
130   while (process) {
131     XBT_DEBUG("Getting rid of %p",process);
132     intrusive_ptr_release(process);
133     process = static_cast<smx_actor_t>(xbt_swag_extract(simix_global->process_to_destroy));
134   }
135 }
136
137 namespace simgrid {
138 namespace simix {
139
140 ActorImpl::~ActorImpl()
141 {
142   delete this->context;
143 }
144
145 static int dying_daemon(void* exit_status, void* data)
146 {
147   std::vector<ActorImpl*>* vect = &simix_global->daemons;
148
149   auto it = std::find(vect->begin(), vect->end(), static_cast<ActorImpl*>(data));
150   xbt_assert(it != vect->end(), "The dying daemon is not a daemon after all. Please report that bug.");
151
152   /* Don't move the whole content since we don't really care about the order */
153   std::swap(*it, vect->back());
154   vect->pop_back();
155
156   return 0;
157 }
158 /** This process will be terminated automatically when the last non-daemon process finishes */
159 void ActorImpl::daemonize()
160 {
161   if (not daemon) {
162     daemon = true;
163     simix_global->daemons.push_back(this);
164     SIMIX_process_on_exit(this, dying_daemon, this);
165   }
166 }
167
168 simgrid::s4u::Actor* ActorImpl::restart()
169 {
170   XBT_DEBUG("Restarting process %s on %s", cname(), host->getCname());
171
172   // retrieve the arguments of the old process
173   // FIXME: Factorize this with SIMIX_host_add_auto_restart_process ?
174   simgrid::simix::ProcessArg arg;
175   arg.name         = name;
176   arg.code         = code;
177   arg.host         = host;
178   arg.kill_time    = SIMIX_timer_get_date(kill_timer);
179   arg.data         = userdata;
180   arg.properties   = nullptr;
181   arg.auto_restart = auto_restart;
182
183   // kill the old process
184   SIMIX_process_kill(this, (this == simix_global->maestro_process) ? this : SIMIX_process_self());
185
186   // start the new process
187   ActorImpl* actor = simix_global->create_process_function(arg.name.c_str(), std::move(arg.code), arg.data, arg.host,
188                                                            arg.properties, nullptr);
189   if (arg.kill_time >= 0)
190     simcall_process_set_kill_time(actor, arg.kill_time);
191   if (arg.auto_restart)
192     actor->auto_restart = arg.auto_restart;
193
194   return actor->ciface();
195 }
196
197 smx_activity_t ActorImpl::suspend(ActorImpl* issuer)
198 {
199   if (suspended) {
200     XBT_DEBUG("Actor '%s' is already suspended", name.c_str());
201     return nullptr;
202   }
203
204   suspended = 1;
205
206   /* If we are suspending another actor that is waiting on a sync, suspend its synchronization. */
207   if (this != issuer) {
208     if (waiting_synchro)
209       waiting_synchro->suspend();
210     /* If the other actor is not waiting, its suspension is delayed to when the actor is rescheduled. */
211
212     return nullptr;
213   } else {
214     return SIMIX_execution_start(this, "suspend", 0.0, 1.0, 0.0);
215   }
216 }
217
218 void ActorImpl::resume()
219 {
220   XBT_IN("process = %p", this);
221
222   if (context->iwannadie) {
223     XBT_VERB("Ignoring request to suspend an actor that is currently dying.");
224     return;
225   }
226
227   if (not suspended)
228     return;
229   suspended = 0;
230
231   /* resume the synchronization that was blocking the resumed actor. */
232   if (waiting_synchro)
233     waiting_synchro->resume();
234
235   XBT_OUT();
236 }
237
238 smx_activity_t ActorImpl::sleep(double duration)
239 {
240   if (host->isOff())
241     THROWF(host_error, 0, "Host %s failed, you cannot sleep there.", host->getCname());
242
243   simgrid::kernel::activity::SleepImpl* synchro = new simgrid::kernel::activity::SleepImpl();
244   synchro->host                                 = host;
245   synchro->surf_sleep                           = host->pimpl_cpu->sleep(duration);
246   synchro->surf_sleep->setData(synchro);
247   XBT_DEBUG("Create sleep synchronization %p", synchro);
248
249   return synchro;
250 }
251
252 void create_maestro(std::function<void()> code)
253 {
254   smx_actor_t maestro = nullptr;
255   /* Create maestro process and initialize it */
256   maestro = new simgrid::simix::ActorImpl();
257   maestro->pid = simix_process_maxpid++;
258   maestro->name = "";
259   maestro->userdata = nullptr;
260
261   if (not code) {
262     maestro->context = SIMIX_context_new(std::function<void()>(), nullptr, maestro);
263   } else {
264     if (not simix_global)
265       xbt_die("simix is not initialized, please call MSG_init first");
266     maestro->context = simix_global->context_factory->create_maestro(code, maestro);
267   }
268
269   maestro->simcall.issuer = maestro;
270   simix_global->maestro_process = maestro;
271 }
272
273 }
274 }
275
276 /** @brief Creates and runs the maestro process */
277 void SIMIX_maestro_create(void (*code)(void*), void* data)
278 {
279   simgrid::simix::create_maestro(std::bind(code, data));
280 }
281
282 /**
283  * \brief Internal function to create a process.
284  *
285  * This function actually creates the process.
286  * It may be called when a SIMCALL_PROCESS_CREATE simcall occurs,
287  * or directly for SIMIX internal purposes. The sure thing is that it's called from maestro context.
288  *
289  * \return the process created
290  */
291 smx_actor_t SIMIX_process_create(const char* name, std::function<void()> code, void* data, simgrid::s4u::Host* host,
292                                  std::map<std::string, std::string>* properties, smx_actor_t parent_process)
293 {
294
295   XBT_DEBUG("Start process %s on host '%s'", name, host->getCname());
296
297   if (host->isOff()) {
298     XBT_WARN("Cannot launch process '%s' on failed host '%s'", name, host->getCname());
299     return nullptr;
300   }
301
302   smx_actor_t process = new simgrid::simix::ActorImpl();
303
304   xbt_assert(code && host != nullptr, "Invalid parameters");
305   /* Process data */
306   process->pid            = simix_process_maxpid++;
307   process->name           = simgrid::xbt::string(name);
308   process->host           = host;
309   process->userdata       = data;
310   process->simcall.issuer = process;
311
312   if (parent_process != nullptr) {
313     process->ppid = parent_process->pid;
314 /* SMPI process have their own data segment and each other inherit from their father */
315 #if HAVE_SMPI
316     if (smpi_privatize_global_variables == SMPI_PRIVATIZE_MMAP) {
317       if (parent_process->pid != 0) {
318         process->segment_index = parent_process->segment_index;
319       } else {
320         process->segment_index = process->pid - 1;
321       }
322     }
323 #endif
324   }
325
326   process->code         = code;
327
328   XBT_VERB("Create context %s", process->name.c_str());
329   process->context = SIMIX_context_new(std::move(code), simix_global->cleanup_process_function, process);
330
331   /* Add properties */
332   if (properties != nullptr)
333     for (auto kv : *properties)
334       process->setProperty(kv.first, kv.second);
335
336   /* Make sure that the process is initialized for simix, in case we are called from the Host::onCreation signal */
337   if (host->extension<simgrid::simix::Host>() == nullptr)
338     host->extension_set<simgrid::simix::Host>(new simgrid::simix::Host());
339
340   /* Add the process to its host process list */
341   xbt_swag_insert(process, host->extension<simgrid::simix::Host>()->process_list);
342
343   XBT_DEBUG("Start context '%s'", process->name.c_str());
344
345   /* Now insert it in the global process list and in the process to run list */
346   simix_global->process_list[process->pid] = process;
347   XBT_DEBUG("Inserting %s(%s) in the to_run list", process->cname(), host->getCname());
348   simix_global->process_to_run.push_back(process);
349   intrusive_ptr_add_ref(process);
350
351   /* Tracing the process creation */
352   TRACE_msg_process_create(process->cname(), process->pid, process->host);
353
354   return process;
355 }
356
357 smx_actor_t SIMIX_process_attach(const char* name, void* data, const char* hostname,
358                                  std::map<std::string, std::string>* properties, smx_actor_t parent_process)
359 {
360   // This is mostly a copy/paste from SIMIX_process_new(),
361   // it'd be nice to share some code between those two functions.
362
363   sg_host_t host = sg_host_by_name(hostname);
364   XBT_DEBUG("Attach process %s on host '%s'", name, hostname);
365
366   if (host->isOff()) {
367     XBT_WARN("Cannot launch process '%s' on failed host '%s'", name, hostname);
368     return nullptr;
369   }
370
371   smx_actor_t process = new simgrid::simix::ActorImpl();
372   /* Process data */
373   process->pid = simix_process_maxpid++;
374   process->name = std::string(name);
375   process->host = host;
376   process->userdata       = data;
377   process->simcall.issuer = process;
378
379   if (parent_process != nullptr) {
380     process->ppid = parent_process->pid;
381     /* SMPI process have their own data segment and each other inherit from their father */
382 #if HAVE_SMPI
383     if (smpi_privatize_global_variables == SMPI_PRIVATIZE_MMAP) {
384       if (parent_process->pid != 0) {
385         process->segment_index = parent_process->segment_index;
386       } else {
387         process->segment_index = process->pid - 1;
388       }
389     }
390 #endif
391   }
392
393   /* Process data for auto-restart */
394   process->code = nullptr;
395
396   XBT_VERB("Create context %s", process->name.c_str());
397   if (not simix_global)
398     xbt_die("simix is not initialized, please call MSG_init first");
399   process->context = simix_global->context_factory->attach(simix_global->cleanup_process_function, process);
400
401   /* Add properties */
402   if (properties != nullptr)
403     for (auto kv : *properties)
404       process->setProperty(kv.first, kv.second);
405
406   /* Add the process to it's host process list */
407   xbt_swag_insert(process, host->extension<simgrid::simix::Host>()->process_list);
408
409   /* Now insert it in the global process list and in the process to run list */
410   simix_global->process_list[process->pid] = process;
411   XBT_DEBUG("Inserting %s(%s) in the to_run list", process->cname(), host->getCname());
412   simix_global->process_to_run.push_back(process);
413
414   /* Tracing the process creation */
415   TRACE_msg_process_create(process->cname(), process->pid, process->host);
416
417   auto context = dynamic_cast<simgrid::kernel::context::AttachContext*>(process->context);
418   if (not context)
419     xbt_die("Not a suitable context");
420
421   context->attach_start();
422   return process;
423 }
424
425 void SIMIX_process_detach()
426 {
427   auto context = dynamic_cast<simgrid::kernel::context::AttachContext*>(SIMIX_context_self());
428   if (not context)
429     xbt_die("Not a suitable context");
430
431   simix_global->cleanup_process_function(context->process());
432
433   // Let maestro ignore we are still alive:
434   // xbt_swag_remove(context->process(), simix_global->process_list);
435
436   // TODO, Remove from proces list:
437   //   xbt_swag_remove(process, sg_host_simix(host)->process_list);
438
439   context->attach_stop();
440   // delete context;
441 }
442
443 /**
444  * \brief Executes the processes from simix_global->process_to_run.
445  *
446  * The processes of simix_global->process_to_run are run (in parallel if
447  * possible).  On exit, simix_global->process_to_run is empty, and
448  * simix_global->process_that_ran contains the list of processes that just ran.
449  * The two lists are swapped so, be careful when using them before and after a
450  * call to this function.
451  */
452 void SIMIX_process_runall()
453 {
454   SIMIX_context_runall();
455
456   simix_global->process_to_run.swap(simix_global->process_that_ran);
457   simix_global->process_to_run.clear();
458 }
459
460 /**
461  * \brief Internal function to kill a SIMIX process.
462  *
463  * This function may be called when a SIMCALL_PROCESS_KILL simcall occurs,
464  * or directly for SIMIX internal purposes.
465  *
466  * \param process poor victim
467  * \param issuer the process which has sent the PROCESS_KILL. Important to not schedule twice the same process.
468  */
469 void SIMIX_process_kill(smx_actor_t process, smx_actor_t issuer) {
470
471   XBT_DEBUG("Killing process %s@%s", process->cname(), process->host->getCname());
472
473   process->context->iwannadie = 1;
474   process->blocked = 0;
475   process->suspended = 0;
476   process->exception = nullptr;
477
478   /* destroy the blocking synchro if any */
479   if (process->waiting_synchro != nullptr) {
480
481     simgrid::kernel::activity::ExecImplPtr exec =
482         boost::dynamic_pointer_cast<simgrid::kernel::activity::ExecImpl>(process->waiting_synchro);
483     simgrid::kernel::activity::CommImplPtr comm =
484         boost::dynamic_pointer_cast<simgrid::kernel::activity::CommImpl>(process->waiting_synchro);
485     simgrid::kernel::activity::SleepImplPtr sleep =
486         boost::dynamic_pointer_cast<simgrid::kernel::activity::SleepImpl>(process->waiting_synchro);
487     simgrid::kernel::activity::RawImplPtr raw =
488         boost::dynamic_pointer_cast<simgrid::kernel::activity::RawImpl>(process->waiting_synchro);
489     simgrid::kernel::activity::IoImplPtr io =
490         boost::dynamic_pointer_cast<simgrid::kernel::activity::IoImpl>(process->waiting_synchro);
491
492     if (exec != nullptr) {
493       /* Nothing to do */
494     } else if (comm != nullptr) {
495       process->comms.remove(process->waiting_synchro);
496       comm->cancel();
497       // Remove first occurrence of &process->simcall:
498       auto i = boost::range::find(process->waiting_synchro->simcalls, &process->simcall);
499       if (i != process->waiting_synchro->simcalls.end())
500         process->waiting_synchro->simcalls.remove(&process->simcall);
501     } else if (sleep != nullptr) {
502       SIMIX_process_sleep_destroy(process->waiting_synchro);
503
504     } else if (raw != nullptr) {
505       SIMIX_synchro_stop_waiting(process, &process->simcall);
506
507     } else if (io != nullptr) {
508       SIMIX_io_destroy(process->waiting_synchro);
509     } else {
510       xbt_die("Unknown type of activity");
511     }
512
513     /*
514     switch (process->waiting_synchro->type) {
515     case SIMIX_SYNC_JOIN:
516       SIMIX_process_sleep_destroy(process->waiting_synchro);
517       break;
518     } */
519
520     process->waiting_synchro = nullptr;
521   }
522   if (std::find(begin(simix_global->process_to_run), end(simix_global->process_to_run), process) ==
523           end(simix_global->process_to_run) &&
524       process != issuer) {
525     XBT_DEBUG("Inserting %s in the to_run list", process->name.c_str());
526     simix_global->process_to_run.push_back(process);
527   }
528 }
529
530 /** @brief Ask another process to raise the given exception
531  *
532  * @param process The process that should raise that exception
533  * @param cat category of exception
534  * @param value value associated to the exception
535  * @param msg string information associated to the exception
536  */
537 void SIMIX_process_throw(smx_actor_t process, xbt_errcat_t cat, int value, const char *msg) {
538   SMX_EXCEPTION(process, cat, value, msg);
539
540   if (process->suspended)
541     process->resume();
542
543   /* cancel the blocking synchro if any */
544   if (process->waiting_synchro) {
545
546     simgrid::kernel::activity::ExecImplPtr exec =
547         boost::dynamic_pointer_cast<simgrid::kernel::activity::ExecImpl>(process->waiting_synchro);
548     if (exec != nullptr) {
549       SIMIX_execution_cancel(process->waiting_synchro);
550     }
551
552     simgrid::kernel::activity::CommImplPtr comm =
553         boost::dynamic_pointer_cast<simgrid::kernel::activity::CommImpl>(process->waiting_synchro);
554     if (comm != nullptr) {
555       process->comms.remove(comm);
556       comm->cancel();
557     }
558
559     simgrid::kernel::activity::SleepImplPtr sleep =
560         boost::dynamic_pointer_cast<simgrid::kernel::activity::SleepImpl>(process->waiting_synchro);
561     if (sleep != nullptr) {
562       SIMIX_process_sleep_destroy(process->waiting_synchro);
563       if (std::find(begin(simix_global->process_to_run), end(simix_global->process_to_run), process) ==
564               end(simix_global->process_to_run) &&
565           process != SIMIX_process_self()) {
566         XBT_DEBUG("Inserting %s in the to_run list", process->name.c_str());
567         simix_global->process_to_run.push_back(process);
568       }
569     }
570
571     simgrid::kernel::activity::RawImplPtr raw =
572         boost::dynamic_pointer_cast<simgrid::kernel::activity::RawImpl>(process->waiting_synchro);
573     if (raw != nullptr) {
574       SIMIX_synchro_stop_waiting(process, &process->simcall);
575     }
576
577     simgrid::kernel::activity::IoImplPtr io =
578         boost::dynamic_pointer_cast<simgrid::kernel::activity::IoImpl>(process->waiting_synchro);
579     if (io != nullptr) {
580       SIMIX_io_destroy(process->waiting_synchro);
581     }
582   }
583   process->waiting_synchro = nullptr;
584
585 }
586
587 void simcall_HANDLER_process_killall(smx_simcall_t simcall, int reset_pid) {
588   SIMIX_process_killall(simcall->issuer, reset_pid);
589 }
590 /**
591  * \brief Kills all running processes.
592  * \param issuer this one will not be killed
593  */
594 void SIMIX_process_killall(smx_actor_t issuer, int reset_pid)
595 {
596   for (auto kv : simix_global->process_list)
597     if (kv.second != issuer)
598       SIMIX_process_kill(kv.second, issuer);
599
600   if (reset_pid > 0)
601     simix_process_maxpid = reset_pid;
602
603   SIMIX_context_runall();
604
605   SIMIX_process_empty_trash();
606 }
607
608 void SIMIX_process_change_host(smx_actor_t process, sg_host_t dest)
609 {
610   xbt_assert((process != nullptr), "Invalid parameters");
611   xbt_swag_remove(process, process->host->extension<simgrid::simix::Host>()->process_list);
612   process->host = dest;
613   xbt_swag_insert(process, dest->extension<simgrid::simix::Host>()->process_list);
614 }
615
616 void simcall_HANDLER_process_suspend(smx_simcall_t simcall, smx_actor_t process)
617 {
618   smx_activity_t sync_suspend = process->suspend(simcall->issuer);
619
620   if (process != simcall->issuer) {
621     SIMIX_simcall_answer(simcall);
622   } else {
623     sync_suspend->simcalls.push_back(simcall);
624     process->waiting_synchro = sync_suspend;
625     process->waiting_synchro->suspend();
626   }
627   /* If we are suspending ourselves, then just do not finish the simcall now */
628 }
629
630 int SIMIX_process_get_maxpid() {
631   return simix_process_maxpid;
632 }
633
634 int SIMIX_process_count()
635 {
636   return simix_global->process_list.size();
637 }
638
639 void* SIMIX_process_self_get_data()
640 {
641   smx_actor_t self = SIMIX_process_self();
642
643   if (not self) {
644     return nullptr;
645   }
646   return self->getUserData();
647 }
648
649 void SIMIX_process_self_set_data(void *data)
650 {
651   SIMIX_process_self()->setUserData(data);
652 }
653
654
655 /* needs to be public and without simcall because it is called
656    by exceptions and logging events */
657 const char* SIMIX_process_self_get_name() {
658
659   smx_actor_t process = SIMIX_process_self();
660   if (process == nullptr || process == simix_global->maestro_process)
661     return "maestro";
662
663   return process->name.c_str();
664 }
665
666 smx_actor_t SIMIX_process_get_by_name(const char* name)
667 {
668   for (auto kv : simix_global->process_list)
669     if (kv.second->name == name)
670       return kv.second;
671   return nullptr;
672 }
673
674 void simcall_HANDLER_process_join(smx_simcall_t simcall, smx_actor_t process, double timeout)
675 {
676   if (process->finished) {
677     // The joined process is already finished, just wake up the issuer process right away
678     simcall_process_sleep__set__result(simcall, SIMIX_DONE);
679     SIMIX_simcall_answer(simcall);
680     return;
681   }
682   smx_activity_t sync = SIMIX_process_join(simcall->issuer, process, timeout);
683   sync->simcalls.push_back(simcall);
684   simcall->issuer->waiting_synchro = sync;
685 }
686
687 static int SIMIX_process_join_finish(smx_process_exit_status_t status, void* synchro)
688 {
689   simgrid::kernel::activity::SleepImpl* sleep = static_cast<simgrid::kernel::activity::SleepImpl*>(synchro);
690
691   if (sleep->surf_sleep) {
692     sleep->surf_sleep->cancel();
693
694     while (not sleep->simcalls.empty()) {
695       smx_simcall_t simcall = sleep->simcalls.front();
696       sleep->simcalls.pop_front();
697       simcall_process_sleep__set__result(simcall, SIMIX_DONE);
698       simcall->issuer->waiting_synchro = nullptr;
699       if (simcall->issuer->suspended) {
700         XBT_DEBUG("Wait! This process is suspended and can't wake up now.");
701         simcall->issuer->suspended = 0;
702         simcall_HANDLER_process_suspend(simcall, simcall->issuer);
703       } else {
704         SIMIX_simcall_answer(simcall);
705       }
706     }
707     sleep->surf_sleep->unref();
708     sleep->surf_sleep = nullptr;
709   }
710   // intrusive_ptr_release(process); // FIXME: We are leaking here. See comment in SIMIX_process_join()
711   return 0;
712 }
713
714 smx_activity_t SIMIX_process_join(smx_actor_t issuer, smx_actor_t process, double timeout)
715 {
716   smx_activity_t res = issuer->sleep(timeout);
717   intrusive_ptr_add_ref(res.get());
718   /* We are leaking the process here, but if we don't take the ref, we get a "use after free".
719    * The correct solution would be to derivate the type SynchroSleep into a SynchroProcessJoin,
720    * but the code is not clean enough for now for this.
721    * The C API should first be properly replaced with the C++ one, which is a fair amount of work.
722    */
723   intrusive_ptr_add_ref(process);
724   SIMIX_process_on_exit(process,
725                         [](void*, void* arg) {
726                           return simgrid::simix::kernelImmediate(
727                               [&] { return SIMIX_process_join_finish(SMX_EXIT_SUCCESS, arg); });
728                         },
729                         &*res);
730   return res;
731 }
732
733 void simcall_HANDLER_process_sleep(smx_simcall_t simcall, double duration)
734 {
735   if (MC_is_active() || MC_record_replay_is_active()) {
736     MC_process_clock_add(simcall->issuer, duration);
737     simcall_process_sleep__set__result(simcall, SIMIX_DONE);
738     SIMIX_simcall_answer(simcall);
739     return;
740   }
741   smx_activity_t sync = simcall->issuer->sleep(duration);
742   sync->simcalls.push_back(simcall);
743   simcall->issuer->waiting_synchro = sync;
744 }
745
746 void SIMIX_process_sleep_destroy(smx_activity_t synchro)
747 {
748   XBT_DEBUG("Destroy sleep synchro %p", synchro.get());
749   simgrid::kernel::activity::SleepImplPtr sleep =
750       boost::dynamic_pointer_cast<simgrid::kernel::activity::SleepImpl>(synchro);
751
752   if (sleep->surf_sleep) {
753     sleep->surf_sleep->unref();
754     sleep->surf_sleep = nullptr;
755   }
756 }
757
758 /**
759  * \brief Calling this function makes the process to yield.
760  *
761  * Only the current process can call this function, giving back the control to maestro.
762  *
763  * \param self the current process
764  */
765 void SIMIX_process_yield(smx_actor_t self)
766 {
767   XBT_DEBUG("Yield actor '%s'", self->cname());
768
769   /* Go into sleep and return control to maestro */
770   self->context->suspend();
771
772   /* Ok, maestro returned control to us */
773   XBT_DEBUG("Control returned to me: '%s'", self->name.c_str());
774
775   if (self->new_host) {
776     SIMIX_process_change_host(self, self->new_host);
777     self->new_host = nullptr;
778   }
779
780   if (self->context->iwannadie){
781     XBT_DEBUG("I wanna die!");
782     self->finished = true;
783     /* execute the on_exit functions */
784     SIMIX_process_on_exit_runall(self);
785     /* Add the process to the list of process to restart, only if the host is down */
786     if (self->auto_restart && self->host->isOff()) {
787       SIMIX_host_add_auto_restart_process(self->host, self->cname(), self->code, self->userdata,
788                                           SIMIX_timer_get_date(self->kill_timer), self->getProperties(),
789                                           self->auto_restart);
790     }
791     XBT_DEBUG("Process %s@%s is dead", self->cname(), self->host->getCname());
792     self->context->stop();
793   }
794
795   if (self->suspended) {
796     XBT_DEBUG("Hey! I'm suspended.");
797     xbt_assert(self->exception != nullptr, "Gasp! This exception may be lost by subsequent calls.");
798     self->suspended = 0;
799     self->suspend(self);
800   }
801
802   if (self->exception != nullptr) {
803     XBT_DEBUG("Wait, maestro left me an exception");
804     std::exception_ptr exception = std::move(self->exception);
805     self->exception = nullptr;
806     std::rethrow_exception(std::move(exception));
807   }
808
809   if(SMPI_switch_data_segment && self->segment_index != -1){
810     SMPI_switch_data_segment(self->segment_index);
811   }
812 }
813
814 /* callback: termination */
815 void SIMIX_process_exception_terminate(xbt_ex_t * e)
816 {
817   xbt_ex_display(e);
818   xbt_abort();
819 }
820
821 /** @brief Returns the list of processes to run. */
822 const std::vector<smx_actor_t>& simgrid::simix::process_get_runnable()
823 {
824   return simix_global->process_to_run;
825 }
826
827 /** @brief Returns the process from PID. */
828 smx_actor_t SIMIX_process_from_PID(aid_t PID)
829 {
830   auto process = simix_global->process_list.find(PID);
831   return process == simix_global->process_list.end() ? nullptr : process->second;
832 }
833
834 void SIMIX_process_on_exit_runall(smx_actor_t process) {
835   smx_process_exit_status_t exit_status = (process->context->iwannadie) ? SMX_EXIT_FAILURE : SMX_EXIT_SUCCESS;
836   while (not process->on_exit.empty()) {
837     s_smx_process_exit_fun_t exit_fun = process->on_exit.back();
838     (exit_fun.fun)((void*)exit_status, exit_fun.arg);
839     process->on_exit.pop_back();
840   }
841 }
842
843 void SIMIX_process_on_exit(smx_actor_t process, int_f_pvoid_pvoid_t fun, void *data) {
844   xbt_assert(process, "current process not found: are you in maestro context ?");
845
846   s_smx_process_exit_fun_t exit_fun = {fun, data};
847
848   process->on_exit.push_back(exit_fun);
849 }
850
851 /**
852  * \brief Sets the auto-restart status of the process.
853  * If set to 1, the process will be automatically restarted when its host comes back.
854  */
855 void SIMIX_process_auto_restart_set(smx_actor_t process, int auto_restart) {
856   process->auto_restart = auto_restart;
857 }
858
859 /** @brief Restart a process, starting it again from the beginning. */
860 /**
861  * \ingroup simix_process_management
862  * \brief Creates and runs a new SIMIX process.
863  *
864  * The structure and the corresponding thread are created and put in the list of ready processes.
865  *
866  * \param name a name for the process. It is for user-level information and can be nullptr.
867  * \param code the main function of the process
868  * \param data a pointer to any data one may want to attach to the new object. It is for user-level information and can
869  * be nullptr.
870  * It can be retrieved with the function \ref simcall_process_get_data.
871  * \param host where the new agent is executed.
872  * \param kill_time time when the process is killed
873  * \param argc first argument passed to \a code
874  * \param argv second argument passed to \a code
875  * \param properties the properties of the process
876  * \param auto_restart either it is autorestarting or not.
877  */
878 extern "C" smx_actor_t simcall_process_create(const char* name, xbt_main_func_t code, void* data, sg_host_t host,
879                                               int argc, char** argv, std::map<std::string, std::string>* properties)
880 {
881   if (name == nullptr)
882     name = "";
883   auto wrapped_code = simgrid::xbt::wrapMain(code, argc, argv);
884   for (int i = 0; i != argc; ++i)
885     xbt_free(argv[i]);
886   xbt_free(argv);
887   smx_actor_t res = simcall_process_create(name, std::move(wrapped_code), data, host, properties);
888   return res;
889 }
890
891 smx_actor_t simcall_process_create(const char* name, std::function<void()> code, void* data, sg_host_t host,
892                                    std::map<std::string, std::string>* properties)
893 {
894   if (name == nullptr)
895     name = "";
896   smx_actor_t self = SIMIX_process_self();
897   return simgrid::simix::kernelImmediate([name, code, data, host, properties, self] {
898     return SIMIX_process_create(name, std::move(code), data, host, properties, self);
899   });
900 }