Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'master' into CRTP
[simgrid.git] / src / kernel / actor / ActorImpl.cpp
1 /* Copyright (c) 2007-2019. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #include "mc/mc.h"
7 #include "simgrid/Exception.hpp"
8 #include "simgrid/s4u/Actor.hpp"
9 #include "simgrid/s4u/Exec.hpp"
10 #include "src/kernel/activity/CommImpl.hpp"
11 #include "src/kernel/activity/ExecImpl.hpp"
12 #include "src/kernel/activity/IoImpl.hpp"
13 #include "src/kernel/activity/SleepImpl.hpp"
14 #include "src/kernel/activity/SynchroRaw.hpp"
15 #include "src/mc/mc_replay.hpp"
16 #include "src/mc/remote/Client.hpp"
17 #include "src/simix/smx_private.hpp"
18 #include "src/surf/HostImpl.hpp"
19 #include "src/surf/cpu_interface.hpp"
20
21 #include <boost/range/algorithm.hpp>
22 #include <utility>
23
24 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(simix_process, simix, "Logging specific to SIMIX (process)");
25
26 /**
27  * @brief Returns the current agent.
28  *
29  * This functions returns the currently running SIMIX process.
30  *
31  * @return The SIMIX process
32  */
33 smx_actor_t SIMIX_process_self()
34 {
35   simgrid::kernel::context::Context* self_context = simgrid::kernel::context::Context::self();
36
37   return (self_context != nullptr) ? self_context->get_actor() : nullptr;
38 }
39
40 /**
41  * @brief Returns whether a process has pending asynchronous communications.
42  * @return true if there are asynchronous communications in this process
43  * @deprecated
44  */
45 int SIMIX_process_has_pending_comms(smx_actor_t process)
46 {
47
48   return process->comms.size() > 0;
49 }
50
51 namespace simgrid {
52 namespace kernel {
53 namespace actor {
54
55 static unsigned long maxpid = 0;
56 int get_maxpid()
57 {
58   return maxpid;
59 }
60
61 ActorImpl::ActorImpl(simgrid::xbt::string name, s4u::Host* host) : host_(host), name_(std::move(name)), piface_(this)
62 {
63   pid_           = maxpid++;
64   simcall.issuer_ = this;
65 }
66
67 ActorImpl::~ActorImpl()
68 {
69   if (simix_global != nullptr && this != simix_global->maestro_process) {
70     if (context_.get() != nullptr) /* the actor was not start()ed yet. This happens if its host was initially off */
71       context_->iwannadie = false; // don't let the simcall's yield() do a Context::stop(), to avoid infinite loops
72     simgrid::kernel::actor::simcall([this] { simgrid::s4u::Actor::on_destruction(*ciface()); });
73     if (context_.get() != nullptr)
74       context_->iwannadie = true;
75   }
76 }
77
78 /* Become an actor in the simulation
79  *
80  * Currently this can only be called by the main thread (once) and only work with some thread factories
81  * (currently ThreadContextFactory).
82  *
83  * In the future, it might be extended in order to attach other threads created by a third party library.
84  */
85
86 ActorImplPtr ActorImpl::attach(const std::string& name, void* data, s4u::Host* host,
87                                const std::unordered_map<std::string, std::string>* properties)
88 {
89   // This is mostly a copy/paste from create(), it'd be nice to share some code between those two functions.
90
91   XBT_DEBUG("Attach process %s on host '%s'", name.c_str(), host->get_cname());
92
93   if (not host->is_on()) {
94     XBT_WARN("Cannot launch process '%s' on failed host '%s'", name.c_str(), host->get_cname());
95     throw simgrid::HostFailureException(XBT_THROW_POINT, "Cannot attach actor on failed host.");
96   }
97
98   ActorImpl* actor = new ActorImpl(xbt::string(name), host);
99   /* Actor data */
100   actor->set_user_data(data);
101   actor->code_ = nullptr;
102
103   XBT_VERB("Create context %s", actor->get_cname());
104   xbt_assert(simix_global != nullptr, "simix is not initialized, please call MSG_init first");
105   actor->context_.reset(simix_global->context_factory->attach(actor));
106
107   /* Add properties */
108   if (properties != nullptr)
109     actor->set_properties(*properties);
110
111   /* Add the process to it's host process list */
112   host->pimpl_->process_list_.push_back(*actor);
113
114   /* Now insert it in the global process list and in the process to run list */
115   simix_global->process_list[actor->get_pid()] = actor;
116   XBT_DEBUG("Inserting [%p] %s(%s) in the to_run list", actor, actor->get_cname(), host->get_cname());
117   simix_global->actors_to_run.push_back(actor);
118   intrusive_ptr_add_ref(actor);
119
120   auto* context = dynamic_cast<simgrid::kernel::context::AttachContext*>(actor->context_.get());
121   xbt_assert(nullptr != context, "Not a suitable context");
122   context->attach_start();
123
124   /* The on_creation() signal must be delayed until there, where the pid and everything is set */
125   simgrid::s4u::Actor::on_creation(*actor->ciface());
126
127   return ActorImplPtr(actor);
128 }
129 /** @brief Detach an actor attached with `attach()`
130  *
131  *  This is called when the current actor has finished its job.
132  *  Used in the main thread, it waits for the simulation to finish before returning. When it returns, the other
133  *  simulated actors and the maestro are destroyed.
134  */
135 void ActorImpl::detach()
136 {
137   auto* context = dynamic_cast<context::AttachContext*>(context::Context::self());
138   if (context == nullptr)
139     xbt_die("Not a suitable context");
140
141   context->get_actor()->cleanup();
142   context->attach_stop();
143 }
144
145 void ActorImpl::cleanup()
146 {
147   finished_ = true;
148
149   if (has_to_auto_restart() && not get_host()->is_on()) {
150     XBT_DEBUG("Insert host %s to watched_hosts because it's off and %s needs to restart", get_host()->get_cname(),
151               get_cname());
152     watched_hosts.insert(get_host()->get_name());
153   }
154
155   if (on_exit) {
156     // Execute the termination callbacks
157     bool failed = context_->iwannadie;
158     for (auto exit_fun = on_exit->crbegin(); exit_fun != on_exit->crend(); ++exit_fun)
159       (*exit_fun)(failed);
160     on_exit.reset();
161   }
162   undaemonize();
163
164   /* cancel non-blocking activities */
165   for (auto activity : comms)
166     boost::static_pointer_cast<activity::CommImpl>(activity)->cancel();
167   comms.clear();
168
169   XBT_DEBUG("%s@%s(%ld) should not run anymore", get_cname(), get_host()->get_cname(), get_pid());
170
171   if (this == simix_global->maestro_process) /* Do not cleanup maestro */
172     return;
173
174   XBT_DEBUG("Cleanup actor %s (%p), waiting synchro %p", get_cname(), this, waiting_synchro.get());
175
176   /* Unregister from the kill timer if any */
177   if (kill_timer != nullptr) {
178     kill_timer->remove();
179     kill_timer = nullptr;
180   }
181
182   simix_global->mutex.lock();
183
184   simix_global->process_list.erase(pid_);
185   if (host_ && host_process_list_hook.is_linked())
186     simgrid::xbt::intrusive_erase(host_->pimpl_->process_list_, *this);
187   if (not smx_destroy_list_hook.is_linked()) {
188 #if SIMGRID_HAVE_MC
189     xbt_dynar_push_as(simix_global->dead_actors_vector, ActorImpl*, this);
190 #endif
191     simix_global->actors_to_destroy.push_back(*this);
192   }
193
194   simix_global->mutex.unlock();
195
196   context_->iwannadie = false; // don't let the simcall's yield() do a Context::stop(), to avoid infinite loops
197   simgrid::kernel::actor::simcall([this] { simgrid::s4u::Actor::on_termination(*ciface()); });
198   context_->iwannadie = true;
199 }
200
201 void ActorImpl::exit()
202 {
203   context_->iwannadie = true;
204   suspended_          = false;
205   exception_          = nullptr;
206
207   /* destroy the blocking synchro if any */
208   if (waiting_synchro != nullptr) {
209     waiting_synchro->cancel();
210     waiting_synchro->state_ = SIMIX_FAILED;
211
212     activity::ExecImplPtr exec   = boost::dynamic_pointer_cast<activity::ExecImpl>(waiting_synchro);
213     activity::CommImplPtr comm   = boost::dynamic_pointer_cast<activity::CommImpl>(waiting_synchro);
214
215     if (exec != nullptr) {
216       exec->clean_action();
217     } else if (comm != nullptr) {
218       comms.remove(waiting_synchro);
219       // Remove first occurrence of &actor->simcall:
220       auto i = boost::range::find(waiting_synchro->simcalls_, &simcall);
221       if (i != waiting_synchro->simcalls_.end())
222         waiting_synchro->simcalls_.remove(&simcall);
223     } else {
224       activity::ActivityImplPtr(waiting_synchro)->finish();
225     }
226
227     waiting_synchro = nullptr;
228   }
229
230   // Forcefully kill the actor if its host is turned off. Not a HostFailureException because you should not survive that
231   this->throw_exception(std::make_exception_ptr(ForcefulKillException(host_->is_on() ? "exited" : "host failed")));
232 }
233
234 void ActorImpl::kill(ActorImpl* actor)
235 {
236   if (actor->finished_) {
237     XBT_DEBUG("Ignoring request to kill actor %s@%s that is already dead", actor->get_cname(),
238               actor->host_->get_cname());
239     return;
240   }
241
242   XBT_DEBUG("Actor '%s'@%s is killing actor '%s'@%s", get_cname(), host_ ? host_->get_cname() : "", actor->get_cname(),
243             actor->host_ ? actor->host_->get_cname() : "");
244
245   actor->exit();
246
247   if (std::find(begin(simix_global->actors_to_run), end(simix_global->actors_to_run), actor) ==
248           end(simix_global->actors_to_run) &&
249       actor != this) {
250     XBT_DEBUG("Inserting %s in the to_run list", actor->get_cname());
251     simix_global->actors_to_run.push_back(actor);
252   }
253 }
254
255 void ActorImpl::kill_all()
256 {
257   for (auto const& kv : simix_global->process_list)
258     if (kv.second != this)
259       this->kill(kv.second);
260 }
261
262 void ActorImpl::set_kill_time(double kill_time)
263 {
264   if (kill_time <= SIMIX_get_clock())
265     return;
266   XBT_DEBUG("Set kill time %f for actor %s@%s", kill_time, get_cname(), host_->get_cname());
267   kill_timer = simix::Timer::set(kill_time, [this] {
268     this->exit();
269     kill_timer = nullptr;
270   });
271 }
272
273 double ActorImpl::get_kill_time()
274 {
275   return kill_timer ? kill_timer->get_date() : 0;
276 }
277
278 void ActorImpl::yield()
279 {
280   XBT_DEBUG("Yield actor '%s'", get_cname());
281
282   /* Go into sleep and return control to maestro */
283   context_->suspend();
284
285   /* Ok, maestro returned control to us */
286   XBT_DEBUG("Control returned to me: '%s'", get_cname());
287
288   if (context_->iwannadie) {
289     XBT_DEBUG("Actor %s@%s is dead", get_cname(), host_->get_cname());
290     // throw simgrid::kernel::context::ForcefulKillException(); Does not seem to properly kill the actor
291     context_->stop();
292     THROW_IMPOSSIBLE;
293   }
294
295   if (suspended_) {
296     XBT_DEBUG("Hey! I'm suspended.");
297
298     xbt_assert(exception_ == nullptr, "Gasp! This exception may be lost by subsequent calls.");
299     suspended_ = false;
300     suspend();
301   }
302
303   if (exception_ != nullptr) {
304     XBT_DEBUG("Wait, maestro left me an exception");
305     std::exception_ptr exception = std::move(exception_);
306     exception_                   = nullptr;
307     std::rethrow_exception(std::move(exception));
308   }
309
310   if (SMPI_switch_data_segment && not finished_) {
311     SMPI_switch_data_segment(iface());
312   }
313 }
314
315 /** This actor will be terminated automatically when the last non-daemon actor finishes */
316 void ActorImpl::daemonize()
317 {
318   if (not daemon_) {
319     daemon_ = true;
320     simix_global->daemons.push_back(this);
321   }
322 }
323
324 void ActorImpl::undaemonize()
325 {
326   if (daemon_) {
327     auto& vect = simix_global->daemons;
328     auto it    = std::find(vect.begin(), vect.end(), this);
329     xbt_assert(it != vect.end(), "The dying daemon is not a daemon after all. Please report that bug.");
330     /* Don't move the whole content since we don't really care about the order */
331
332     std::swap(*it, vect.back());
333     vect.pop_back();
334     daemon_ = false;
335   }
336 }
337
338 s4u::Actor* ActorImpl::restart()
339 {
340   xbt_assert(this != simix_global->maestro_process, "Restarting maestro is not supported");
341
342   XBT_DEBUG("Restarting actor %s on %s", get_cname(), host_->get_cname());
343
344   // retrieve the arguments of the old actor
345   ProcessArg arg = ProcessArg(host_, this);
346
347   // kill the old actor
348   context::Context::self()->get_actor()->kill(this);
349
350   // start the new actor
351   ActorImplPtr actor =
352       ActorImpl::create(arg.name, std::move(arg.code), arg.data, arg.host, arg.properties.get(), nullptr);
353   *actor->on_exit = std::move(*arg.on_exit);
354   actor->set_kill_time(arg.kill_time);
355   actor->set_auto_restart(arg.auto_restart);
356
357   return actor->ciface();
358 }
359
360 void ActorImpl::suspend()
361 {
362   if (suspended_) {
363     XBT_DEBUG("Actor '%s' is already suspended", get_cname());
364     return;
365   }
366
367   suspended_ = true;
368
369   /* If the suspended actor is waiting on a sync, suspend its synchronization. */
370   if (waiting_synchro == nullptr) {
371     auto exec = new activity::ExecImpl();
372     exec->set_name("suspend").set_host(host_).set_flops_amount(0.0).start();
373     waiting_synchro = activity::ExecImplPtr(exec);
374
375     waiting_synchro->simcalls_.push_back(&simcall);
376   }
377   waiting_synchro->suspend();
378 }
379
380 void ActorImpl::resume()
381 {
382   XBT_IN("actor = %p", this);
383
384   if (context_->iwannadie) {
385     XBT_VERB("Ignoring request to suspend an actor that is currently dying.");
386     return;
387   }
388
389   if (not suspended_)
390     return;
391   suspended_ = false;
392
393   /* resume the synchronization that was blocking the resumed actor. */
394   if (waiting_synchro)
395     waiting_synchro->resume();
396
397   XBT_OUT();
398 }
399
400 activity::ActivityImplPtr ActorImpl::join(ActorImpl* actor, double timeout)
401 {
402   activity::ActivityImplPtr sleep = this->sleep(timeout);
403   SIMIX_process_on_exit(actor, [sleep](bool) {
404     if (sleep->surf_action_)
405       sleep->surf_action_->finish(resource::Action::State::FINISHED);
406   });
407   return sleep;
408 }
409
410 activity::ActivityImplPtr ActorImpl::sleep(double duration)
411 {
412   if (not host_->is_on())
413     throw_exception(std::make_exception_ptr(simgrid::HostFailureException(
414         XBT_THROW_POINT, std::string("Host ") + host_->get_cname() + " failed, you cannot sleep there.")));
415
416   auto sleep = new activity::SleepImpl();
417   sleep->set_name("sleep").set_host(host_).set_duration(duration).start();
418   return activity::SleepImplPtr(sleep);
419 }
420
421 void ActorImpl::throw_exception(std::exception_ptr e)
422 {
423   exception_ = e;
424
425   if (suspended_)
426     resume();
427
428   /* cancel the blocking synchro if any */
429   if (waiting_synchro) {
430     waiting_synchro->cancel();
431
432     activity::CommImplPtr comm = boost::dynamic_pointer_cast<activity::CommImpl>(waiting_synchro);
433
434     if (comm != nullptr)
435       comms.remove(comm);
436
437     waiting_synchro = nullptr;
438   }
439 }
440
441 void ActorImpl::simcall_answer()
442 {
443   if (this != simix_global->maestro_process){
444     XBT_DEBUG("Answer simcall %s (%d) issued by %s (%p)", SIMIX_simcall_name(simcall.call_), (int)simcall.call_,
445               get_cname(), this);
446     simcall.call_ = SIMCALL_NONE;
447     xbt_assert(not XBT_LOG_ISENABLED(simix_process, xbt_log_priority_debug) ||
448                    std::find(begin(simix_global->actors_to_run), end(simix_global->actors_to_run), this) ==
449                        end(simix_global->actors_to_run),
450                "Actor %p should not exist in actors_to_run!", this);
451     simix_global->actors_to_run.push_back(this);
452   }
453 }
454
455 void ActorImpl::set_host(s4u::Host* dest)
456 {
457   xbt::intrusive_erase(host_->pimpl_->process_list_, *this);
458   host_ = dest;
459   dest->pimpl_->process_list_.push_back(*this);
460 }
461
462 ActorImplPtr ActorImpl::init(const std::string& name, s4u::Host* host)
463 {
464   ActorImpl* actor = new ActorImpl(xbt::string(name), host);
465   actor->set_ppid(this->pid_);
466
467   intrusive_ptr_add_ref(actor);
468   /* The on_creation() signal must be delayed until there, where the pid and everything is set */
469   s4u::Actor::on_creation(*actor->ciface());
470
471   return ActorImplPtr(actor);
472 }
473
474 ActorImpl* ActorImpl::start(const simix::ActorCode& code)
475 {
476   xbt_assert(code && host_ != nullptr, "Invalid parameters");
477
478   if (not host_->is_on()) {
479     XBT_WARN("Cannot launch actor '%s' on failed host '%s'", name_.c_str(), host_->get_cname());
480     intrusive_ptr_release(this);
481     throw simgrid::HostFailureException(XBT_THROW_POINT, "Cannot start actor on failed host.");
482   }
483
484   this->code_ = code;
485   XBT_VERB("Create context %s", get_cname());
486   context_.reset(simix_global->context_factory->create_context(simix::ActorCode(code), this));
487
488   XBT_DEBUG("Start context '%s'", get_cname());
489
490   /* Add the actor to its host's actor list */
491   host_->pimpl_->process_list_.push_back(*this);
492   simix_global->process_list[pid_] = this;
493
494   /* Now insert it in the global actor list and in the actor to run list */
495   XBT_DEBUG("Inserting [%p] %s(%s) in the to_run list", this, get_cname(), host_->get_cname());
496   simix_global->actors_to_run.push_back(this);
497
498   return this;
499 }
500
501 ActorImplPtr ActorImpl::create(const std::string& name, const simix::ActorCode& code, void* data, s4u::Host* host,
502                                const std::unordered_map<std::string, std::string>* properties, ActorImpl* parent_actor)
503 {
504   XBT_DEBUG("Start actor %s@'%s'", name.c_str(), host->get_cname());
505
506   ActorImplPtr actor;
507   if (parent_actor != nullptr)
508     actor = parent_actor->init(xbt::string(name), host);
509   else
510     actor = SIMIX_process_self()->init(xbt::string(name), host);
511
512   /* actor data */
513   actor->set_user_data(data);
514
515   /* Add properties */
516   if (properties != nullptr)
517     actor->set_properties(*properties);
518
519   actor->start(code);
520
521   return actor;
522 }
523
524 void create_maestro(const std::function<void()>& code)
525 {
526   /* Create maestro actor and initialize it */
527   ActorImpl* maestro = new ActorImpl(xbt::string(""), /*host*/ nullptr);
528
529   if (not code) {
530     maestro->context_.reset(simix_global->context_factory->create_context(simix::ActorCode(), maestro));
531   } else {
532     maestro->context_.reset(simix_global->context_factory->create_maestro(simix::ActorCode(code), maestro));
533   }
534
535   maestro->simcall.issuer_      = maestro;
536   simix_global->maestro_process = maestro;
537 }
538
539 } // namespace actor
540 } // namespace kernel
541 } // namespace simgrid
542
543 void SIMIX_process_detach() // deprecated v3.25
544 {
545   simgrid::kernel::actor::ActorImpl::detach();
546 }
547
548 smx_actor_t SIMIX_process_attach(const char* name, void* data, const char* hostname,
549                                  std::unordered_map<std::string, std::string>* properties,
550                                  smx_actor_t /*parent_process*/) // deprecated 3.25
551 {
552   return simgrid::kernel::actor::ActorImpl::attach(name, data, sg_host_by_name(hostname), properties).get();
553 }
554
555 int SIMIX_process_count()
556 {
557   return simix_global->process_list.size();
558 }
559
560 void* SIMIX_process_self_get_data() // deprecated
561 {
562   smx_actor_t self = SIMIX_process_self();
563
564   if (self == nullptr) {
565     return nullptr;
566   }
567   return self->get_user_data();
568 }
569
570 void SIMIX_process_self_set_data(void* data) // deprecated
571 {
572   SIMIX_process_self()->set_user_data(data);
573 }
574
575 /* needs to be public and without simcall because it is called
576    by exceptions and logging events */
577 const char* SIMIX_process_self_get_name()
578 {
579
580   smx_actor_t process = SIMIX_process_self();
581   if (process == nullptr || process == simix_global->maestro_process)
582     return "maestro";
583
584   return process->get_cname();
585 }
586
587 /**
588  * @brief Calling this function makes the process to yield.
589  *
590  * Only the current process can call this function, giving back the control to maestro.
591  *
592  * @param self the current process
593  */
594
595 /** @brief Returns the list of processes to run.
596  * @deprecated
597  */
598 const std::vector<smx_actor_t>& simgrid::simix::process_get_runnable()
599 {
600   return simix_global->actors_to_run;
601 }
602
603 /** @brief Returns the process from PID. */
604 smx_actor_t SIMIX_process_from_PID(aid_t PID)
605 {
606   auto item = simix_global->process_list.find(PID);
607   if (item == simix_global->process_list.end()) {
608     for (auto& a : simix_global->actors_to_destroy)
609       if (a.get_pid() == PID)
610         return &a;
611     return nullptr; // Not found, even in the trash
612   }
613   return item->second;
614 }
615
616 void SIMIX_process_on_exit(smx_actor_t actor, int_f_pvoid_pvoid_t fun, void* data)
617 {
618   SIMIX_process_on_exit(actor, [fun, data](bool failed) {
619     intptr_t status = failed ? SMX_EXIT_FAILURE : SMX_EXIT_SUCCESS;
620     fun(reinterpret_cast<void*>(status), data);
621   });
622 }
623
624 void SIMIX_process_on_exit(smx_actor_t actor, const std::function<void(int, void*)>& fun, void* data)
625 {
626   SIMIX_process_on_exit(actor, [fun, data](bool failed) { fun(failed ? SMX_EXIT_FAILURE : SMX_EXIT_SUCCESS, data); });
627 }
628
629 void SIMIX_process_on_exit(smx_actor_t actor, const std::function<void(bool /*failed*/)>& fun)
630 {
631   xbt_assert(actor, "current process not found: are you in maestro context ?");
632   actor->on_exit->emplace_back(fun);
633 }
634
635 /** @brief Restart a process, starting it again from the beginning. */
636 /**
637  * @ingroup simix_process_management
638  * @brief Creates and runs a new SIMIX process.
639  *
640  * The structure and the corresponding thread are created and put in the list of ready processes.
641  *
642  * @param name a name for the process. It is for user-level information and can be nullptr.
643  * @param code the main function of the process
644  * @param data a pointer to any data one may want to attach to the new object. It is for user-level information and can
645  * be nullptr.
646  * It can be retrieved with the method ActorImpl::getUserData().
647  * @param host where the new agent is executed.
648  * @param properties the properties of the process
649  */
650 smx_actor_t simcall_process_create(const std::string& name, const simgrid::simix::ActorCode& code, void* data,
651                                    sg_host_t host, std::unordered_map<std::string, std::string>* properties)
652 {
653   smx_actor_t self = SIMIX_process_self();
654   return simgrid::kernel::actor::simcall([&name, &code, data, host, properties, self] {
655     return simgrid::kernel::actor::ActorImpl::create(name, code, data, host, properties, self).get();
656   });
657 }
658
659 void simcall_process_set_data(smx_actor_t process, void* data)
660 {
661   simgrid::kernel::actor::simcall([process, data] { process->set_user_data(data); });
662 }