Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Actor: make the refcount observable, and improve debug messages
[simgrid.git] / include / simgrid / s4u / Actor.hpp
index 72a5c6e..3b847f2 100644 (file)
@@ -1,4 +1,4 @@
-/* Copyright (c) 2006-2016. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2006-2019. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
@@ -6,31 +6,22 @@
 #ifndef SIMGRID_S4U_ACTOR_HPP
 #define SIMGRID_S4U_ACTOR_HPP
 
-#include <atomic>
-#include <chrono>
-#include <functional>
-#include <memory>
-#include <stdexcept>
-#include <string>
-#include <type_traits>
-#include <utility>
-#include <vector>
-
-#include <boost/intrusive_ptr.hpp>
+#include <simgrid/forward.h>
 
+#include <simgrid/chrono.hpp>
 #include <xbt/Extendable.hpp>
-#include <xbt/base.h>
 #include <xbt/functional.hpp>
+#include <xbt/signal.hpp>
 #include <xbt/string.hpp>
 
-#include <simgrid/chrono.hpp>
-#include <simgrid/simix.h>
-#include <simgrid/s4u/forward.hpp>
+#include <functional>
+#include <map> // deprecated wrappers
+#include <unordered_map>
 
 namespace simgrid {
 namespace s4u {
 
-/** @ingroup s4u_api
+/**
  *
  * An actor is an independent stream of execution in your distributed application.
  *
@@ -54,7 +45,7 @@ namespace s4u {
  * pure function or as an object. It is very simple with functions:
  *
  * @code{.cpp}
- * #include "s4u/actor.hpp"
+ * #include <simgrid/s4u/actor.hpp>
  *
  * // Declare the code of your worker
  * void worker() {
@@ -72,7 +63,7 @@ namespace s4u {
  * The syntax is slightly more complicated, but not much.
  *
  * @code{.cpp}
- * #include "s4u/actor.hpp"
+ * #include <simgrid/s4u/actor.hpp>
  *
  * // Declare the class representing your actors
  * class Worker {
@@ -110,20 +101,20 @@ namespace s4u {
  *
  * @code{.xml}
  * <?xml version='1.0'?>
- * <!DOCTYPE platform SYSTEM "http://simgrid.gforge.inria.fr/simgrid/simgrid.dtd">
- * <platform version="4">
+ * <!DOCTYPE platform SYSTEM "https://simgrid.org/simgrid.dtd">
+ * <platform version="4.1">
  *
- *   <!-- Start a process called 'master' on the host called 'Tremblay' -->
- *   <process host="Tremblay" function="master">
+ *   <!-- Start an actor called 'master' on the host called 'Tremblay' -->
+ *   <actor host="Tremblay" function="master">
  *      <!-- Here come the parameter that you want to feed to this instance of master -->
  *      <argument value="20"/>        <!-- argv[1] -->
  *      <argument value="50000000"/>  <!-- argv[2] -->
  *      <argument value="1000000"/>   <!-- argv[3] -->
  *      <argument value="5"/>         <!-- argv[4] -->
- *   </process>
+ *   </actor>
  *
- *   <!-- Start a process called 'worker' on the host called 'Jupiter' -->
- *   <process host="Jupiter" function="worker"/> <!-- Don't provide any parameter ->>
+ *   <!-- Start an actor called 'worker' on the host called 'Jupiter' -->
+ *   <actor host="Jupiter" function="worker"/> <!-- Don't provide any parameter ->>
  *
  * </platform>
  * @endcode
@@ -132,23 +123,13 @@ namespace s4u {
  */
 
 /** @brief Simulation Agent */
-XBT_PUBLIC_CLASS Actor : public simgrid::xbt::Extendable<Actor>
-{
-
+class XBT_PUBLIC Actor : public xbt::Extendable<Actor> {
+  friend Exec;
   friend Mailbox;
-  friend simgrid::simix::ActorImpl;
-  friend simgrid::kernel::activity::MailboxImpl;
-  simix::ActorImpl* pimpl_ = nullptr;
+  friend kernel::actor::ActorImpl;
+  friend kernel::activity::MailboxImpl;
 
-  /** Wrap a (possibly non-copyable) single-use task into a `std::function` */
-  template<class F, class... Args>
-  static std::function<void()> wrap_task(F f, Args... args)
-  {
-    typedef decltype(f(std::move(args)...)) R;
-    auto task = std::make_shared<simgrid::xbt::Task<R()>>(
-      simgrid::xbt::makeTask(std::move(f), std::move(args)...));
-    return [task] { (*task)(); };
-  }
+  kernel::actor::ActorImpl* const pimpl_;
 
   explicit Actor(smx_actor_t pimpl) : pimpl_(pimpl) {}
 
@@ -158,149 +139,335 @@ public:
   Actor(Actor const&) = delete;
   Actor& operator=(Actor const&) = delete;
 
-  // ***** Reference count (delegated to pimpl_) *****
-  friend void intrusive_ptr_add_ref(Actor* actor)
-  {
-    xbt_assert(actor != nullptr);
-    SIMIX_process_ref(actor->pimpl_);
-  }
-  friend void intrusive_ptr_release(Actor* actor)
-  {
-    xbt_assert(actor != nullptr);
-    SIMIX_process_unref(actor->pimpl_);
-  }
+  // ***** Reference count *****
+  friend XBT_PUBLIC void intrusive_ptr_add_ref(Actor * actor);
+  friend XBT_PUBLIC void intrusive_ptr_release(Actor * actor);
+  int get_refcount();
 
   // ***** Actor creation *****
   /** Retrieve a reference to myself */
-  static ActorPtr self();
-
-  /** Create an actor using a function
+  static Actor* self();
+
+  /** Signal to others that a new actor has been created **/
+  static xbt::signal<void(Actor&)> on_creation;
+  /** Signal to others that an actor has been suspended**/
+  static xbt::signal<void(Actor const&)> on_suspend;
+  /** Signal to others that an actor has been resumed **/
+  static xbt::signal<void(Actor const&)> on_resume;
+  /** Signal to others that an actor is sleeping **/
+  static xbt::signal<void(Actor const&)> on_sleep;
+  /** Signal to others that an actor wakes up for a sleep **/
+  static xbt::signal<void(Actor const&)> on_wake_up;
+  /** Signal to others that an actor is going to migrated to another host**/
+  static xbt::signal<void(Actor const&)> on_migration_start;
+  /** Signal to others that an actor is has been migrated to another host **/
+  static xbt::signal<void(Actor const&)> on_migration_end;
+  /** Signal indicating that an actor is about to disappear.
+   *  This signal is fired for any dying actor, which is mostly useful when designing plugins and extensions. If you
+   *  want to register to the termination of a given actor, use this_actor::on_exit() instead.*/
+  static xbt::signal<void(Actor const&)> on_destruction;
+
+  /** Create an actor from a std::function<void()>
    *
    *  If the actor is restarted, the actor has a fresh copy of the function.
    */
-  static ActorPtr createActor(const char* name, s4u::Host* host, std::function<void()> code);
+  static ActorPtr create(const std::string& name, s4u::Host* host, const std::function<void()>& code);
+  static ActorPtr init(const std::string& name, s4u::Host* host);
+  ActorPtr start(const std::function<void()>& code);
 
-  /** Create an actor using code
+  /** Create an actor from a std::function
    *
-   *  Using this constructor, move-only type can be used. The consequence is
-   *  that we cannot copy the value and restart the process in its initial
-   *  state. In order to use auto-restart, an explicit `function` must be passed
-   *  instead.
+   *  If the actor is restarted, the actor has a fresh copy of the function.
    */
-  template<class F, class... Args,
-    // This constructor is enabled only if the call code(args...) is valid:
-    typename = typename std::result_of<F(Args...)>::type
-    >
-  static ActorPtr createActor(const char* name, s4u::Host *host, F code, Args... args)
+  template <class F> static ActorPtr create(const std::string& name, s4u::Host* host, F code)
   {
-    return createActor(name, host, wrap_task(std::move(code), std::move(args)...));
+    return create(name, host, std::function<void()>(std::move(code)));
   }
 
-  // Create actor from function name:
+  /** Create an actor using a callable thing and its arguments.
+   *
+   * Note that the arguments will be copied, so move-only parameters are forbidden */
+  template <class F, class... Args,
+            // This constructor is enabled only if the call code(args...) is valid:
+            typename = typename std::result_of<F(Args...)>::type>
+  static ActorPtr create(const std::string& name, s4u::Host* host, F code, Args... args)
+  {
+    return create(name, host, std::bind(std::move(code), std::move(args)...));
+  }
 
-  static ActorPtr createActor(const char* name, s4u::Host* host, const char* function, std::vector<std::string> args);
+  // Create actor from function name:
+  static ActorPtr create(const std::string& name, s4u::Host* host, const std::string& function,
+                         std::vector<std::string> args);
 
   // ***** Methods *****
+  /** This actor will be automatically terminated when the last non-daemon actor finishes **/
+  void daemonize();
+
+  /** Returns whether or not this actor has been daemonized or not **/
+  bool is_daemon() const;
 
-  /** Retrieves the name of that actor as a C string */
-  const char* cname();
   /** Retrieves the name of that actor as a C++ string */
-  simgrid::xbt::string name();
+  const simgrid::xbt::string& get_name() const;
+  /** Retrieves the name of that actor as a C string */
+  const char* get_cname() const;
   /** Retrieves the host on which that actor is running */
-  s4u::Host* host();
-  /** Retrieves the PID of that actor */
-  int pid();
-  /** Retrieves the PPID of that actor */
-  int ppid();
+  Host* get_host() const;
+  /** Retrieves the actor ID of that actor */
+  aid_t get_pid() const;
+  /** Retrieves the actor ID of that actor's creator */
+  aid_t get_ppid() const;
+
+  /** Suspend an actor, that is blocked until resume()ed by another actor */
+  void suspend();
+
+  /** Resume an actor that was previously suspend()ed */
+  void resume();
+
+  /** Returns true if the actor is suspended. */
+  bool is_suspended();
 
   /** If set to true, the actor will automatically restart when its host reboots */
-  void setAutoRestart(bool autorestart);
+  void set_auto_restart(bool autorestart);
+
+  /** Add a function to the list of "on_exit" functions for the current actor. The on_exit functions are the functions
+   * executed when your actor is killed. You should use them to free the data used by your actor.
+   *
+   * Please note that functions registered in this signal cannot do any simcall themselves. It means that they cannot
+   * send or receive messages, acquire or release mutexes, nor even modify a host property or something. Not only are
+   * blocking functions forbidden in this setting, but also modifications to the global state.
+   *
+   * The parameter of on_exit's callbacks denotes whether or not the actor's execution failed.
+   * It will be set to true if the actor was killed or failed because of an exception,
+   * while it will remain to false if the actor terminated gracefully.
+   */
+  void on_exit(const std::function<void(bool /*failed*/)>& fun) const;
+
   /** Sets the time at which that actor should be killed */
-  void setKillTime(double time);
+  void set_kill_time(double time);
   /** Retrieves the time at which that actor will be killed (or -1 if not set) */
-  double killTime();
+  double get_kill_time();
+
+  /** @brief Moves the actor to another host
+   *
+   * If the actor is currently blocked on an execution activity, the activity is also
+   * migrated to the new host. If it's blocked on another kind of activity, an error is
+   * raised as the mandated code is not written yet. Please report that bug if you need it.
+   *
+   * Asynchronous activities started by the actor are not migrated automatically, so you have
+   * to take care of this yourself (only you knows which ones should be migrated).
+   */
+  void migrate(Host * new_host);
 
   /** Ask the actor to die.
    *
-   * It will only notice your request when doing a simcall next time (a communication or similar).
-   * SimGrid sometimes have issues when you kill actors that are currently communicating and such.
+   * Any blocking activity will be canceled, and it will be rescheduled to free its memory.
+   * Being killed is not something that actors can defer or avoid.
+   *
+   * SimGrid still have sometimes issues when you kill actors that are currently communicating and such.
    * Still. Please report any bug that you may encounter with a minimal working example.
    */
   void kill();
 
-  static void kill(int pid);
-
   /** Retrieves the actor that have the given PID (or nullptr if not existing) */
-  static ActorPtr byPid(int pid);
+  static ActorPtr by_pid(aid_t pid);
 
-  /** @brief Wait for the actor to finish.
+  /** Wait for the actor to finish.
    *
-   * This blocks the calling actor until the actor on which we call join() is terminated
+   * Blocks the calling actor until the joined actor is terminated. If actor alice executes bob.join(), then alice is
+   * blocked until bob terminates.
    */
   void join();
-  
-  // Static methods on all actors:
 
-  /** Ask kindly to all actors to die. Only the issuer will survive. */
-  static void killAll();
+  /** Wait for the actor to finish, or for the timeout to elapse.
+   *
+   * Blocks the calling actor until the joined actor is terminated. If actor alice executes bob.join(), then alice is
+   * blocked until bob terminates.
+   */
+  void join(double timeout);
+  Actor* restart();
+
+  /** Kill all actors (but the issuer). Being killed is not something that actors can delay or avoid. */
+  static void kill_all();
 
   /** Returns the internal implementation of this actor */
-  simix::ActorImpl* getImpl();
+  kernel::actor::ActorImpl* get_impl() const { return pimpl_; }
+
+  /** Retrieve the property value (or nullptr if not set) */
+  const std::unordered_map<std::string, std::string>*
+  get_properties() const; // FIXME: do not export the map, but only the keys or something
+  const char* get_property(const std::string& key) const;
+  void set_property(const std::string& key, const std::string& value);
+
+#ifndef DOXYGEN
+  XBT_ATTRIB_DEPRECATED_v325("Please use Actor::on_exit(fun) instead") void on_exit(
+      const std::function<void(int, void*)>& fun, void* data);
+
+  XBT_ATTRIB_DEPRECATED_v325("Please use Actor::by_pid(pid).kill() instead") static void kill(aid_t pid);
+#endif
 };
 
 /** @ingroup s4u_api
  *  @brief Static methods working on the current actor (see @ref s4u::Actor) */
 namespace this_actor {
 
-  /** Block the actor sleeping for that amount of seconds (may throws hostFailure) */
-  XBT_PUBLIC(void) sleep_for(double duration);
-  XBT_PUBLIC(void) sleep_until(double timeout);
+XBT_PUBLIC bool is_maestro();
 
-  template<class Rep, class Period>
-  inline void sleep_for(std::chrono::duration<Rep, Period> duration)
-  {
-    auto seconds = std::chrono::duration_cast<SimulationClockDuration>(duration);
-    this_actor::sleep_for(seconds.count());
-  }
-  template<class Duration>
-  inline void sleep_until(const SimulationTimePoint<Duration>& timeout_time)
-  {
-    auto timeout_native = std::chrono::time_point_cast<SimulationClockDuration>(timeout_time);
-    this_actor::sleep_until(timeout_native.time_since_epoch().count());
-  }
+/** Block the current actor sleeping for that amount of seconds */
+XBT_PUBLIC void sleep_for(double duration);
+/** Block the current actor sleeping until the specified timestamp */
+XBT_PUBLIC void sleep_until(double wakeup_time);
 
-  XBT_ATTRIB_DEPRECATED("Use sleep_for()")
-  inline void sleep(double duration)
-  {
-    return sleep_for(duration);
-  }
+template <class Rep, class Period> inline void sleep_for(std::chrono::duration<Rep, Period> duration)
+{
+  auto seconds = std::chrono::duration_cast<SimulationClockDuration>(duration);
+  this_actor::sleep_for(seconds.count());
+}
 
-  /** Block the actor, computing the given amount of flops */
-  XBT_PUBLIC(e_smx_state_t) execute(double flop);
+template <class Duration> inline void sleep_until(const SimulationTimePoint<Duration>& wakeup_time)
+{
+  auto timeout_native = std::chrono::time_point_cast<SimulationClockDuration>(wakeup_time);
+  this_actor::sleep_until(timeout_native.time_since_epoch().count());
+}
 
-  /** Block the actor until it gets a message from the given mailbox.
-   *
-   * See \ref Comm for the full communication API (including non blocking communications).
-   */
-  XBT_PUBLIC(void*) recv(MailboxPtr chan);
+/** Block the current actor, computing the given amount of flops */
+XBT_PUBLIC void execute(double flop);
 
-  /** Block the actor until it delivers a message of the given simulated size to the given mailbox
-   *
-   * See \ref Comm for the full communication API (including non blocking communications).
-  */
-  XBT_PUBLIC(void) send(MailboxPtr chan, void*payload, size_t simulatedSize);
+/** Block the current actor, computing the given amount of flops at the given priority.
+ *  An execution of priority 2 computes twice as fast as an execution at priority 1. */
+XBT_PUBLIC void execute(double flop, double priority);
 
-  /** @brief Returns the PID of the current actor. */
-  XBT_PUBLIC(int) pid();
+/**
+ * @example examples/s4u/exec-ptask/s4u-exec-ptask.cpp
+ */
 
-  /** @brief Returns the PPID of the current actor. */
-  XBT_PUBLIC(int) ppid();
+/** Block the current actor until the built parallel execution terminates
+ *
+ * \rst
+ * .. _API_s4u_parallel_execute:
+ *
+ * **Example of use:** `examples/s4u/exec-ptask/s4u-exec-ptask.cpp
+ * <https://framagit.org/simgrid/simgrid/tree/master/examples/s4u/exec-ptask/s4u-exec-ptask.cpp>`_
+ *
+ * Parallel executions convenient abstractions of parallel computational kernels that span over several machines,
+ * such as a PDGEM and the other ScaLAPACK routines. If you are interested in the effects of such parallel kernel
+ * on the platform (e.g. to schedule them wisely), there is no need to model them in all details of their internal
+ * execution and communications. It is much more convenient to model them as a single execution activity that spans
+ * over several hosts. This is exactly what s4u's Parallel Executions are.
+ *
+ * To build such an object, you need to provide a list of hosts that are involved in the parallel kernel (the
+ * actor's own host may or may not be in this list) and specify the amount of computations that should be done by
+ * each host, using a vector of flops amount. Then, you should specify the amount of data exchanged between each
+ * hosts during the parallel kernel. For that, a matrix of values is expected.
+ *
+ * It is OK to build a parallel execution without any computation and/or without any communication.
+ * Just pass an empty vector to the corresponding parameter.
+ *
+ * For example, if your list of hosts is ``[host0, host1]``, passing a vector ``[1000, 2000]`` as a `flops_amount`
+ * vector means that `host0` should compute 1000 flops while `host1` will compute 2000 flops. A matrix of
+ * communications' sizes of ``[0, 1, 2, 3]`` specifies the following data exchanges:
+ *
+ *   +-----------+-------+------+
+ *   |from \\ to | host0 | host1|
+ *   +===========+=======+======+
+ *   |host0      |   0   |  1   |
+ *   +-----------+-------+------+
+ *   |host1      |   2   |  3   |
+ *   +-----------+-------+------+
+ *
+ * - From host0 to host0: 0 bytes are exchanged
+ * - From host0 to host1: 1 byte is exchanged
+ * - From host1 to host0: 2 bytes are exchanged
+ * - From host1 to host1: 3 bytes are exchanged
+ *
+ * In a parallel execution, all parts (all executions on each hosts, all communications) progress exactly at the
+ * same pace, so they all terminate at the exact same pace. If one part is slow because of a slow resource or
+ * because of contention, this slows down the parallel execution as a whole.
+ *
+ * These objects are somewhat surprising from a modeling point of view. For example, the unit of their speed is
+ * somewhere between flop/sec and byte/sec. Arbitrary parallel executions will simply not work with the usual platform
+ * models, and you must :ref:`use the ptask_L07 host model <options_model_select>` for that. Note that you can mix
+ * regular executions and communications with parallel executions, provided that the host model is ptask_L07.
+ *
+ * \endrst
+ */
+XBT_PUBLIC void parallel_execute(const std::vector<s4u::Host*>& hosts, const std::vector<double>& flops_amounts,
+                                 const std::vector<double>& bytes_amounts);
 
-  /** @brief Returns the name of the current actor. */
-  XBT_PUBLIC(std::string) name();
-};
+/** \rst
+ * Block the current actor until the built :ref:`parallel execution <API_s4u_parallel_execute>` completes, or until the
+ * timeout. \endrst
+ */
+XBT_PUBLIC void parallel_execute(const std::vector<s4u::Host*>& hosts, const std::vector<double>& flops_amounts,
+                                 const std::vector<double>& bytes_amounts, double timeout);
+
+#ifndef DOXYGEN
+XBT_ATTRIB_DEPRECATED_v325("Please use std::vectors as parameters") XBT_PUBLIC
+    void parallel_execute(int host_nb, s4u::Host* const* host_list, const double* flops_amount,
+                          const double* bytes_amount);
+XBT_ATTRIB_DEPRECATED_v325("Please use std::vectors as parameters") XBT_PUBLIC
+    void parallel_execute(int host_nb, s4u::Host* const* host_list, const double* flops_amount,
+                          const double* bytes_amount, double timeout);
+#endif
+
+XBT_PUBLIC ExecPtr exec_init(double flops_amounts);
+XBT_PUBLIC ExecPtr exec_init(const std::vector<s4u::Host*>& hosts, const std::vector<double>& flops_amounts,
+                             const std::vector<double>& bytes_amounts);
+
+XBT_PUBLIC ExecPtr exec_async(double flops_amounts);
+
+/** @brief Returns the actor ID of the current actor. */
+XBT_PUBLIC aid_t get_pid();
+
+/** @brief Returns the ancestor's actor ID of the current actor. */
+XBT_PUBLIC aid_t get_ppid();
+
+/** @brief Returns the name of the current actor. */
+XBT_PUBLIC std::string get_name();
+/** @brief Returns the name of the current actor as a C string. */
+XBT_PUBLIC const char* get_cname();
+
+/** @brief Returns the name of the host on which the curret actor is running. */
+XBT_PUBLIC Host* get_host();
+
+/** @brief Suspend the current actor, that is blocked until resume()ed by another actor. */
+XBT_PUBLIC void suspend();
+
+/** @brief Yield the current actor. */
+XBT_PUBLIC void yield();
+
+/** @brief Resume the current actor, that was suspend()ed previously. */
+XBT_PUBLIC void resume();
+
+/** @brief kill the current actor. */
+XBT_PUBLIC void exit();
+
+/** @brief Add a function to the list of "on_exit" functions of the current actor.
+ *
+ * The on_exit functions are the functions executed when your actor is killed. You should use them to free the data used
+ * by your actor.
+ *
+ * Please note that functions registered in this signal cannot do any simcall themselves. It means that they cannot
+ * send or receive messages, acquire or release mutexes, nor even modify a host property or something. Not only are
+ * blocking functions forbidden in this setting, but also modifications to the global state.
+ *
+ * The parameter of on_exit's callbacks denotes whether or not the actor's execution failed.
+ * It will be set to true if the actor was killed or failed because of an exception,
+ * while it will remain to false if the actor terminated gracefully.
+ */
+
+XBT_PUBLIC void on_exit(const std::function<void(bool)>& fun);
+
+/** @brief Migrate the current actor to a new host. */
+XBT_PUBLIC void migrate(Host* new_host);
+
+/** @} */
+
+#ifndef DOXYGEN
+XBT_ATTRIB_DEPRECATED_v325("Please use std::function<void(bool)> for first parameter.") XBT_PUBLIC
+    void on_exit(const std::function<void(int, void*)>& fun, void* data);
+#endif
+}
 
-/** @} */
 
 }} // namespace simgrid::s4u