Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Fix high memory usage when exec events are done.
[simgrid.git] / src / s4u / s4u_Exec.cpp
1 /* Copyright (c) 2006-2021. The SimGrid Team. All rights reserved.          */
2
3 /* This program is free software; you can redistribute it and/or modify it
4  * under the terms of the license (GNU LGPL) which comes with this package. */
5
6 #include "simgrid/Exception.hpp"
7 #include "simgrid/exec.h"
8 #include "simgrid/s4u/Actor.hpp"
9 #include "simgrid/s4u/Exec.hpp"
10 #include "simgrid/s4u/Host.hpp"
11 #include "src/kernel/activity/ExecImpl.hpp"
12 #include "src/kernel/actor/ActorImpl.hpp"
13 #include "src/kernel/actor/SimcallObserver.hpp"
14 #include "xbt/log.h"
15
16 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(s4u_exec, s4u_activity, "S4U asynchronous executions");
17
18 namespace simgrid {
19 namespace s4u {
20 xbt::signal<void(Exec const&)> Exec::on_start;
21 xbt::signal<void(Exec const&)> Exec::on_completion;
22
23 Exec::Exec(kernel::activity::ExecImplPtr pimpl)
24 {
25   pimpl_ = pimpl;
26 }
27
28 void Exec::complete(Activity::State state)
29 {
30   Activity::complete(state);
31   on_completion(*this);
32 }
33
34 ExecPtr Exec::init()
35 {
36   auto pimpl = kernel::activity::ExecImplPtr(new kernel::activity::ExecImpl());
37   unsigned int cb_id = Host::on_state_change.connect([pimpl](s4u::Host const& h) {
38     if (not h.is_on() && pimpl->state_ == kernel::activity::State::RUNNING &&
39         std::find(pimpl->get_hosts().begin(), pimpl->get_hosts().end(), &h) != pimpl->get_hosts().end()) {
40       pimpl->state_ = kernel::activity::State::FAILED;
41       pimpl->post();
42     }
43   });
44   pimpl->set_cb_id(cb_id);
45   return ExecPtr(pimpl->get_iface());
46 }
47
48 Exec* Exec::start()
49 {
50   kernel::actor::simcall([this] {
51     (*boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_))
52         .set_name(get_name())
53         .set_tracing_category(get_tracing_category())
54         .start();
55   });
56
57   if (suspended_)
58     pimpl_->suspend();
59
60   state_      = State::STARTED;
61   on_start(*this);
62   return this;
63 }
64
65 ssize_t Exec::wait_any_for(const std::vector<ExecPtr>& execs, double timeout)
66 {
67   std::vector<kernel::activity::ExecImpl*> rexecs(execs.size());
68   std::transform(begin(execs), end(execs), begin(rexecs),
69                  [](const ExecPtr& exec) { return static_cast<kernel::activity::ExecImpl*>(exec->pimpl_.get()); });
70
71   kernel::actor::ActorImpl* issuer = kernel::actor::ActorImpl::self();
72   kernel::actor::ExecutionWaitanySimcall observer{issuer, rexecs, timeout};
73   ssize_t changed_pos = kernel::actor::simcall_blocking(
74       [&observer] {
75         kernel::activity::ExecImpl::wait_any_for(observer.get_issuer(), observer.get_execs(), observer.get_timeout());
76       },
77       &observer);
78   if (changed_pos != -1)
79     execs.at(changed_pos)->complete(State::FINISHED);
80   return changed_pos;
81 }
82
83 /** @brief change the execution bound
84  * This means changing the maximal amount of flops per second that it may consume, regardless of what the host may
85  * deliver. Currently, this cannot be changed once the exec started.
86  */
87 ExecPtr Exec::set_bound(double bound)
88 {
89   xbt_assert(state_ == State::INITED || state_ == State::STARTING,
90              "Cannot change the bound of an exec after its start");
91   kernel::actor::simcall(
92       [this, bound] { boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->set_bound(bound); });
93   return this;
94 }
95
96 /** @brief  Change the execution priority, don't you think?
97  *
98  * An execution with twice the priority will get twice the amount of flops when the resource is shared.
99  * The default priority is 1.
100  *
101  * Currently, this cannot be changed once the exec started. */
102 ExecPtr Exec::set_priority(double priority)
103 {
104   xbt_assert(state_ == State::INITED || state_ == State::STARTING,
105              "Cannot change the priority of an exec after its start");
106   kernel::actor::simcall([this, priority] {
107     boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->set_sharing_penalty(1. / priority);
108   });
109   return this;
110 }
111
112 ExecPtr Exec::set_flops_amount(double flops_amount)
113 {
114   xbt_assert(state_ == State::INITED || state_ == State::STARTING,
115       "Cannot change the flop_amount of an exec after its start");
116   kernel::actor::simcall([this, flops_amount] {
117     boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->set_flops_amount(flops_amount);
118   });
119   Activity::set_remaining(flops_amount);
120   return this;
121 }
122
123 ExecPtr Exec::set_flops_amounts(const std::vector<double>& flops_amounts)
124 {
125   xbt_assert(state_ == State::INITED || state_ == State::STARTING,
126       "Cannot change the flops_amounts of an exec after its start");
127   kernel::actor::simcall([this, flops_amounts] {
128     boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->set_flops_amounts(flops_amounts);
129   });
130   parallel_      = true;
131   return this;
132 }
133
134 ExecPtr Exec::set_bytes_amounts(const std::vector<double>& bytes_amounts)
135 {
136   xbt_assert(state_ == State::INITED || state_ == State::STARTING,
137       "Cannot change the bytes_amounts of an exec after its start");
138   kernel::actor::simcall([this, bytes_amounts] {
139     boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->set_bytes_amounts(bytes_amounts);
140   });
141   parallel_      = true;
142   return this;
143 }
144
145 /** @brief Retrieve the host on which this activity takes place.
146  *  If it runs on more than one host, only the first host is returned.
147  */
148 Host* Exec::get_host() const
149 {
150   return static_cast<kernel::activity::ExecImpl*>(pimpl_.get())->get_host();
151 }
152 unsigned int Exec::get_host_number() const
153 {
154   return static_cast<kernel::activity::ExecImpl*>(pimpl_.get())->get_host_number();
155 }
156
157 double Exec::get_start_time() const
158 {
159   return static_cast<kernel::activity::ExecImpl*>(pimpl_.get())->get_start_time();
160 }
161
162 double Exec::get_finish_time() const
163 {
164   return static_cast<kernel::activity::ExecImpl*>(pimpl_.get())->get_finish_time();
165 }
166
167 /** @brief Change the host on which this activity takes place.
168  *
169  * The activity cannot be terminated already (but it may be started). */
170 ExecPtr Exec::set_host(Host* host)
171 {
172   xbt_assert(state_ == State::INITED || state_ == State::STARTING || state_ == State::STARTED,
173              "Cannot change the host of an exec once it's done (state: %s)", to_c_str(state_));
174
175   if (state_ == State::STARTED)
176     boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->migrate(host);
177
178   kernel::actor::simcall(
179       [this, host] { boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->set_host(host); });
180
181   if (state_ == State::STARTING)
182   // Setting the host may allow to start the activity, let's try
183     vetoable_start();
184
185   return this;
186 }
187
188 ExecPtr Exec::set_hosts(const std::vector<Host*>& hosts)
189 {
190   xbt_assert(state_ == State::INITED || state_ == State::STARTING,
191              "Cannot change the hosts of an exec once it's done (state: %s)", to_c_str(state_));
192
193   kernel::actor::simcall(
194       [this, hosts] { boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->set_hosts(hosts); });
195   parallel_ = true;
196
197   // Setting the host may allow to start the activity, let's try
198   if (state_ == State::STARTING)
199      vetoable_start();
200
201   return this;
202 }
203
204 double Exec::get_cost() const
205 {
206   return (pimpl_->surf_action_ == nullptr) ? -1 : pimpl_->surf_action_->get_cost();
207 }
208
209 double Exec::get_remaining() const
210 {
211   if (is_parallel()) {
212     XBT_WARN("Calling get_remaining() on a parallel execution is not allowed. Call get_remaining_ratio() instead.");
213     return get_remaining_ratio();
214   } else
215     return kernel::actor::simcall(
216         [this]() { return boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->get_remaining(); });
217 }
218
219 /** @brief Returns the ratio of elements that are still to do
220  *
221  * The returned value is between 0 (completely done) and 1 (nothing done yet).
222  */
223 double Exec::get_remaining_ratio() const
224 {
225   if (is_parallel())
226     return kernel::actor::simcall(
227         [this]() { return boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->get_par_remaining_ratio(); });
228   else
229     return kernel::actor::simcall(
230         [this]() { return boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->get_seq_remaining_ratio(); });
231 }
232
233 bool Exec::is_assigned() const
234 {
235   return not boost::static_pointer_cast<kernel::activity::ExecImpl>(pimpl_)->get_hosts().empty();
236 }
237 } // namespace s4u
238 } // namespace simgrid
239
240 /* **************************** Public C interface *************************** */
241 void sg_exec_set_bound(sg_exec_t exec, double bound)
242 {
243   exec->set_bound(bound);
244 }
245
246 const char* sg_exec_get_name(const_sg_exec_t exec)
247 {
248   return exec->get_cname();
249 }
250
251 void sg_exec_set_name(sg_exec_t exec, const char* name)
252 {
253   exec->set_name(name);
254 }
255
256 void sg_exec_set_host(sg_exec_t exec, sg_host_t new_host)
257 {
258   exec->set_host(new_host);
259 }
260
261 double sg_exec_get_remaining(const_sg_exec_t exec)
262 {
263   return exec->get_remaining();
264 }
265
266 double sg_exec_get_remaining_ratio(const_sg_exec_t exec)
267 {
268   return exec->get_remaining_ratio();
269 }
270
271 void sg_exec_start(sg_exec_t exec)
272 {
273   exec->vetoable_start();
274 }
275
276 void sg_exec_cancel(sg_exec_t exec)
277 {
278   exec->cancel();
279   exec->unref();
280 }
281
282 int sg_exec_test(sg_exec_t exec)
283 {
284   bool finished = exec->test();
285   if (finished)
286     exec->unref();
287   return finished;
288 }
289
290 sg_error_t sg_exec_wait(sg_exec_t exec)
291 {
292   return sg_exec_wait_for(exec, -1.0);
293 }
294
295 sg_error_t sg_exec_wait_for(sg_exec_t exec, double timeout)
296 {
297   sg_error_t status = SG_OK;
298
299   simgrid::s4u::ExecPtr s4u_exec(exec, false);
300   try {
301     s4u_exec->wait_for(timeout);
302   } catch (const simgrid::TimeoutException&) {
303     s4u_exec->add_ref(); // the wait_for timeouted, keep the exec alive
304     status = SG_ERROR_TIMEOUT;
305   } catch (const simgrid::CancelException&) {
306     status = SG_ERROR_CANCELED;
307   } catch (const simgrid::HostFailureException&) {
308     status = SG_ERROR_HOST;
309   }
310   return status;
311 }
312
313 ssize_t sg_exec_wait_any(sg_exec_t* execs, size_t count)
314 {
315   return sg_exec_wait_any_for(execs, count, -1.0);
316 }
317
318 ssize_t sg_exec_wait_any_for(sg_exec_t* execs, size_t count, double timeout)
319 {
320   std::vector<simgrid::s4u::ExecPtr> s4u_execs;
321   for (size_t i = 0; i < count; i++)
322     s4u_execs.emplace_back(execs[i], false);
323
324   ssize_t pos = simgrid::s4u::Exec::wait_any_for(s4u_execs, timeout);
325   for (size_t i = 0; i < count; i++) {
326     if (pos != -1 && static_cast<size_t>(pos) != i)
327       s4u_execs[i]->add_ref();
328   }
329   return pos;
330 }