Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
a19d803800a39cafdab4fb29cd21c9726fe34706
[simgrid.git] / src / msg / msg_task.cpp
1 /* Copyright (c) 2004-2015. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #include "msg_private.h"
8 #include "src/simix/smx_private.h"
9 #include "xbt/sysdep.h"
10 #include "xbt/log.h"
11
12 /** @addtogroup m_task_management
13  *
14  *  Since most scheduling algorithms rely on a concept of task  that can be either <em>computed</em> locally or
15  *  <em>transferred</em> on another processor, it seems to be the right level of abstraction for our purposes.
16  *  A <em>task</em> may then be defined by a <em>computing amount</em>, a <em>message size</em> and
17  *  some <em>private data</em>.
18  */
19
20 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(msg_task, msg, "Logging specific to MSG (task)");
21
22 void simdata_task::reportMultipleUse() const
23 {
24   if (msg_global->debug_multiple_use){
25     XBT_ERROR("This task is already used in there:");
26     // TODO, backtrace
27     XBT_ERROR("<missing backtrace>");
28     XBT_ERROR("And you try to reuse it from here:");
29     xbt_backtrace_display_current();
30   } else {
31     xbt_die("This task is still being used somewhere else. You cannot send it now. Go fix your code!"
32              "(use --cfg=msg/debug-multiple-use:on to get the backtrace of the other process)");
33   }
34 }
35
36 /********************************* Task **************************************/
37 /** \ingroup m_task_management
38  * \brief Creates a new #msg_task_t.
39  *
40  * A constructor for #msg_task_t taking four arguments and returning the corresponding object.
41  * \param name a name for the object. It is for user-level information and can be nullptr.
42  * \param flop_amount a value of the processing amount (in flop) needed to process this new task.
43  * If 0, then it cannot be executed with MSG_task_execute(). This value has to be >=0.
44  * \param message_size a value of the amount of data (in bytes) needed to transfer this new task. If 0, then it cannot
45  * be transfered with MSG_task_send() and MSG_task_recv(). This value has to be >=0.
46  * \param data a pointer to any data may want to attach to the new object.  It is for user-level information and can
47  * be nullptr. It can be retrieved with the function \ref MSG_task_get_data.
48  * \see msg_task_t
49  * \return The new corresponding object.
50  */
51 msg_task_t MSG_task_create(const char *name, double flop_amount, double message_size, void *data)
52 {
53   msg_task_t task = xbt_new(s_msg_task_t, 1);
54   simdata_task_t simdata = new s_simdata_task_t();
55   task->simdata = simdata;
56
57   /* Task structure */
58   task->name = xbt_strdup(name);
59   task->data = data;
60
61   /* Simulator Data */
62   simdata->compute = nullptr;
63   simdata->comm = nullptr;
64   simdata->bytes_amount = message_size;
65   simdata->flops_amount = flop_amount;
66   simdata->sender = nullptr;
67   simdata->receiver = nullptr;
68   simdata->source = nullptr;
69   simdata->priority = 1.0;
70   simdata->bound = 0;
71   simdata->affinity_mask_db = xbt_dict_new_homogeneous(nullptr);
72   simdata->rate = -1.0;
73   simdata->isused = 0;
74
75   simdata->host_nb = 0;
76   simdata->host_list = nullptr;
77   simdata->flops_parallel_amount = nullptr;
78   simdata->bytes_parallel_amount = nullptr;
79   TRACE_msg_task_create(task);
80
81   return task;
82 }
83
84 /** \ingroup m_task_management
85  * \brief Creates a new #msg_task_t (a parallel one....).
86  *
87  * A constructor for #msg_task_t taking six arguments and returning the corresponding object.
88  * \param name a name for the object. It is for user-level information and can be nullptr.
89  * \param host_nb the number of hosts implied in the parallel task.
90  * \param host_list an array of \p host_nb msg_host_t.
91  * \param flops_amount an array of \p host_nb doubles.
92  *        flops_amount[i] is the total number of operations that have to be performed on host_list[i].
93  * \param bytes_amount an array of \p host_nb* \p host_nb doubles.
94  * \param data a pointer to any data may want to attach to the new object.
95  *             It is for user-level information and can be nullptr.
96  *             It can be retrieved with the function \ref MSG_task_get_data.
97  * \see msg_task_t
98  * \return The new corresponding object.
99  */
100 msg_task_t MSG_parallel_task_create(const char *name, int host_nb, const msg_host_t * host_list,
101                                     double *flops_amount, double *bytes_amount, void *data)
102 {
103   msg_task_t task = MSG_task_create(name, 0, 0, data);
104   simdata_task_t simdata = task->simdata;
105   int i;
106
107   /* Simulator Data specific to parallel tasks */
108   simdata->host_nb = host_nb;
109   simdata->host_list = xbt_new0(sg_host_t, host_nb);
110   simdata->flops_parallel_amount = flops_amount;
111   simdata->bytes_parallel_amount = bytes_amount;
112
113   for (i = 0; i < host_nb; i++)
114     simdata->host_list[i] = host_list[i];
115
116   return task;
117 }
118
119 /** \ingroup m_task_management
120  * \brief Return the user data of a #msg_task_t.
121  *
122  * This function checks whether \a task is a valid pointer and return the user data associated to \a task if possible.
123  */
124 void *MSG_task_get_data(msg_task_t task)
125 {
126   xbt_assert((task != nullptr), "Invalid parameter");
127   return (task->data);
128 }
129
130 /** \ingroup m_task_management
131  * \brief Sets the user data of a #msg_task_t.
132  *
133  * This function allows to associate a new pointer to the user data associated of \a task.
134  */
135 void MSG_task_set_data(msg_task_t task, void *data)
136 {
137   xbt_assert((task != nullptr), "Invalid parameter");
138   task->data = data;
139 }
140
141 /** \ingroup m_task_management
142  * \brief Sets a function to be called when a task has just been copied.
143  * \param callback a callback function
144  */
145 void MSG_task_set_copy_callback(void (*callback) (msg_task_t task, msg_process_t sender, msg_process_t receiver)) {
146
147   msg_global->task_copy_callback = callback;
148
149   if (callback) {
150     SIMIX_comm_set_copy_data_callback(MSG_comm_copy_data_from_SIMIX);
151   } else {
152     SIMIX_comm_set_copy_data_callback(SIMIX_comm_copy_pointer_callback);
153   }
154 }
155
156 /** \ingroup m_task_management
157  * \brief Return the sender of a #msg_task_t.
158  *
159  * This functions returns the #msg_process_t which sent this task
160  */
161 msg_process_t MSG_task_get_sender(msg_task_t task)
162 {
163   xbt_assert(task, "Invalid parameters");
164   return ((simdata_task_t) task->simdata)->sender;
165 }
166
167 /** \ingroup m_task_management
168  * \brief Return the source of a #msg_task_t.
169  *
170  * This functions returns the #msg_host_t from which this task was sent
171  */
172 msg_host_t MSG_task_get_source(msg_task_t task)
173 {
174   xbt_assert(task, "Invalid parameters");
175   return ((simdata_task_t) task->simdata)->source;
176 }
177
178 /** \ingroup m_task_management
179  * \brief Return the name of a #msg_task_t.
180  *
181  * This functions returns the name of a #msg_task_t as specified on creation
182  */
183 const char *MSG_task_get_name(msg_task_t task)
184 {
185   xbt_assert(task, "Invalid parameters");
186   return task->name;
187 }
188
189 /** \ingroup m_task_management
190  * \brief Sets the name of a #msg_task_t.
191  *
192  * This functions allows to associate a name to a task
193  */
194 void MSG_task_set_name(msg_task_t task, const char *name)
195 {
196   xbt_assert(task, "Invalid parameters");
197   task->name = xbt_strdup(name);
198 }
199
200 /** \ingroup m_task_management
201  * \brief Destroy a #msg_task_t.
202  *
203  * Destructor for #msg_task_t. Note that you should free user data, if any, \b before calling this function.
204  *
205  * Only the process that owns the task can destroy it.
206  * The owner changes after a successful send.
207  * If a task is successfully sent, the receiver becomes the owner and is supposed to destroy it. The sender should not
208  * use it anymore.
209  * If the task failed to be sent, the sender remains the owner of the task.
210  */
211 msg_error_t MSG_task_destroy(msg_task_t task)
212 {
213   xbt_assert((task != nullptr), "Invalid parameter");
214
215   if (task->simdata->isused) {
216     /* the task is being sent or executed: cancel it first */
217     MSG_task_cancel(task);
218   }
219   TRACE_msg_task_destroy(task);
220
221   xbt_free(task->name);
222
223   /* free main structures */
224   delete task->simdata;
225   xbt_free(task);
226
227   return MSG_OK;
228 }
229
230 /** \ingroup m_task_usage
231  * \brief Cancel a #msg_task_t.
232  * \param task the task to cancel. If it was executed or transfered, it stops the process that were working on it.
233  */
234 msg_error_t MSG_task_cancel(msg_task_t task)
235 {
236   xbt_assert((task != nullptr), "Cannot cancel a nullptr task");
237
238   if (task->simdata->compute) {
239     simcall_execution_cancel(task->simdata->compute);
240   }
241   else if (task->simdata->comm) {
242     simdata_task_t simdata = task->simdata;
243     simcall_comm_cancel(simdata->comm);
244     simdata->setNotUsed();
245   }
246   return MSG_OK;
247 }
248
249 /** \ingroup m_task_management
250  * \brief Returns the remaining amount of flops needed to execute a task #msg_task_t.
251  *
252  * Once a task has been processed, this amount is set to 0. If you want, you can reset this value with
253  * #MSG_task_set_flops_amount before restarting the task.
254  */
255 double MSG_task_get_flops_amount(msg_task_t task) {
256   if (task->simdata->compute) {
257     return task->simdata->compute->remains();
258   } else {
259     return task->simdata->flops_amount;
260   }
261 }
262
263 /** \ingroup m_task_management
264  * \brief set the computation amount needed to process a task #msg_task_t.
265  *
266  * \warning If the computation is ongoing (already started and not finished),
267  * it is not modified by this call. Moreover, after its completion, the ongoing execution with set the flops_amount to
268  * zero, overriding any value set during the execution.
269  */
270 void MSG_task_set_flops_amount(msg_task_t task, double flops_amount)
271 {
272   task->simdata->flops_amount = flops_amount;
273 }
274
275 /** \ingroup m_task_management
276  * \brief set the amount data attached with a task #msg_task_t.
277  *
278  * \warning If the transfer is ongoing (already started and not finished), it is not modified by this call.
279  */
280 void MSG_task_set_bytes_amount(msg_task_t task, double data_size)
281 {
282   task->simdata->bytes_amount = data_size;
283 }
284
285 /** \ingroup m_task_management
286  * \brief Returns the total amount received by a task #msg_task_t.
287  *        If the communication does not exist it will return 0.
288  *        So, if the communication has FINISHED or FAILED it returns zero.
289  */
290 double MSG_task_get_remaining_communication(msg_task_t task)
291 {
292   XBT_DEBUG("calling simcall_communication_get_remains(%p)", task->simdata->comm);
293   return task->simdata->comm->remains();
294 }
295
296 /** \ingroup m_task_management
297  * \brief Returns the size of the data attached to a task #msg_task_t.
298  */
299 double MSG_task_get_bytes_amount(msg_task_t task)
300 {
301   xbt_assert((task != nullptr) && (task->simdata != nullptr), "Invalid parameter");
302   return task->simdata->bytes_amount;
303 }
304
305 /** \ingroup m_task_management
306  * \brief Changes the priority of a computation task. This priority doesn't affect the transfer rate. A priority of 2
307  *        will make a task receive two times more cpu power than the other ones.
308  */
309 void MSG_task_set_priority(msg_task_t task, double priority)
310 {
311   xbt_assert((task != nullptr) && (task->simdata != nullptr), "Invalid parameter");
312   task->simdata->priority = 1 / priority;
313   if (task->simdata->compute)
314     simcall_execution_set_priority(task->simdata->compute,
315         task->simdata->priority);
316 }
317
318 /** \ingroup m_task_management
319  * \brief Changes the maximum CPU utilization of a computation task.
320  *        Unit is flops/s.
321  *
322  * For VMs, there is a pitfall. Please see MSG_vm_set_bound().
323  */
324 void MSG_task_set_bound(msg_task_t task, double bound)
325 {
326   xbt_assert(task, "Invalid parameter");
327   xbt_assert(task->simdata, "Invalid parameter");
328
329   if (bound == 0)
330     XBT_INFO("bound == 0 means no capping (i.e., unlimited).");
331
332   task->simdata->bound = bound;
333   if (task->simdata->compute)
334     simcall_execution_set_bound(task->simdata->compute, task->simdata->bound);
335 }
336
337 /** \ingroup m_task_management
338  * \brief Changes the CPU affinity of a computation task.
339  *
340  * When pinning the given task to the first CPU core of the given host, use 0x01 for the mask value. Each bit of the
341  * mask value corresponds to each CPU core. See taskset(1) on Linux.
342  *
343  * \param task a target task
344  * \param host the host having a multi-core CPU
345  * \param mask the bit mask of a new CPU affinity setting for the task
346  *
347  * Usage:
348  * 0. Define a host with multiple cores.
349  *    \<host id="PM0" power="1E8" core="2"/\>
350  *
351  * 1. Pin a given task to the first CPU core of a host.
352  *   MSG_task_set_affinity(task, pm0, 0x01);
353  *
354  * 2. Pin a given task to the third CPU core of a host. Turn on the third bit of the mask.
355  *   MSG_task_set_affinity(task, pm0, 0x04); // 0x04 == 100B
356  *
357  * 3. Pin a given VM to the first CPU core of a host.
358  *   MSG_vm_set_affinity(vm, pm0, 0x01);
359  *
360  * See examples/msg/cloud/multicore.c for more information.
361  *
362  * Note:
363  * 1. The current code does not allow an affinity of a task to multiple cores.
364  *    The mask value 0x03 (i.e., a given task will be executed on the first core or the second core) is not allowed.
365  *    The mask value 0x01 or 0x02 works. See cpu_cas01.c for details.
366  *
367  * 2. It is recommended to first compare simulation results in both the Lazy and Full calculation modes
368  *    (using --cfg=cpu/optim:Full or not). Fix cpu_cas01.c if you find wrong results in the Lazy mode.
369  */
370 void MSG_task_set_affinity(msg_task_t task, msg_host_t host, unsigned long mask)
371 {
372   xbt_assert(task, "Invalid parameter");
373   xbt_assert(task->simdata, "Invalid parameter");
374
375   if (mask == 0) {
376     /* 0 means clear */
377       /* We need remove_ext() not throwing exception. */
378       void *ret = xbt_dict_get_or_null_ext(task->simdata->affinity_mask_db, (char *) host, sizeof(msg_host_t));
379       if (ret != nullptr)
380         xbt_dict_remove_ext(task->simdata->affinity_mask_db, (char *) host, sizeof(host));
381   } else
382     xbt_dict_set_ext(task->simdata->affinity_mask_db, (char *) host, sizeof(host), (void *)(uintptr_t) mask, nullptr);
383
384   /* We set affinity data of this task. If the task is being executed, we actually change the affinity setting of the
385    * task. Otherwise, this change will be applied when the task is executed. */
386   if (!task->simdata->compute) {
387     /* task is not yet executed */
388     XBT_INFO("set affinity(0x%04lx@%s) for %s (not active now)", mask, MSG_host_get_name(host),
389              MSG_task_get_name(task));
390     return;
391   }
392
393   {
394     simgrid::simix::Exec *compute = task->simdata->compute;
395     msg_host_t host_now = compute->host;  // simix_private.h is necessary
396     if (host_now != host) {
397       /* task is not yet executed on this host */
398       XBT_INFO("set affinity(0x%04lx@%s) for %s (not active now)", mask, MSG_host_get_name(host),
399                MSG_task_get_name(task));
400       return;
401     }
402
403     /* task is being executed on this host. so change the affinity now */
404     {
405       /* check it works. remove me if it works. */
406       xbt_assert((unsigned long)(uintptr_t) xbt_dict_get_or_null_ext(task->simdata->affinity_mask_db,
407                  (char *) host, sizeof(msg_host_t)) == mask);
408     }
409
410     XBT_INFO("set affinity(0x%04lx@%s) for %s", mask, MSG_host_get_name(host), MSG_task_get_name(task));
411     simcall_execution_set_affinity(task->simdata->compute, host, mask);
412   }
413 }