src/msg/msg_task.cpp

   1 /* Copyright (c) 2004-2019. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "msg_private.hpp"
   7 #include "src/instr/instr_private.hpp"
   8 #include <simgrid/s4u/Comm.hpp>
   9 #include <simgrid/s4u/Exec.hpp>
  10 #include <simgrid/s4u/Host.hpp>
  11 #include <simgrid/s4u/Mailbox.hpp>
  12
  13 #include <algorithm>
  14 #include <vector>
  15
  16 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(msg_task, msg, "Logging specific to MSG (task)");
  17
  18 namespace simgrid {
  19 namespace msg {
  20
  21 Task::Task(std::string name, double flops_amount, double bytes_amount, void* data)
  22     : name_(std::move(name)), userdata_(data), flops_amount(flops_amount), bytes_amount(bytes_amount)
  23 {
  24   static std::atomic_ullong counter{0};
  25   id_ = counter++;
  26   if (MC_is_active())
  27     MC_ignore_heap(&(id_), sizeof(id_));
  28 }
  29
  30 Task::Task(std::string name, std::vector<s4u::Host*> hosts, std::vector<double> flops_amount,
  31            std::vector<double> bytes_amount, void* data)
  32     : Task(std::move(name), 1.0, 0, data)
  33 {
  34   parallel_             = true;
  35   hosts_                = std::move(hosts);
  36   flops_parallel_amount = std::move(flops_amount);
  37   bytes_parallel_amount = std::move(bytes_amount);
  38 }
  39
  40 Task* Task::create(std::string name, double flops_amount, double bytes_amount, void* data)
  41 {
  42   return new Task(std::move(name), flops_amount, bytes_amount, data);
  43 }
  44
  45 Task* Task::create_parallel(std::string name, int host_nb, const msg_host_t* host_list, double* flops_amount,
  46                             double* bytes_amount, void* data)
  47 {
  48   std::vector<s4u::Host*> hosts;
  49   std::vector<double> flops;
  50   std::vector<double> bytes;
  51
  52   for (int i = 0; i < host_nb; i++) {
  53     hosts.push_back(host_list[i]);
  54     if (flops_amount != nullptr)
  55       flops.push_back(flops_amount[i]);
  56     if (bytes_amount != nullptr) {
  57       for (int j = 0; j < host_nb; j++)
  58         bytes.push_back(bytes_amount[host_nb * i + j]);
  59     }
  60   }
  61   return new Task(std::move(name), std::move(hosts), std::move(flops), std::move(bytes), data);
  62 }
  63
  64 msg_error_t Task::execute()
  65 {
  66   /* checking for infinite values */
  67   xbt_assert(std::isfinite(flops_amount), "flops_amount is not finite!");
  68
  69   msg_error_t status = MSG_OK;
  70
  71   set_used();
  72   try {
  73     s4u::ExecPtr e = s4u::this_actor::exec_init(flops_amount)
  74                          ->set_priority(1 / priority_)
  75                          ->set_bound(bound_)
  76                          ->set_tracing_category(tracing_category_)
  77                          ->start();
  78     compute = boost::static_pointer_cast<kernel::activity::ExecImpl>(e->get_impl());
  79
  80     e->wait();
  81
  82     set_not_used();
  83     XBT_DEBUG("Execution task '%s' finished", get_cname());
  84   } catch (HostFailureException& e) {
  85     status = MSG_HOST_FAILURE;
  86   } catch (TimeoutError& e) {
  87     status = MSG_TIMEOUT;
  88   } catch (CancelException& e) {
  89     status = MSG_TASK_CANCELED;
  90   }
  91
  92   /* action ended, set comm and compute = nullptr, the actions is already destroyed in the main function */
  93   flops_amount = 0.0;
  94   comm         = nullptr;
  95   compute      = nullptr;
  96
  97   return status;
  98 }
  99
 100 Comm* Task::send_async(std::string alias, void_f_pvoid_t cleanup, bool detached)
 101 {
 102   TRACE_msg_task_put_start(this);
 103
 104   /* Prepare the task to send */
 105   set_used();
 106   this->comm = nullptr;
 107   msg_global->sent_msg++;
 108
 109   s4u::CommPtr comm = s4u::Mailbox::by_name(alias)->put_init(this, bytes_amount)->set_rate(get_rate());
 110   this->comm        = comm;
 111
 112   if (detached)
 113     comm->detach(cleanup);
 114   else
 115     comm->start();
 116
 117   if (TRACE_is_enabled() && has_tracing_category())
 118     simgrid::simix::simcall([comm, this] { comm->get_impl()->set_category(std::move(tracing_category_)); });
 119
 120   if (not detached)
 121     return new Comm(this, nullptr, comm);
 122   else
 123     return nullptr;
 124 }
 125
 126 void Task::cancel()
 127 {
 128   if (compute) {
 129     simgrid::simix::simcall([this] { compute->cancel(); });
 130   } else if (comm) {
 131     comm->cancel();
 132   }
 133   set_not_used();
 134 }
 135
 136 void Task::set_priority(double priority)
 137 {
 138   xbt_assert(std::isfinite(1.0 / priority), "priority is not finite!");
 139   priority_ = 1.0 / priority;
 140 }
 141
 142 s4u::Actor* Task::get_sender()
 143 {
 144   return comm ? comm->get_sender().get() : nullptr;
 145 }
 146
 147 s4u::Host* Task::get_source()
 148 {
 149   return comm ? comm->get_sender()->get_host() : nullptr;
 150 }
 151
 152 void Task::set_used()
 153 {
 154   if (is_used_)
 155     report_multiple_use();
 156   is_used_ = true;
 157 }
 158
 159 void Task::report_multiple_use() const
 160 {
 161   if (msg_global->debug_multiple_use){
 162     XBT_ERROR("This task is already used in there:");
 163     // TODO, backtrace
 164     XBT_ERROR("<missing backtrace>");
 165     XBT_ERROR("And you try to reuse it from here:");
 166     xbt_backtrace_display_current();
 167   } else {
 168     xbt_die("This task is still being used somewhere else. You cannot send it now. Go fix your code!"
 169              "(use --cfg=msg/debug-multiple-use:on to get the backtrace of the other process)");
 170   }
 171 }
 172 } // namespace msg
 173 } // namespace simgrid
 174
 175 /********************************* Task **************************************/
 176 /** @brief Creates a new task
 177  *
 178  * A constructor for msg_task_t taking four arguments.
 179  *
 180  * @param name a name for the object. It is for user-level information and can be nullptr.
 181  * @param flop_amount a value of the processing amount (in flop) needed to process this new task.
 182  * If 0, then it cannot be executed with MSG_task_execute(). This value has to be >=0.
 183  * @param message_size a value of the amount of data (in bytes) needed to transfer this new task. If 0, then it cannot
 184  * be transfered with MSG_task_send() and MSG_task_recv(). This value has to be >=0.
 185  * @param data a pointer to any data may want to attach to the new object.  It is for user-level information and can
 186  * be nullptr. It can be retrieved with the function @ref MSG_task_get_data.
 187  * @return The new corresponding object.
 188  */
 189 msg_task_t MSG_task_create(const char *name, double flop_amount, double message_size, void *data)
 190 {
 191   return simgrid::msg::Task::create(name ? std::string(name) : "", flop_amount, message_size, data);
 192 }
 193
 194 /** @brief Creates a new parallel task
 195  *
 196  * A constructor for #msg_task_t taking six arguments.
 197  *
 198  * \rst
 199  * See :cpp:func:`void simgrid::s4u::this_actor::parallel_execute(int, s4u::Host**, double*, double*)` for
 200  * the exact semantic of the parameters.
 201  * \endrst
 202  *
 203  * @param name a name for the object. It is for user-level information and can be nullptr.
 204  * @param host_nb the number of hosts implied in the parallel task.
 205  * @param host_list an array of @p host_nb msg_host_t.
 206  * @param flops_amount an array of @p host_nb doubles.
 207  *        flops_amount[i] is the total number of operations that have to be performed on host_list[i].
 208  * @param bytes_amount an array of @p host_nb* @p host_nb doubles.
 209  * @param data a pointer to any data may want to attach to the new object.
 210  *             It is for user-level information and can be nullptr.
 211  *             It can be retrieved with the function @ref MSG_task_get_data().
 212  */
 213 msg_task_t MSG_parallel_task_create(const char *name, int host_nb, const msg_host_t * host_list,
 214                                     double *flops_amount, double *bytes_amount, void *data)
 215 {
 216   // Task's flops amount is set to an arbitrary value > 0.0 to be able to distinguish, in
 217   // MSG_task_get_remaining_work_ratio(), a finished task and a task that has not started yet.
 218   return simgrid::msg::Task::create_parallel(name ? name : "", host_nb, host_list, flops_amount, bytes_amount, data);
 219 }
 220
 221 /** @brief Return the user data of the given task */
 222 void* MSG_task_get_data(msg_task_t task)
 223 {
 224   return task->get_user_data();
 225 }
 226
 227 /** @brief Sets the user data of a given task */
 228 void MSG_task_set_data(msg_task_t task, void *data)
 229 {
 230   task->set_user_data(data);
 231 }
 232
 233 /** @brief Sets a function to be called when a task has just been copied.
 234  * @param callback a callback function
 235  */
 236 void MSG_task_set_copy_callback(void (*callback) (msg_task_t task, msg_process_t sender, msg_process_t receiver)) {
 237
 238   msg_global->task_copy_callback = callback;
 239
 240   if (callback) {
 241     SIMIX_comm_set_copy_data_callback(MSG_comm_copy_data_from_SIMIX);
 242   } else {
 243     SIMIX_comm_set_copy_data_callback(SIMIX_comm_copy_pointer_callback);
 244   }
 245 }
 246
 247 /** @brief Returns the sender of the given task */
 248 msg_process_t MSG_task_get_sender(msg_task_t task)
 249 {
 250   return task->get_sender();
 251 }
 252
 253 /** @brief Returns the source (the sender's host) of the given task */
 254 msg_host_t MSG_task_get_source(msg_task_t task)
 255 {
 256   return task->get_source();
 257 }
 258
 259 /** @brief Returns the name of the given task. */
 260 const char *MSG_task_get_name(msg_task_t task)
 261 {
 262   return task->get_cname();
 263 }
 264
 265 /** @brief Sets the name of the given task. */
 266 void MSG_task_set_name(msg_task_t task, const char *name)
 267 {
 268   task->set_name(name);
 269 }
 270
 271 /**
 272  * @brief Executes a task and waits for its termination.
 273  *
 274  * This function is used for describing the behavior of a process. It takes only one parameter.
 275  * @param task a #msg_task_t to execute on the location on which the process is running.
 276  * @return #MSG_OK if the task was successfully completed, #MSG_TASK_CANCELED or #MSG_HOST_FAILURE otherwise
 277  */
 278 msg_error_t MSG_task_execute(msg_task_t task)
 279 {
 280   return task->execute();
 281 }
 282 /**
 283  * @brief Sends a task on a mailbox.
 284  *
 285  * This is a non blocking function: use MSG_comm_wait() or MSG_comm_test() to end the communication.
 286  *
 287  * @param task a #msg_task_t to send on another location.
 288  * @param alias name of the mailbox to sent the task to
 289  * @return the msg_comm_t communication created
 290  */
 291 msg_comm_t MSG_task_isend(msg_task_t task, const char* alias)
 292 {
 293   return task->send_async(alias, nullptr, false);
 294 }
 295
 296 /**
 297  * @brief Sends a task on a mailbox with a maximum rate
 298  *
 299  * This is a non blocking function: use MSG_comm_wait() or MSG_comm_test() to end the communication. The maxrate
 300  * parameter allows the application to limit the bandwidth utilization of network links when sending the task.
 301  *
 302  * @param task a #msg_task_t to send on another location.
 303  * @param alias name of the mailbox to sent the task to
 304  * @param maxrate the maximum communication rate for sending this task (byte/sec).
 305  * @return the msg_comm_t communication created
 306  */
 307 msg_comm_t MSG_task_isend_bounded(msg_task_t task, const char* alias, double maxrate)
 308 {
 309   task->set_rate(maxrate);
 310   return task->send_async(alias, nullptr, false);
 311 }
 312
 313 /**
 314  * @brief Sends a task on a mailbox.
 315  *
 316  * This is a non blocking detached send function.
 317  * Think of it as a best effort send. Keep in mind that the third parameter is only called if the communication fails.
 318  * If the communication does work, it is responsibility of the receiver code to free anything related to the task, as
 319  * usual. More details on this can be obtained on
 320  * <a href="http://lists.gforge.inria.fr/pipermail/simgrid-user/2011-November/002649.html">this thread</a>
 321  * in the SimGrid-user mailing list archive.
 322  *
 323  * @param task a #msg_task_t to send on another location.
 324  * @param alias name of the mailbox to sent the task to
 325  * @param cleanup a function to destroy the task if the communication fails, e.g. MSG_task_destroy
 326  * (if nullptr, no function will be called)
 327  */
 328 void MSG_task_dsend(msg_task_t task, const char* alias, void_f_pvoid_t cleanup)
 329 {
 330   msg_comm_t XBT_ATTRIB_UNUSED comm = task->send_async(alias, cleanup, true);
 331   xbt_assert(comm == nullptr);
 332 }
 333
 334 /**
 335  * @brief Sends a task on a mailbox with a maximal rate.
 336  *
 337  * This is a non blocking detached send function.
 338  * Think of it as a best effort send. Keep in mind that the third parameter is only called if the communication fails.
 339  * If the communication does work, it is responsibility of the receiver code to free anything related to the task, as
 340  * usual. More details on this can be obtained on
 341  * <a href="http://lists.gforge.inria.fr/pipermail/simgrid-user/2011-November/002649.html">this thread</a>
 342  * in the SimGrid-user mailing list archive.
 343  *
 344  * The rate parameter can be used to send a task with a limited bandwidth (smaller than the physical available value).
 345  * Use MSG_task_dsend() if you don't limit the rate (or pass -1 as a rate value do disable this feature).
 346  *
 347  * @param task a #msg_task_t to send on another location.
 348  * @param alias name of the mailbox to sent the task to
 349  * @param cleanup a function to destroy the task if the communication fails, e.g. MSG_task_destroy (if nullptr, no
 350  *        function will be called)
 351  * @param maxrate the maximum communication rate for sending this task (byte/sec)
 352  *
 353  */
 354 void MSG_task_dsend_bounded(msg_task_t task, const char* alias, void_f_pvoid_t cleanup, double maxrate)
 355 {
 356   task->set_rate(maxrate);
 357   MSG_task_dsend(task, alias, cleanup);
 358 }
 359
 360 /** @brief Destroys the given task.
 361  *
 362  * You should free user data, if any, @b before calling this destructor.
 363  *
 364  * Only the process that owns the task can destroy it.
 365  * The owner changes after a successful send.
 366  * If a task is successfully sent, the receiver becomes the owner and is supposed to destroy it. The sender should not
 367  * use it anymore.
 368  * If the task failed to be sent, the sender remains the owner of the task.
 369  */
 370 msg_error_t MSG_task_destroy(msg_task_t task)
 371 {
 372   if (task->is_used()) {
 373     /* the task is being sent or executed: cancel it first */
 374     task->cancel();
 375   }
 376
 377   /* free main structures */
 378   delete task;
 379
 380   return MSG_OK;
 381 }
 382
 383 /** @brief Cancel the given task
 384  *
 385  * If it was currently executed or transfered, the working process is stopped.
 386  */
 387 msg_error_t MSG_task_cancel(msg_task_t task)
 388 {
 389   xbt_assert((task != nullptr), "Cannot cancel a nullptr task");
 390   task->cancel();
 391   return MSG_OK;
 392 }
 393
 394 /** @brief Returns a value in ]0,1[ that represent the task remaining work
 395  *    to do: starts at 1 and goes to 0. Returns 0 if not started or finished.
 396  *
 397  * It works for either parallel or sequential tasks.
 398  */
 399 double MSG_task_get_remaining_work_ratio(msg_task_t task) {
 400
 401   xbt_assert((task != nullptr), "Cannot get information from a nullptr task");
 402   if (task->compute) {
 403     // Task in progress
 404     return task->compute->get_remaining_ratio();
 405   } else {
 406     // Task not started (flops_amount is > 0.0) or finished (flops_amount is set to 0.0)
 407     return task->flops_amount > 0.0 ? 1.0 : 0.0;
 408   }
 409 }
 410
 411 /** @brief Returns the amount of flops that remain to be computed
 412  *
 413  * The returned value is initially the cost that you defined for the task, then it decreases until it reaches 0
 414  *
 415  * It works for sequential tasks, but the remaining amount of work is not a scalar value for parallel tasks.
 416  * So you will get an exception if you call this function on parallel tasks. Just don't do it.
 417  */
 418 double MSG_task_get_flops_amount(msg_task_t task) {
 419   if (task->compute != nullptr) {
 420     return task->compute->get_remaining();
 421   } else {
 422     // Not started or already done.
 423     // - Before starting, flops_amount is initially the task cost
 424     // - After execution, flops_amount is set to 0 (until someone uses MSG_task_set_flops_amount, if any)
 425     return task->flops_amount;
 426   }
 427 }
 428
 429 /** @brief set the computation amount needed to process the given task.
 430  *
 431  * @warning If the computation is ongoing (already started and not finished),
 432  * it is not modified by this call. Moreover, after its completion, the ongoing execution with set the flops_amount to
 433  * zero, overriding any value set during the execution.
 434  */
 435 void MSG_task_set_flops_amount(msg_task_t task, double flops_amount)
 436 {
 437   task->flops_amount = flops_amount;
 438 }
 439
 440 /** @brief set the amount data attached with the given task.
 441  *
 442  * @warning If the transfer is ongoing (already started and not finished), it is not modified by this call.
 443  */
 444 void MSG_task_set_bytes_amount(msg_task_t task, double data_size)
 445 {
 446   task->bytes_amount = data_size;
 447 }
 448
 449 /** @brief Returns the total amount received by the given task
 450  *
 451  *  If the communication does not exist it will return 0.
 452  *  So, if the communication has FINISHED or FAILED it returns zero.
 453  */
 454 double MSG_task_get_remaining_communication(msg_task_t task)
 455 {
 456   XBT_DEBUG("calling simcall_communication_get_remains(%p)", task->comm.get());
 457   return task->comm->get_remaining();
 458 }
 459
 460 /** @brief Returns the size of the data attached to the given task. */
 461 double MSG_task_get_bytes_amount(msg_task_t task)
 462 {
 463   xbt_assert(task != nullptr, "Invalid parameter");
 464   return task->bytes_amount;
 465 }
 466
 467 /** @brief Changes the priority of a computation task.
 468  *
 469  * This priority doesn't affect the transfer rate. A priority of 2
 470  * will make a task receive two times more cpu power than regular tasks.
 471  */
 472 void MSG_task_set_priority(msg_task_t task, double priority)
 473 {
 474   task->set_priority(priority);
 475 }
 476
 477 /** @brief Changes the maximum CPU utilization of a computation task (in flops/s).
 478  *
 479  * For VMs, there is a pitfall. Please see MSG_vm_set_bound().
 480  */
 481 void MSG_task_set_bound(msg_task_t task, double bound)
 482 {
 483   if (bound < 1e-12) /* close enough to 0 without any floating precision surprise */
 484     XBT_INFO("bound == 0 means no capping (i.e., unlimited).");
 485   task->set_bound(bound);
 486 }
 487
 488 /**
 489  * @brief Sets the tracing category of a task.
 490  *
 491  * This function should be called after the creation of a MSG task, to define the category of that task. The
 492  * first parameter task must contain a task that was  =created with the function #MSG_task_create. The second
 493  * parameter category must contain a category that was previously declared with the function #TRACE_category
 494  * (or with #TRACE_category_with_color).
 495  *
 496  * See @ref outcomes_vizu for details on how to trace the (categorized) resource utilization.
 497  *
 498  * @param task the task that is going to be categorized
 499  * @param category the name of the category to be associated to the task
 500  *
 501  * @see MSG_task_get_category, TRACE_category, TRACE_category_with_color
 502  */
 503 void MSG_task_set_category(msg_task_t task, const char* category)
 504 {
 505   xbt_assert(not task->has_tracing_category(), "Task %p(%s) already has a category (%s).", task, task->get_cname(),
 506              task->get_tracing_category().c_str());
 507
 508   // if user provides a nullptr category, task is no longer traced
 509   if (category == nullptr) {
 510     task->set_tracing_category("");
 511     XBT_DEBUG("MSG task %p(%s), category removed", task, task->get_cname());
 512   } else {
 513     // set task category
 514     task->set_tracing_category(category);
 515     XBT_DEBUG("MSG task %p(%s), category %s", task, task->get_cname(), task->get_tracing_category().c_str());
 516   }
 517 }
 518
 519 /**
 520  * @brief Gets the current tracing category of a task. (@see MSG_task_set_category)
 521  * @param task the task to be considered
 522  * @return Returns the name of the tracing category of the given task, "" otherwise
 523  */
 524 const char* MSG_task_get_category(msg_task_t task)
 525 {
 526   return task->get_tracing_category().c_str();
 527 }