src/xbt/parmap.c

   1 /* Copyright (c) 2004-2005, 2007, 2009-2013. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6 #include "internal_config.h"
   7 #include <unistd.h>
   8
   9 #ifndef _XBT_WIN32
  10 #include <sys/syscall.h>
  11 #endif
  12
  13 #ifdef HAVE_FUTEX_H
  14 #include <linux/futex.h>
  15 #include <limits.h>
  16 #endif
  17
  18 #include "xbt/parmap.h"
  19 #include "xbt/log.h"
  20 #include "xbt/function_types.h"
  21 #include "xbt/dynar.h"
  22 #include "xbt/xbt_os_thread.h"
  23 #include "xbt/sysdep.h"
  24 #include "simix/smx_private.h"
  25
  26 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(xbt_parmap, xbt, "parmap: parallel map");
  27
  28 typedef enum {
  29   XBT_PARMAP_WORK,
  30   XBT_PARMAP_DESTROY
  31 } e_xbt_parmap_flag_t;
  32
  33 static void xbt_parmap_set_mode(xbt_parmap_t parmap, e_xbt_parmap_mode_t mode);
  34 static void *xbt_parmap_worker_main(void *parmap);
  35 static void xbt_parmap_work(xbt_parmap_t parmap);
  36
  37 static void xbt_parmap_posix_master_wait(xbt_parmap_t parmap);
  38 static void xbt_parmap_posix_worker_signal(xbt_parmap_t parmap);
  39 static void xbt_parmap_posix_master_signal(xbt_parmap_t parmap);
  40 static void xbt_parmap_posix_worker_wait(xbt_parmap_t parmap, unsigned round);
  41
  42 #ifdef HAVE_FUTEX_H
  43 static void xbt_parmap_futex_master_wait(xbt_parmap_t parmap);
  44 static void xbt_parmap_futex_worker_signal(xbt_parmap_t parmap);
  45 static void xbt_parmap_futex_master_signal(xbt_parmap_t parmap);
  46 static void xbt_parmap_futex_worker_wait(xbt_parmap_t parmap, unsigned round);
  47 static void futex_wait(unsigned *uaddr, unsigned val);
  48 static void futex_wake(unsigned *uaddr, unsigned val);
  49 #endif
  50
  51 static void xbt_parmap_busy_master_wait(xbt_parmap_t parmap);
  52 static void xbt_parmap_busy_worker_signal(xbt_parmap_t parmap);
  53 static void xbt_parmap_busy_master_signal(xbt_parmap_t parmap);
  54 static void xbt_parmap_busy_worker_wait(xbt_parmap_t parmap, unsigned round);
  55
  56 #ifdef HAVE_MC
  57 static void xbt_parmap_mc_work(xbt_parmap_t parmap, int worker_id);
  58 static void *xbt_parmap_mc_worker_main(void *arg);
  59 #endif
  60
  61 /**
  62  * \brief Parallel map structure
  63  */
  64 typedef struct s_xbt_parmap {
  65   e_xbt_parmap_flag_t status;      /**< is the parmap active or being destroyed? */
  66   unsigned work;                   /**< index of the current round */
  67   unsigned thread_counter;         /**< number of workers that have done the work */
  68
  69   unsigned int num_workers;        /**< total number of worker threads including the controller */
  70   xbt_os_thread_t *workers;        /**< worker thread handlers */
  71   void_f_pvoid_t fun;              /**< function to run in parallel on each element of data */
  72   xbt_dynar_t data;                /**< parameters to pass to fun in parallel */
  73   unsigned int index;              /**< index of the next element of data to pick */
  74   unsigned stride;
  75   int apply_once;
  76
  77 #ifdef HAVE_MC
  78   int finish;
  79   void* ref_snapshot;
  80   int_f_pvoid_pvoid_t snapshot_compare;
  81   unsigned int length;
  82   void* mc_data;
  83 #endif
  84
  85   /* posix only */
  86   xbt_os_cond_t ready_cond;
  87   xbt_os_mutex_t ready_mutex;
  88   xbt_os_cond_t done_cond;
  89   xbt_os_mutex_t done_mutex;
  90
  91   /* fields that depend on the synchronization mode */
  92   e_xbt_parmap_mode_t mode;        /**< synchronization mode */
  93   void (*master_wait_f)(xbt_parmap_t);    /**< wait for the workers to have done the work */
  94   void (*worker_signal_f)(xbt_parmap_t);  /**< signal the master that a worker has done the work */
  95   void (*master_signal_f)(xbt_parmap_t);  /**< wakes the workers threads to process tasks */
  96   void (*worker_wait_f)(xbt_parmap_t, unsigned); /**< waits for more work */
  97 } s_xbt_parmap_t;
  98
  99 /**
 100  * \brief Thread data transmission structure
 101  */
 102 typedef struct s_xbt_parmap_thread_data{
 103   xbt_parmap_t parmap;
 104   int worker_id;
 105 } s_xbt_parmap_thread_data_t;
 106
 107 typedef s_xbt_parmap_thread_data_t *xbt_parmap_thread_data_t;
 108
 109 /**
 110  * \brief Creates a parallel map object
 111  * \param num_workers number of worker threads to create
 112  * \param mode how to synchronize the worker threads
 113  * \return the parmap created
 114  */
 115 xbt_parmap_t xbt_parmap_new(unsigned int num_workers, e_xbt_parmap_mode_t mode)
 116 {
 117   unsigned int i;
 118
 119   XBT_DEBUG("Create new parmap (%u workers)", num_workers);
 120
 121   /* Initialize the thread pool data structure */
 122   xbt_parmap_t parmap = xbt_new0(s_xbt_parmap_t, 1);
 123   parmap->workers = xbt_new(xbt_os_thread_t, num_workers);
 124
 125   parmap->num_workers = num_workers;
 126   parmap->status = XBT_PARMAP_WORK;
 127   xbt_parmap_set_mode(parmap, mode);
 128
 129   /* Create the pool of worker threads */
 130   xbt_parmap_thread_data_t data;
 131   parmap->workers[0] = NULL;
 132   for (i = 1; i < num_workers; i++) {
 133     data = xbt_new0(s_xbt_parmap_thread_data_t, 1);
 134     data->parmap = parmap;
 135     data->worker_id = i;
 136     parmap->workers[i] = xbt_os_thread_create(NULL, xbt_parmap_worker_main,
 137                                               data, NULL);
 138   }
 139   return parmap;
 140 }
 141
 142 #ifdef HAVE_MC
 143 /**
 144  * \brief Creates a parallel map object
 145  * \param num_workers number of worker threads to create
 146  * \param mode how to synchronize the worker threads
 147  * \return the parmap created
 148  */
 149 xbt_parmap_t xbt_parmap_mc_new(unsigned int num_workers, e_xbt_parmap_mode_t mode)
 150 {
 151   unsigned int i;
 152
 153   XBT_DEBUG("Create new parmap (%u workers)", num_workers);
 154
 155   /* Initialize the thread pool data structure */
 156   xbt_parmap_t parmap = xbt_new0(s_xbt_parmap_t, 1);
 157   parmap->workers = xbt_new(xbt_os_thread_t, num_workers);
 158
 159   parmap->num_workers = num_workers;
 160   parmap->status = XBT_PARMAP_WORK;
 161   xbt_parmap_set_mode(parmap, mode);
 162
 163   /* Create the pool of worker threads */
 164   xbt_parmap_thread_data_t data;
 165   parmap->workers[0] = NULL;
 166   for (i = 1; i < num_workers; i++) {
 167     data = xbt_new0(s_xbt_parmap_thread_data_t, 1);
 168     data->parmap = parmap;
 169     data->worker_id = i;
 170     parmap->workers[i] = xbt_os_thread_create(NULL, xbt_parmap_mc_worker_main,
 171                                               data, NULL);
 172   }
 173   return parmap;
 174 }
 175 #endif
 176
 177 /**
 178  * \brief Destroys a parmap
 179  * \param parmap the parmap to destroy
 180  */
 181 void xbt_parmap_destroy(xbt_parmap_t parmap)
 182 {
 183   if (!parmap) {
 184     return;
 185   }
 186
 187   parmap->status = XBT_PARMAP_DESTROY;
 188   parmap->master_signal_f(parmap);
 189
 190   unsigned int i;
 191   for (i = 1; i < parmap->num_workers; i++)
 192     xbt_os_thread_join(parmap->workers[i], NULL);
 193
 194   xbt_os_cond_destroy(parmap->ready_cond);
 195   xbt_os_mutex_destroy(parmap->ready_mutex);
 196   xbt_os_cond_destroy(parmap->done_cond);
 197   xbt_os_mutex_destroy(parmap->done_mutex);
 198
 199   xbt_free(parmap->workers);
 200   xbt_free(parmap);
 201 }
 202
 203 /**
 204  * \brief Sets the synchronization mode of a parmap.
 205  * \param parmap a parallel map object
 206  * \param mode the synchronization mode
 207  */
 208 static void xbt_parmap_set_mode(xbt_parmap_t parmap, e_xbt_parmap_mode_t mode)
 209 {
 210   if (mode == XBT_PARMAP_DEFAULT) {
 211 #ifdef HAVE_FUTEX_H
 212     mode = XBT_PARMAP_FUTEX;
 213 #else
 214     mode = XBT_PARMAP_POSIX;
 215 #endif
 216   }
 217   parmap->mode = mode;
 218
 219   switch (mode) {
 220
 221     case XBT_PARMAP_POSIX:
 222       parmap->master_wait_f = xbt_parmap_posix_master_wait;
 223       parmap->worker_signal_f = xbt_parmap_posix_worker_signal;
 224       parmap->master_signal_f = xbt_parmap_posix_master_signal;
 225       parmap->worker_wait_f = xbt_parmap_posix_worker_wait;
 226
 227       parmap->ready_cond = xbt_os_cond_init();
 228       parmap->ready_mutex = xbt_os_mutex_init();
 229       parmap->done_cond = xbt_os_cond_init();
 230       parmap->done_mutex = xbt_os_mutex_init();
 231       break;
 232
 233
 234     case XBT_PARMAP_FUTEX:
 235 #ifdef HAVE_FUTEX_H
 236       parmap->master_wait_f = xbt_parmap_futex_master_wait;
 237       parmap->worker_signal_f = xbt_parmap_futex_worker_signal;
 238       parmap->master_signal_f = xbt_parmap_futex_master_signal;
 239       parmap->worker_wait_f = xbt_parmap_futex_worker_wait;
 240
 241       xbt_os_cond_destroy(parmap->ready_cond);
 242       xbt_os_mutex_destroy(parmap->ready_mutex);
 243       xbt_os_cond_destroy(parmap->done_cond);
 244       xbt_os_mutex_destroy(parmap->done_mutex);
 245       break;
 246 #else
 247       xbt_die("Futex is not available on this OS.");
 248 #endif
 249
 250     case XBT_PARMAP_BUSY_WAIT:
 251       parmap->master_wait_f = xbt_parmap_busy_master_wait;
 252       parmap->worker_signal_f = xbt_parmap_busy_worker_signal;
 253       parmap->master_signal_f = xbt_parmap_busy_master_signal;
 254       parmap->worker_wait_f = xbt_parmap_busy_worker_wait;
 255
 256       xbt_os_cond_destroy(parmap->ready_cond);
 257       xbt_os_mutex_destroy(parmap->ready_mutex);
 258       xbt_os_cond_destroy(parmap->done_cond);
 259       xbt_os_mutex_destroy(parmap->done_mutex);
 260       break;
 261
 262     case XBT_PARMAP_DEFAULT:
 263       THROW_IMPOSSIBLE;
 264       break;
 265   }
 266 }
 267
 268 /**
 269  * \brief Applies a list of tasks in parallel.
 270  * \param parmap a parallel map object
 271  * \param fun the function to call in parallel
 272  * \param data each element of this dynar will be passed as an argument to fun
 273  */
 274 void xbt_parmap_apply(xbt_parmap_t parmap, void_f_pvoid_t fun,
 275                       xbt_dynar_t data, unsigned stride, int once)
 276 {
 277   /* Assign resources to worker threads */
 278   parmap->fun = fun;
 279   parmap->data = data;
 280   parmap->index = 0;
 281   parmap->stride = stride;
 282   parmap->apply_once = once;
 283   parmap->master_signal_f(parmap);
 284   xbt_parmap_work(parmap);
 285   parmap->master_wait_f(parmap);
 286   XBT_DEBUG("Job done");
 287 }
 288
 289 /**
 290  * \brief Returns a next task to process.
 291  *
 292  * Worker threads call this function to get more work.
 293  *
 294  * \return the next task to process, or NULL if there is no more work
 295  */
 296 void* xbt_parmap_next(xbt_parmap_t parmap, unsigned *index)
 297 {
 298   unsigned i = *index;
 299   if (i % parmap->stride == 0)
 300     i = __sync_fetch_and_add(&parmap->index, parmap->stride);
 301   *index = i + 1;
 302   return  i < xbt_dynar_length(parmap->data) ?
 303     xbt_dynar_get_as(parmap->data, i, void*) : NULL;
 304 }
 305
 306 static void xbt_parmap_work(xbt_parmap_t parmap)
 307 {
 308   if (parmap->apply_once) {
 309     parmap->fun(NULL);
 310   } else {
 311     int more = 1;
 312     unsigned index;
 313     unsigned next;
 314     do {
 315       index = __sync_fetch_and_add(&parmap->index, parmap->stride);
 316       next = index + parmap->stride;
 317       if (next >= xbt_dynar_length(parmap->data)) {
 318         next = xbt_dynar_length(parmap->data);
 319         more = 0;
 320       }
 321       while (index < next) {
 322         parmap->fun(xbt_dynar_get_as(parmap->data, index, void*));
 323         index++;
 324       }
 325     } while (more);
 326   }
 327 }
 328
 329 /**
 330  * \brief Main function of a worker thread.
 331  * \param arg the parmap
 332  */
 333 static void *xbt_parmap_worker_main(void *arg)
 334 {
 335   xbt_parmap_thread_data_t data = (xbt_parmap_thread_data_t) arg;
 336   xbt_parmap_t parmap = data->parmap;
 337   unsigned round = 0;
 338   smx_context_t context = SIMIX_context_new(NULL, 0, NULL, NULL, NULL);
 339   SIMIX_context_set_current(context);
 340
 341   XBT_DEBUG("New worker thread created");
 342
 343   /* Worker's main loop */
 344   while (1) {
 345     parmap->worker_wait_f(parmap, ++round);
 346     if (parmap->status == XBT_PARMAP_WORK) {
 347
 348       XBT_DEBUG("Worker %d got a job", data->worker_id);
 349
 350       xbt_parmap_work(parmap);
 351       parmap->worker_signal_f(parmap);
 352
 353       XBT_DEBUG("Worker %d has finished", data->worker_id);
 354
 355     /* We are destroying the parmap */
 356     } else {
 357       SIMIX_context_free(context);
 358       xbt_free(data);
 359       return NULL;
 360     }
 361   }
 362 }
 363
 364 #ifdef HAVE_MC
 365
 366 /**
 367  * \brief Applies a list of tasks in parallel.
 368  * \param parmap a parallel map object
 369  * \param fun the function to call in parallel
 370  * \param data each element of this dynar will be passed as an argument to fun
 371  */
 372 int xbt_parmap_mc_apply(xbt_parmap_t parmap, int_f_pvoid_pvoid_t fun,
 373                          void* data, unsigned int length,  void* ref_snapshot)
 374 {
 375   /* Assign resources to worker threads */
 376   parmap->snapshot_compare = fun;
 377   parmap->mc_data = data;
 378   parmap->index = 0;
 379   parmap->finish = -1;
 380   parmap->length = length;
 381   parmap->ref_snapshot = ref_snapshot;
 382   parmap->master_signal_f(parmap);
 383   xbt_parmap_mc_work(parmap, 0);
 384   parmap->master_wait_f(parmap);
 385   XBT_DEBUG("Job done");
 386   return parmap->finish;
 387 }
 388
 389 static void xbt_parmap_mc_work(xbt_parmap_t parmap, int worker_id)
 390 {
 391   unsigned int data_size = (parmap->length / parmap->num_workers) +
 392     ((parmap->length % parmap->num_workers) ? 1 :0);
 393   void* start = (char*)parmap->mc_data + (data_size*worker_id*sizeof(void*));
 394   void* end = MIN((char *)start + data_size* sizeof(void*), (char*)parmap->mc_data + parmap->length*sizeof(void*));
 395
 396   //XBT_CRITICAL("Worker %d : %p -> %p (%d)", worker_id, start, end, data_size);
 397
 398   while ( start < end && parmap->finish == -1) {
 399     //XBT_CRITICAL("Starting with %p", start);
 400     int res = parmap->snapshot_compare(*(void**)start, parmap->ref_snapshot);
 401     start = (char *)start + sizeof(start);
 402     if (!res){
 403
 404       parmap->finish = ((char*)start - (char*)parmap->mc_data) / sizeof(void*);
 405       //XBT_CRITICAL("Find good one %p (%p)", start, parmap->mc_data);
 406       break;
 407     }
 408   }
 409 }
 410
 411 /**
 412  * \brief Main function of a worker thread.
 413  * \param arg the parmap
 414  */
 415 static void *xbt_parmap_mc_worker_main(void *arg)
 416 {
 417   xbt_parmap_thread_data_t data = (xbt_parmap_thread_data_t) arg;
 418   xbt_parmap_t parmap = data->parmap;
 419   unsigned round = 0;
 420   /* smx_context_t context = SIMIX_context_new(NULL, 0, NULL, NULL, NULL); */
 421   /* SIMIX_context_set_current(context); */
 422
 423   XBT_DEBUG("New worker thread created");
 424
 425   /* Worker's main loop */
 426   while (1) {
 427     parmap->worker_wait_f(parmap, ++round);
 428     if (parmap->status == XBT_PARMAP_WORK) {
 429
 430       XBT_DEBUG("Worker %d got a job", data->worker_id);
 431
 432       xbt_parmap_mc_work(parmap, data->worker_id);
 433       parmap->worker_signal_f(parmap);
 434
 435       XBT_DEBUG("Worker %d has finished", data->worker_id);
 436
 437     /* We are destroying the parmap */
 438     } else {
 439       xbt_free(data);
 440       return NULL;
 441     }
 442   }
 443 }
 444 #endif
 445
 446 #ifdef HAVE_FUTEX_H
 447 static void futex_wait(unsigned *uaddr, unsigned val)
 448 {
 449   XBT_VERB("Waiting on futex %p", uaddr);
 450   syscall(SYS_futex, uaddr, FUTEX_WAIT_PRIVATE, val, NULL, NULL, 0);
 451 }
 452
 453 static void futex_wake(unsigned *uaddr, unsigned val)
 454 {
 455   XBT_VERB("Waking futex %p", uaddr);
 456   syscall(SYS_futex, uaddr, FUTEX_WAKE_PRIVATE, val, NULL, NULL, 0);
 457 }
 458 #endif
 459
 460 /**
 461  * \brief Starts the parmap: waits for all workers to be ready and returns.
 462  *
 463  * This function is called by the controller thread.
 464  *
 465  * \param parmap a parmap
 466  */
 467 static void xbt_parmap_posix_master_wait(xbt_parmap_t parmap)
 468 {
 469   xbt_os_mutex_acquire(parmap->done_mutex);
 470   if (parmap->thread_counter < parmap->num_workers) {
 471     /* wait for all workers to be ready */
 472     xbt_os_cond_wait(parmap->done_cond, parmap->done_mutex);
 473   }
 474   xbt_os_mutex_release(parmap->done_mutex);
 475 }
 476
 477 /**
 478  * \brief Ends the parmap: wakes the controller thread when all workers terminate.
 479  *
 480  * This function is called by all worker threads when they end (not including
 481  * the controller).
 482  *
 483  * \param parmap a parmap
 484  */
 485 static void xbt_parmap_posix_worker_signal(xbt_parmap_t parmap)
 486 {
 487   xbt_os_mutex_acquire(parmap->done_mutex);
 488   if (++parmap->thread_counter == parmap->num_workers) {
 489     /* all workers have finished, wake the controller */
 490     xbt_os_cond_signal(parmap->done_cond);
 491   }
 492   xbt_os_mutex_release(parmap->done_mutex);
 493 }
 494
 495 /**
 496  * \brief Wakes all workers and waits for them to finish the tasks.
 497  *
 498  * This function is called by the controller thread.
 499  *
 500  * \param parmap a parmap
 501  */
 502 static void xbt_parmap_posix_master_signal(xbt_parmap_t parmap)
 503 {
 504   xbt_os_mutex_acquire(parmap->ready_mutex);
 505   parmap->thread_counter = 1;
 506   parmap->work++;
 507   /* wake all workers */
 508   xbt_os_cond_broadcast(parmap->ready_cond);
 509   xbt_os_mutex_release(parmap->ready_mutex);
 510 }
 511
 512 /**
 513  * \brief Waits for some work to process.
 514  *
 515  * This function is called by each worker thread (not including the controller)
 516  * when it has no more work to do.
 517  *
 518  * \param parmap a parmap
 519  * \param round  the expected round number
 520  */
 521 static void xbt_parmap_posix_worker_wait(xbt_parmap_t parmap, unsigned round)
 522 {
 523   xbt_os_mutex_acquire(parmap->ready_mutex);
 524   /* wait for more work */
 525   if (parmap->work != round) {
 526     xbt_os_cond_wait(parmap->ready_cond, parmap->ready_mutex);
 527   }
 528   xbt_os_mutex_release(parmap->ready_mutex);
 529 }
 530
 531 #ifdef HAVE_FUTEX_H
 532 /**
 533  * \brief Starts the parmap: waits for all workers to be ready and returns.
 534  *
 535  * This function is called by the controller thread.
 536  *
 537  * \param parmap a parmap
 538  */
 539 static void xbt_parmap_futex_master_wait(xbt_parmap_t parmap)
 540 {
 541   unsigned count = parmap->thread_counter;
 542   while (count < parmap->num_workers) {
 543     /* wait for all workers to be ready */
 544     futex_wait(&parmap->thread_counter, count);
 545     count = parmap->thread_counter;
 546   }
 547 }
 548
 549 /**
 550  * \brief Ends the parmap: wakes the controller thread when all workers terminate.
 551  *
 552  * This function is called by all worker threads when they end (not including
 553  * the controller).
 554  *
 555  * \param parmap a parmap
 556  */
 557 static void xbt_parmap_futex_worker_signal(xbt_parmap_t parmap)
 558 {
 559   unsigned count = __sync_add_and_fetch(&parmap->thread_counter, 1);
 560   if (count == parmap->num_workers) {
 561     /* all workers have finished, wake the controller */
 562     futex_wake(&parmap->thread_counter, INT_MAX);
 563   }
 564 }
 565
 566 /**
 567  * \brief Wakes all workers and waits for them to finish the tasks.
 568  *
 569  * This function is called by the controller thread.
 570  *
 571  * \param parmap a parmap
 572  */
 573 static void xbt_parmap_futex_master_signal(xbt_parmap_t parmap)
 574 {
 575   parmap->thread_counter = 1;
 576   __sync_add_and_fetch(&parmap->work, 1);
 577   /* wake all workers */
 578   futex_wake(&parmap->work, INT_MAX);
 579 }
 580
 581 /**
 582  * \brief Waits for some work to process.
 583  *
 584  * This function is called by each worker thread (not including the controller)
 585  * when it has no more work to do.
 586  *
 587  * \param parmap a parmap
 588  * \param round  the expected round number
 589  */
 590 static void xbt_parmap_futex_worker_wait(xbt_parmap_t parmap, unsigned round)
 591 {
 592   unsigned work = parmap->work;
 593   /* wait for more work */
 594   while (work != round) {
 595     futex_wait(&parmap->work, work);
 596     work = parmap->work;
 597   }
 598 }
 599 #endif
 600
 601 /**
 602  * \brief Starts the parmap: waits for all workers to be ready and returns.
 603  *
 604  * This function is called by the controller thread.
 605  *
 606  * \param parmap a parmap
 607  */
 608 static void xbt_parmap_busy_master_wait(xbt_parmap_t parmap)
 609 {
 610   while (parmap->thread_counter < parmap->num_workers) {
 611     xbt_os_thread_yield();
 612   }
 613 }
 614
 615 /**
 616  * \brief Ends the parmap: wakes the controller thread when all workers terminate.
 617  *
 618  * This function is called by all worker threads when they end.
 619  *
 620  * \param parmap a parmap
 621  */
 622 static void xbt_parmap_busy_worker_signal(xbt_parmap_t parmap)
 623 {
 624   __sync_add_and_fetch(&parmap->thread_counter, 1);
 625 }
 626
 627 /**
 628  * \brief Wakes all workers and waits for them to finish the tasks.
 629  *
 630  * This function is called by the controller thread.
 631  *
 632  * \param parmap a parmap
 633  */
 634 static void xbt_parmap_busy_master_signal(xbt_parmap_t parmap)
 635 {
 636   parmap->thread_counter = 1;
 637   __sync_add_and_fetch(&parmap->work, 1);
 638 }
 639
 640 /**
 641  * \brief Waits for some work to process.
 642  *
 643  * This function is called by each worker thread (not including the controller)
 644  * when it has no more work to do.
 645  *
 646  * \param parmap a parmap
 647  * \param round  the expected round number
 648  */
 649 static void xbt_parmap_busy_worker_wait(xbt_parmap_t parmap, unsigned round)
 650 {
 651   /* wait for more work */
 652   while (parmap->work != round) {
 653     xbt_os_thread_yield();
 654   }
 655 }