src/simix/smx_context.cpp

   1 /* a fast and simple context switching library                              */
   2
   3 /* Copyright (c) 2009-2018. The SimGrid Team. All rights reserved.          */
   4
   5 /* This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the license (GNU LGPL) which comes with this package. */
   7
   8 #include <cerrno>
   9 #include <cstring>
  10
  11 #include <utility>
  12 #include <string>
  13
  14 #include <xbt/config.hpp>
  15 #include <xbt/log.h>
  16 #include <xbt/range.hpp>
  17 #include <xbt/sysdep.h>
  18
  19 #include "simgrid/modelchecker.h"
  20 #include "simgrid/sg_config.hpp"
  21 #include "smx_private.hpp"
  22 #include "src/internal_config.h"
  23 #include "xbt/log.h"
  24 #include "xbt/xbt_os_thread.h"
  25
  26 #ifdef _WIN32
  27 #include <windows.h>
  28 #include <malloc.h>
  29 #else
  30 #include <sys/mman.h>
  31 #endif
  32
  33 #ifdef __MINGW32__
  34 #define _aligned_malloc __mingw_aligned_malloc
  35 #define _aligned_free  __mingw_aligned_free
  36 #endif /*MINGW*/
  37
  38 #if HAVE_VALGRIND_H
  39 # include <valgrind/valgrind.h>
  40 #endif
  41
  42 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(simix_context, simix, "Context switching mechanism");
  43
  44 static std::pair<const char*, simgrid::kernel::context::ContextFactoryInitializer> context_factories[] = {
  45 #if HAVE_RAW_CONTEXTS
  46   { "raw", &simgrid::kernel::context::raw_factory },
  47 #endif
  48 #if HAVE_UCONTEXT_CONTEXTS
  49   { "ucontext", &simgrid::kernel::context::sysv_factory },
  50 #endif
  51 #if HAVE_BOOST_CONTEXTS
  52   { "boost", &simgrid::kernel::context::boost_factory },
  53 #endif
  54 #if HAVE_THREAD_CONTEXTS
  55   { "thread", &simgrid::kernel::context::thread_factory },
  56 #endif
  57 };
  58
  59 static_assert(sizeof(context_factories) != 0, "No context factories are enabled for this build");
  60
  61 // Create the list of possible contexts:
  62 static inline
  63 std::string contexts_list()
  64 {
  65   std::string res;
  66   const std::size_t n = sizeof(context_factories) / sizeof(context_factories[0]);
  67   for (std::size_t i = 1; i != n; ++i) {
  68     res += ", ";
  69     res += context_factories[i].first;
  70   }
  71   return res;
  72 }
  73
  74 static simgrid::config::Flag<std::string> context_factory_name(
  75   "contexts/factory",
  76   (std::string("Possible values: ")+contexts_list()).c_str(),
  77   context_factories[0].first);
  78
  79 unsigned smx_context_stack_size;
  80 int smx_context_stack_size_was_set = 0;
  81 unsigned smx_context_guard_size;
  82 int smx_context_guard_size_was_set = 0;
  83 #if HAVE_THREAD_LOCAL_STORAGE
  84 static XBT_THREAD_LOCAL smx_context_t smx_current_context_parallel;
  85 #else
  86 static xbt_os_thread_key_t smx_current_context_key = 0;
  87 #endif
  88 static smx_context_t smx_current_context_serial;
  89 static int smx_parallel_contexts = 1;
  90 static int smx_parallel_threshold = 2;
  91 static e_xbt_parmap_mode_t smx_parallel_synchronization_mode = XBT_PARMAP_DEFAULT;
  92
  93 /**
  94  * This function is called by SIMIX_global_init() to initialize the context module.
  95  */
  96 void SIMIX_context_mod_init()
  97 {
  98   xbt_assert(simix_global->context_factory == nullptr);
  99
 100   smx_context_stack_size_was_set = not simgrid::config::is_default("contexts/stack-size");
 101   smx_context_guard_size_was_set = not simgrid::config::is_default("contexts/guard-size");
 102
 103 #if HAVE_THREAD_CONTEXTS && not HAVE_THREAD_LOCAL_STORAGE
 104   /* the __thread storage class is not available on this platform:
 105    * use getspecific/setspecific instead to store the current context in each thread */
 106   xbt_os_thread_key_create(&smx_current_context_key);
 107 #endif
 108
 109 #if HAVE_SMPI && (defined(__APPLE__) || defined(__NetBSD__))
 110   std::string priv = simgrid::config::get_value<std::string>("smpi/privatization");
 111   if (context_factory_name == "thread" && (priv == "dlopen" || priv == "yes" || priv == "default" || priv == "1")) {
 112     XBT_WARN("dlopen+thread broken on Apple and BSD. Switching to raw contexts.");
 113     context_factory_name = "raw";
 114   }
 115 #endif
 116
 117 #if HAVE_SMPI && defined(__FreeBSD__)
 118   if (context_factory_name == "thread" && simgrid::config::get_value<std::string>("smpi/privatization") != "no") {
 119     XBT_WARN("mmap broken on FreeBSD, but dlopen+thread broken too. Switching to dlopen+raw contexts.");
 120     context_factory_name = "raw";
 121   }
 122 #endif
 123
 124   /* select the context factory to use to create the contexts */
 125   if (simgrid::kernel::context::factory_initializer) { // Give Java a chance to hijack the factory mechanism
 126     simix_global->context_factory = simgrid::kernel::context::factory_initializer();
 127     return;
 128   }
 129   /* use the factory specified by --cfg=contexts/factory:value */
 130   for (auto const& factory : context_factories)
 131     if (context_factory_name == factory.first) {
 132       simix_global->context_factory = factory.second();
 133       break;
 134     }
 135
 136   if (simix_global->context_factory == nullptr) {
 137     XBT_ERROR("Invalid context factory specified. Valid factories on this machine:");
 138 #if HAVE_RAW_CONTEXTS
 139     XBT_ERROR("  raw: high performance context factory implemented specifically for SimGrid");
 140 #else
 141     XBT_ERROR("  (raw contexts were disabled at compilation time on this machine -- check configure logs for details)");
 142 #endif
 143 #if HAVE_UCONTEXT_CONTEXTS
 144     XBT_ERROR("  ucontext: classical system V contexts (implemented with makecontext, swapcontext and friends)");
 145 #else
 146     XBT_ERROR("  (ucontext was disabled at compilation time on this machine -- check configure logs for details)");
 147 #endif
 148 #if HAVE_BOOST_CONTEXTS
 149     XBT_ERROR("  boost: this uses the boost libraries context implementation");
 150 #else
 151     XBT_ERROR("  (boost was disabled at compilation time on this machine -- check configure logs for details. Did you install the libboost-context-dev package?)");
 152 #endif
 153     XBT_ERROR("  thread: slow portability layer using pthreads as provided by gcc");
 154     xbt_die("Please use a valid factory.");
 155   }
 156 }
 157
 158 /**
 159  * This function is called by SIMIX_clean() to finalize the context module.
 160  */
 161 void SIMIX_context_mod_exit()
 162 {
 163   delete simix_global->context_factory;
 164   simix_global->context_factory = nullptr;
 165 }
 166
 167 void *SIMIX_context_stack_new()
 168 {
 169   void *stack;
 170
 171   if (smx_context_guard_size > 0 && not MC_is_active()) {
 172
 173 #if !defined(PTH_STACKGROWTH) || (PTH_STACKGROWTH != -1)
 174     xbt_die("Stack overflow protection is known to be broken on your system: you stacks grow upwards (or detection is "
 175             "broken). "
 176             "Please disable stack guards with --cfg=contexts:guard-size:0");
 177     /* Current code for stack overflow protection assumes that stacks are growing downward (PTH_STACKGROWTH == -1).
 178      * Protected pages need to be put after the stack when PTH_STACKGROWTH == 1. */
 179 #endif
 180
 181     size_t size = smx_context_stack_size + smx_context_guard_size;
 182 #if SIMGRID_HAVE_MC
 183     /* Cannot use posix_memalign when SIMGRID_HAVE_MC. Align stack by hand, and save the
 184      * pointer returned by xbt_malloc0. */
 185     char *alloc = (char*)xbt_malloc0(size + xbt_pagesize);
 186     stack = alloc - ((uintptr_t)alloc & (xbt_pagesize - 1)) + xbt_pagesize;
 187     *((void **)stack - 1) = alloc;
 188 #elif !defined(_WIN32)
 189     if (posix_memalign(&stack, xbt_pagesize, size) != 0)
 190       xbt_die("Failed to allocate stack.");
 191 #else
 192     stack = _aligned_malloc(size, xbt_pagesize);
 193 #endif
 194
 195 #ifndef _WIN32
 196     if (mprotect(stack, smx_context_guard_size, PROT_NONE) == -1) {
 197       xbt_die(
 198           "Failed to protect stack: %s.\n"
 199           "If you are running a lot of actors, you may be exceeding the amount of mappings allowed per process.\n"
 200           "On Linux systems, change this value with sudo sysctl -w vm.max_map_count=newvalue (default value: 65536)\n"
 201           "Please see http://simgrid.gforge.inria.fr/simgrid/latest/doc/html/options.html#options_virt for more info.",
 202           strerror(errno));
 203       /* This is fatal. We are going to fail at some point when we try reusing this. */
 204     }
 205 #endif
 206     stack = (char *)stack + smx_context_guard_size;
 207   } else {
 208     stack = xbt_malloc0(smx_context_stack_size);
 209   }
 210
 211 #if HAVE_VALGRIND_H
 212   unsigned int valgrind_stack_id = VALGRIND_STACK_REGISTER(stack, (char *)stack + smx_context_stack_size);
 213   memcpy((char *)stack + smx_context_usable_stack_size, &valgrind_stack_id, sizeof valgrind_stack_id);
 214 #endif
 215
 216   return stack;
 217 }
 218
 219 void SIMIX_context_stack_delete(void *stack)
 220 {
 221   if (not stack)
 222     return;
 223
 224 #if HAVE_VALGRIND_H
 225   unsigned int valgrind_stack_id;
 226   memcpy(&valgrind_stack_id, (char *)stack + smx_context_usable_stack_size, sizeof valgrind_stack_id);
 227   VALGRIND_STACK_DEREGISTER(valgrind_stack_id);
 228 #endif
 229
 230 #ifndef _WIN32
 231   if (smx_context_guard_size > 0 && not MC_is_active()) {
 232     stack = (char *)stack - smx_context_guard_size;
 233     if (mprotect(stack, smx_context_guard_size, PROT_READ | PROT_WRITE) == -1) {
 234       XBT_WARN("Failed to remove page protection: %s", strerror(errno));
 235       /* try to pursue anyway */
 236     }
 237 #if SIMGRID_HAVE_MC
 238     /* Retrieve the saved pointer.  See SIMIX_context_stack_new above. */
 239     stack = *((void **)stack - 1);
 240 #endif
 241   }
 242 #endif /* not windows */
 243
 244   xbt_free(stack);
 245 }
 246
 247 /** @brief Returns whether some parallel threads are used for the user contexts. */
 248 int SIMIX_context_is_parallel() {
 249   return smx_parallel_contexts > 1;
 250 }
 251
 252 /**
 253  * @brief Returns the number of parallel threads used for the user contexts.
 254  * \return the number of threads (1 means no parallelism)
 255  */
 256 int SIMIX_context_get_nthreads() {
 257   return smx_parallel_contexts;
 258 }
 259
 260 /**
 261  * \brief Sets the number of parallel threads to use
 262  * for the user contexts.
 263  *
 264  * This function should be called before initializing SIMIX.
 265  * A value of 1 means no parallelism (1 thread only).
 266  * If the value is greater than 1, the thread support must be enabled.
 267  *
 268  * \param nb_threads the number of threads to use
 269  */
 270 void SIMIX_context_set_nthreads(int nb_threads) {
 271   if (nb_threads<=0) {
 272      nb_threads = xbt_os_get_numcores();
 273      XBT_INFO("Auto-setting contexts/nthreads to %d",nb_threads);
 274   }
 275 #if !HAVE_THREAD_CONTEXTS
 276   xbt_assert(nb_threads == 1, "Parallel runs are impossible when the pthreads are missing.");
 277 #endif
 278   smx_parallel_contexts = nb_threads;
 279 }
 280
 281 /**
 282  * \brief Returns the threshold above which user processes are run in parallel.
 283  *
 284  * If the number of threads is set to 1, there is no parallelism and this
 285  * threshold has no effect.
 286  *
 287  * \return when the number of user processes ready to run is above
 288  * this threshold, they are run in parallel
 289  */
 290 int SIMIX_context_get_parallel_threshold() {
 291   return smx_parallel_threshold;
 292 }
 293
 294 /**
 295  * \brief Sets the threshold above which user processes are run in parallel.
 296  *
 297  * If the number of threads is set to 1, there is no parallelism and this
 298  * threshold has no effect.
 299  *
 300  * \param threshold when the number of user processes ready to run is above
 301  * this threshold, they are run in parallel
 302  */
 303 void SIMIX_context_set_parallel_threshold(int threshold) {
 304   smx_parallel_threshold = threshold;
 305 }
 306
 307 /**
 308  * \brief Returns the synchronization mode used when processes are run in
 309  * parallel.
 310  * \return how threads are synchronized if processes are run in parallel
 311  */
 312 e_xbt_parmap_mode_t SIMIX_context_get_parallel_mode() {
 313   return smx_parallel_synchronization_mode;
 314 }
 315
 316 /**
 317  * \brief Sets the synchronization mode to use when processes are run in
 318  * parallel.
 319  * \param mode how to synchronize threads if processes are run in parallel
 320  */
 321 void SIMIX_context_set_parallel_mode(e_xbt_parmap_mode_t mode) {
 322   smx_parallel_synchronization_mode = mode;
 323 }
 324
 325 /**
 326  * \brief Returns the current context of this thread.
 327  * \return the current context of this thread
 328  */
 329 smx_context_t SIMIX_context_get_current()
 330 {
 331   if (SIMIX_context_is_parallel()) {
 332 #if HAVE_THREAD_LOCAL_STORAGE
 333     return smx_current_context_parallel;
 334 #else
 335     return xbt_os_thread_get_specific(smx_current_context_key);
 336 #endif
 337   }
 338   else {
 339     return smx_current_context_serial;
 340   }
 341 }
 342
 343 /**
 344  * \brief Sets the current context of this thread.
 345  * \param context the context to set
 346  */
 347 void SIMIX_context_set_current(smx_context_t context)
 348 {
 349   if (SIMIX_context_is_parallel()) {
 350 #if HAVE_THREAD_LOCAL_STORAGE
 351     smx_current_context_parallel = context;
 352 #else
 353     xbt_os_thread_set_specific(smx_current_context_key, context);
 354 #endif
 355   }
 356   else {
 357     smx_current_context_serial = context;
 358   }
 359 }