Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'master' into mc-process
[simgrid.git] / src / simix / smx_context.c
index fd3bc2b..f222f62 100644 (file)
@@ -1,7 +1,7 @@
 /* a fast and simple context switching library                              */
 
-/* Copyright (c) 2004-2008 the SimGrid team.                                */
-/* All rights reserved.                                                     */
+/* Copyright (c) 2009-2014. The SimGrid Team.
+ * All rights reserved.                                                     */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 #include "portable.h"
 #include "xbt/log.h"
 #include "xbt/swag.h"
-#include "smx_context_private.h"
+#include "xbt/xbt_os_thread.h"
+#include "smx_private.h"
+#include "simgrid/sg_config.h"
+#include "internal_config.h"
+#include "simgrid/modelchecker.h"
 
-XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smx_context, simix, "Context switching mecanism");
 
-/* the context factory used to create the appropriate context
- * each context implementation define its own context factory
- * a context factory is responsable of the creation of the context
- * associated with the maestro and of all the context based on
- * the selected implementation.
- *
- * for example, the context switch based on java thread use the
- * java implementation of the context and the java factory build
- * the context depending of this implementation.
- */
+#ifdef _WIN32
+#include <windows.h>
+#else
+#include <sys/mman.h>
+#endif
 
-/**
- * This function is call by SIMIX_global_init() to initialize the context module.
+#ifdef __MINGW32__ 
+#define _aligned_malloc __mingw_aligned_malloc 
+#define _aligned_free  __mingw_aligned_free 
+#endif //MINGW
+
+
+
+#ifdef HAVE_VALGRIND_VALGRIND_H
+# include <valgrind/valgrind.h>
+#endif
+
+XBT_LOG_NEW_DEFAULT_SUBCATEGORY(simix_context, simix,
+                                "Context switching mechanism");
+
+char* smx_context_factory_name = NULL; /* factory name specified by --cfg=contexts/factory:value */
+smx_ctx_factory_initializer_t smx_factory_initializer_to_use = NULL;
+int smx_context_stack_size;
+int smx_context_stack_size_was_set = 0;
+int smx_context_guard_size;
+int smx_context_guard_size_was_set = 0;
+#ifdef HAVE_THREAD_LOCAL_STORAGE
+static __thread smx_context_t smx_current_context_parallel;
+#else
+static xbt_os_thread_key_t smx_current_context_key = 0;
+#endif
+static smx_context_t smx_current_context_serial;
+static int smx_parallel_contexts = 1;
+static int smx_parallel_threshold = 2;
+static e_xbt_parmap_mode_t smx_parallel_synchronization_mode = XBT_PARMAP_DEFAULT;
+
+/** 
+ * This function is called by SIMIX_global_init() to initialize the context module.
  */
 void SIMIX_context_mod_init(void)
 {
+#if defined(CONTEXT_THREADS) && !defined(HAVE_THREAD_LOCAL_STORAGE)
+  /* the __thread storage class is not available on this platform:
+   * use getspecific/setspecific instead to store the current context in each thread */
+  xbt_os_thread_key_create(&smx_current_context_key);
+#endif
   if (!simix_global->context_factory) {
-  /* select context factory to use to create the context(depends of the macro definitions) */
-
-#ifdef CONTEXT_THREADS
-    /* context switch based os thread */
-    SIMIX_ctx_thread_factory_init(&simix_global->context_factory);
-#elif !defined(WIN32)
-    /* context switch based ucontext */
-    SIMIX_ctx_sysv_factory_init(&simix_global->context_factory);
+    /* select the context factory to use to create the contexts */
+    if (smx_factory_initializer_to_use) {
+      smx_factory_initializer_to_use(&simix_global->context_factory);
+    }
+    else { /* use the factory specified by --cfg=contexts/factory:value */
+
+
+      if (!strcmp(smx_context_factory_name, "thread")) {
+        /* use os threads (either pthreads or windows ones) */
+        SIMIX_ctx_thread_factory_init(&simix_global->context_factory);
+      }
+#ifdef CONTEXT_UCONTEXT
+      else if (!strcmp(smx_context_factory_name, "ucontext")) {
+        /* use ucontext */
+        SIMIX_ctx_sysv_factory_init(&simix_global->context_factory);
+      }
+#endif
+#ifdef HAVE_RAWCTX
+      else if (!strcmp(smx_context_factory_name, "raw")) {
+        /* use raw contexts */
+        SIMIX_ctx_raw_factory_init(&simix_global->context_factory);
+      }
+#endif
+      else {
+        XBT_ERROR("Invalid context factory specified. Valid factories on this machine:");
+#ifdef HAVE_RAWCTX
+        XBT_ERROR("  raw: high performance context factory implemented specifically for SimGrid");
+#else
+        XBT_ERROR("  (raw contexts are disabled at compilation time on this machine -- check configure logs for details)");
+#endif
+#ifdef CONTEXT_UCONTEXT
+        XBT_ERROR("  ucontext: classical system V contexts (implemented with makecontext, swapcontext and friends)");
 #else
-    /* context switch is not allowed on Windows */
-#error ERROR [__FILE__, line __LINE__]: no context based implementation specified.
+        XBT_ERROR("  (ucontext is disabled at compilation time on this machine -- check configure logs for details)");
 #endif
+        XBT_ERROR("  thread: slow portability layer using system threads (pthreads on UNIX, CreateThread() on windows)");
+        xbt_die("Please use a valid factory.");
+      }
+    }
   }
 }
 
 /**
- * This function is call by SIMIX_clean() to finalize the context module.
+ * This function is called by SIMIX_clean() to finalize the context module.
  */
 void SIMIX_context_mod_exit(void)
 {
   if (simix_global->context_factory) {
     smx_pfn_context_factory_finalize_t finalize_factory;
 
-    /* if there are living processes then kill them (except maestro) */
-    if(simix_global->process_list != NULL)
-      SIMIX_process_killall();
-    
     /* finalize the context factory */
     finalize_factory = simix_global->context_factory->finalize;
-    (*finalize_factory) (&simix_global->context_factory);
+    finalize_factory(&simix_global->context_factory);
   }
+  xbt_dict_remove((xbt_dict_t) _sg_cfg_set,"contexts/factory");
 }
 
-/*******************************/
-/* Object creation/destruction */
-/*******************************/
-/**
- * \param smx_process the simix process that contains this context
- * \param code a main function
- */
-int SIMIX_context_new(smx_process_t *process, xbt_main_func_t code)
+void *SIMIX_context_stack_new(void)
 {
-  /* use the appropriate context factory to create the appropriate context */
-    return (*(simix_global->context_factory->create_context)) (process, code);
-}
+  void *stack;
 
+  /* FIXME: current code for stack overflow protection assumes that stacks are
+   * growing downward (PTH_STACKGROWTH == -1).  Protected pages need to be put
+   * after the stack when PTH_STACKGROWTH == 1. */
 
-int SIMIX_context_create_maestro(smx_process_t *process)
-{
-  return (*(simix_global->context_factory->create_maestro_context)) (process);
-}
+  if (smx_context_guard_size > 0 && !MC_is_active()) {
 
-/* Scenario for the end of a context:
- *
- * CASE 1: death after end of function
- *   __context_wrapper, called by os thread, calls smx_context_stop after user code stops
- *   smx_context_stop calls user cleanup_func if any (in context settings),
- *                    add current to trashbin
- *                    yields back to maestro (destroy os thread on need)
- *   From time to time, maestro calls smx_context_empty_trash,
- *       which maps smx_context_free on the content
- *   smx_context_free frees some more memory,
- *                    joins os thread
- *
- * CASE 2: brutal death
- *   smx_context_kill (from any context)
- *                    set context->wannadie to 1
- *                    yields to the context
- *   the context is awaken in the middle of __yield.
- *   At the end of it, it checks that wannadie == 1, and call smx_context_stop
- *   (same than first case afterward)
- */
+#if defined(_XBT_WIN32) || (PTH_STACKGROWTH != -1)
+    static int warned_once = 0;
+    if (!warned_once) {
+      XBT_WARN("Stack overflow protection is known to be broken on your system.  Either you're on Windows or PTH_STACKGROWTH != -1 (current value is %d).",
+               PTH_STACKGROWTH);
+      warned_once = 1;
+    }
+#endif
 
+    size_t size = smx_context_stack_size + smx_context_guard_size;
+#ifdef HAVE_MC
+    /* Cannot use posix_memalign when HAVE_MC. Align stack by hand, and save the
+     * pointer returned by xbt_malloc0. */
+    char *alloc = xbt_malloc0(size + xbt_pagesize);
+    stack = alloc - ((uintptr_t)alloc & (xbt_pagesize - 1)) + xbt_pagesize;
+    *((void **)stack - 1) = alloc;
+#elif !defined(_XBT_WIN32)
+    if (posix_memalign(&stack, xbt_pagesize, size) != 0)
+      xbt_die("Failed to allocate stack.");
+#else
+    stack = _aligned_malloc(size, xbt_pagesize);
+#endif
 
-/* Argument must be stopped first -- runs in maestro context */
-void SIMIX_context_free(smx_process_t process)
-{
-  (*(simix_global->context_factory->free)) (process);
+#ifndef _XBT_WIN32
+    if (mprotect(stack, smx_context_guard_size, PROT_NONE) == -1) {
+      XBT_WARN("Failed to protect stack: %s", strerror(errno));
+      /* That's not fatal, pursue anyway. */
+    }
+#endif
+    stack = (char *)stack + smx_context_guard_size;
+  } else {
+    stack = xbt_malloc0(smx_context_stack_size);
+  }
+
+#ifdef HAVE_VALGRIND_VALGRIND_H
+  unsigned int valgrind_stack_id =
+    VALGRIND_STACK_REGISTER(stack, (char *)stack + smx_context_stack_size);
+  memcpy((char *)stack + smx_context_usable_stack_size, &valgrind_stack_id,
+         sizeof valgrind_stack_id);
+#endif
+
+  return stack;
 }
 
-void SIMIX_context_kill(smx_process_t process)
+void SIMIX_context_stack_delete(void *stack)
 {
-  (*(simix_global->context_factory->kill)) (process);
+  if (!stack)
+    return;
+
+#ifdef HAVE_VALGRIND_VALGRIND_H
+  unsigned int valgrind_stack_id;
+  memcpy(&valgrind_stack_id, (char *)stack + smx_context_usable_stack_size,
+         sizeof valgrind_stack_id);
+  VALGRIND_STACK_DEREGISTER(valgrind_stack_id);
+#endif
+
+#ifndef WIN32
+  if (smx_context_guard_size > 0 && !MC_is_active()) {
+    stack = (char *)stack - smx_context_guard_size;
+    if (mprotect(stack, smx_context_guard_size,
+                 PROT_READ | PROT_WRITE | PROT_EXEC) == -1) {
+      XBT_WARN("Failed to remove page protection: %s", strerror(errno));
+      /* try to pursue anyway */
+    }
+#ifdef HAVE_MC
+    /* Retrieve the saved pointer.  See SIMIX_context_stack_new above. */
+    stack = *((void **)stack - 1);
+#endif
+  }
+#endif
+
+  xbt_free(stack);
 }
 
 /**
- * \param context the context to start
- *
- * Calling this function prepares \a process to be run. It will
-   however run effectively only when calling #SIMIX_context_schedule
+ * \brief Returns whether some parallel threads are used
+ * for the user contexts.
+ * \return 1 if parallelism is used
  */
-void SIMIX_context_start(smx_process_t process)
-{
-  (*(simix_global->context_factory->start)) (process);
+XBT_INLINE int SIMIX_context_is_parallel(void) {
+  return smx_parallel_contexts > 1;
 }
 
 /**
- * Calling this function makes the current process yield. The process
- * that scheduled it returns from SIMIX_context_schedule as if nothing
- * had happened.
- *
- * Only the processes can call this function, giving back the control
- * to the maestro
+ * \brief Returns the number of parallel threads used
+ * for the user contexts.
+ * \return the number of threads (1 means no parallelism)
  */
-void SIMIX_context_yield(void)
-{
-  (*(simix_global->context_factory->yield)) ();
+XBT_INLINE int SIMIX_context_get_nthreads(void) {
+  return smx_parallel_contexts;
 }
 
 /**
- * \param process to be scheduled
+ * \brief Sets the number of parallel threads to use
+ * for the user contexts.
  *
- * Calling this function blocks the current process and schedule \a process.
- * When \a process would call SIMIX_context_yield, it will return
- * to this function as if nothing had happened.
+ * This function should be called before initializing SIMIX.
+ * A value of 1 means no parallelism (1 thread only).
+ * If the value is greater than 1, the thread support must be enabled.
  *
- * Only the maestro can call this function to run a given process.
+ * \param nb_threads the number of threads to use
  */
-void SIMIX_context_schedule(smx_process_t process)
-{
-  (*(simix_global->context_factory->schedule)) (process);
+void SIMIX_context_set_nthreads(int nb_threads) {
+  if (nb_threads<=0) {  
+     nb_threads = xbt_os_get_numcores();
+     XBT_INFO("Auto-setting contexts/nthreads to %d",nb_threads);
+  }   
+  
+  if (nb_threads > 1) {
+#ifndef CONTEXT_THREADS
+    THROWF(arg_error, 0, "The thread factory cannot be run in parallel");
+#endif
+  }
+  smx_parallel_contexts = nb_threads;
 }
 
-void SIMIX_context_stop(int exit_code)
-{
-  (*(simix_global->context_factory->stop)) (exit_code);
+/**
+ * \brief Returns the threshold above which user processes are run in parallel.
+ *
+ * If the number of threads is set to 1, there is no parallelism and this
+ * threshold has no effect.
+ *
+ * \return when the number of user processes ready to run is above
+ * this threshold, they are run in parallel
+ */
+XBT_INLINE int SIMIX_context_get_parallel_threshold(void) {
+  return smx_parallel_threshold;
 }
 
-int SIMIX_context_select_factory(const char *name)
-{
-  /* if a factory is already instantiated (SIMIX_context_mod_init() was called) */
-  if (simix_global->context_factory != NULL) {
-    /* if the desired factory is different of the current factory, call SIMIX_context_mod_exit() */
-    if (strcmp(simix_global->context_factory->name, name))
-      SIMIX_context_mod_exit();
-    else
-      /* the same context factory is requested return directly */
-      return 0;
-  }
-
-  /* get the desired factory */
-  SIMIX_context_init_factory_by_name(&simix_global->context_factory, name);
-
-  /* maestro process specialisation */
-  (*(simix_global->context_factory->create_maestro_context)) (&simix_global->maestro_process);
-
-  /* the current process is the process of the maestro */
-  simix_global->current_process = simix_global->maestro_process;
-
-  /* the current context doesn't want to die */
-  simix_global->current_process->iwannadie = 0;
+/**
+ * \brief Sets the threshold above which user processes are run in parallel.
+ *
+ * If the number of threads is set to 1, there is no parallelism and this
+ * threshold has no effect.
+ *
+ * \param threshold when the number of user processes ready to run is above
+ * this threshold, they are run in parallel
+ */
+XBT_INLINE void SIMIX_context_set_parallel_threshold(int threshold) {
+  smx_parallel_threshold = threshold;
+}
 
-  /* insert the current context in the list of the contexts in use */
-  xbt_swag_insert(simix_global->current_process, simix_global->process_list);
+/**
+ * \brief Returns the synchronization mode used when processes are run in
+ * parallel.
+ * \return how threads are synchronized if processes are run in parallel
+ */
+XBT_INLINE e_xbt_parmap_mode_t SIMIX_context_get_parallel_mode(void) {
+  return smx_parallel_synchronization_mode;
+}
 
-  return 0;
+/**
+ * \brief Sets the synchronization mode to use when processes are run in
+ * parallel.
+ * \param mode how to synchronize threads if processes are run in parallel
+ */
+XBT_INLINE void SIMIX_context_set_parallel_mode(e_xbt_parmap_mode_t mode) {
+  smx_parallel_synchronization_mode = mode;
 }
 
-void
-SIMIX_context_init_factory_by_name(smx_context_factory_t * factory,
-                                   const char *name)
+/**
+ * \brief Returns the current context of this thread.
+ * \return the current context of this thread
+ */
+XBT_INLINE smx_context_t SIMIX_context_get_current(void)
 {
-  if (!strcmp(name, "java"))
-#ifdef HAVE_JAVA     
-    SIMIX_ctx_java_factory_init(factory);
-#else
-    THROW0(not_found_error, 0, "Factory 'Java' does not exist: Java support was not compiled in the SimGrid library");
-#endif /* HAVE_JAVA */
-   
-  else if (!strcmp(name, "thread"))
-#ifdef CONTEXT_THREADS
-    SIMIX_ctx_thread_factory_init(factory);
+  if (SIMIX_context_is_parallel()) {
+#ifdef HAVE_THREAD_LOCAL_STORAGE
+    return smx_current_context_parallel;
 #else
-    THROW0(not_found_error, 0, "Factory 'thread' does not exist: thread support was not compiled in the SimGrid library");
-#endif /* CONTEXT_THREADS */
-   
-  else if (!strcmp(name, "sysv"))
-#if !defined(WIN32) && !defined(CONTEXT_THREADS)
-    SIMIX_ctx_sysv_factory_init(factory);
-#else
-    THROW0(not_found_error, 0, "Factory 'sysv' does not exist: no System V thread support under Windows");
-#endif   
-  else
-    THROW1(not_found_error, 0, "Factory '%s' does not exist", name);
+    return xbt_os_thread_get_specific(smx_current_context_key);
+#endif
+  }
+  else {
+    return smx_current_context_serial;
+  }
 }
 
-/** Garbage collection
- *
- * Should be called some time to time to free the memory allocated for processes
- * that have finished (or killed).
+/**
+ * \brief Sets the current context of this thread.
+ * \param context the context to set
  */
-void SIMIX_context_empty_trash(void)
-{ 
-  smx_process_t process = NULL;
-  int i;  
-
-  while ((process = xbt_swag_extract(simix_global->process_to_destroy))){
-    free(process->name);
-    process->name = NULL;
-  
-    if (process->argv) {
-      for (i = 0; i < process->argc; i++)
-        if (process->argv[i])
-          free(process->argv[i]);
-
-      free(process->argv);
-    }
-  
-    free(process);
+XBT_INLINE void SIMIX_context_set_current(smx_context_t context)
+{
+  if (SIMIX_context_is_parallel()) {
+#ifdef HAVE_THREAD_LOCAL_STORAGE
+    smx_current_context_parallel = context;
+#else
+    xbt_os_thread_set_specific(smx_current_context_key, context);
+#endif
+  }
+  else {
+    smx_current_context_serial = context;
   }
-}
\ No newline at end of file
+}