Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
activity::CommImpl: stick to our naming standards for the fields
[simgrid.git] / src / smpi / internals / smpi_global.cpp
index 98b9353..8e33165 100644 (file)
@@ -1,4 +1,4 @@
-/* Copyright (c) 2007-2018. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2007-2019. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 #include "src/smpi/include/smpi_actor.hpp"
 #include "xbt/config.hpp"
 
+#include <algorithm>
 #include <cfloat> /* DBL_MAX */
+#include <cinttypes>
+#include <cstdint> /* intmax_t */
 #include <dlfcn.h>
 #include <fcntl.h>
 #include <fstream>
 #   define MAC_OS_X_VERSION_10_12 101200
 # endif
 # define HAVE_WORKING_MMAP (MAC_OS_X_VERSION_MIN_REQUIRED >= MAC_OS_X_VERSION_10_12)
-#elif defined(__FreeBSD__)
+#elif defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
 # define HAVE_WORKING_MMAP 0
 #else
 # define HAVE_WORKING_MMAP 1
 #endif
 
-#if HAVE_SENDFILE
+#if SG_HAVE_SENDFILE
 #include <sys/sendfile.h>
 #endif
 
@@ -42,21 +45,24 @@ XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_kernel, smpi, "Logging specific to SMPI (ke
 #include <boost/tokenizer.hpp>
 #include <boost/algorithm/string.hpp> /* trim_right / trim_left */
 
-#if defined(__INTEL_COMPILER) || defined(__ICC)
+#if SMPI_IFORT
   extern "C" void for_rtl_init_ (int *, char **);
-#elif defined(__FLANG)
+  extern "C" void for_rtl_finish_ ();
+#elif SMPI_FLANG
   extern "C" void __io_set_argc(int);
   extern "C" void __io_set_argv(char **);
-#elif defined(__GNUC__)
+#elif SMPI_GFORTRAN
   extern "C" void _gfortran_set_args(int, char **);
 #endif
 
-#ifndef RTLD_DEEPBIND
 /* RTLD_DEEPBIND is a bad idea of GNU ld that obviously does not exist on other platforms
  * See https://www.akkadia.org/drepper/dsohowto.pdf
  * and https://lists.freebsd.org/pipermail/freebsd-current/2016-March/060284.html
 */
-#define RTLD_DEEPBIND 0
+#if !defined(RTLD_DEEPBIND) || HAVE_SANITIZER_ADDRESS || HAVE_SANITIZER_THREAD
+#define WANT_RTLD_DEEPBIND 0
+#else
+#define WANT_RTLD_DEEPBIND RTLD_DEEPBIND
 #endif
 
 #if HAVE_PAPI
@@ -93,8 +99,6 @@ MPI_Errhandler *MPI_ERRHANDLER_NULL = nullptr;
 // No instance gets manually created; check also the smpirun.in script as
 // this default name is used there as well (when the <actor> tag is generated).
 static const std::string smpi_default_instance_name("smpirun");
-static simgrid::config::Flag<double> smpi_wtime_sleep(
-  "smpi/wtime", "Minimum time to inject inside a call to MPI_Wtime", 0.0);
 static simgrid::config::Flag<double> smpi_init_sleep(
   "smpi/init", "Time to inject inside a call to MPI_Init", 0.0);
 
@@ -125,11 +129,7 @@ MPI_Comm smpi_process_comm_self(){
 }
 
 void smpi_process_init(int *argc, char ***argv){
-  simgrid::smpi::ActorExt::init(argc, argv);
-}
-
-int smpi_process_index(){
-  return simgrid::s4u::this_actor::get_pid();
+  simgrid::smpi::ActorExt::init();
 }
 
 void * smpi_process_get_user_data(){
@@ -184,8 +184,8 @@ void smpi_comm_copy_buffer_callback(smx_activity_t synchro, void *buff, size_t b
     src_private_blocks.clear();
     src_private_blocks.push_back(std::make_pair(0, buff_size));
   }
-  if((dst_shared=smpi_is_shared((char*)comm->dst_buff, dst_private_blocks, &dst_offset))) {
-    XBT_DEBUG("Receiver %p is shared. Let's ignore it.", (char*)comm->dst_buff);
+  if ((dst_shared = smpi_is_shared((char*)comm->dst_buff_, dst_private_blocks, &dst_offset))) {
+    XBT_DEBUG("Receiver %p is shared. Let's ignore it.", (char*)comm->dst_buff_);
     dst_private_blocks = shift_and_frame_private_blocks(dst_private_blocks, dst_offset, buff_size);
   }
   else {
@@ -201,18 +201,19 @@ void smpi_comm_copy_buffer_callback(smx_activity_t synchro, void *buff, size_t b
       (static_cast<char*>(buff) >= smpi_data_exe_start) &&
       (static_cast<char*>(buff) < smpi_data_exe_start + smpi_data_exe_size)) {
     XBT_DEBUG("Privatization : We are copying from a zone inside global memory... Saving data to temp buffer !");
-    smpi_switch_data_segment(comm->src_proc->iface());
+    smpi_switch_data_segment(comm->src_actor_->iface());
     tmpbuff = static_cast<void*>(xbt_malloc(buff_size));
     memcpy_private(tmpbuff, buff, private_blocks);
   }
 
-  if ((smpi_privatize_global_variables == SmpiPrivStrategies::MMAP) && ((char*)comm->dst_buff >= smpi_data_exe_start) &&
-      ((char*)comm->dst_buff < smpi_data_exe_start + smpi_data_exe_size)) {
+  if ((smpi_privatize_global_variables == SmpiPrivStrategies::MMAP) &&
+      ((char*)comm->dst_buff_ >= smpi_data_exe_start) &&
+      ((char*)comm->dst_buff_ < smpi_data_exe_start + smpi_data_exe_size)) {
     XBT_DEBUG("Privatization : We are copying to a zone inside global memory - Switch data segment");
-    smpi_switch_data_segment(comm->dst_proc->iface());
+    smpi_switch_data_segment(comm->dst_actor_->iface());
   }
-  XBT_DEBUG("Copying %zu bytes from %p to %p", buff_size, tmpbuff,comm->dst_buff);
-  memcpy_private(comm->dst_buff, tmpbuff, private_blocks);
+  XBT_DEBUG("Copying %zu bytes from %p to %p", buff_size, tmpbuff, comm->dst_buff_);
+  memcpy_private(comm->dst_buff_, tmpbuff, private_blocks);
 
   if (comm->detached) {
     // if this is a detached send, the source buffer was duplicated by SMPI
@@ -220,7 +221,7 @@ void smpi_comm_copy_buffer_callback(smx_activity_t synchro, void *buff, size_t b
     xbt_free(buff);
     //It seems that the request is used after the call there this should be free somewhere else but where???
     //xbt_free(comm->comm.src_data);// inside SMPI the request is kept inside the user data and should be free
-    comm->src_buff = nullptr;
+    comm->src_buff_ = nullptr;
   }
   if (tmpbuff != buff)
     xbt_free(tmpbuff);
@@ -323,17 +324,15 @@ void smpi_global_init()
 
         int event_code   = PAPI_NULL;
         char* event_name = const_cast<char*>((*events_it).c_str());
-        if (PAPI_event_name_to_code(event_name, &event_code) == PAPI_OK) {
-          if (PAPI_add_event(event_set, event_code) != PAPI_OK) {
-            XBT_ERROR("Could not add PAPI event '%s'. Skipping.", event_name);
-            continue;
-          } else {
-            XBT_DEBUG("Successfully added PAPI event '%s' to the event set.", event_name);
-          }
-        } else {
+        if (PAPI_event_name_to_code(event_name, &event_code) != PAPI_OK) {
           XBT_CRITICAL("Could not find PAPI event '%s'. Skipping.", event_name);
           continue;
         }
+        if (PAPI_add_event(event_set, event_code) != PAPI_OK) {
+          XBT_ERROR("Could not add PAPI event '%s'. Skipping.", event_name);
+          continue;
+        }
+        XBT_DEBUG("Successfully added PAPI event '%s' to the event set.", event_name);
 
         counters2values.push_back(
             // We cannot just pass *events_it, as this is of type const basic_string
@@ -423,25 +422,44 @@ typedef std::function<int(int argc, char *argv[])> smpi_entry_point_type;
 typedef int (* smpi_c_entry_point_type)(int argc, char **argv);
 typedef void (*smpi_fortran_entry_point_type)();
 
-static int smpi_run_entry_point(smpi_entry_point_type entry_point, std::vector<std::string> args)
+static int smpi_run_entry_point(smpi_entry_point_type entry_point, const std::string& executable_path,
+                                std::vector<std::string> args)
 {
-  char noarg[]   = {'\0'};
-  int argc = args.size();
-  std::unique_ptr<char*[]> argv(new char*[argc + 1]);
-  for (int i = 0; i != argc; ++i)
-    argv[i] = args[i].empty() ? noarg : &args[i].front();
-  argv[argc] = nullptr;
-  char ** argvptr=argv.get();
-  simgrid::smpi::ActorExt::init(&argc, &argvptr);
-#if defined(__INTEL_COMPILER) || defined(__ICC)
-  for_rtl_init_ (&argc, argvptr);
-#elif defined(__FLANG)
+  // copy C strings, we need them writable
+  std::vector<char*>* args4argv = new std::vector<char*>(args.size());
+  std::transform(begin(args), end(args), begin(*args4argv), [](const std::string& s) { return xbt_strdup(s.c_str()); });
+
+  // set argv[0] to executable_path
+  xbt_free((*args4argv)[0]);
+  (*args4argv)[0] = xbt_strdup(executable_path.c_str());
+
+#if !SMPI_IFORT
+  // take a copy of args4argv to keep reference of the allocated strings
+  const std::vector<char*> args2str(*args4argv);
+#endif
+  int argc = args4argv->size();
+  args4argv->push_back(nullptr);
+  char** argv = args4argv->data();
+
+  simgrid::smpi::ActorExt::init();
+#if SMPI_IFORT
+  for_rtl_init_ (&argc, argv);
+#elif SMPI_FLANG
   __io_set_argc(argc);
-  __io_set_argv(argvptr);
-#elif defined(__GNUC__)
-  _gfortran_set_args(argc, argvptr);
+  __io_set_argv(argv);
+#elif SMPI_GFORTRAN
+  _gfortran_set_args(argc, argv);
 #endif 
-  int res = entry_point(argc, argvptr);
+  int res = entry_point(argc, argv);
+
+#if SMPI_IFORT
+  for_rtl_finish_ ();
+#else
+  for (char* s : args2str)
+    xbt_free(s);
+  delete args4argv;
+#endif
+
   if (res != 0){
     XBT_WARN("SMPI process did not return 0. Return value : %d", res);
     if (smpi_exit_status == 0)
@@ -477,31 +495,36 @@ static void smpi_copy_file(std::string src, std::string target, off_t fdin_size)
   int fdout = open(target.c_str(), O_CREAT | O_RDWR, S_IRWXU);
   xbt_assert(fdout >= 0, "Cannot write into %s", target.c_str());
 
-  XBT_DEBUG("Copy %ld bytes into %s", static_cast<long>(fdin_size), target.c_str());
-#if HAVE_SENDFILE
+  XBT_DEBUG("Copy %" PRIdMAX " bytes into %s", static_cast<intmax_t>(fdin_size), target.c_str());
+  bool slow_copy = true;
+#if SG_HAVE_SENDFILE
   ssize_t sent_size = sendfile(fdout, fdin, NULL, fdin_size);
-  xbt_assert(sent_size == fdin_size, "Error while copying %s: only %zd bytes copied instead of %ld (errno: %d -- %s)",
-             target.c_str(), sent_size, fdin_size, errno, strerror(errno));
-#else
-  const int bufsize = 1024 * 1024 * 4;
-  char buf[bufsize];
-  while (int got = read(fdin, buf, bufsize)) {
-    if (got == -1) {
-      xbt_assert(errno == EINTR, "Cannot read from %s", src.c_str());
-    } else {
-      char* p  = buf;
-      int todo = got;
-      while (int done = write(fdout, p, todo)) {
-        if (done == -1) {
-          xbt_assert(errno == EINTR, "Cannot write into %s", target.c_str());
-        } else {
-          p += done;
-          todo -= done;
+  if (sent_size == fdin_size)
+    slow_copy = false;
+  else if (sent_size != -1 || errno != ENOSYS)
+    xbt_die("Error while copying %s: only %zd bytes copied instead of %" PRIdMAX " (errno: %d -- %s)", target.c_str(),
+            sent_size, static_cast<intmax_t>(fdin_size), errno, strerror(errno));
+#endif
+  if (slow_copy) {
+    const int bufsize = 1024 * 1024 * 4;
+    char buf[bufsize];
+    while (int got = read(fdin, buf, bufsize)) {
+      if (got == -1) {
+        xbt_assert(errno == EINTR, "Cannot read from %s", src.c_str());
+      } else {
+        char* p  = buf;
+        int todo = got;
+        while (int done = write(fdout, p, todo)) {
+          if (done == -1) {
+            xbt_assert(errno == EINTR, "Cannot write into %s", target.c_str());
+          } else {
+            p += done;
+            todo -= done;
+          }
         }
       }
     }
   }
-#endif
   close(fdin);
   close(fdout);
 }
@@ -520,7 +543,7 @@ static int visit_libs(struct dl_phdr_info* info, size_t, void* data)
 }
 #endif
 
-static void smpi_init_privatization_dlopen(std::string executable)
+static void smpi_init_privatization_dlopen(const std::string& executable)
 {
   // Prepare the copy of the binary (get its size)
   struct stat fdin_stat;
@@ -539,7 +562,7 @@ static void smpi_init_privatization_dlopen(std::string executable)
       void* libhandle = dlopen(libname.c_str(), RTLD_LAZY);
       // get library name from path
       char fullpath[512] = {'\0'};
-      strcpy(fullpath, libname.c_str());
+      strncpy(fullpath, libname.c_str(), 511);
 #if not defined(__APPLE__)
       int ret = dl_iterate_phdr(visit_libs, fullpath);
       if (ret == 0)
@@ -556,14 +579,13 @@ static void smpi_init_privatization_dlopen(std::string executable)
 
   simix_global->default_function = [executable, fdin_size](std::vector<std::string> args) {
     return std::function<void()>([executable, fdin_size, args] {
-
       // Copy the dynamic library:
       std::string target_executable =
           executable + "_" + std::to_string(getpid()) + "_" + std::to_string(rank) + ".so";
 
       smpi_copy_file(executable, target_executable, fdin_size);
       // if smpi/privatize-libs is set, duplicate pointed lib and link each executable copy to a different one.
-      std::string target_lib;
+      std::vector<std::string> target_libs;
       for (auto const& libpath : privatize_libs_paths) {
         // if we were given a full path, strip it
         size_t index = libpath.find_last_of("/\\");
@@ -582,8 +604,9 @@ static void smpi_init_privatization_dlopen(std::string executable)
           unsigned int pad = 7;
           if (libname.length() < pad)
             pad = libname.length();
-          target_lib =
+          std::string target_lib =
               std::string(pad - std::to_string(rank).length(), '0') + std::to_string(rank) + libname.substr(pad);
+          target_libs.push_back(target_lib);
           XBT_DEBUG("copy lib %s to %s, with size %lld", libpath.c_str(), target_lib.c_str(), (long long)fdin_size2);
           smpi_copy_file(libpath, target_lib, fdin_size2);
 
@@ -596,11 +619,11 @@ static void smpi_init_privatization_dlopen(std::string executable)
 
       rank++;
       // Load the copy and resolve the entry point:
-      void* handle    = dlopen(target_executable.c_str(), RTLD_LAZY | RTLD_LOCAL | RTLD_DEEPBIND);
+      void* handle    = dlopen(target_executable.c_str(), RTLD_LAZY | RTLD_LOCAL | WANT_RTLD_DEEPBIND);
       int saved_errno = errno;
       if (simgrid::config::get_value<bool>("smpi/keep-temps") == false) {
         unlink(target_executable.c_str());
-        if (not target_lib.empty())
+        for (const std::string& target_lib : target_libs)
           unlink(target_lib.c_str());
       }
       if (handle == nullptr)
@@ -608,12 +631,12 @@ static void smpi_init_privatization_dlopen(std::string executable)
       smpi_entry_point_type entry_point = smpi_resolve_function(handle);
       if (not entry_point)
         xbt_die("Could not resolve entry point");
-      smpi_run_entry_point(entry_point, args);
+      smpi_run_entry_point(entry_point, executable, args);
     });
   };
 }
 
-static void smpi_init_privatization_no_dlopen(std::string executable)
+static void smpi_init_privatization_no_dlopen(const std::string& executable)
 {
   if (smpi_privatize_global_variables == SmpiPrivStrategies::MMAP)
     smpi_prepare_global_memory_segment();
@@ -628,8 +651,9 @@ static void smpi_init_privatization_no_dlopen(std::string executable)
     smpi_backup_global_memory_segment();
 
   // Execute the same entry point for each simulated process:
-  simix_global->default_function = [entry_point](std::vector<std::string> args) {
-    return std::function<void()>([entry_point, args] { smpi_run_entry_point(entry_point, args); });
+  simix_global->default_function = [entry_point, executable](std::vector<std::string> args) {
+    return std::function<void()>(
+        [entry_point, executable, args] { smpi_run_entry_point(entry_point, executable, args); });
   };
 }
 
@@ -648,12 +672,6 @@ int smpi_main(const char* executable, int argc, char* argv[])
 
   SMPI_switch_data_segment = &smpi_switch_data_segment;
 
-  // TODO This will not be executed in the case where smpi_main is not called,
-  // e.g., not for smpi_msg_masterslave. This should be moved to another location
-  // that is always called -- maybe close to Actor::on_creation?
-  simgrid::s4u::Host::on_creation.connect(
-      [](simgrid::s4u::Host& host) { host.extension_set(new simgrid::smpi::Host(&host)); });
-
   // parse the platform file: get the host list
   simgrid::s4u::Engine::get_instance()->load_platform(argv[1]);
   SIMIX_comm_set_copy_data_callback(smpi_comm_copy_buffer_callback);
@@ -714,6 +732,8 @@ void SMPI_init(){
       process_data.erase(it);
     }
   });
+  simgrid::s4u::Host::on_creation.connect(
+      [](simgrid::s4u::Host& host) { host.extension_set(new simgrid::smpi::Host(&host)); });
 
   smpi_init_options();
   smpi_global_init();
@@ -729,24 +749,3 @@ void smpi_mpi_init() {
   if(smpi_init_sleep > 0)
     simcall_process_sleep(smpi_init_sleep);
 }
-
-double smpi_mpi_wtime(){
-  double time;
-  if (smpi_process()->initialized() != 0 && smpi_process()->finalized() == 0 && smpi_process()->sampling() == 0) {
-    smpi_bench_end();
-    time = SIMIX_get_clock();
-    // to avoid deadlocks if used as a break condition, such as
-    //     while (MPI_Wtime(...) < time_limit) {
-    //       ....
-    //     }
-    // because the time will not normally advance when only calls to MPI_Wtime
-    // are made -> deadlock (MPI_Wtime never reaches the time limit)
-    if(smpi_wtime_sleep > 0)
-      simcall_process_sleep(smpi_wtime_sleep);
-    smpi_bench_begin();
-  } else {
-    time = SIMIX_get_clock();
-  }
-  return time;
-}
-