Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Avoid copying data if it comes from/to a shared buffer, even internally.
[simgrid.git] / src / smpi / mpi / smpi_datatype.cpp
index c9b75ab..074c158 100644 (file)
@@ -1,5 +1,5 @@
 /* smpi_datatype.cpp -- MPI primitives to handle datatypes                  */
-/* Copyright (c) 2009-2018. The SimGrid Team.  All rights reserved.         */
+/* Copyright (c) 2009-2019. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
@@ -8,6 +8,7 @@
 #include "simgrid/modelchecker.h"
 #include "smpi_datatype_derived.hpp"
 #include "smpi_op.hpp"
+#include "src/instr/instr_private.hpp"
 #include "src/smpi/include/smpi_actor.hpp"
 
 #include <string>
@@ -17,83 +18,85 @@ XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_datatype, smpi, "Logging specific to SMPI (
 static std::unordered_map<std::string, simgrid::smpi::Datatype*> id2type_lookup;
 
 #define CREATE_MPI_DATATYPE(name, id, type)                                                                            \
-  static simgrid::smpi::Datatype mpi_##name((char*)#name, id, sizeof(type), /* size */                                 \
-                                            0,                              /* lb */                                   \
-                                            sizeof(type),                   /* ub = lb + size */                       \
-                                            DT_FLAG_BASIC                   /* flags */                                \
-                                            );                                                                         \
-  const MPI_Datatype name = &mpi_##name;
+  static simgrid::smpi::Datatype _XBT_CONCAT(mpi_, name)((char*)_XBT_STRINGIFY(name), (id), sizeof(type), /* size */   \
+                                                         0,                                               /* lb */     \
+                                                         sizeof(type), /* ub = lb + size */                            \
+                                                         DT_FLAG_BASIC /* flags */                                     \
+                                                         );                                                            \
+  const MPI_Datatype name = &_XBT_CONCAT(mpi_, name);
 
 #define CREATE_MPI_DATATYPE_NULL(name, id)                                                                             \
-  static simgrid::smpi::Datatype mpi_##name((char*)#name, id, 0, /* size */                                            \
-                                            0,                   /* lb */                                              \
-                                            0,                   /* ub = lb + size */                                  \
-                                            DT_FLAG_BASIC        /* flags */                                           \
-                                            );                                                                         \
-  const MPI_Datatype name = &mpi_##name;
+  static simgrid::smpi::Datatype _XBT_CONCAT(mpi_, name)((char*)_XBT_STRINGIFY(name), (id), 0, /* size */              \
+                                                         0,                                    /* lb */                \
+                                                         0,                                    /* ub = lb + size */    \
+                                                         DT_FLAG_BASIC                         /* flags */             \
+                                                         );                                                            \
+  const MPI_Datatype name = &_XBT_CONCAT(mpi_, name);
 
 // Predefined data types
-CREATE_MPI_DATATYPE(MPI_CHAR, 2, char);
-CREATE_MPI_DATATYPE(MPI_SHORT, 3, short);
-CREATE_MPI_DATATYPE(MPI_INT, 1, int);
-CREATE_MPI_DATATYPE(MPI_LONG, 4, long);
-CREATE_MPI_DATATYPE(MPI_LONG_LONG, 7, long long);
-CREATE_MPI_DATATYPE(MPI_SIGNED_CHAR, 8, signed char);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_CHAR, 9, unsigned char);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_SHORT, 10, unsigned short);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED, 11, unsigned int);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG, 12, unsigned long);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG_LONG, 13, unsigned long long);
-CREATE_MPI_DATATYPE(MPI_FLOAT, 5, float);
-CREATE_MPI_DATATYPE(MPI_DOUBLE, 0, double);
-CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE, 14, long double);
-CREATE_MPI_DATATYPE(MPI_WCHAR, 15, wchar_t);
-CREATE_MPI_DATATYPE(MPI_C_BOOL, 16, bool);
-CREATE_MPI_DATATYPE(MPI_BYTE, 6, int8_t);
-CREATE_MPI_DATATYPE(MPI_INT8_T, 17, int8_t);
-CREATE_MPI_DATATYPE(MPI_INT16_T, 18, int16_t);
-CREATE_MPI_DATATYPE(MPI_INT32_T, 19, int32_t);
-CREATE_MPI_DATATYPE(MPI_INT64_T, 20, int64_t);
-CREATE_MPI_DATATYPE(MPI_UINT8_T, 21, uint8_t);
-CREATE_MPI_DATATYPE(MPI_UINT16_T, 22, uint16_t);
-CREATE_MPI_DATATYPE(MPI_UINT32_T, 23, uint32_t);
-CREATE_MPI_DATATYPE(MPI_UINT64_T, 24, uint64_t);
-CREATE_MPI_DATATYPE(MPI_C_FLOAT_COMPLEX, 25, float _Complex);
-CREATE_MPI_DATATYPE(MPI_C_DOUBLE_COMPLEX, 26, double _Complex);
-CREATE_MPI_DATATYPE(MPI_C_LONG_DOUBLE_COMPLEX, 27, long double _Complex);
-CREATE_MPI_DATATYPE(MPI_AINT, 28, MPI_Aint);
-CREATE_MPI_DATATYPE(MPI_OFFSET, 29, MPI_Offset);
-
-CREATE_MPI_DATATYPE(MPI_FLOAT_INT, 30, float_int);
-CREATE_MPI_DATATYPE(MPI_LONG_INT, 31, long_int);
-CREATE_MPI_DATATYPE(MPI_DOUBLE_INT, 32, double_int);
-CREATE_MPI_DATATYPE(MPI_SHORT_INT, 33, short_int);
-CREATE_MPI_DATATYPE(MPI_2INT, 34, int_int);
-CREATE_MPI_DATATYPE(MPI_2FLOAT, 35, float_float);
-CREATE_MPI_DATATYPE(MPI_2DOUBLE, 36, double_double);
-CREATE_MPI_DATATYPE(MPI_2LONG, 37, long_long);
-
-CREATE_MPI_DATATYPE(MPI_REAL, 38, float);
-CREATE_MPI_DATATYPE(MPI_REAL4, 39, float);
-CREATE_MPI_DATATYPE(MPI_REAL8, 40, double);
-CREATE_MPI_DATATYPE(MPI_REAL16, 41, long double);
-CREATE_MPI_DATATYPE_NULL(MPI_DATATYPE_NULL, -1);
-CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX8, 42);
-CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX16, 43);
-CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX32, 44);
-CREATE_MPI_DATATYPE(MPI_INTEGER1, 45, int);
-CREATE_MPI_DATATYPE(MPI_INTEGER2, 46, int16_t);
-CREATE_MPI_DATATYPE(MPI_INTEGER4, 47, int32_t);
-CREATE_MPI_DATATYPE(MPI_INTEGER8, 48, int64_t);
-CREATE_MPI_DATATYPE(MPI_INTEGER16, 49, integer128_t);
-
-CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE_INT, 50, long_double_int);
-
-CREATE_MPI_DATATYPE_NULL(MPI_UB, 51);
-CREATE_MPI_DATATYPE_NULL(MPI_LB, 52);
-CREATE_MPI_DATATYPE(MPI_PACKED, 53, char);
+CREATE_MPI_DATATYPE(MPI_CHAR, 2, char)
+CREATE_MPI_DATATYPE(MPI_SHORT, 3, short)
+CREATE_MPI_DATATYPE(MPI_INT, 1, int)
+CREATE_MPI_DATATYPE(MPI_LONG, 4, long)
+CREATE_MPI_DATATYPE(MPI_LONG_LONG, 7, long long)
+CREATE_MPI_DATATYPE(MPI_SIGNED_CHAR, 8, signed char)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_CHAR, 9, unsigned char)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_SHORT, 10, unsigned short)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED, 11, unsigned int)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG, 12, unsigned long)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG_LONG, 13, unsigned long long)
+CREATE_MPI_DATATYPE(MPI_FLOAT, 5, float)
+CREATE_MPI_DATATYPE(MPI_DOUBLE, 0, double)
+CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE, 14, long double)
+CREATE_MPI_DATATYPE(MPI_WCHAR, 15, wchar_t)
+CREATE_MPI_DATATYPE(MPI_C_BOOL, 16, bool)
+CREATE_MPI_DATATYPE(MPI_BYTE, 6, int8_t)
+CREATE_MPI_DATATYPE(MPI_INT8_T, 17, int8_t)
+CREATE_MPI_DATATYPE(MPI_INT16_T, 18, int16_t)
+CREATE_MPI_DATATYPE(MPI_INT32_T, 19, int32_t)
+CREATE_MPI_DATATYPE(MPI_INT64_T, 20, int64_t)
+CREATE_MPI_DATATYPE(MPI_UINT8_T, 21, uint8_t)
+CREATE_MPI_DATATYPE(MPI_UINT16_T, 22, uint16_t)
+CREATE_MPI_DATATYPE(MPI_UINT32_T, 23, uint32_t)
+CREATE_MPI_DATATYPE(MPI_UINT64_T, 24, uint64_t)
+CREATE_MPI_DATATYPE(MPI_C_FLOAT_COMPLEX, 25, float _Complex)
+CREATE_MPI_DATATYPE(MPI_C_DOUBLE_COMPLEX, 26, double _Complex)
+CREATE_MPI_DATATYPE(MPI_C_LONG_DOUBLE_COMPLEX, 27, long double _Complex)
+CREATE_MPI_DATATYPE(MPI_AINT, 28, MPI_Aint)
+CREATE_MPI_DATATYPE(MPI_OFFSET, 29, MPI_Offset)
+
+CREATE_MPI_DATATYPE(MPI_FLOAT_INT, 30, float_int)
+CREATE_MPI_DATATYPE(MPI_LONG_INT, 31, long_int)
+CREATE_MPI_DATATYPE(MPI_DOUBLE_INT, 32, double_int)
+CREATE_MPI_DATATYPE(MPI_SHORT_INT, 33, short_int)
+CREATE_MPI_DATATYPE(MPI_2INT, 34, int_int)
+CREATE_MPI_DATATYPE(MPI_2FLOAT, 35, float_float)
+CREATE_MPI_DATATYPE(MPI_2DOUBLE, 36, double_double)
+CREATE_MPI_DATATYPE(MPI_2LONG, 37, long_long)
+
+CREATE_MPI_DATATYPE(MPI_REAL, 38, float)
+CREATE_MPI_DATATYPE(MPI_REAL4, 39, float)
+CREATE_MPI_DATATYPE(MPI_REAL8, 40, double)
+CREATE_MPI_DATATYPE(MPI_REAL16, 41, long double)
+CREATE_MPI_DATATYPE_NULL(MPI_DATATYPE_NULL, -1)
+CREATE_MPI_DATATYPE(MPI_COMPLEX8, 42, float_float)
+CREATE_MPI_DATATYPE(MPI_COMPLEX16, 43, double_double)
+CREATE_MPI_DATATYPE(MPI_COMPLEX32, 44, double_double)
+CREATE_MPI_DATATYPE(MPI_INTEGER1, 45, int)
+CREATE_MPI_DATATYPE(MPI_INTEGER2, 46, int16_t)
+CREATE_MPI_DATATYPE(MPI_INTEGER4, 47, int32_t)
+CREATE_MPI_DATATYPE(MPI_INTEGER8, 48, int64_t)
+CREATE_MPI_DATATYPE(MPI_INTEGER16, 49, integer128_t)
+
+CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE_INT, 50, long_double_int)
+
+CREATE_MPI_DATATYPE_NULL(MPI_UB, 51)
+CREATE_MPI_DATATYPE_NULL(MPI_LB, 52)
+CREATE_MPI_DATATYPE(MPI_PACKED, 53, char)
 // Internal use only
-CREATE_MPI_DATATYPE(MPI_PTR, 54, void*);
+CREATE_MPI_DATATYPE(MPI_PTR, 54, void*)
+CREATE_MPI_DATATYPE(MPI_COUNT, 55, long long)
+
 
 namespace simgrid{
 namespace smpi{
@@ -122,12 +125,10 @@ Datatype::Datatype(char* name, int ident, int size, MPI_Aint lb, MPI_Aint ub, in
 #endif
 }
 
-Datatype::Datatype(Datatype *datatype, int* ret) : name_(nullptr), lb_(datatype->lb_), ub_(datatype->ub_), flags_(datatype->flags_), refcount_(1)
+Datatype::Datatype(Datatype *datatype, int* ret) : name_(nullptr), size_(datatype->size_), lb_(datatype->lb_), ub_(datatype->ub_), flags_(datatype->flags_), refcount_(1)
 {
   flags_ &= ~DT_FLAG_PREDEFINED;
   *ret = MPI_SUCCESS;
-  if(datatype->name_)
-    name_ = xbt_strdup(datatype->name_);
     
   if (not datatype->attributes()->empty()) {
     int flag=0;
@@ -176,7 +177,6 @@ Datatype::~Datatype(){
   xbt_free(name_);
 }
 
-
 void Datatype::ref(){
 
   refcount_++;
@@ -215,90 +215,62 @@ bool Datatype::is_basic()
   return (flags_ & DT_FLAG_BASIC);
 }
 
-const char* Datatype::encode(MPI_Datatype dt)
+bool Datatype::is_replayable()
 {
-  return dt->id.c_str();
+  return (simgrid::instr::trace_format == simgrid::instr::TraceFormat::Ti) &&
+         ((this == MPI_BYTE) || (this == MPI_DOUBLE) || (this == MPI_INT) || (this == MPI_CHAR) ||
+          (this == MPI_SHORT) || (this == MPI_LONG) || (this == MPI_FLOAT));
 }
 
-MPI_Datatype Datatype::decode(std::string datatype_id)
+MPI_Datatype Datatype::decode(const std::string& datatype_id)
 {
   return id2type_lookup.find(datatype_id)->second;
 }
 
-bool Datatype::is_replayable()
-{
-  return ((this==MPI_BYTE)||(this==MPI_DOUBLE)||(this==MPI_INT)||
-          (this==MPI_CHAR)||(this==MPI_SHORT)||(this==MPI_LONG)||(this==MPI_FLOAT));
-}
-
-size_t Datatype::size(){
-  return size_;
-}
-
-int Datatype::flags(){
-  return flags_;
-}
-
-int Datatype::refcount(){
-  return refcount_;
-}
-
 void Datatype::addflag(int flag){
   flags_ &= flag;
 }
 
-MPI_Aint Datatype::lb(){
-  return lb_;
-}
-
-MPI_Aint Datatype::ub(){
-  return ub_;
-}
-
-char* Datatype::name(){
-  return name_;
-}
-
-
 int Datatype::extent(MPI_Aint * lb, MPI_Aint * extent){
   *lb = lb_;
   *extent = ub_ - lb_;
   return MPI_SUCCESS;
 }
 
-MPI_Aint Datatype::get_extent(){
-  return ub_ - lb_;
-}
-
 void Datatype::get_name(char* name, int* length){
-  *length = strlen(name_);
-  strncpy(name, name_, *length+1);
+  if(name_!=nullptr){
+    *length = strlen(name_);
+    strncpy(name, name_, *length+1);
+  }else{
+    *length = 0;
+  }
 }
 
-void Datatype::set_name(char* name){
+void Datatype::set_name(const char* name){
   if(name_!=nullptr &&  (flags_ & DT_FLAG_PREDEFINED) == 0)
     xbt_free(name_);
   name_ = xbt_strdup(name);
 }
 
-int Datatype::pack(void* inbuf, int incount, void* outbuf, int outcount, int* position,MPI_Comm comm){
+int Datatype::pack(const void* inbuf, int incount, void* outbuf, int outcount, int* position, MPI_Comm)
+{
   if (outcount - *position < incount*static_cast<int>(size_))
-    return MPI_ERR_BUFFER;
+    return MPI_ERR_OTHER;
   Datatype::copy(inbuf, incount, this, static_cast<char*>(outbuf) + *position, outcount, MPI_CHAR);
   *position += incount * size_;
   return MPI_SUCCESS;
 }
 
-int Datatype::unpack(void* inbuf, int insize, int* position, void* outbuf, int outcount,MPI_Comm comm){
+int Datatype::unpack(const void* inbuf, int insize, int* position, void* outbuf, int outcount, MPI_Comm)
+{
   if (outcount*static_cast<int>(size_)> insize)
-    return MPI_ERR_BUFFER;
-  Datatype::copy(static_cast<char*>(inbuf) + *position, insize, MPI_CHAR, outbuf, outcount, this);
+    return MPI_ERR_OTHER;
+  Datatype::copy(static_cast<const char*>(inbuf) + *position, insize, MPI_CHAR, outbuf, outcount, this);
   *position += outcount * size_;
   return MPI_SUCCESS;
 }
 
-
-int Datatype::copy(void *sendbuf, int sendcount, MPI_Datatype sendtype,
+int Datatype::copy(const void *sendbuf, int sendcount, MPI_Datatype sendtype,
                        void *recvbuf, int recvcount, MPI_Datatype recvtype){
 
 // FIXME Handle the case of a partial shared malloc.
@@ -307,11 +279,24 @@ int Datatype::copy(void *sendbuf, int sendcount, MPI_Datatype sendtype,
     smpi_switch_data_segment(simgrid::s4u::Actor::self());
   }
   /* First check if we really have something to do */
+  size_t offset = 0;
+  std::vector<std::pair<size_t, size_t>> private_blocks;
+  if(smpi_is_shared(sendbuf,private_blocks,&offset)
+       && (private_blocks.size()==1
+       && (private_blocks[0].second - private_blocks[0].first)==(unsigned long)(sendcount * sendtype->get_extent()))){
+    return 0;
+  }
+  if(smpi_is_shared(recvbuf,private_blocks,&offset)
+       && (private_blocks.size()==1
+       && (private_blocks[0].second - private_blocks[0].first)==(unsigned long)(recvcount * recvtype->get_extent()))){
+    return 0;
+  }
+
   if (recvcount > 0 && recvbuf != sendbuf) {
     sendcount *= sendtype->size();
     recvcount *= recvtype->size();
     int count = sendcount < recvcount ? sendcount : recvcount;
-
+    XBT_DEBUG("Copying %d bytes from %p to %p", count, sendbuf, recvbuf);
     if (not(sendtype->flags() & DT_FLAG_DERIVED) && not(recvtype->flags() & DT_FLAG_DERIVED)) {
       if (not smpi_process()->replaying())
         memcpy(recvbuf, sendbuf, count);
@@ -334,15 +319,15 @@ int Datatype::copy(void *sendbuf, int sendcount, MPI_Datatype sendtype,
 }
 
 //Default serialization method : memcpy.
-void Datatype::serialize( void* noncontiguous_buf, void *contiguous_buf, int count){
+void Datatype::serialize(const void* noncontiguous_buf, void* contiguous_buf, int count)
+{
   char* contiguous_buf_char = static_cast<char*>(contiguous_buf);
-  char* noncontiguous_buf_char = static_cast<char*>(noncontiguous_buf)+lb_;
+  const char* noncontiguous_buf_char = static_cast<const char*>(noncontiguous_buf)+lb_;
   memcpy(contiguous_buf_char, noncontiguous_buf_char, count*size_);
-
 }
 
-void Datatype::unserialize( void* contiguous_buf, void *noncontiguous_buf, int count, MPI_Op op){
-  char* contiguous_buf_char = static_cast<char*>(contiguous_buf);
+void Datatype::unserialize(const void* contiguous_buf, void *noncontiguous_buf, int count, MPI_Op op){
+  const char* contiguous_buf_char = static_cast<const char*>(contiguous_buf);
   char* noncontiguous_buf_char = static_cast<char*>(noncontiguous_buf)+lb_;
   int n=count;
   if(op!=MPI_OP_NULL)
@@ -410,7 +395,7 @@ int Datatype::create_hvector(int count, int block_length, MPI_Aint stride, MPI_D
   return retval;
 }
 
-int Datatype::create_indexed(int count, int* block_lengths, int* indices, MPI_Datatype old_type, MPI_Datatype* new_type){
+int Datatype::create_indexed(int count, const int* block_lengths, const int* indices, MPI_Datatype old_type, MPI_Datatype* new_type){
   int size = 0;
   bool contiguous=true;
   MPI_Aint lb = 0;
@@ -445,7 +430,7 @@ int Datatype::create_indexed(int count, int* block_lengths, int* indices, MPI_Da
   return MPI_SUCCESS;
 }
 
-int Datatype::create_hindexed(int count, int* block_lengths, MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type){
+int Datatype::create_hindexed(int count, const int* block_lengths, const MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type){
   int size = 0;
   bool contiguous=true;
   MPI_Aint lb = 0;
@@ -479,7 +464,7 @@ int Datatype::create_hindexed(int count, int* block_lengths, MPI_Aint* indices,
   return MPI_SUCCESS;
 }
 
-int Datatype::create_struct(int count, int* block_lengths, MPI_Aint* indices, MPI_Datatype* old_types, MPI_Datatype* new_type){
+int Datatype::create_struct(int count, const int* block_lengths, const MPI_Aint* indices, const MPI_Datatype* old_types, MPI_Datatype* new_type){
   size_t size = 0;
   bool contiguous=true;
   size = 0;
@@ -524,8 +509,8 @@ int Datatype::create_struct(int count, int* block_lengths, MPI_Aint* indices, MP
   return MPI_SUCCESS;
 }
 
-int Datatype::create_subarray(int ndims, int* array_of_sizes,
-                             int* array_of_subsizes, int* array_of_starts,
+int Datatype::create_subarray(int ndims, const int* array_of_sizes,
+                             const int* array_of_subsizes, const int* array_of_starts,
                              int order, MPI_Datatype oldtype, MPI_Datatype *newtype){
   MPI_Datatype tmp;