Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Fix MPI_Type_dup for derived datatypes.
[simgrid.git] / src / smpi / mpi / smpi_datatype.cpp
index d4257b1..5547458 100644 (file)
@@ -1,5 +1,5 @@
 /* smpi_datatype.cpp -- MPI primitives to handle datatypes                  */
-/* Copyright (c) 2009-2019. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2009-2020. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
@@ -34,68 +34,68 @@ static std::unordered_map<std::string, simgrid::smpi::Datatype*> id2type_lookup;
   const MPI_Datatype name = &_XBT_CONCAT(mpi_, name);
 
 // Predefined data types
-CREATE_MPI_DATATYPE(MPI_CHAR, 2, char);
-CREATE_MPI_DATATYPE(MPI_SHORT, 3, short);
-CREATE_MPI_DATATYPE(MPI_INT, 1, int);
-CREATE_MPI_DATATYPE(MPI_LONG, 4, long);
-CREATE_MPI_DATATYPE(MPI_LONG_LONG, 7, long long);
-CREATE_MPI_DATATYPE(MPI_SIGNED_CHAR, 8, signed char);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_CHAR, 9, unsigned char);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_SHORT, 10, unsigned short);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED, 11, unsigned int);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG, 12, unsigned long);
-CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG_LONG, 13, unsigned long long);
-CREATE_MPI_DATATYPE(MPI_FLOAT, 5, float);
-CREATE_MPI_DATATYPE(MPI_DOUBLE, 0, double);
-CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE, 14, long double);
-CREATE_MPI_DATATYPE(MPI_WCHAR, 15, wchar_t);
-CREATE_MPI_DATATYPE(MPI_C_BOOL, 16, bool);
-CREATE_MPI_DATATYPE(MPI_BYTE, 6, int8_t);
-CREATE_MPI_DATATYPE(MPI_INT8_T, 17, int8_t);
-CREATE_MPI_DATATYPE(MPI_INT16_T, 18, int16_t);
-CREATE_MPI_DATATYPE(MPI_INT32_T, 19, int32_t);
-CREATE_MPI_DATATYPE(MPI_INT64_T, 20, int64_t);
-CREATE_MPI_DATATYPE(MPI_UINT8_T, 21, uint8_t);
-CREATE_MPI_DATATYPE(MPI_UINT16_T, 22, uint16_t);
-CREATE_MPI_DATATYPE(MPI_UINT32_T, 23, uint32_t);
-CREATE_MPI_DATATYPE(MPI_UINT64_T, 24, uint64_t);
-CREATE_MPI_DATATYPE(MPI_C_FLOAT_COMPLEX, 25, float _Complex);
-CREATE_MPI_DATATYPE(MPI_C_DOUBLE_COMPLEX, 26, double _Complex);
-CREATE_MPI_DATATYPE(MPI_C_LONG_DOUBLE_COMPLEX, 27, long double _Complex);
-CREATE_MPI_DATATYPE(MPI_AINT, 28, MPI_Aint);
-CREATE_MPI_DATATYPE(MPI_OFFSET, 29, MPI_Offset);
-
-CREATE_MPI_DATATYPE(MPI_FLOAT_INT, 30, float_int);
-CREATE_MPI_DATATYPE(MPI_LONG_INT, 31, long_int);
-CREATE_MPI_DATATYPE(MPI_DOUBLE_INT, 32, double_int);
-CREATE_MPI_DATATYPE(MPI_SHORT_INT, 33, short_int);
-CREATE_MPI_DATATYPE(MPI_2INT, 34, int_int);
-CREATE_MPI_DATATYPE(MPI_2FLOAT, 35, float_float);
-CREATE_MPI_DATATYPE(MPI_2DOUBLE, 36, double_double);
-CREATE_MPI_DATATYPE(MPI_2LONG, 37, long_long);
-
-CREATE_MPI_DATATYPE(MPI_REAL, 38, float);
-CREATE_MPI_DATATYPE(MPI_REAL4, 39, float);
-CREATE_MPI_DATATYPE(MPI_REAL8, 40, double);
-CREATE_MPI_DATATYPE(MPI_REAL16, 41, long double);
-CREATE_MPI_DATATYPE_NULL(MPI_DATATYPE_NULL, -1);
-CREATE_MPI_DATATYPE(MPI_COMPLEX8, 42, float_float);
-CREATE_MPI_DATATYPE(MPI_COMPLEX16, 43, double_double);
-CREATE_MPI_DATATYPE(MPI_COMPLEX32, 44, double_double);
-CREATE_MPI_DATATYPE(MPI_INTEGER1, 45, int);
-CREATE_MPI_DATATYPE(MPI_INTEGER2, 46, int16_t);
-CREATE_MPI_DATATYPE(MPI_INTEGER4, 47, int32_t);
-CREATE_MPI_DATATYPE(MPI_INTEGER8, 48, int64_t);
-CREATE_MPI_DATATYPE(MPI_INTEGER16, 49, integer128_t);
-
-CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE_INT, 50, long_double_int);
-
-CREATE_MPI_DATATYPE_NULL(MPI_UB, 51);
-CREATE_MPI_DATATYPE_NULL(MPI_LB, 52);
-CREATE_MPI_DATATYPE(MPI_PACKED, 53, char);
+CREATE_MPI_DATATYPE(MPI_CHAR, 2, char)
+CREATE_MPI_DATATYPE(MPI_SHORT, 3, short)
+CREATE_MPI_DATATYPE(MPI_INT, 1, int)
+CREATE_MPI_DATATYPE(MPI_LONG, 4, long)
+CREATE_MPI_DATATYPE(MPI_LONG_LONG, 7, long long)
+CREATE_MPI_DATATYPE(MPI_SIGNED_CHAR, 8, signed char)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_CHAR, 9, unsigned char)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_SHORT, 10, unsigned short)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED, 11, unsigned int)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG, 12, unsigned long)
+CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG_LONG, 13, unsigned long long)
+CREATE_MPI_DATATYPE(MPI_FLOAT, 5, float)
+CREATE_MPI_DATATYPE(MPI_DOUBLE, 0, double)
+CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE, 14, long double)
+CREATE_MPI_DATATYPE(MPI_WCHAR, 15, wchar_t)
+CREATE_MPI_DATATYPE(MPI_C_BOOL, 16, bool)
+CREATE_MPI_DATATYPE(MPI_BYTE, 6, int8_t)
+CREATE_MPI_DATATYPE(MPI_INT8_T, 17, int8_t)
+CREATE_MPI_DATATYPE(MPI_INT16_T, 18, int16_t)
+CREATE_MPI_DATATYPE(MPI_INT32_T, 19, int32_t)
+CREATE_MPI_DATATYPE(MPI_INT64_T, 20, int64_t)
+CREATE_MPI_DATATYPE(MPI_UINT8_T, 21, uint8_t)
+CREATE_MPI_DATATYPE(MPI_UINT16_T, 22, uint16_t)
+CREATE_MPI_DATATYPE(MPI_UINT32_T, 23, uint32_t)
+CREATE_MPI_DATATYPE(MPI_UINT64_T, 24, uint64_t)
+CREATE_MPI_DATATYPE(MPI_C_FLOAT_COMPLEX, 25, float _Complex)
+CREATE_MPI_DATATYPE(MPI_C_DOUBLE_COMPLEX, 26, double _Complex)
+CREATE_MPI_DATATYPE(MPI_C_LONG_DOUBLE_COMPLEX, 27, long double _Complex)
+CREATE_MPI_DATATYPE(MPI_AINT, 28, MPI_Aint)
+CREATE_MPI_DATATYPE(MPI_OFFSET, 29, MPI_Offset)
+
+CREATE_MPI_DATATYPE(MPI_FLOAT_INT, 30, float_int)
+CREATE_MPI_DATATYPE(MPI_LONG_INT, 31, long_int)
+CREATE_MPI_DATATYPE(MPI_DOUBLE_INT, 32, double_int)
+CREATE_MPI_DATATYPE(MPI_SHORT_INT, 33, short_int)
+CREATE_MPI_DATATYPE(MPI_2INT, 34, int_int)
+CREATE_MPI_DATATYPE(MPI_2FLOAT, 35, float_float)
+CREATE_MPI_DATATYPE(MPI_2DOUBLE, 36, double_double)
+CREATE_MPI_DATATYPE(MPI_2LONG, 37, long_long)
+
+CREATE_MPI_DATATYPE(MPI_REAL, 38, float)
+CREATE_MPI_DATATYPE(MPI_REAL4, 39, float)
+CREATE_MPI_DATATYPE(MPI_REAL8, 40, double)
+CREATE_MPI_DATATYPE(MPI_REAL16, 41, long double)
+CREATE_MPI_DATATYPE_NULL(MPI_DATATYPE_NULL, -1)
+CREATE_MPI_DATATYPE(MPI_COMPLEX8, 42, float_float)
+CREATE_MPI_DATATYPE(MPI_COMPLEX16, 43, double_double)
+CREATE_MPI_DATATYPE(MPI_COMPLEX32, 44, double_double)
+CREATE_MPI_DATATYPE(MPI_INTEGER1, 45, int)
+CREATE_MPI_DATATYPE(MPI_INTEGER2, 46, int16_t)
+CREATE_MPI_DATATYPE(MPI_INTEGER4, 47, int32_t)
+CREATE_MPI_DATATYPE(MPI_INTEGER8, 48, int64_t)
+CREATE_MPI_DATATYPE(MPI_INTEGER16, 49, integer128_t)
+
+CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE_INT, 50, long_double_int)
+
+CREATE_MPI_DATATYPE_NULL(MPI_UB, 51)
+CREATE_MPI_DATATYPE_NULL(MPI_LB, 52)
+CREATE_MPI_DATATYPE(MPI_PACKED, 53, char)
 // Internal use only
-CREATE_MPI_DATATYPE(MPI_PTR, 54, void*);
-CREATE_MPI_DATATYPE(MPI_COUNT, 55, long long);
+CREATE_MPI_DATATYPE(MPI_PTR, 54, void*)
+CREATE_MPI_DATATYPE(MPI_COUNT, 55, long long)
 
 
 namespace simgrid{
@@ -107,14 +107,16 @@ Datatype::Datatype(int ident, int size, MPI_Aint lb, MPI_Aint ub, int flags) : D
 {
   id = std::to_string(ident);
 }
-Datatype::Datatype(int size,MPI_Aint lb, MPI_Aint ub, int flags) : name_(nullptr), size_(size), lb_(lb), ub_(ub), flags_(flags), refcount_(1){
+
+Datatype::Datatype(int size, MPI_Aint lb, MPI_Aint ub, int flags) : size_(size), lb_(lb), ub_(ub), flags_(flags)
+{
 #if SIMGRID_HAVE_MC
   if(MC_is_active())
     MC_ignore(&(refcount_), sizeof(refcount_));
 #endif
 }
 
-//for predefined types, so in_use = 0.
+// for predefined types, so refcount_ = 0.
 Datatype::Datatype(char* name, int ident, int size, MPI_Aint lb, MPI_Aint ub, int flags)
     : name_(name), id(std::to_string(ident)), size_(size), lb_(lb), ub_(ub), flags_(flags), refcount_(0)
 {
@@ -125,7 +127,8 @@ Datatype::Datatype(char* name, int ident, int size, MPI_Aint lb, MPI_Aint ub, in
 #endif
 }
 
-Datatype::Datatype(Datatype *datatype, int* ret) : name_(nullptr), size_(datatype->size_), lb_(datatype->lb_), ub_(datatype->ub_), flags_(datatype->flags_), refcount_(1)
+Datatype::Datatype(Datatype* datatype, int* ret)
+    : size_(datatype->size_), lb_(datatype->lb_), ub_(datatype->ub_), flags_(datatype->flags_)
 {
   flags_ &= ~DT_FLAG_PREDEFINED;
   *ret = MPI_SUCCESS;
@@ -158,9 +161,11 @@ Datatype::Datatype(Datatype *datatype, int* ret) : name_(nullptr), size_(datatyp
       }
     }
   }
+  contents_ = new Datatype_contents(MPI_COMBINER_DUP, 0, nullptr, 0, nullptr, 1, &datatype);
 }
 
-Datatype::~Datatype(){
+Datatype::~Datatype()
+{
   xbt_assert(refcount_ >= 0);
 
   if(flags_ & DT_FLAG_PREDEFINED)
@@ -173,12 +178,17 @@ Datatype::~Datatype(){
   }
 
   cleanup_attr<Datatype>();
-
+  delete contents_;
   xbt_free(name_);
 }
 
-void Datatype::ref(){
+MPI_Datatype Datatype::clone(){
+  int ret = MPI_SUCCESS;
+  return new Datatype(this, &ret);
+}
 
+void Datatype::ref()
+{
   refcount_++;
 
 #if SIMGRID_HAVE_MC
@@ -252,7 +262,7 @@ void Datatype::set_name(const char* name){
   name_ = xbt_strdup(name);
 }
 
-int Datatype::pack(const void* inbuf, int incount, void* outbuf, int outcount, int* position, MPI_Comm)
+int Datatype::pack(const void* inbuf, int incount, void* outbuf, int outcount, int* position, const Comm*)
 {
   if (outcount - *position < incount*static_cast<int>(size_))
     return MPI_ERR_OTHER;
@@ -261,7 +271,7 @@ int Datatype::pack(const void* inbuf, int incount, void* outbuf, int outcount, i
   return MPI_SUCCESS;
 }
 
-int Datatype::unpack(const void* inbuf, int insize, int* position, void* outbuf, int outcount, MPI_Comm)
+int Datatype::unpack(const void* inbuf, int insize, int* position, void* outbuf, int outcount, const Comm*)
 {
   if (outcount*static_cast<int>(size_)> insize)
     return MPI_ERR_OTHER;
@@ -270,15 +280,69 @@ int Datatype::unpack(const void* inbuf, int insize, int* position, void* outbuf,
   return MPI_SUCCESS;
 }
 
-int Datatype::copy(const void *sendbuf, int sendcount, MPI_Datatype sendtype,
-                       void *recvbuf, int recvcount, MPI_Datatype recvtype){
+int Datatype::get_contents (int max_integers, int max_addresses,
+                            int max_datatypes, int* array_of_integers, MPI_Aint* array_of_addresses,
+                            MPI_Datatype *array_of_datatypes)
+{
+  if(contents_==nullptr)
+    return MPI_ERR_ARG;
+  if(max_integers<contents_->number_of_integers_)
+    return MPI_ERR_COUNT;
+  for(int i=0; i<contents_->number_of_integers_; i++){
+    array_of_integers[i]=contents_->integers_[i];
+  }
+  if(max_addresses<contents_->number_of_addresses_)
+    return MPI_ERR_COUNT;
+  for(int i=0; i<contents_->number_of_addresses_; i++){
+    array_of_addresses[i]=contents_->addresses_[i];
+  }
+  if(max_datatypes<contents_->number_of_datatypes_)
+    return MPI_ERR_COUNT;
+  for(int i=0; i<contents_->number_of_datatypes_; i++){
+    array_of_datatypes[i]=contents_->datatypes_[i];
+    contents_->datatypes_[i]->ref();
+  }
+  return MPI_SUCCESS;
+}
+
+int Datatype::get_envelope (int* num_integers, int* num_addresses,
+                            int* num_datatypes, int* combiner)
+{
+  if(contents_==nullptr){
+    *combiner = MPI_COMBINER_NAMED;
+  }else{
+    *num_integers = contents_->number_of_integers_;
+    *num_addresses = contents_->number_of_addresses_;
+    *num_datatypes = contents_->number_of_datatypes_;
+    *combiner = contents_->combiner_;
+  }
+  return MPI_SUCCESS;
+}
 
-// FIXME Handle the case of a partial shared malloc.
+int Datatype::copy(const void* sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int recvcount,
+                   MPI_Datatype recvtype)
+{
+  // FIXME Handle the case of a partial shared malloc.
 
-  if (smpi_privatize_global_variables == SmpiPrivStrategies::MMAP) {
+  if (smpi_cfg_privatization() == SmpiPrivStrategies::MMAP) {
     smpi_switch_data_segment(simgrid::s4u::Actor::self());
   }
   /* First check if we really have something to do */
+  size_t offset = 0;
+  std::vector<std::pair<size_t, size_t>> private_blocks;
+  if(smpi_is_shared(sendbuf,private_blocks,&offset)
+       && (private_blocks.size()==1
+       && (private_blocks[0].second - private_blocks[0].first)==(unsigned long)(sendcount * sendtype->get_extent()))){
+    XBT_VERB("sendbuf is shared. Ignoring copies");
+    return 0;
+  }
+  if(smpi_is_shared(recvbuf,private_blocks,&offset)
+       && (private_blocks.size()==1
+       && (private_blocks[0].second - private_blocks[0].first)==(unsigned long)(recvcount * recvtype->get_extent()))){
+    XBT_VERB("recvbuf is shared. Ignoring copies");
+    return 0;
+  }
+
   if (recvcount > 0 && recvbuf != sendbuf) {
     sendcount *= sendtype->size();
     recvcount *= recvtype->size();
@@ -291,8 +355,7 @@ int Datatype::copy(const void *sendbuf, int sendcount, MPI_Datatype sendtype,
       recvtype->unserialize(sendbuf, recvbuf, count / recvtype->size(), MPI_REPLACE);
     } else if (not(recvtype->flags() & DT_FLAG_DERIVED)) {
       sendtype->serialize(sendbuf, recvbuf, count / sendtype->size());
-    }else{
-
+    } else {
       void * buf_tmp = xbt_malloc(count);
 
       sendtype->serialize( sendbuf, buf_tmp,count/sendtype->size());
@@ -353,6 +416,8 @@ int Datatype::create_vector(int count, int block_length, int stride, MPI_Datatyp
     /* in this situation the data are contiguous thus it's not required to serialize and unserialize it*/
     *new_type = new Datatype(count * block_length * old_type->size(), 0, ((count -1) * stride + block_length)*
                          old_type->size(), DT_FLAG_CONTIGUOUS);
+    int ints[3] = {count, block_length, stride};
+    (*new_type)->contents_ = new Datatype_contents(MPI_COMBINER_VECTOR, 3, ints, 0, nullptr, 1, &old_type);
     retval=MPI_SUCCESS;
   }
   return retval;
@@ -377,6 +442,8 @@ int Datatype::create_hvector(int count, int block_length, MPI_Aint stride, MPI_D
   }else{
     /* in this situation the data are contiguous thus it's not required to serialize and unserialize it*/
     *new_type = new Datatype(count * block_length * old_type->size(), 0, count * block_length * old_type->size(), DT_FLAG_CONTIGUOUS);
+    int ints[2] = {count, block_length};
+    (*new_type)->contents_ = new Datatype_contents(MPI_COMBINER_HVECTOR, 2, ints, 1, &stride, 1, &old_type);
     retval=MPI_SUCCESS;
   }
   return retval;
@@ -568,11 +635,9 @@ int Datatype::create_resized(MPI_Datatype oldtype,MPI_Aint lb, MPI_Aint extent,
   return MPI_SUCCESS;
 }
 
-Datatype* Datatype::f2c(int id){
+Datatype* Datatype::f2c(int id)
+{
   return static_cast<Datatype*>(F2C::f2c(id));
 }
-
-
-}
-}
-
+} // namespace smpi
+} // namespace simgrid