src/smpi/mpi/smpi_op.cpp

   1 /* Copyright (c) 2009-2021. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "smpi_op.hpp"
   7 #include "private.hpp"
   8 #include "smpi_datatype.hpp"
   9 #include "src/smpi/include/smpi_actor.hpp"
  10
  11 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_op, smpi, "Logging specific to SMPI (op)");
  12
  13 #define MAX_OP(a, b)  (b) = (a) < (b) ? (b) : (a)
  14 #define MIN_OP(a, b)  (b) = (a) < (b) ? (a) : (b)
  15 #define SUM_OP(a, b)  (b) += (a)
  16 #define SUM_OP_COMPLEX(a, b)                                                                                           \
  17   {                                                                                                                    \
  18     ((b).value) += ((a).value);                                                                                        \
  19     ((b).index) += ((a).index);                                                                                        \
  20   }
  21 #define PROD_OP(a, b) (b) *= (a)
  22 #define PROD_OP_COMPLEX(a, b)                                                                                          \
  23   {                                                                                                                    \
  24     ((b).value) *= ((a).value);                                                                                        \
  25     ((b).index) *= ((a).index);                                                                                        \
  26   }
  27 #define LAND_OP(a, b) (b) = (a) && (b)
  28 #define LOR_OP(a, b)  (b) = (a) || (b)
  29 #define LXOR_OP(a, b) (b) = bool(a) != bool(b)
  30 #define BAND_OP(a, b) (b) &= (a)
  31 #define BOR_OP(a, b)  (b) |= (a)
  32 #define BXOR_OP(a, b) (b) ^= (a)
  33 #define MAXLOC_OP(a, b)                                                                                                \
  34   (b) = ((a).value) < ((b).value) ? (b) : (((a).value) == ((b).value) ? (((a).index) < ((b).index) ? (a) : (b)) : (a))
  35 #define MINLOC_OP(a, b)                                                                                                \
  36   (b) = ((a).value) < ((b).value) ? (a) : (((a).value) == ((b).value) ? (((a).index) < ((b).index) ? (a) : (b)) : (b))
  37
  38 #define APPLY_FUNC(a, b, length, type, func) \
  39 {                                          \
  40   int i;                                   \
  41   type* x = (type*)(a);                    \
  42   type* y = (type*)(b);                    \
  43   for(i = 0; i < *(length); i++) {         \
  44     func(x[i], y[i]);                      \
  45   }                                        \
  46 }
  47
  48 #define APPLY_OP_LOOP(dtype, type, op)                                                                                 \
  49   if (*datatype == (dtype)) {                                                                                          \
  50     APPLY_FUNC(a, b, length, type, op)                                                                                 \
  51   } else
  52
  53 #define APPLY_BASIC_OP_LOOP(op)\
  54 APPLY_OP_LOOP(MPI_CHAR, char,op)\
  55 APPLY_OP_LOOP(MPI_SHORT, short,op)\
  56 APPLY_OP_LOOP(MPI_INT, int,op)\
  57 APPLY_OP_LOOP(MPI_LONG, long,op)\
  58 APPLY_OP_LOOP(MPI_LONG_LONG, long long,op)\
  59 APPLY_OP_LOOP(MPI_SIGNED_CHAR, signed char,op)\
  60 APPLY_OP_LOOP(MPI_UNSIGNED_CHAR, unsigned char,op)\
  61 APPLY_OP_LOOP(MPI_UNSIGNED_SHORT, unsigned short,op)\
  62 APPLY_OP_LOOP(MPI_UNSIGNED, unsigned int,op)\
  63 APPLY_OP_LOOP(MPI_UNSIGNED_LONG, unsigned long,op)\
  64 APPLY_OP_LOOP(MPI_UNSIGNED_LONG_LONG, unsigned long long,op)\
  65 APPLY_OP_LOOP(MPI_WCHAR, wchar_t,op)\
  66 APPLY_OP_LOOP(MPI_INT8_T, int8_t,op)\
  67 APPLY_OP_LOOP(MPI_INT16_T, int16_t,op)\
  68 APPLY_OP_LOOP(MPI_INT32_T, int32_t,op)\
  69 APPLY_OP_LOOP(MPI_INT64_T, int64_t,op)\
  70 APPLY_OP_LOOP(MPI_UINT8_T, uint8_t,op)\
  71 APPLY_OP_LOOP(MPI_UINT16_T, uint16_t,op)\
  72 APPLY_OP_LOOP(MPI_UINT32_T, uint32_t,op)\
  73 APPLY_OP_LOOP(MPI_UINT64_T, uint64_t,op)\
  74 APPLY_OP_LOOP(MPI_AINT, MPI_Aint,op)\
  75 APPLY_OP_LOOP(MPI_OFFSET, MPI_Offset,op)\
  76 APPLY_OP_LOOP(MPI_INTEGER1, int,op)\
  77 APPLY_OP_LOOP(MPI_INTEGER2, int16_t,op)\
  78 APPLY_OP_LOOP(MPI_INTEGER4, int32_t,op)\
  79 APPLY_OP_LOOP(MPI_INTEGER8, int64_t,op)\
  80 APPLY_OP_LOOP(MPI_COUNT, long long,op)
  81
  82
  83 #define APPLY_BOOL_OP_LOOP(op)\
  84 APPLY_OP_LOOP(MPI_C_BOOL, bool,op)
  85
  86 #define APPLY_BYTE_OP_LOOP(op)\
  87 APPLY_OP_LOOP(MPI_BYTE, int8_t,op)
  88
  89 #define APPLY_FLOAT_OP_LOOP(op)\
  90 APPLY_OP_LOOP(MPI_FLOAT, float,op)\
  91 APPLY_OP_LOOP(MPI_DOUBLE, double,op)\
  92 APPLY_OP_LOOP(MPI_LONG_DOUBLE, long double,op)\
  93 APPLY_OP_LOOP(MPI_REAL, float,op)\
  94 APPLY_OP_LOOP(MPI_REAL4, float,op)\
  95 APPLY_OP_LOOP(MPI_REAL8, double,op)\
  96 APPLY_OP_LOOP(MPI_REAL16, long double,op)
  97
  98 #define APPLY_COMPLEX_OP_LOOP(op)\
  99 APPLY_OP_LOOP(MPI_C_FLOAT_COMPLEX, float _Complex,op)\
 100 APPLY_OP_LOOP(MPI_C_DOUBLE_COMPLEX, double _Complex,op)\
 101 APPLY_OP_LOOP(MPI_C_LONG_DOUBLE_COMPLEX, long double _Complex,op)
 102
 103 #define APPLY_PAIR_OP_LOOP(op)\
 104 APPLY_OP_LOOP(MPI_FLOAT_INT, float_int,op)\
 105 APPLY_OP_LOOP(MPI_LONG_INT, long_int,op)\
 106 APPLY_OP_LOOP(MPI_DOUBLE_INT, double_int,op)\
 107 APPLY_OP_LOOP(MPI_SHORT_INT, short_int,op)\
 108 APPLY_OP_LOOP(MPI_2INT, int_int,op)\
 109 APPLY_OP_LOOP(MPI_2FLOAT, float_float,op)\
 110 APPLY_OP_LOOP(MPI_2DOUBLE, double_double,op)\
 111 APPLY_OP_LOOP(MPI_LONG_DOUBLE_INT, long_double_int,op)\
 112 APPLY_OP_LOOP(MPI_2LONG, long_long,op)\
 113 APPLY_OP_LOOP(MPI_COMPLEX8, float_float,op)\
 114 APPLY_OP_LOOP(MPI_COMPLEX16, double_double,op)\
 115 APPLY_OP_LOOP(MPI_COMPLEX32, double_double,op)
 116
 117 #define APPLY_END_OP_LOOP(op)                                                                                          \
 118   {                                                                                                                    \
 119     xbt_die("Failed to apply " _XBT_STRINGIFY(op) " to type %s", (*datatype)->name());                                 \
 120   }
 121
 122 static void max_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 123 {
 124   APPLY_BASIC_OP_LOOP(MAX_OP)
 125   APPLY_FLOAT_OP_LOOP(MAX_OP)
 126   APPLY_END_OP_LOOP(MAX_OP)
 127 }
 128
 129 static void min_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 130 {
 131   APPLY_BASIC_OP_LOOP(MIN_OP)
 132   APPLY_FLOAT_OP_LOOP(MIN_OP)
 133   APPLY_END_OP_LOOP(MIN_OP)
 134 }
 135
 136 static void sum_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 137 {
 138   APPLY_BASIC_OP_LOOP(SUM_OP)
 139   APPLY_FLOAT_OP_LOOP(SUM_OP)
 140   APPLY_COMPLEX_OP_LOOP(SUM_OP)
 141   APPLY_PAIR_OP_LOOP(SUM_OP_COMPLEX)
 142   APPLY_END_OP_LOOP(SUM_OP)
 143 }
 144
 145 static void prod_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 146 {
 147   APPLY_BASIC_OP_LOOP(PROD_OP)
 148   APPLY_FLOAT_OP_LOOP(PROD_OP)
 149   APPLY_COMPLEX_OP_LOOP(PROD_OP)
 150   APPLY_PAIR_OP_LOOP(PROD_OP_COMPLEX)
 151   APPLY_END_OP_LOOP(PROD_OP)
 152 }
 153
 154 static void land_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 155 {
 156   APPLY_BASIC_OP_LOOP(LAND_OP)
 157   APPLY_FLOAT_OP_LOOP(LAND_OP)
 158   APPLY_BOOL_OP_LOOP(LAND_OP)
 159   APPLY_END_OP_LOOP(LAND_OP)
 160 }
 161
 162 static void lor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 163 {
 164   APPLY_BASIC_OP_LOOP(LOR_OP)
 165   APPLY_FLOAT_OP_LOOP(LOR_OP)
 166   APPLY_BOOL_OP_LOOP(LOR_OP)
 167   APPLY_END_OP_LOOP(LOR_OP)
 168 }
 169
 170 static void lxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 171 {
 172   APPLY_BASIC_OP_LOOP(LXOR_OP)
 173   APPLY_FLOAT_OP_LOOP(LXOR_OP)
 174   APPLY_BOOL_OP_LOOP(LXOR_OP)
 175   APPLY_END_OP_LOOP(LXOR_OP)
 176 }
 177
 178 static void band_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 179 {
 180   APPLY_BASIC_OP_LOOP(BAND_OP)
 181   APPLY_BOOL_OP_LOOP(BAND_OP)
 182   APPLY_BYTE_OP_LOOP(BAND_OP)
 183   APPLY_END_OP_LOOP(BAND_OP)
 184 }
 185
 186 static void bor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 187 {
 188   APPLY_BASIC_OP_LOOP(BOR_OP)
 189   APPLY_BOOL_OP_LOOP(BOR_OP)
 190   APPLY_BYTE_OP_LOOP(BOR_OP)
 191   APPLY_END_OP_LOOP(BOR_OP)
 192 }
 193
 194 static void bxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 195 {
 196   APPLY_BASIC_OP_LOOP(BXOR_OP)
 197   APPLY_BOOL_OP_LOOP(BXOR_OP)
 198   APPLY_BYTE_OP_LOOP(BXOR_OP)
 199   APPLY_END_OP_LOOP(BXOR_OP)
 200 }
 201
 202 static void minloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 203 {
 204   APPLY_PAIR_OP_LOOP(MINLOC_OP)
 205   APPLY_END_OP_LOOP(MINLOC_OP)
 206 }
 207
 208 static void maxloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 209 {
 210   APPLY_PAIR_OP_LOOP(MAXLOC_OP)
 211   APPLY_END_OP_LOOP(MAXLOC_OP)
 212 }
 213
 214 static void replace_func(void *a, void *b, int *length, MPI_Datatype * datatype)
 215 {
 216   memcpy(b, a, *length * (*datatype)->size());
 217 }
 218
 219 static void no_func(void*, void*, int*, MPI_Datatype*)
 220 {
 221   /* obviously a no-op */
 222 }
 223
 224
 225 #define CREATE_MPI_OP(name, func, types)                                                                                      \
 226   SMPI_Op _XBT_CONCAT(smpi_MPI_, name)(&(func) /* func */, true, true, types);
 227
 228 #define MAX_TYPES DT_FLAG_C_INTEGER|DT_FLAG_F_INTEGER|DT_FLAG_FP|DT_FLAG_MULTILANG
 229 #define LAND_TYPES DT_FLAG_C_INTEGER|DT_FLAG_FP|DT_FLAG_LOGICAL|DT_FLAG_MULTILANG
 230 #define BAND_TYPES DT_FLAG_C_INTEGER|DT_FLAG_F_INTEGER|DT_FLAG_BYTE|DT_FLAG_MULTILANG
 231
 232 CREATE_MPI_OP(MAX, max_func, MAX_TYPES)
 233 CREATE_MPI_OP(MIN, min_func, MAX_TYPES)
 234 CREATE_MPI_OP(SUM, sum_func, MAX_TYPES|DT_FLAG_COMPLEX)
 235 CREATE_MPI_OP(PROD, prod_func, MAX_TYPES|DT_FLAG_COMPLEX)
 236 CREATE_MPI_OP(LAND, land_func, LAND_TYPES)
 237 CREATE_MPI_OP(LOR, lor_func, LAND_TYPES)
 238 CREATE_MPI_OP(LXOR, lxor_func, LAND_TYPES)
 239 CREATE_MPI_OP(BAND, band_func, BAND_TYPES)
 240 CREATE_MPI_OP(BOR, bor_func, BAND_TYPES)
 241 CREATE_MPI_OP(BXOR, bxor_func, BAND_TYPES)
 242 CREATE_MPI_OP(MAXLOC, maxloc_func, DT_FLAG_REDUCTION)
 243 CREATE_MPI_OP(MINLOC, minloc_func, DT_FLAG_REDUCTION)
 244 CREATE_MPI_OP(REPLACE, replace_func, 0)
 245 CREATE_MPI_OP(NO_OP, no_func, 0)
 246
 247 namespace simgrid{
 248 namespace smpi{
 249
 250 void Op::apply(const void* invec, void* inoutvec, const int* len, MPI_Datatype datatype) const
 251 {
 252   if (smpi_cfg_privatization() == SmpiPrivStrategies::MMAP) {
 253     // we need to switch as the called function may silently touch global variables
 254     XBT_DEBUG("Applying operation, switch to the right data frame ");
 255     smpi_switch_data_segment(simgrid::s4u::Actor::self());
 256   }
 257
 258   if (not smpi_process()->replaying() && *len > 0) {
 259     if (not is_fortran_op_)
 260       this->func_(const_cast<void*>(invec), inoutvec, const_cast<int*>(len), &datatype);
 261     else{
 262       XBT_DEBUG("Applying operation of length %d from %p and from/to %p", *len, invec, inoutvec);
 263       int tmp = datatype->c2f();
 264       /* Unfortunately, the C and Fortran version of the MPI standard do not agree on the type here,
 265          thus the reinterpret_cast. */
 266       this->func_(const_cast<void*>(invec), inoutvec, const_cast<int*>(len), reinterpret_cast<MPI_Datatype*>(&tmp));
 267     }
 268   }
 269 }
 270
 271 Op* Op::f2c(int id){
 272   return static_cast<Op*>(F2C::f2c(id));
 273 }
 274
 275 void Op::ref(){
 276   refcount_++;
 277 }
 278
 279 void Op::unref(MPI_Op* op){
 280   if((*op)!=MPI_OP_NULL){
 281     (*op)->refcount_--;
 282     if ((*op)->refcount_ == 0 && not (*op)->is_predefined_){
 283       F2C::free_f((*op)->c2f());
 284       delete(*op);
 285     }
 286   }
 287 }
 288
 289 }
 290 }