src/smpi/smpi_mpi_dt.cpp

   1 /* smpi_mpi_dt.c -- MPI primitives to handle datatypes                        */
   2 /* FIXME: a very incomplete implementation                                    */
   3
   4 /* Copyright (c) 2009-2015. The SimGrid Team.
   5  * All rights reserved.                                                     */
   6
   7 /* This program is free software; you can redistribute it and/or modify it
   8  * under the terms of the license (GNU LGPL) which comes with this package. */
   9
  10 #include <stdio.h>
  11 #include <stdlib.h>
  12 #include <string.h>
  13 #include <limits.h>
  14 #include "private.h"
  15 #include "smpi_mpi_dt_private.h"
  16 #include "mc/mc.h"
  17 #include "xbt/replay.h"
  18 #include "simgrid/modelchecker.h"
  19
  20 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_mpi_dt, smpi, "Logging specific to SMPI (datatype)");
  21
  22 xbt_dict_t smpi_type_keyvals = NULL;
  23 int type_keyval_id=0;//avoid collisions
  24
  25 #define CREATE_MPI_DATATYPE(name, type)               \
  26   static s_smpi_mpi_datatype_t mpi_##name = {         \
  27     (char*) # name,                                   \
  28     sizeof(type),   /* size */                        \
  29     0,              /*was 1 sizeof_substruct*/             \
  30     0,              /* lb */                          \
  31     sizeof(type),   /* ub = lb + size */              \
  32     DT_FLAG_BASIC,  /* flags */                       \
  33     NULL,           /* attributes */                  \
  34     NULL,           /* pointer on extended struct*/   \
  35     0               /* in_use counter */              \
  36   };                                                  \
  37 const MPI_Datatype name = &mpi_##name;
  38
  39 #define CREATE_MPI_DATATYPE_NULL(name)                \
  40   static s_smpi_mpi_datatype_t mpi_##name = {         \
  41     (char*) # name,                                   \
  42     0,              /* size */                        \
  43     0,              /* was 1 sizeof_substruct*/            \
  44     0,              /* lb */                          \
  45     0,              /* ub = lb + size */              \
  46     DT_FLAG_BASIC,  /* flags */                       \
  47     NULL,           /* attributes */                  \
  48     NULL,           /* pointer on extended struct*/   \
  49     0               /* in_use counter */              \
  50   };                                                  \
  51 const MPI_Datatype name = &mpi_##name;
  52
  53 //The following are datatypes for the MPI functions MPI_MAXLOC and MPI_MINLOC.
  54 typedef struct {
  55   float value;
  56   int index;
  57 } float_int;
  58 typedef struct {
  59   float value;
  60   float index;
  61 } float_float;
  62 typedef struct {
  63   long value;
  64   long index;
  65 } long_long;
  66 typedef struct {
  67   double value;
  68   double index;
  69 } double_double;
  70 typedef struct {
  71   long value;
  72   int index;
  73 } long_int;
  74 typedef struct {
  75   double value;
  76   int index;
  77 } double_int;
  78 typedef struct {
  79   short value;
  80   int index;
  81 } short_int;
  82 typedef struct {
  83   int value;
  84   int index;
  85 } int_int;
  86 typedef struct {
  87   long double value;
  88   int index;
  89 } long_double_int;
  90 typedef struct {
  91   int64_t value;
  92   int64_t index;
  93 } integer128_t;
  94 // Predefined data types
  95 CREATE_MPI_DATATYPE(MPI_CHAR, char);
  96 CREATE_MPI_DATATYPE(MPI_SHORT, short);
  97 CREATE_MPI_DATATYPE(MPI_INT, int);
  98 CREATE_MPI_DATATYPE(MPI_LONG, long);
  99 CREATE_MPI_DATATYPE(MPI_LONG_LONG, long long);
 100 CREATE_MPI_DATATYPE(MPI_SIGNED_CHAR, signed char);
 101 CREATE_MPI_DATATYPE(MPI_UNSIGNED_CHAR, unsigned char);
 102 CREATE_MPI_DATATYPE(MPI_UNSIGNED_SHORT, unsigned short);
 103 CREATE_MPI_DATATYPE(MPI_UNSIGNED, unsigned int);
 104 CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG, unsigned long);
 105 CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG_LONG, unsigned long long);
 106 CREATE_MPI_DATATYPE(MPI_FLOAT, float);
 107 CREATE_MPI_DATATYPE(MPI_DOUBLE, double);
 108 CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE, long double);
 109 CREATE_MPI_DATATYPE(MPI_WCHAR, wchar_t);
 110 CREATE_MPI_DATATYPE(MPI_C_BOOL, bool);
 111 CREATE_MPI_DATATYPE(MPI_BYTE, int8_t);
 112 CREATE_MPI_DATATYPE(MPI_INT8_T, int8_t);
 113 CREATE_MPI_DATATYPE(MPI_INT16_T, int16_t);
 114 CREATE_MPI_DATATYPE(MPI_INT32_T, int32_t);
 115 CREATE_MPI_DATATYPE(MPI_INT64_T, int64_t);
 116 CREATE_MPI_DATATYPE(MPI_UINT8_T, uint8_t);
 117 CREATE_MPI_DATATYPE(MPI_UINT16_T, uint16_t);
 118 CREATE_MPI_DATATYPE(MPI_UINT32_T, uint32_t);
 119 CREATE_MPI_DATATYPE(MPI_UINT64_T, uint64_t);
 120 CREATE_MPI_DATATYPE(MPI_C_FLOAT_COMPLEX, float _Complex);
 121 CREATE_MPI_DATATYPE(MPI_C_DOUBLE_COMPLEX, double _Complex);
 122 CREATE_MPI_DATATYPE(MPI_C_LONG_DOUBLE_COMPLEX, long double _Complex);
 123 CREATE_MPI_DATATYPE(MPI_AINT, MPI_Aint);
 124 CREATE_MPI_DATATYPE(MPI_OFFSET, MPI_Offset);
 125
 126 CREATE_MPI_DATATYPE(MPI_FLOAT_INT, float_int);
 127 CREATE_MPI_DATATYPE(MPI_LONG_INT, long_int);
 128 CREATE_MPI_DATATYPE(MPI_DOUBLE_INT, double_int);
 129 CREATE_MPI_DATATYPE(MPI_SHORT_INT, short_int);
 130 CREATE_MPI_DATATYPE(MPI_2INT, int_int);
 131 CREATE_MPI_DATATYPE(MPI_2FLOAT, float_float);
 132 CREATE_MPI_DATATYPE(MPI_2DOUBLE, double_double);
 133 CREATE_MPI_DATATYPE(MPI_2LONG, long_long);
 134
 135 CREATE_MPI_DATATYPE(MPI_REAL, float);
 136 CREATE_MPI_DATATYPE(MPI_REAL4, float);
 137 CREATE_MPI_DATATYPE(MPI_REAL8, float);
 138 CREATE_MPI_DATATYPE(MPI_REAL16, double);
 139 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX8);
 140 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX16);
 141 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX32);
 142 CREATE_MPI_DATATYPE(MPI_INTEGER1, int);
 143 CREATE_MPI_DATATYPE(MPI_INTEGER2, int16_t);
 144 CREATE_MPI_DATATYPE(MPI_INTEGER4, int32_t);
 145 CREATE_MPI_DATATYPE(MPI_INTEGER8, int64_t);
 146 CREATE_MPI_DATATYPE(MPI_INTEGER16, integer128_t);
 147
 148 CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE_INT, long_double_int);
 149
 150 CREATE_MPI_DATATYPE_NULL(MPI_UB);
 151 CREATE_MPI_DATATYPE_NULL(MPI_LB);
 152 CREATE_MPI_DATATYPE(MPI_PACKED, char);
 153 // Internal use only
 154 CREATE_MPI_DATATYPE(MPI_PTR, void*);
 155
 156 /** Check if the datatype is usable for communications */
 157 int is_datatype_valid(MPI_Datatype datatype) {
 158     return datatype != MPI_DATATYPE_NULL && (datatype->flags & DT_FLAG_COMMITED);
 159 }
 160
 161 size_t smpi_datatype_size(MPI_Datatype datatype)
 162 {
 163   return datatype->size;
 164 }
 165
 166 MPI_Aint smpi_datatype_lb(MPI_Datatype datatype)
 167 {
 168   return datatype->lb;
 169 }
 170
 171 MPI_Aint smpi_datatype_ub(MPI_Datatype datatype)
 172 {
 173   return datatype->ub;
 174 }
 175
 176 int smpi_datatype_dup(MPI_Datatype datatype, MPI_Datatype* new_t)
 177 {
 178   int ret=MPI_SUCCESS;
 179   *new_t= xbt_new(s_smpi_mpi_datatype_t,1);
 180   memcpy(*new_t, datatype, sizeof(s_smpi_mpi_datatype_t));
 181   (*new_t)->in_use=1;
 182   if (datatype->sizeof_substruct){
 183     (*new_t)->substruct=xbt_malloc(datatype->sizeof_substruct);
 184     memcpy((*new_t)->substruct, datatype->substruct, datatype->sizeof_substruct);
 185   }
 186   if(datatype->name)
 187     (*new_t)->name = xbt_strdup(datatype->name);
 188   if(datatype->attributes !=NULL){
 189       (*new_t)->attributes=xbt_dict_new();
 190       xbt_dict_cursor_t cursor = NULL;
 191       int *key;
 192       int flag;
 193       void* value_in;
 194       void* value_out;
 195       xbt_dict_foreach(datatype->attributes, cursor, key, value_in){
 196         smpi_type_key_elem elem =
 197           static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals,  (const char*)key, sizeof(int)));
 198         if(elem && elem->copy_fn!=MPI_NULL_COPY_FN){
 199           ret = elem->copy_fn(datatype, *key, NULL, value_in, &value_out, &flag );
 200           if(ret!=MPI_SUCCESS){
 201             smpi_datatype_unuse(*new_t);
 202             *new_t=MPI_DATATYPE_NULL;
 203             return ret;
 204           }
 205           if(flag)
 206             xbt_dict_set_ext((*new_t)->attributes, (const char*)key, sizeof(int),value_out, NULL);
 207         }
 208       }
 209     }
 210   return ret;
 211 }
 212
 213 int smpi_datatype_extent(MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent)
 214 {
 215   if(datatype == MPI_DATATYPE_NULL){
 216     *lb=0;
 217     *extent=0;
 218     return MPI_SUCCESS;
 219   }
 220   *lb = datatype->lb;
 221   *extent = datatype->ub - datatype->lb;
 222   return MPI_SUCCESS;
 223 }
 224
 225 MPI_Aint smpi_datatype_get_extent(MPI_Datatype datatype){
 226   if(datatype == MPI_DATATYPE_NULL){
 227     return 0;
 228   }
 229   return datatype->ub - datatype->lb;
 230 }
 231
 232 void smpi_datatype_get_name(MPI_Datatype datatype, char* name, int* length){
 233   *length = strlen(datatype->name);
 234   strcpy(name, datatype->name);
 235 }
 236
 237 void smpi_datatype_set_name(MPI_Datatype datatype, char* name){
 238   datatype->name = xbt_strdup(name);;
 239 }
 240
 241 int smpi_datatype_copy(void *sendbuf, int sendcount, MPI_Datatype sendtype,
 242                        void *recvbuf, int recvcount, MPI_Datatype recvtype)
 243 {
 244   int count;
 245   if(smpi_privatize_global_variables){
 246     smpi_switch_data_segment(smpi_process_index());
 247   }
 248   /* First check if we really have something to do */
 249   if (recvcount > 0 && recvbuf != sendbuf) {
 250     /* FIXME: treat packed cases */
 251     sendcount *= smpi_datatype_size(sendtype);
 252     recvcount *= smpi_datatype_size(recvtype);
 253     count = sendcount < recvcount ? sendcount : recvcount;
 254
 255     if(sendtype->sizeof_substruct == 0 && recvtype->sizeof_substruct == 0) {
 256       if(!smpi_process_get_replaying()) memcpy(recvbuf, sendbuf, count);
 257     }
 258     else if (sendtype->sizeof_substruct == 0)
 259     {
 260       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(recvtype->substruct);
 261       subtype->unserialize( sendbuf, recvbuf, recvcount/smpi_datatype_size(recvtype), subtype, MPI_REPLACE);
 262     }
 263     else if (recvtype->sizeof_substruct == 0)
 264     {
 265       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(sendtype->substruct);
 266       subtype->serialize(sendbuf, recvbuf, sendcount/smpi_datatype_size(sendtype), subtype);
 267     }else{
 268       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(sendtype->substruct);
 269
 270       void * buf_tmp = xbt_malloc(count);
 271
 272       subtype->serialize( sendbuf, buf_tmp,count/smpi_datatype_size(sendtype), subtype);
 273       subtype =  static_cast<s_smpi_subtype_t*>(recvtype->substruct);
 274       subtype->unserialize( buf_tmp, recvbuf,count/smpi_datatype_size(recvtype), subtype, MPI_REPLACE);
 275
 276       free(buf_tmp);
 277     }
 278   }
 279
 280   return sendcount > recvcount ? MPI_ERR_TRUNCATE : MPI_SUCCESS;
 281 }
 282
 283 /*
 284  *  Copies noncontiguous data into contiguous memory.
 285  *  @param contiguous_vector - output vector
 286  *  @param noncontiguous_vector - input vector
 287  *  @param type - pointer contening :
 288  *      - stride - stride of between noncontiguous data
 289  *      - block_length - the width or height of blocked matrix
 290  *      - count - the number of rows of matrix
 291  */
 292 void serialize_vector( const void *noncontiguous_vector, void *contiguous_vector, int count, void *type)
 293 {
 294   s_smpi_mpi_vector_t* type_c = (s_smpi_mpi_vector_t*)type;
 295   int i;
 296   char* contiguous_vector_char = (char*)contiguous_vector;
 297   char* noncontiguous_vector_char = (char*)noncontiguous_vector;
 298
 299   for (i = 0; i < type_c->block_count * count; i++) {
 300       if (type_c->old_type->sizeof_substruct == 0)
 301         memcpy(contiguous_vector_char, noncontiguous_vector_char, type_c->block_length * type_c->size_oldtype);
 302       else
 303         ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_vector_char,
 304                                                                      contiguous_vector_char,
 305                                                                      type_c->block_length, type_c->old_type->substruct);
 306
 307     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 308     if((i+1)%type_c->block_count ==0)
 309       noncontiguous_vector_char += type_c->block_length*smpi_datatype_get_extent(type_c->old_type);
 310     else
 311       noncontiguous_vector_char += type_c->block_stride*smpi_datatype_get_extent(type_c->old_type);
 312   }
 313 }
 314
 315 /*
 316  *  Copies contiguous data into noncontiguous memory.
 317  *  @param noncontiguous_vector - output vector
 318  *  @param contiguous_vector - input vector
 319  *  @param type - pointer contening :
 320  *      - stride - stride of between noncontiguous data
 321  *      - block_length - the width or height of blocked matrix
 322  *      - count - the number of rows of matrix
 323  */
 324 void unserialize_vector( const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
 325 {
 326   s_smpi_mpi_vector_t* type_c = (s_smpi_mpi_vector_t*)type;
 327   int i;
 328
 329   char* contiguous_vector_char = (char*)contiguous_vector;
 330   char* noncontiguous_vector_char = (char*)noncontiguous_vector;
 331
 332   for (i = 0; i < type_c->block_count * count; i++) {
 333     if (type_c->old_type->sizeof_substruct == 0)
 334       smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &type_c->block_length,
 335           &type_c->old_type);
 336      /* memcpy(noncontiguous_vector_char,
 337              contiguous_vector_char, type_c->block_length * type_c->size_oldtype);*/
 338     else
 339       ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize(contiguous_vector_char, noncontiguous_vector_char,
 340                                                                     type_c->block_length,type_c->old_type->substruct,
 341                                                                     op);
 342     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 343     if((i+1)%type_c->block_count ==0)
 344       noncontiguous_vector_char += type_c->block_length*smpi_datatype_get_extent(type_c->old_type);
 345     else
 346       noncontiguous_vector_char += type_c->block_stride*smpi_datatype_get_extent(type_c->old_type);
 347   }
 348 }
 349
 350 /* Create a Sub type vector to be able to serialize and unserialize it the structure s_smpi_mpi_vector_t is derived
 351  * from s_smpi_subtype which required the functions unserialize and serialize */
 352 s_smpi_mpi_vector_t* smpi_datatype_vector_create( int block_stride, int block_length, int block_count,
 353                                                   MPI_Datatype old_type, int size_oldtype){
 354   s_smpi_mpi_vector_t *new_t= xbt_new(s_smpi_mpi_vector_t,1);
 355   new_t->base.serialize = &serialize_vector;
 356   new_t->base.unserialize = &unserialize_vector;
 357   new_t->base.subtype_free = &free_vector;
 358   new_t->base.subtype_use = &use_vector;
 359   new_t->block_stride = block_stride;
 360   new_t->block_length = block_length;
 361   new_t->block_count = block_count;
 362   smpi_datatype_use(old_type);
 363   new_t->old_type = old_type;
 364   new_t->size_oldtype = size_oldtype;
 365   return new_t;
 366 }
 367
 368 void smpi_datatype_create(MPI_Datatype* new_type, int size,int lb, int ub, int sizeof_substruct, void *struct_type,
 369                           int flags){
 370   MPI_Datatype new_t= xbt_new(s_smpi_mpi_datatype_t,1);
 371   new_t->name = NULL;
 372   new_t->size = size;
 373   new_t->sizeof_substruct = size>0? sizeof_substruct:0;
 374   new_t->lb = lb;
 375   new_t->ub = ub;
 376   new_t->flags = flags;
 377   new_t->substruct = struct_type;
 378   new_t->in_use=1;
 379   new_t->attributes=NULL;
 380   *new_type = new_t;
 381
 382 #if HAVE_MC
 383   if(MC_is_active())
 384     MC_ignore(&(new_t->in_use), sizeof(new_t->in_use));
 385 #endif
 386 }
 387
 388 void smpi_datatype_free(MPI_Datatype* type){
 389   xbt_assert((*type)->in_use >= 0);
 390   if((*type)->attributes !=NULL){
 391     xbt_dict_cursor_t cursor = NULL;
 392     int* key;
 393     void * value;
 394     int flag;
 395     xbt_dict_foreach((*type)->attributes, cursor, key, value){
 396       smpi_type_key_elem elem =
 397           static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)key, sizeof(int)));
 398       if(elem &&  elem->delete_fn)
 399         elem->delete_fn(*type,*key, value, &flag);
 400     }
 401   }
 402
 403   if((*type)->flags & DT_FLAG_PREDEFINED)return;
 404
 405   //if still used, mark for deletion
 406   if((*type)->in_use!=0){
 407       (*type)->flags |=DT_FLAG_DESTROYED;
 408       return;
 409   }
 410
 411   if ((*type)->sizeof_substruct != 0){
 412     //((s_smpi_subtype_t *)(*type)->substruct)->subtype_free(type);
 413     xbt_free((*type)->substruct);
 414   }
 415   if ((*type)->name != NULL){
 416     xbt_free((*type)->name);
 417   }
 418   *type = MPI_DATATYPE_NULL;
 419 }
 420
 421 void smpi_datatype_use(MPI_Datatype type){
 422
 423   if(type)type->in_use++;
 424
 425   if(type->sizeof_substruct!=0){
 426     ((s_smpi_subtype_t *)(type)->substruct)->subtype_use(&type);
 427   }
 428 #if HAVE_MC
 429   if(MC_is_active())
 430     MC_ignore(&(type->in_use), sizeof(type->in_use));
 431 #endif
 432 }
 433
 434 void smpi_datatype_unuse(MPI_Datatype type){
 435   if (type->in_use > 0)
 436     type->in_use--;
 437
 438   if(type->sizeof_substruct!=0){
 439     ((s_smpi_subtype_t *)(type)->substruct)->subtype_free(&type);
 440   }
 441
 442   if(type && type->in_use == 0){
 443     MPI_Datatype t = type;
 444     if (!(type->flags & DT_FLAG_DESTROYED))
 445       smpi_datatype_free(&type);
 446     if(t->flags & DT_FLAG_PREDEFINED) return;
 447     xbt_free(t);
 448   }
 449 #if HAVE_MC
 450   if(MC_is_active())
 451     MC_ignore(&(type->in_use), sizeof(type->in_use));
 452 #endif
 453 }
 454
 455 /*Contiguous Implementation*/
 456
 457 /* Copies noncontiguous data into contiguous memory.
 458  *  @param contiguous_hvector - output hvector
 459  *  @param noncontiguous_hvector - input hvector
 460  *  @param type - pointer contening :
 461  *      - stride - stride of between noncontiguous data, in bytes
 462  *      - block_length - the width or height of blocked matrix
 463  *      - count - the number of rows of matrix
 464  */
 465 void serialize_contiguous( const void *noncontiguous_hvector, void *contiguous_hvector, int count, void *type)
 466 {
 467   s_smpi_mpi_contiguous_t* type_c = (s_smpi_mpi_contiguous_t*)type;
 468   char* contiguous_vector_char = (char*)contiguous_hvector;
 469   char* noncontiguous_vector_char = (char*)noncontiguous_hvector+type_c->lb;
 470   memcpy(contiguous_vector_char, noncontiguous_vector_char, count* type_c->block_count * type_c->size_oldtype);
 471 }
 472 /* Copies contiguous data into noncontiguous memory.
 473  *  @param noncontiguous_vector - output hvector
 474  *  @param contiguous_vector - input hvector
 475  *  @param type - pointer contening :
 476  *      - stride - stride of between noncontiguous data, in bytes
 477  *      - block_length - the width or height of blocked matrix
 478  *      - count - the number of rows of matrix
 479  */
 480 void unserialize_contiguous(const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
 481 {
 482   s_smpi_mpi_contiguous_t* type_c = (s_smpi_mpi_contiguous_t*)type;
 483   char* contiguous_vector_char = (char*)contiguous_vector;
 484   char* noncontiguous_vector_char = (char*)noncontiguous_vector+type_c->lb;
 485   int n= count* type_c->block_count;
 486   smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &n, &type_c->old_type);
 487   /*memcpy(noncontiguous_vector_char, contiguous_vector_char, count*  type_c->block_count * type_c->size_oldtype);*/
 488 }
 489
 490 void free_contiguous(MPI_Datatype* d){
 491   smpi_datatype_unuse(((s_smpi_mpi_contiguous_t *)(*d)->substruct)->old_type);
 492 }
 493
 494 void use_contiguous(MPI_Datatype* d){
 495   smpi_datatype_use(((s_smpi_mpi_contiguous_t *)(*d)->substruct)->old_type);
 496 }
 497
 498 /* Create a Sub type contiguous to be able to serialize and unserialize it the structure s_smpi_mpi_contiguous_t is
 499  * erived from s_smpi_subtype which required the functions unserialize and serialize */
 500 s_smpi_mpi_contiguous_t* smpi_datatype_contiguous_create( MPI_Aint lb, int block_count, MPI_Datatype old_type,
 501                                                   int size_oldtype){
 502   s_smpi_mpi_contiguous_t *new_t= xbt_new(s_smpi_mpi_contiguous_t,1);
 503   new_t->base.serialize = &serialize_contiguous;
 504   new_t->base.unserialize = &unserialize_contiguous;
 505   new_t->base.subtype_free = &free_contiguous;
 506   new_t->base.subtype_use = &use_contiguous;
 507   new_t->lb = lb;
 508   new_t->block_count = block_count;
 509   new_t->old_type = old_type;
 510   smpi_datatype_use(old_type);
 511   new_t->size_oldtype = size_oldtype;
 512   smpi_datatype_use(old_type);
 513   return new_t;
 514 }
 515
 516 int smpi_datatype_contiguous(int count, MPI_Datatype old_type, MPI_Datatype* new_type, MPI_Aint lb)
 517 {
 518   int retval;
 519   if(old_type->sizeof_substruct){
 520     //handle this case as a hvector with stride equals to the extent of the datatype
 521     return smpi_datatype_hvector(count, 1, smpi_datatype_get_extent(old_type), old_type, new_type);
 522   }
 523
 524   s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, count, old_type,smpi_datatype_size(old_type));
 525
 526   smpi_datatype_create(new_type, count * smpi_datatype_size(old_type),lb,lb + count * smpi_datatype_size(old_type),
 527             sizeof(s_smpi_mpi_contiguous_t),subtype, DT_FLAG_CONTIGUOUS);
 528   retval=MPI_SUCCESS;
 529   return retval;
 530 }
 531
 532 int smpi_datatype_vector(int count, int blocklen, int stride, MPI_Datatype old_type, MPI_Datatype* new_type)
 533 {
 534   int retval;
 535   if (blocklen<0) return MPI_ERR_ARG;
 536   MPI_Aint lb = 0;
 537   MPI_Aint ub = 0;
 538   if(count>0){
 539     lb=smpi_datatype_lb(old_type);
 540     ub=((count-1)*stride+blocklen-1)*smpi_datatype_get_extent(old_type)+smpi_datatype_ub(old_type);
 541   }
 542   if(old_type->sizeof_substruct || stride != blocklen){
 543
 544     s_smpi_mpi_vector_t* subtype = smpi_datatype_vector_create(stride, blocklen, count, old_type,
 545                                                                 smpi_datatype_size(old_type));
 546     smpi_datatype_create(new_type, count * (blocklen) * smpi_datatype_size(old_type), lb, ub, sizeof(s_smpi_mpi_vector_t), subtype,
 547                          DT_FLAG_VECTOR);
 548     retval=MPI_SUCCESS;
 549   }else{
 550     /* in this situation the data are contignous thus it's not required to serialize and unserialize it*/
 551     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type), 0, ((count -1) * stride + blocklen)*
 552                          smpi_datatype_size(old_type), 0, NULL, DT_FLAG_VECTOR|DT_FLAG_CONTIGUOUS);
 553     retval=MPI_SUCCESS;
 554   }
 555   return retval;
 556 }
 557
 558 void free_vector(MPI_Datatype* d){
 559   smpi_datatype_unuse(((s_smpi_mpi_indexed_t *)(*d)->substruct)->old_type);
 560 }
 561
 562 void use_vector(MPI_Datatype* d){
 563   smpi_datatype_use(((s_smpi_mpi_indexed_t *)(*d)->substruct)->old_type);
 564 }
 565
 566 /* Hvector Implementation - Vector with stride in bytes */
 567
 568 /* Copies noncontiguous data into contiguous memory.
 569  *  @param contiguous_hvector - output hvector
 570  *  @param noncontiguous_hvector - input hvector
 571  *  @param type - pointer contening :
 572  *      - stride - stride of between noncontiguous data, in bytes
 573  *      - block_length - the width or height of blocked matrix
 574  *      - count - the number of rows of matrix
 575  */
 576 void serialize_hvector( const void *noncontiguous_hvector, void *contiguous_hvector, int count, void *type)
 577 {
 578   s_smpi_mpi_hvector_t* type_c = (s_smpi_mpi_hvector_t*)type;
 579   int i;
 580   char* contiguous_vector_char = (char*)contiguous_hvector;
 581   char* noncontiguous_vector_char = (char*)noncontiguous_hvector;
 582
 583   for (i = 0; i < type_c->block_count * count; i++) {
 584     if (type_c->old_type->sizeof_substruct == 0)
 585       memcpy(contiguous_vector_char, noncontiguous_vector_char, type_c->block_length * type_c->size_oldtype);
 586     else
 587       ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_vector_char,
 588                                                                    contiguous_vector_char,
 589                                                                    type_c->block_length, type_c->old_type->substruct);
 590
 591     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 592     if((i+1)%type_c->block_count ==0)
 593       noncontiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 594     else
 595       noncontiguous_vector_char += type_c->block_stride;
 596   }
 597 }
 598 /* Copies contiguous data into noncontiguous memory.
 599  *  @param noncontiguous_vector - output hvector
 600  *  @param contiguous_vector - input hvector
 601  *  @param type - pointer contening :
 602  *      - stride - stride of between noncontiguous data, in bytes
 603  *      - block_length - the width or height of blocked matrix
 604  *      - count - the number of rows of matrix
 605  */
 606 void unserialize_hvector( const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
 607 {
 608   s_smpi_mpi_hvector_t* type_c = (s_smpi_mpi_hvector_t*)type;
 609   int i;
 610
 611   char* contiguous_vector_char = (char*)contiguous_vector;
 612   char* noncontiguous_vector_char = (char*)noncontiguous_vector;
 613
 614   for (i = 0; i < type_c->block_count * count; i++) {
 615     if (type_c->old_type->sizeof_substruct == 0)
 616       smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &type_c->block_length, &type_c->old_type);
 617              /*memcpy(noncontiguous_vector_char,
 618            contiguous_vector_char, type_c->block_length * type_c->size_oldtype);*/
 619     else
 620       ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize( contiguous_vector_char, noncontiguous_vector_char,
 621                                                                      type_c->block_length, type_c->old_type->substruct,
 622                                                                      op);
 623     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 624     if((i+1)%type_c->block_count ==0)
 625       noncontiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 626     else
 627       noncontiguous_vector_char += type_c->block_stride;
 628   }
 629 }
 630
 631 /* Create a Sub type vector to be able to serialize and unserialize it the structure s_smpi_mpi_vector_t is derived
 632  * from s_smpi_subtype which required the functions unserialize and serialize
 633  *
 634  */
 635 s_smpi_mpi_hvector_t* smpi_datatype_hvector_create( MPI_Aint block_stride, int block_length, int block_count,
 636                                                   MPI_Datatype old_type, int size_oldtype){
 637   s_smpi_mpi_hvector_t *new_t= xbt_new(s_smpi_mpi_hvector_t,1);
 638   new_t->base.serialize = &serialize_hvector;
 639   new_t->base.unserialize = &unserialize_hvector;
 640   new_t->base.subtype_free = &free_hvector;
 641   new_t->base.subtype_use = &use_hvector;
 642   new_t->block_stride = block_stride;
 643   new_t->block_length = block_length;
 644   new_t->block_count = block_count;
 645   new_t->old_type = old_type;
 646   new_t->size_oldtype = size_oldtype;
 647   smpi_datatype_use(old_type);
 648   return new_t;
 649 }
 650
 651 //do nothing for vector types
 652 void free_hvector(MPI_Datatype* d){
 653   smpi_datatype_unuse(((s_smpi_mpi_hvector_t *)(*d)->substruct)->old_type);
 654 }
 655
 656 void use_hvector(MPI_Datatype* d){
 657   smpi_datatype_use(((s_smpi_mpi_hvector_t *)(*d)->substruct)->old_type);
 658 }
 659
 660 int smpi_datatype_hvector(int count, int blocklen, MPI_Aint stride, MPI_Datatype old_type, MPI_Datatype* new_type)
 661 {
 662   int retval;
 663   if (blocklen<0) return MPI_ERR_ARG;
 664   MPI_Aint lb = 0;
 665   MPI_Aint ub = 0;
 666   if(count>0){
 667     lb=smpi_datatype_lb(old_type);
 668     ub=((count-1)*stride)+(blocklen-1)*smpi_datatype_get_extent(old_type)+smpi_datatype_ub(old_type);
 669   }
 670   if(old_type->sizeof_substruct || stride != blocklen*smpi_datatype_get_extent(old_type)){
 671     s_smpi_mpi_hvector_t* subtype = smpi_datatype_hvector_create( stride, blocklen, count, old_type,
 672                                                                   smpi_datatype_size(old_type));
 673
 674     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type), lb,ub, sizeof(s_smpi_mpi_hvector_t), subtype, DT_FLAG_VECTOR);
 675     retval=MPI_SUCCESS;
 676   }else{
 677     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type),0,count * blocklen *
 678                                              smpi_datatype_size(old_type), 0, NULL, DT_FLAG_VECTOR|DT_FLAG_CONTIGUOUS);
 679     retval=MPI_SUCCESS;
 680   }
 681   return retval;
 682 }
 683
 684 /* Indexed Implementation */
 685
 686 /* Copies noncontiguous data into contiguous memory.
 687  *  @param contiguous_indexed - output indexed
 688  *  @param noncontiguous_indexed - input indexed
 689  *  @param type - pointer contening :
 690  *      - block_lengths - the width or height of blocked matrix
 691  *      - block_indices - indices of each data, in element
 692  *      - count - the number of rows of matrix
 693  */
 694 void serialize_indexed( const void *noncontiguous_indexed, void *contiguous_indexed, int count, void *type)
 695 {
 696   s_smpi_mpi_indexed_t* type_c = (s_smpi_mpi_indexed_t*)type;
 697   int i,j;
 698   char* contiguous_indexed_char = (char*)contiguous_indexed;
 699   char* noncontiguous_indexed_char = (char*)noncontiguous_indexed+type_c->block_indices[0] * type_c->size_oldtype;
 700   for(j=0; j<count;j++){
 701     for (i = 0; i < type_c->block_count; i++) {
 702       if (type_c->old_type->sizeof_substruct == 0)
 703         memcpy(contiguous_indexed_char, noncontiguous_indexed_char, type_c->block_lengths[i] * type_c->size_oldtype);
 704       else
 705         ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_indexed_char,
 706                                                                      contiguous_indexed_char,
 707                                                                      type_c->block_lengths[i],
 708                                                                      type_c->old_type->substruct);
 709
 710       contiguous_indexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 711       if (i<type_c->block_count-1)
 712         noncontiguous_indexed_char =
 713           (char*)noncontiguous_indexed + type_c->block_indices[i+1]*smpi_datatype_get_extent(type_c->old_type);
 714       else
 715         noncontiguous_indexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 716     }
 717     noncontiguous_indexed=(void*)noncontiguous_indexed_char;
 718   }
 719 }
 720 /* Copies contiguous data into noncontiguous memory.
 721  *  @param noncontiguous_indexed - output indexed
 722  *  @param contiguous_indexed - input indexed
 723  *  @param type - pointer contening :
 724  *      - block_lengths - the width or height of blocked matrix
 725  *      - block_indices - indices of each data, in element
 726  *      - count - the number of rows of matrix
 727  */
 728 void unserialize_indexed( const void *contiguous_indexed, void *noncontiguous_indexed, int count, void *type, MPI_Op op)
 729 {
 730   s_smpi_mpi_indexed_t* type_c = (s_smpi_mpi_indexed_t*)type;
 731   int i,j;
 732   char* contiguous_indexed_char = (char*)contiguous_indexed;
 733   char* noncontiguous_indexed_char =
 734     (char*)noncontiguous_indexed+type_c->block_indices[0]*smpi_datatype_get_extent(type_c->old_type);
 735   for(j=0; j<count;j++){
 736     for (i = 0; i < type_c->block_count; i++) {
 737       if (type_c->old_type->sizeof_substruct == 0)
 738         smpi_op_apply(op, contiguous_indexed_char, noncontiguous_indexed_char, &type_c->block_lengths[i],
 739                     &type_c->old_type);
 740                /*memcpy(noncontiguous_indexed_char ,
 741              contiguous_indexed_char, type_c->block_lengths[i] * type_c->size_oldtype);*/
 742       else
 743         ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize( contiguous_indexed_char,
 744                                                                        noncontiguous_indexed_char,
 745                                                                        type_c->block_lengths[i],
 746                                                                        type_c->old_type->substruct, op);
 747
 748       contiguous_indexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 749       if (i<type_c->block_count-1)
 750         noncontiguous_indexed_char =
 751           (char*)noncontiguous_indexed + type_c->block_indices[i+1]*smpi_datatype_get_extent(type_c->old_type);
 752       else
 753         noncontiguous_indexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 754     }
 755     noncontiguous_indexed=(void*)noncontiguous_indexed_char;
 756   }
 757 }
 758
 759 void free_indexed(MPI_Datatype* type){
 760   if((*type)->in_use==0){
 761     xbt_free(((s_smpi_mpi_indexed_t *)(*type)->substruct)->block_lengths);
 762     xbt_free(((s_smpi_mpi_indexed_t *)(*type)->substruct)->block_indices);
 763   }
 764   smpi_datatype_unuse(((s_smpi_mpi_indexed_t *)(*type)->substruct)->old_type);
 765 }
 766
 767 void use_indexed(MPI_Datatype* type){
 768   smpi_datatype_use(((s_smpi_mpi_indexed_t *)(*type)->substruct)->old_type);
 769 }
 770
 771
 772 /* Create a Sub type indexed to be able to serialize and unserialize it the structure s_smpi_mpi_indexed_t is derived
 773  * from s_smpi_subtype which required the functions unserialize and serialize */
 774 s_smpi_mpi_indexed_t* smpi_datatype_indexed_create( int* block_lengths, int* block_indices, int block_count,
 775                                                   MPI_Datatype old_type, int size_oldtype){
 776   s_smpi_mpi_indexed_t *new_t= xbt_new(s_smpi_mpi_indexed_t,1);
 777   new_t->base.serialize = &serialize_indexed;
 778   new_t->base.unserialize = &unserialize_indexed;
 779   new_t->base.subtype_free = &free_indexed;
 780   new_t->base.subtype_use = &use_indexed;
 781   new_t->block_lengths= xbt_new(int, block_count);
 782   new_t->block_indices= xbt_new(int, block_count);
 783   int i;
 784   for(i=0;i<block_count;i++){
 785     new_t->block_lengths[i]=block_lengths[i];
 786     new_t->block_indices[i]=block_indices[i];
 787   }
 788   new_t->block_count = block_count;
 789   smpi_datatype_use(old_type);
 790   new_t->old_type = old_type;
 791   new_t->size_oldtype = size_oldtype;
 792   return new_t;
 793 }
 794
 795 int smpi_datatype_indexed(int count, int* blocklens, int* indices, MPI_Datatype old_type, MPI_Datatype* new_type)
 796 {
 797   int i;
 798   int retval;
 799   int size = 0;
 800   int contiguous=1;
 801   MPI_Aint lb = 0;
 802   MPI_Aint ub = 0;
 803   if(count>0){
 804     lb=indices[0]*smpi_datatype_get_extent(old_type);
 805     ub=indices[0]*smpi_datatype_get_extent(old_type) + blocklens[0]*smpi_datatype_ub(old_type);
 806   }
 807
 808   for(i=0; i< count; i++){
 809     if   (blocklens[i]<0)
 810       return MPI_ERR_ARG;
 811     size += blocklens[i];
 812
 813     if(indices[i]*smpi_datatype_get_extent(old_type)+smpi_datatype_lb(old_type)<lb)
 814       lb = indices[i]*smpi_datatype_get_extent(old_type)+smpi_datatype_lb(old_type);
 815     if(indices[i]*smpi_datatype_get_extent(old_type)+blocklens[i]*smpi_datatype_ub(old_type)>ub)
 816       ub = indices[i]*smpi_datatype_get_extent(old_type)+blocklens[i]*smpi_datatype_ub(old_type);
 817
 818     if ( (i< count -1) && (indices[i]+blocklens[i] != indices[i+1]) )contiguous=0;
 819   }
 820   if (old_type->sizeof_substruct != 0)
 821     contiguous=0;
 822
 823   if(!contiguous){
 824     s_smpi_mpi_indexed_t* subtype = smpi_datatype_indexed_create( blocklens, indices, count, old_type,
 825                                                                   smpi_datatype_size(old_type));
 826      smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type),lb,ub,sizeof(s_smpi_mpi_indexed_t), subtype, DT_FLAG_DATA);
 827   }else{
 828     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, size, old_type,
 829                                                                   smpi_datatype_size(old_type));
 830     smpi_datatype_create(new_type, size * smpi_datatype_size(old_type), lb, ub, sizeof(s_smpi_mpi_contiguous_t), subtype,
 831                          DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
 832   }
 833   retval=MPI_SUCCESS;
 834   return retval;
 835 }
 836 /* Hindexed Implementation - Indexed with indices in bytes */
 837
 838 /* Copies noncontiguous data into contiguous memory.
 839  *  @param contiguous_hindexed - output hindexed
 840  *  @param noncontiguous_hindexed - input hindexed
 841  *  @param type - pointer contening :
 842  *      - block_lengths - the width or height of blocked matrix
 843  *      - block_indices - indices of each data, in bytes
 844  *      - count - the number of rows of matrix
 845  */
 846 void serialize_hindexed( const void *noncontiguous_hindexed, void *contiguous_hindexed, int count, void *type)
 847 {
 848   s_smpi_mpi_hindexed_t* type_c = (s_smpi_mpi_hindexed_t*)type;
 849   int i,j;
 850   char* contiguous_hindexed_char = (char*)contiguous_hindexed;
 851   char* noncontiguous_hindexed_char = (char*)noncontiguous_hindexed+ type_c->block_indices[0];
 852   for(j=0; j<count;j++){
 853     for (i = 0; i < type_c->block_count; i++) {
 854       if (type_c->old_type->sizeof_substruct == 0)
 855         memcpy(contiguous_hindexed_char, noncontiguous_hindexed_char, type_c->block_lengths[i] * type_c->size_oldtype);
 856       else
 857         ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_hindexed_char,
 858                                                                      contiguous_hindexed_char,
 859                                                                      type_c->block_lengths[i],
 860                                                                      type_c->old_type->substruct);
 861
 862       contiguous_hindexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 863       if (i<type_c->block_count-1)
 864         noncontiguous_hindexed_char = (char*)noncontiguous_hindexed + type_c->block_indices[i+1];
 865       else
 866         noncontiguous_hindexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 867     }
 868     noncontiguous_hindexed=(void*)noncontiguous_hindexed_char;
 869   }
 870 }
 871 /* Copies contiguous data into noncontiguous memory.
 872  *  @param noncontiguous_hindexed - output hindexed
 873  *  @param contiguous_hindexed - input hindexed
 874  *  @param type - pointer contening :
 875  *      - block_lengths - the width or height of blocked matrix
 876  *      - block_indices - indices of each data, in bytes
 877  *      - count - the number of rows of matrix
 878  */
 879 void unserialize_hindexed( const void *contiguous_hindexed, void *noncontiguous_hindexed, int count, void *type,
 880                          MPI_Op op)
 881 {
 882   s_smpi_mpi_hindexed_t* type_c = (s_smpi_mpi_hindexed_t*)type;
 883   int i,j;
 884
 885   char* contiguous_hindexed_char = (char*)contiguous_hindexed;
 886   char* noncontiguous_hindexed_char = (char*)noncontiguous_hindexed+ type_c->block_indices[0];
 887   for(j=0; j<count;j++){
 888     for (i = 0; i < type_c->block_count; i++) {
 889       if (type_c->old_type->sizeof_substruct == 0)
 890         smpi_op_apply(op, contiguous_hindexed_char, noncontiguous_hindexed_char, &type_c->block_lengths[i],
 891                             &type_c->old_type);
 892         /*memcpy(noncontiguous_hindexed_char,contiguous_hindexed_char,type_c->block_lengths[i]*type_c->size_oldtype);*/
 893       else
 894         ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize( contiguous_hindexed_char,
 895                                                                        noncontiguous_hindexed_char,
 896                                                                        type_c->block_lengths[i],
 897                                                                        type_c->old_type->substruct, op);
 898
 899       contiguous_hindexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 900       if (i<type_c->block_count-1)
 901         noncontiguous_hindexed_char = (char*)noncontiguous_hindexed + type_c->block_indices[i+1];
 902       else
 903         noncontiguous_hindexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 904     }
 905     noncontiguous_hindexed=(void*)noncontiguous_hindexed_char;
 906   }
 907 }
 908
 909 void free_hindexed(MPI_Datatype* type){
 910   if((*type)->in_use==0){
 911     xbt_free(((s_smpi_mpi_hindexed_t *)(*type)->substruct)->block_lengths);
 912     xbt_free(((s_smpi_mpi_hindexed_t *)(*type)->substruct)->block_indices);
 913   }
 914   smpi_datatype_unuse(((s_smpi_mpi_indexed_t *)(*type)->substruct)->old_type);
 915 }
 916
 917 void use_hindexed(MPI_Datatype* type){
 918   smpi_datatype_use(((s_smpi_mpi_hindexed_t *)(*type)->substruct)->old_type);
 919 }
 920
 921 /* Create a Sub type hindexed to be able to serialize and unserialize it the structure s_smpi_mpi_hindexed_t is derived
 922  * from s_smpi_subtype which required the functions unserialize and serialize
 923  */
 924 s_smpi_mpi_hindexed_t* smpi_datatype_hindexed_create( int* block_lengths, MPI_Aint* block_indices, int block_count,
 925                                                   MPI_Datatype old_type, int size_oldtype){
 926   s_smpi_mpi_hindexed_t *new_t= xbt_new(s_smpi_mpi_hindexed_t,1);
 927   new_t->base.serialize = &serialize_hindexed;
 928   new_t->base.unserialize = &unserialize_hindexed;
 929   new_t->base.subtype_free = &free_hindexed;
 930   new_t->base.subtype_use = &use_hindexed;
 931   new_t->block_lengths= xbt_new(int, block_count);
 932   new_t->block_indices= xbt_new(MPI_Aint, block_count);
 933   int i;
 934   for(i=0;i<block_count;i++){
 935     new_t->block_lengths[i]=block_lengths[i];
 936     new_t->block_indices[i]=block_indices[i];
 937   }
 938   new_t->block_count = block_count;
 939   new_t->old_type = old_type;
 940   smpi_datatype_use(old_type);
 941   new_t->size_oldtype = size_oldtype;
 942   return new_t;
 943 }
 944
 945 int smpi_datatype_hindexed(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type)
 946 {
 947   int i;
 948   int retval;
 949   int size = 0;
 950   int contiguous=1;
 951   MPI_Aint lb = 0;
 952   MPI_Aint ub = 0;
 953   if(count>0){
 954     lb=indices[0] + smpi_datatype_lb(old_type);
 955     ub=indices[0] + blocklens[0]*smpi_datatype_ub(old_type);
 956   }
 957   for(i=0; i< count; i++){
 958     if   (blocklens[i]<0)
 959       return MPI_ERR_ARG;
 960     size += blocklens[i];
 961
 962     if(indices[i]+smpi_datatype_lb(old_type)<lb) lb = indices[i]+smpi_datatype_lb(old_type);
 963     if(indices[i]+blocklens[i]*smpi_datatype_ub(old_type)>ub) ub = indices[i]+blocklens[i]*smpi_datatype_ub(old_type);
 964
 965     if ( (i< count -1) && (indices[i]+blocklens[i]*static_cast<int>(smpi_datatype_size(old_type)) != indices[i+1]) )
 966       contiguous=0;
 967   }
 968   if (old_type->sizeof_substruct != 0 || lb!=0)
 969     contiguous=0;
 970
 971   if(!contiguous){
 972     s_smpi_mpi_hindexed_t* subtype = smpi_datatype_hindexed_create( blocklens, indices, count, old_type,
 973                                                                   smpi_datatype_size(old_type));
 974     smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type), lb, ub ,sizeof(s_smpi_mpi_hindexed_t), subtype, DT_FLAG_DATA);
 975   }else{
 976     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create(lb,size, old_type, smpi_datatype_size(old_type));
 977     smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type), 0,size * smpi_datatype_size(old_type),
 978                1, subtype, DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
 979   }
 980   retval=MPI_SUCCESS;
 981   return retval;
 982 }
 983
 984 /* struct Implementation - Indexed with indices in bytes */
 985
 986 /* Copies noncontiguous data into contiguous memory.
 987  *  @param contiguous_struct - output struct
 988  *  @param noncontiguous_struct - input struct
 989  *  @param type - pointer contening :
 990  *      - stride - stride of between noncontiguous data
 991  *      - block_length - the width or height of blocked matrix
 992  *      - count - the number of rows of matrix
 993  */
 994 void serialize_struct( const void *noncontiguous_struct, void *contiguous_struct, int count, void *type)
 995 {
 996   s_smpi_mpi_struct_t* type_c = (s_smpi_mpi_struct_t*)type;
 997   int i,j;
 998   char* contiguous_struct_char = (char*)contiguous_struct;
 999   char* noncontiguous_struct_char = (char*)noncontiguous_struct+ type_c->block_indices[0];
1000   for(j=0; j<count;j++){
1001     for (i = 0; i < type_c->block_count; i++) {
1002       if (type_c->old_types[i]->sizeof_substruct == 0)
1003         memcpy(contiguous_struct_char, noncontiguous_struct_char,
1004                type_c->block_lengths[i] * smpi_datatype_size(type_c->old_types[i]));
1005       else
1006         ((s_smpi_subtype_t*)type_c->old_types[i]->substruct)->serialize( noncontiguous_struct_char,
1007                                                                          contiguous_struct_char,
1008                                                                          type_c->block_lengths[i],
1009                                                                          type_c->old_types[i]->substruct);
1010
1011
1012       contiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_size(type_c->old_types[i]);
1013       if (i<type_c->block_count-1)
1014         noncontiguous_struct_char = (char*)noncontiguous_struct + type_c->block_indices[i+1];
1015       else //let's hope this is MPI_UB ?
1016         noncontiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_types[i]);
1017     }
1018     noncontiguous_struct=(void*)noncontiguous_struct_char;
1019   }
1020 }
1021
1022 /* Copies contiguous data into noncontiguous memory.
1023  *  @param noncontiguous_struct - output struct
1024  *  @param contiguous_struct - input struct
1025  *  @param type - pointer contening :
1026  *      - stride - stride of between noncontiguous data
1027  *      - block_length - the width or height of blocked matrix
1028  *      - count - the number of rows of matrix
1029  */
1030 void unserialize_struct( const void *contiguous_struct, void *noncontiguous_struct, int count, void *type, MPI_Op op)
1031 {
1032   s_smpi_mpi_struct_t* type_c = (s_smpi_mpi_struct_t*)type;
1033   int i,j;
1034
1035   char* contiguous_struct_char = (char*)contiguous_struct;
1036   char* noncontiguous_struct_char = (char*)noncontiguous_struct+ type_c->block_indices[0];
1037   for(j=0; j<count;j++){
1038     for (i = 0; i < type_c->block_count; i++) {
1039       if (type_c->old_types[i]->sizeof_substruct == 0)
1040         smpi_op_apply(op, contiguous_struct_char, noncontiguous_struct_char, &type_c->block_lengths[i],
1041            & type_c->old_types[i]);
1042       /*memcpy(noncontiguous_struct_char,
1043                contiguous_struct_char, type_c->block_lengths[i] * smpi_datatype_size(type_c->old_types[i]));*/
1044       else
1045         ((s_smpi_subtype_t*)type_c->old_types[i]->substruct)->unserialize( contiguous_struct_char,
1046                                                                            noncontiguous_struct_char,
1047                                                                            type_c->block_lengths[i],
1048                                                                            type_c->old_types[i]->substruct, op);
1049
1050       contiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_size(type_c->old_types[i]);
1051       if (i<type_c->block_count-1)
1052         noncontiguous_struct_char =  (char*)noncontiguous_struct + type_c->block_indices[i+1];
1053       else
1054         noncontiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_types[i]);
1055     }
1056     noncontiguous_struct=(void*)noncontiguous_struct_char;
1057   }
1058 }
1059
1060 void free_struct(MPI_Datatype* type){
1061   int i=0;
1062   for (i = 0; i < ((s_smpi_mpi_struct_t *)(*type)->substruct)->block_count; i++)
1063     smpi_datatype_unuse(((s_smpi_mpi_struct_t *)(*type)->substruct)->old_types[i]);
1064   if((*type)->in_use==0){
1065     xbt_free(((s_smpi_mpi_struct_t *)(*type)->substruct)->block_lengths);
1066     xbt_free(((s_smpi_mpi_struct_t *)(*type)->substruct)->block_indices);
1067     xbt_free(((s_smpi_mpi_struct_t *)(*type)->substruct)->old_types);
1068   }
1069 }
1070
1071 void use_struct(MPI_Datatype* type){
1072   int i=0;
1073   for (i = 0; i < ((s_smpi_mpi_struct_t *)(*type)->substruct)->block_count; i++)
1074     smpi_datatype_use(((s_smpi_mpi_struct_t *)(*type)->substruct)->old_types[i]);
1075 }
1076
1077 /* Create a Sub type struct to be able to serialize and unserialize it the structure s_smpi_mpi_struct_t is derived
1078  * from s_smpi_subtype which required the functions unserialize and serialize
1079  */
1080 s_smpi_mpi_struct_t* smpi_datatype_struct_create( int* block_lengths, MPI_Aint* block_indices, int block_count,
1081                                                   MPI_Datatype* old_types){
1082   s_smpi_mpi_struct_t *new_t= xbt_new(s_smpi_mpi_struct_t,1);
1083   new_t->base.serialize = &serialize_struct;
1084   new_t->base.unserialize = &unserialize_struct;
1085   new_t->base.subtype_free = &free_struct;
1086   new_t->base.subtype_use = &use_struct;
1087   new_t->block_lengths= xbt_new(int, block_count);
1088   new_t->block_indices= xbt_new(MPI_Aint, block_count);
1089   new_t->old_types=  xbt_new(MPI_Datatype, block_count);
1090   int i;
1091   for(i=0;i<block_count;i++){
1092     new_t->block_lengths[i]=block_lengths[i];
1093     new_t->block_indices[i]=block_indices[i];
1094     new_t->old_types[i]=old_types[i];
1095     smpi_datatype_use(new_t->old_types[i]);
1096   }
1097   new_t->block_count = block_count;
1098   return new_t;
1099 }
1100
1101 int smpi_datatype_struct(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype* old_types, MPI_Datatype* new_type)
1102 {
1103   int i;
1104   size_t size = 0;
1105   int contiguous=1;
1106   size = 0;
1107   MPI_Aint lb = 0;
1108   MPI_Aint ub = 0;
1109   if(count>0){
1110     lb=indices[0] + smpi_datatype_lb(old_types[0]);
1111     ub=indices[0] + blocklens[0]*smpi_datatype_ub(old_types[0]);
1112   }
1113   int forced_lb=0;
1114   int forced_ub=0;
1115   for(i=0; i< count; i++){
1116     if (blocklens[i]<0)
1117       return MPI_ERR_ARG;
1118     if (old_types[i]->sizeof_substruct != 0)
1119       contiguous=0;
1120
1121     size += blocklens[i]*smpi_datatype_size(old_types[i]);
1122     if (old_types[i]==MPI_LB){
1123       lb=indices[i];
1124       forced_lb=1;
1125     }
1126     if (old_types[i]==MPI_UB){
1127       ub=indices[i];
1128       forced_ub=1;
1129     }
1130
1131     if(!forced_lb && indices[i]+smpi_datatype_lb(old_types[i])<lb) lb = indices[i];
1132     if(!forced_ub &&  indices[i]+blocklens[i]*smpi_datatype_ub(old_types[i])>ub)
1133       ub = indices[i]+blocklens[i]*smpi_datatype_ub(old_types[i]);
1134
1135     if ( (i< count -1) && (indices[i]+blocklens[i]*static_cast<int>(smpi_datatype_size(old_types[i])) != indices[i+1]) )
1136       contiguous=0;
1137   }
1138
1139   if(!contiguous){
1140     s_smpi_mpi_struct_t* subtype = smpi_datatype_struct_create( blocklens, indices, count, old_types);
1141
1142     smpi_datatype_create(new_type,  size, lb, ub,sizeof(s_smpi_mpi_struct_t), subtype, DT_FLAG_DATA);
1143   }else{
1144     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, size, MPI_CHAR, 1);
1145     smpi_datatype_create(new_type,  size, lb, ub,1, subtype, DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
1146   }
1147   return MPI_SUCCESS;
1148 }
1149
1150 void smpi_datatype_commit(MPI_Datatype *datatype)
1151 {
1152   (*datatype)->flags=  ((*datatype)->flags | DT_FLAG_COMMITED);
1153 }
1154
1155 typedef struct s_smpi_mpi_op {
1156   MPI_User_function *func;
1157   int is_commute;
1158 } s_smpi_mpi_op_t;
1159
1160 #define MAX_OP(a, b)  (b) = (a) < (b) ? (b) : (a)
1161 #define MIN_OP(a, b)  (b) = (a) < (b) ? (a) : (b)
1162 #define SUM_OP(a, b)  (b) += (a)
1163 #define PROD_OP(a, b) (b) *= (a)
1164 #define LAND_OP(a, b) (b) = (a) && (b)
1165 #define LOR_OP(a, b)  (b) = (a) || (b)
1166 #define LXOR_OP(a, b) (b) = (!(a) && (b)) || ((a) && !(b))
1167 #define BAND_OP(a, b) (b) &= (a)
1168 #define BOR_OP(a, b)  (b) |= (a)
1169 #define BXOR_OP(a, b) (b) ^= (a)
1170 #define MAXLOC_OP(a, b)  (b) = (a.value) < (b.value) ? (b) : (a)
1171 #define MINLOC_OP(a, b)  (b) = (a.value) < (b.value) ? (a) : (b)
1172
1173 #define APPLY_FUNC(a, b, length, type, func) \
1174 {                                          \
1175   int i;                                   \
1176   type* x = (type*)(a);                    \
1177   type* y = (type*)(b);                    \
1178   for(i = 0; i < *(length); i++) {         \
1179     func(x[i], y[i]);                      \
1180   }                                        \
1181 }
1182
1183 static void max_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1184 {
1185   if (*datatype == MPI_CHAR) {
1186     APPLY_FUNC(a, b, length, char, MAX_OP);
1187   } else if (*datatype == MPI_SHORT) {
1188     APPLY_FUNC(a, b, length, short, MAX_OP);
1189   } else if (*datatype == MPI_INT) {
1190     APPLY_FUNC(a, b, length, int, MAX_OP);
1191   } else if (*datatype == MPI_LONG) {
1192     APPLY_FUNC(a, b, length, long, MAX_OP);
1193   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1194     APPLY_FUNC(a, b, length, unsigned short, MAX_OP);
1195   } else if (*datatype == MPI_UNSIGNED) {
1196     APPLY_FUNC(a, b, length, unsigned int, MAX_OP);
1197   } else if (*datatype == MPI_UNSIGNED_LONG) {
1198     APPLY_FUNC(a, b, length, unsigned long, MAX_OP);
1199   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1200     APPLY_FUNC(a, b, length, unsigned char, MAX_OP);
1201   } else if (*datatype == MPI_FLOAT) {
1202     APPLY_FUNC(a, b, length, float, MAX_OP);
1203   } else if (*datatype == MPI_DOUBLE) {
1204     APPLY_FUNC(a, b, length, double, MAX_OP);
1205   } else if (*datatype == MPI_LONG_DOUBLE) {
1206     APPLY_FUNC(a, b, length, long double, MAX_OP);
1207   }
1208 }
1209
1210 static void min_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1211 {
1212   if (*datatype == MPI_CHAR) {
1213     APPLY_FUNC(a, b, length, char, MIN_OP);
1214   } else if (*datatype == MPI_SHORT) {
1215     APPLY_FUNC(a, b, length, short, MIN_OP);
1216   } else if (*datatype == MPI_INT) {
1217     APPLY_FUNC(a, b, length, int, MIN_OP);
1218   } else if (*datatype == MPI_LONG) {
1219     APPLY_FUNC(a, b, length, long, MIN_OP);
1220   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1221     APPLY_FUNC(a, b, length, unsigned short, MIN_OP);
1222   } else if (*datatype == MPI_UNSIGNED) {
1223     APPLY_FUNC(a, b, length, unsigned int, MIN_OP);
1224   } else if (*datatype == MPI_UNSIGNED_LONG) {
1225     APPLY_FUNC(a, b, length, unsigned long, MIN_OP);
1226   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1227     APPLY_FUNC(a, b, length, unsigned char, MIN_OP);
1228   } else if (*datatype == MPI_FLOAT) {
1229     APPLY_FUNC(a, b, length, float, MIN_OP);
1230   } else if (*datatype == MPI_DOUBLE) {
1231     APPLY_FUNC(a, b, length, double, MIN_OP);
1232   } else if (*datatype == MPI_LONG_DOUBLE) {
1233     APPLY_FUNC(a, b, length, long double, MIN_OP);
1234   }
1235 }
1236
1237 static void sum_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1238 {
1239   if (*datatype == MPI_CHAR) {
1240     APPLY_FUNC(a, b, length, char, SUM_OP);
1241   } else if (*datatype == MPI_SHORT) {
1242     APPLY_FUNC(a, b, length, short, SUM_OP);
1243   } else if (*datatype == MPI_INT) {
1244     APPLY_FUNC(a, b, length, int, SUM_OP);
1245   } else if (*datatype == MPI_LONG) {
1246     APPLY_FUNC(a, b, length, long, SUM_OP);
1247   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1248     APPLY_FUNC(a, b, length, unsigned short, SUM_OP);
1249   } else if (*datatype == MPI_UNSIGNED) {
1250     APPLY_FUNC(a, b, length, unsigned int, SUM_OP);
1251   } else if (*datatype == MPI_UNSIGNED_LONG) {
1252     APPLY_FUNC(a, b, length, unsigned long, SUM_OP);
1253   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1254     APPLY_FUNC(a, b, length, unsigned char, SUM_OP);
1255   } else if (*datatype == MPI_FLOAT) {
1256     APPLY_FUNC(a, b, length, float, SUM_OP);
1257   } else if (*datatype == MPI_DOUBLE) {
1258     APPLY_FUNC(a, b, length, double, SUM_OP);
1259   } else if (*datatype == MPI_LONG_DOUBLE) {
1260     APPLY_FUNC(a, b, length, long double, SUM_OP);
1261   } else if (*datatype == MPI_C_FLOAT_COMPLEX) {
1262     APPLY_FUNC(a, b, length, float _Complex, SUM_OP);
1263   } else if (*datatype == MPI_C_DOUBLE_COMPLEX) {
1264     APPLY_FUNC(a, b, length, double _Complex, SUM_OP);
1265   } else if (*datatype == MPI_C_LONG_DOUBLE_COMPLEX) {
1266     APPLY_FUNC(a, b, length, long double _Complex, SUM_OP);
1267   }
1268 }
1269
1270 static void prod_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1271 {
1272   if (*datatype == MPI_CHAR) {
1273     APPLY_FUNC(a, b, length, char, PROD_OP);
1274   } else if (*datatype == MPI_SHORT) {
1275     APPLY_FUNC(a, b, length, short, PROD_OP);
1276   } else if (*datatype == MPI_INT) {
1277     APPLY_FUNC(a, b, length, int, PROD_OP);
1278   } else if (*datatype == MPI_LONG) {
1279     APPLY_FUNC(a, b, length, long, PROD_OP);
1280   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1281     APPLY_FUNC(a, b, length, unsigned short, PROD_OP);
1282   } else if (*datatype == MPI_UNSIGNED) {
1283     APPLY_FUNC(a, b, length, unsigned int, PROD_OP);
1284   } else if (*datatype == MPI_UNSIGNED_LONG) {
1285     APPLY_FUNC(a, b, length, unsigned long, PROD_OP);
1286   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1287     APPLY_FUNC(a, b, length, unsigned char, PROD_OP);
1288   } else if (*datatype == MPI_FLOAT) {
1289     APPLY_FUNC(a, b, length, float, PROD_OP);
1290   } else if (*datatype == MPI_DOUBLE) {
1291     APPLY_FUNC(a, b, length, double, PROD_OP);
1292   } else if (*datatype == MPI_LONG_DOUBLE) {
1293     APPLY_FUNC(a, b, length, long double, PROD_OP);
1294   } else if (*datatype == MPI_C_FLOAT_COMPLEX) {
1295     APPLY_FUNC(a, b, length, float _Complex, PROD_OP);
1296   } else if (*datatype == MPI_C_DOUBLE_COMPLEX) {
1297     APPLY_FUNC(a, b, length, double _Complex, PROD_OP);
1298   } else if (*datatype == MPI_C_LONG_DOUBLE_COMPLEX) {
1299     APPLY_FUNC(a, b, length, long double _Complex, PROD_OP);
1300   }
1301 }
1302
1303 static void land_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1304 {
1305   if (*datatype == MPI_CHAR) {
1306     APPLY_FUNC(a, b, length, char, LAND_OP);
1307   } else if (*datatype == MPI_SHORT) {
1308     APPLY_FUNC(a, b, length, short, LAND_OP);
1309   } else if (*datatype == MPI_INT) {
1310     APPLY_FUNC(a, b, length, int, LAND_OP);
1311   } else if (*datatype == MPI_LONG) {
1312     APPLY_FUNC(a, b, length, long, LAND_OP);
1313   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1314     APPLY_FUNC(a, b, length, unsigned short, LAND_OP);
1315   } else if (*datatype == MPI_UNSIGNED) {
1316     APPLY_FUNC(a, b, length, unsigned int, LAND_OP);
1317   } else if (*datatype == MPI_UNSIGNED_LONG) {
1318     APPLY_FUNC(a, b, length, unsigned long, LAND_OP);
1319   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1320     APPLY_FUNC(a, b, length, unsigned char, LAND_OP);
1321   } else if (*datatype == MPI_C_BOOL) {
1322     APPLY_FUNC(a, b, length, bool, LAND_OP);
1323   }
1324 }
1325
1326 static void lor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1327 {
1328   if (*datatype == MPI_CHAR) {
1329     APPLY_FUNC(a, b, length, char, LOR_OP);
1330   } else if (*datatype == MPI_SHORT) {
1331     APPLY_FUNC(a, b, length, short, LOR_OP);
1332   } else if (*datatype == MPI_INT) {
1333     APPLY_FUNC(a, b, length, int, LOR_OP);
1334   } else if (*datatype == MPI_LONG) {
1335     APPLY_FUNC(a, b, length, long, LOR_OP);
1336   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1337     APPLY_FUNC(a, b, length, unsigned short, LOR_OP);
1338   } else if (*datatype == MPI_UNSIGNED) {
1339     APPLY_FUNC(a, b, length, unsigned int, LOR_OP);
1340   } else if (*datatype == MPI_UNSIGNED_LONG) {
1341     APPLY_FUNC(a, b, length, unsigned long, LOR_OP);
1342   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1343     APPLY_FUNC(a, b, length, unsigned char, LOR_OP);
1344   } else if (*datatype == MPI_C_BOOL) {
1345     APPLY_FUNC(a, b, length, bool, LOR_OP);
1346   }
1347 }
1348
1349 static void lxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1350 {
1351   if (*datatype == MPI_CHAR) {
1352     APPLY_FUNC(a, b, length, char, LXOR_OP);
1353   } else if (*datatype == MPI_SHORT) {
1354     APPLY_FUNC(a, b, length, short, LXOR_OP);
1355   } else if (*datatype == MPI_INT) {
1356     APPLY_FUNC(a, b, length, int, LXOR_OP);
1357   } else if (*datatype == MPI_LONG) {
1358     APPLY_FUNC(a, b, length, long, LXOR_OP);
1359   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1360     APPLY_FUNC(a, b, length, unsigned short, LXOR_OP);
1361   } else if (*datatype == MPI_UNSIGNED) {
1362     APPLY_FUNC(a, b, length, unsigned int, LXOR_OP);
1363   } else if (*datatype == MPI_UNSIGNED_LONG) {
1364     APPLY_FUNC(a, b, length, unsigned long, LXOR_OP);
1365   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1366     APPLY_FUNC(a, b, length, unsigned char, LXOR_OP);
1367   } else if (*datatype == MPI_C_BOOL) {
1368     APPLY_FUNC(a, b, length, bool, LXOR_OP);
1369   }
1370 }
1371
1372 static void band_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1373 {
1374   if (*datatype == MPI_CHAR) {
1375     APPLY_FUNC(a, b, length, char, BAND_OP);
1376   }else if (*datatype == MPI_SHORT) {
1377     APPLY_FUNC(a, b, length, short, BAND_OP);
1378   } else if (*datatype == MPI_INT) {
1379     APPLY_FUNC(a, b, length, int, BAND_OP);
1380   } else if (*datatype == MPI_LONG) {
1381     APPLY_FUNC(a, b, length, long, BAND_OP);
1382   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1383     APPLY_FUNC(a, b, length, unsigned short, BAND_OP);
1384   } else if (*datatype == MPI_UNSIGNED) {
1385     APPLY_FUNC(a, b, length, unsigned int, BAND_OP);
1386   } else if (*datatype == MPI_UNSIGNED_LONG) {
1387     APPLY_FUNC(a, b, length, unsigned long, BAND_OP);
1388   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1389     APPLY_FUNC(a, b, length, unsigned char, BAND_OP);
1390   } else if (*datatype == MPI_BYTE) {
1391     APPLY_FUNC(a, b, length, uint8_t, BAND_OP);
1392   }
1393 }
1394
1395 static void bor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1396 {
1397   if (*datatype == MPI_CHAR) {
1398     APPLY_FUNC(a, b, length, char, BOR_OP);
1399   } else if (*datatype == MPI_SHORT) {
1400     APPLY_FUNC(a, b, length, short, BOR_OP);
1401   } else if (*datatype == MPI_INT) {
1402     APPLY_FUNC(a, b, length, int, BOR_OP);
1403   } else if (*datatype == MPI_LONG) {
1404     APPLY_FUNC(a, b, length, long, BOR_OP);
1405   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1406     APPLY_FUNC(a, b, length, unsigned short, BOR_OP);
1407   } else if (*datatype == MPI_UNSIGNED) {
1408     APPLY_FUNC(a, b, length, unsigned int, BOR_OP);
1409   } else if (*datatype == MPI_UNSIGNED_LONG) {
1410     APPLY_FUNC(a, b, length, unsigned long, BOR_OP);
1411   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1412     APPLY_FUNC(a, b, length, unsigned char, BOR_OP);
1413   } else if (*datatype == MPI_BYTE) {
1414     APPLY_FUNC(a, b, length, uint8_t, BOR_OP);
1415   }
1416 }
1417
1418 static void bxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1419 {
1420   if (*datatype == MPI_CHAR) {
1421     APPLY_FUNC(a, b, length, char, BXOR_OP);
1422   } else if (*datatype == MPI_SHORT) {
1423     APPLY_FUNC(a, b, length, short, BXOR_OP);
1424   } else if (*datatype == MPI_INT) {
1425     APPLY_FUNC(a, b, length, int, BXOR_OP);
1426   } else if (*datatype == MPI_LONG) {
1427     APPLY_FUNC(a, b, length, long, BXOR_OP);
1428   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1429     APPLY_FUNC(a, b, length, unsigned short, BXOR_OP);
1430   } else if (*datatype == MPI_UNSIGNED) {
1431     APPLY_FUNC(a, b, length, unsigned int, BXOR_OP);
1432   } else if (*datatype == MPI_UNSIGNED_LONG) {
1433     APPLY_FUNC(a, b, length, unsigned long, BXOR_OP);
1434   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1435     APPLY_FUNC(a, b, length, unsigned char, BXOR_OP);
1436   } else if (*datatype == MPI_BYTE) {
1437     APPLY_FUNC(a, b, length, uint8_t, BXOR_OP);
1438   }
1439 }
1440
1441 static void minloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1442 {
1443   if (*datatype == MPI_FLOAT_INT) {
1444     APPLY_FUNC(a, b, length, float_int, MINLOC_OP);
1445   } else if (*datatype == MPI_LONG_INT) {
1446     APPLY_FUNC(a, b, length, long_int, MINLOC_OP);
1447   } else if (*datatype == MPI_DOUBLE_INT) {
1448     APPLY_FUNC(a, b, length, double_int, MINLOC_OP);
1449   } else if (*datatype == MPI_SHORT_INT) {
1450     APPLY_FUNC(a, b, length, short_int, MINLOC_OP);
1451   } else if (*datatype == MPI_2LONG) {
1452     APPLY_FUNC(a, b, length, long_long, MINLOC_OP);
1453   } else if (*datatype == MPI_2INT) {
1454     APPLY_FUNC(a, b, length, int_int, MINLOC_OP);
1455   } else if (*datatype == MPI_LONG_DOUBLE_INT) {
1456     APPLY_FUNC(a, b, length, long_double_int, MINLOC_OP);
1457   } else if (*datatype == MPI_2FLOAT) {
1458     APPLY_FUNC(a, b, length, float_float, MINLOC_OP);
1459   } else if (*datatype == MPI_2DOUBLE) {
1460     APPLY_FUNC(a, b, length, double_double, MINLOC_OP);
1461   }
1462 }
1463
1464 static void maxloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1465 {
1466   if (*datatype == MPI_FLOAT_INT) {
1467     APPLY_FUNC(a, b, length, float_int, MAXLOC_OP);
1468   } else if (*datatype == MPI_LONG_INT) {
1469     APPLY_FUNC(a, b, length, long_int, MAXLOC_OP);
1470   } else if (*datatype == MPI_DOUBLE_INT) {
1471     APPLY_FUNC(a, b, length, double_int, MAXLOC_OP);
1472   } else if (*datatype == MPI_SHORT_INT) {
1473     APPLY_FUNC(a, b, length, short_int, MAXLOC_OP);
1474   } else if (*datatype == MPI_2LONG) {
1475     APPLY_FUNC(a, b, length, long_long, MAXLOC_OP);
1476   } else if (*datatype == MPI_2INT) {
1477     APPLY_FUNC(a, b, length, int_int, MAXLOC_OP);
1478   } else if (*datatype == MPI_LONG_DOUBLE_INT) {
1479     APPLY_FUNC(a, b, length, long_double_int, MAXLOC_OP);
1480   } else if (*datatype == MPI_2FLOAT) {
1481     APPLY_FUNC(a, b, length, float_float, MAXLOC_OP);
1482   } else if (*datatype == MPI_2DOUBLE) {
1483     APPLY_FUNC(a, b, length, double_double, MAXLOC_OP);
1484   }
1485 }
1486
1487 static void replace_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1488 {
1489   memcpy(b, a, *length * smpi_datatype_size(*datatype));
1490 }
1491
1492 #define CREATE_MPI_OP(name, func)                             \
1493   static s_smpi_mpi_op_t mpi_##name = { &(func) /* func */, true }; \
1494 MPI_Op name = &mpi_##name;
1495
1496 CREATE_MPI_OP(MPI_MAX, max_func);
1497 CREATE_MPI_OP(MPI_MIN, min_func);
1498 CREATE_MPI_OP(MPI_SUM, sum_func);
1499 CREATE_MPI_OP(MPI_PROD, prod_func);
1500 CREATE_MPI_OP(MPI_LAND, land_func);
1501 CREATE_MPI_OP(MPI_LOR, lor_func);
1502 CREATE_MPI_OP(MPI_LXOR, lxor_func);
1503 CREATE_MPI_OP(MPI_BAND, band_func);
1504 CREATE_MPI_OP(MPI_BOR, bor_func);
1505 CREATE_MPI_OP(MPI_BXOR, bxor_func);
1506 CREATE_MPI_OP(MPI_MAXLOC, maxloc_func);
1507 CREATE_MPI_OP(MPI_MINLOC, minloc_func);
1508 CREATE_MPI_OP(MPI_REPLACE, replace_func);
1509
1510 MPI_Op smpi_op_new(MPI_User_function * function, int commute)
1511 {
1512   MPI_Op op;
1513   op = xbt_new(s_smpi_mpi_op_t, 1);
1514   op->func = function;
1515   op-> is_commute = commute;
1516   return op;
1517 }
1518
1519 int smpi_op_is_commute(MPI_Op op)
1520 {
1521   return (op==MPI_OP_NULL) ? 1 : op-> is_commute;
1522 }
1523
1524 void smpi_op_destroy(MPI_Op op)
1525 {
1526   xbt_free(op);
1527 }
1528
1529 void smpi_op_apply(MPI_Op op, void *invec, void *inoutvec, int *len, MPI_Datatype * datatype)
1530 {
1531   if(op==MPI_OP_NULL)
1532     return;
1533
1534   if(smpi_privatize_global_variables){//we need to switch as the called function may silently touch global variables
1535     XBT_DEBUG("Applying operation, switch to the right data frame ");
1536     smpi_switch_data_segment(smpi_process_index());
1537   }
1538
1539   if(!smpi_process_get_replaying())
1540   op->func(invec, inoutvec, len, datatype);
1541 }
1542
1543 int smpi_type_attr_delete(MPI_Datatype type, int keyval){
1544   smpi_type_key_elem elem =
1545     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)&keyval, sizeof(int)));
1546   if(!elem)
1547     return MPI_ERR_ARG;
1548   if(elem->delete_fn!=MPI_NULL_DELETE_FN){
1549     void * value;
1550     int flag;
1551     if(smpi_type_attr_get(type, keyval, &value, &flag)==MPI_SUCCESS){
1552       int ret = elem->delete_fn(type, keyval, value, &flag);
1553       if(ret!=MPI_SUCCESS) return ret;
1554     }
1555   }
1556   if(type->attributes==NULL)
1557     return MPI_ERR_ARG;
1558
1559   xbt_dict_remove_ext(type->attributes, (const char*)&keyval, sizeof(int));
1560   return MPI_SUCCESS;
1561 }
1562
1563 int smpi_type_attr_get(MPI_Datatype type, int keyval, void* attr_value, int* flag){
1564   smpi_type_key_elem elem =
1565     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)&keyval, sizeof(int)));
1566   if(!elem)
1567     return MPI_ERR_ARG;
1568   xbt_ex_t ex;
1569   if(type->attributes==NULL){
1570     *flag=0;
1571     return MPI_SUCCESS;
1572   }
1573   TRY {
1574     *(void**)attr_value = xbt_dict_get_ext(type->attributes, (const char*)&keyval, sizeof(int));
1575     *flag=1;
1576   }
1577   CATCH(ex) {
1578     *flag=0;
1579     xbt_ex_free(ex);
1580   }
1581   return MPI_SUCCESS;
1582 }
1583
1584 int smpi_type_attr_put(MPI_Datatype type, int keyval, void* attr_value){
1585   if(!smpi_type_keyvals)
1586   smpi_type_keyvals = xbt_dict_new();
1587   smpi_type_key_elem elem =
1588      static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)&keyval, sizeof(int)));
1589   if(!elem )
1590     return MPI_ERR_ARG;
1591   int flag;
1592   void* value;
1593   smpi_type_attr_get(type, keyval, &value, &flag);
1594   if(flag && elem->delete_fn!=MPI_NULL_DELETE_FN){
1595     int ret = elem->delete_fn(type, keyval, value, &flag);
1596     if(ret!=MPI_SUCCESS) return ret;
1597   }
1598   if(type->attributes==NULL)
1599     type->attributes=xbt_dict_new();
1600
1601   xbt_dict_set_ext(type->attributes, (const char*)&keyval, sizeof(int), attr_value, NULL);
1602   return MPI_SUCCESS;
1603 }
1604
1605 int smpi_type_keyval_create(MPI_Type_copy_attr_function* copy_fn, MPI_Type_delete_attr_function* delete_fn, int* keyval,
1606                             void* extra_state){
1607   if(!smpi_type_keyvals)
1608   smpi_type_keyvals = xbt_dict_new();
1609
1610   smpi_type_key_elem value = (smpi_type_key_elem) xbt_new0(s_smpi_mpi_type_key_elem_t,1);
1611
1612   value->copy_fn=copy_fn;
1613   value->delete_fn=delete_fn;
1614
1615   *keyval = type_keyval_id;
1616   xbt_dict_set_ext(smpi_type_keyvals,(const char*)keyval, sizeof(int),(void*)value, NULL);
1617   type_keyval_id++;
1618   return MPI_SUCCESS;
1619 }
1620
1621 int smpi_type_keyval_free(int* keyval){
1622   smpi_type_key_elem elem =
1623     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)keyval, sizeof(int)));
1624   if(!elem){
1625     return MPI_ERR_ARG;
1626   }
1627   xbt_dict_remove_ext(smpi_type_keyvals, (const char*)keyval, sizeof(int));
1628   xbt_free(elem);
1629   return MPI_SUCCESS;
1630 }
1631
1632 int smpi_mpi_pack(void* inbuf, int incount, MPI_Datatype type, void* outbuf, int outcount, int* position,MPI_Comm comm){
1633   size_t size = smpi_datatype_size(type);
1634   if (outcount - *position < incount*static_cast<int>(size))
1635     return MPI_ERR_BUFFER;
1636   smpi_datatype_copy(inbuf, incount, type, (char*)outbuf + *position, outcount, MPI_CHAR);
1637   *position += incount * size;
1638   return MPI_SUCCESS;
1639 }
1640
1641 int smpi_mpi_unpack(void* inbuf, int insize, int* position, void* outbuf, int outcount, MPI_Datatype type,MPI_Comm comm){
1642   int size = static_cast<int>(smpi_datatype_size(type));
1643   if (outcount*size> insize)
1644     return MPI_ERR_BUFFER;
1645   smpi_datatype_copy((char*)inbuf + *position, insize, MPI_CHAR, outbuf, outcount, type);
1646   *position += outcount * size;
1647   return MPI_SUCCESS;
1648 }