src/smpi/smpi_mpi_dt.cpp

   1 /* smpi_mpi_dt.c -- MPI primitives to handle datatypes                        */
   2 /* FIXME: a very incomplete implementation                                    */
   3
   4 /* Copyright (c) 2009-2015. The SimGrid Team.
   5  * All rights reserved.                                                     */
   6
   7 /* This program is free software; you can redistribute it and/or modify it
   8  * under the terms of the license (GNU LGPL) which comes with this package. */
   9
  10 #include <stdio.h>
  11 #include <stdlib.h>
  12 #include <string.h>
  13 #include <limits.h>
  14 #include "private.h"
  15 #include "smpi_mpi_dt_private.h"
  16 #include "mc/mc.h"
  17 #include "xbt/replay.h"
  18 #include "simgrid/modelchecker.h"
  19
  20 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_mpi_dt, smpi, "Logging specific to SMPI (datatype)");
  21
  22 xbt_dict_t smpi_type_keyvals = NULL;
  23 int type_keyval_id=0;//avoid collisions
  24
  25 #define CREATE_MPI_DATATYPE(name, type)               \
  26   static s_smpi_mpi_datatype_t mpi_##name = {         \
  27     (char*) # name,                                   \
  28     sizeof(type),   /* size */                        \
  29     0,              /*was 1 sizeof_substruct*/             \
  30     0,              /* lb */                          \
  31     sizeof(type),   /* ub = lb + size */              \
  32     DT_FLAG_BASIC,  /* flags */                       \
  33     NULL,           /* attributes */                  \
  34     NULL,           /* pointer on extended struct*/   \
  35     0               /* in_use counter */              \
  36   };                                                  \
  37 const MPI_Datatype name = &mpi_##name;
  38
  39 #define CREATE_MPI_DATATYPE_NULL(name)                \
  40   static s_smpi_mpi_datatype_t mpi_##name = {         \
  41     (char*) # name,                                   \
  42     0,              /* size */                        \
  43     0,              /* was 1 sizeof_substruct*/            \
  44     0,              /* lb */                          \
  45     0,              /* ub = lb + size */              \
  46     DT_FLAG_BASIC,  /* flags */                       \
  47     NULL,           /* attributes */                  \
  48     NULL,           /* pointer on extended struct*/   \
  49     0               /* in_use counter */              \
  50   };                                                  \
  51 const MPI_Datatype name = &mpi_##name;
  52
  53 //The following are datatypes for the MPI functions MPI_MAXLOC and MPI_MINLOC.
  54 typedef struct {
  55   float value;
  56   int index;
  57 } float_int;
  58 typedef struct {
  59   float value;
  60   float index;
  61 } float_float;
  62 typedef struct {
  63   long value;
  64   long index;
  65 } long_long;
  66 typedef struct {
  67   double value;
  68   double index;
  69 } double_double;
  70 typedef struct {
  71   long value;
  72   int index;
  73 } long_int;
  74 typedef struct {
  75   double value;
  76   int index;
  77 } double_int;
  78 typedef struct {
  79   short value;
  80   int index;
  81 } short_int;
  82 typedef struct {
  83   int value;
  84   int index;
  85 } int_int;
  86 typedef struct {
  87   long double value;
  88   int index;
  89 } long_double_int;
  90 typedef struct {
  91   int64_t value;
  92   int64_t index;
  93 } integer128_t;
  94 // Predefined data types
  95 CREATE_MPI_DATATYPE(MPI_CHAR, char);
  96 CREATE_MPI_DATATYPE(MPI_SHORT, short);
  97 CREATE_MPI_DATATYPE(MPI_INT, int);
  98 CREATE_MPI_DATATYPE(MPI_LONG, long);
  99 CREATE_MPI_DATATYPE(MPI_LONG_LONG, long long);
 100 CREATE_MPI_DATATYPE(MPI_SIGNED_CHAR, signed char);
 101 CREATE_MPI_DATATYPE(MPI_UNSIGNED_CHAR, unsigned char);
 102 CREATE_MPI_DATATYPE(MPI_UNSIGNED_SHORT, unsigned short);
 103 CREATE_MPI_DATATYPE(MPI_UNSIGNED, unsigned int);
 104 CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG, unsigned long);
 105 CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG_LONG, unsigned long long);
 106 CREATE_MPI_DATATYPE(MPI_FLOAT, float);
 107 CREATE_MPI_DATATYPE(MPI_DOUBLE, double);
 108 CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE, long double);
 109 CREATE_MPI_DATATYPE(MPI_WCHAR, wchar_t);
 110 CREATE_MPI_DATATYPE(MPI_C_BOOL, bool);
 111 CREATE_MPI_DATATYPE(MPI_BYTE, int8_t);
 112 CREATE_MPI_DATATYPE(MPI_INT8_T, int8_t);
 113 CREATE_MPI_DATATYPE(MPI_INT16_T, int16_t);
 114 CREATE_MPI_DATATYPE(MPI_INT32_T, int32_t);
 115 CREATE_MPI_DATATYPE(MPI_INT64_T, int64_t);
 116 CREATE_MPI_DATATYPE(MPI_UINT8_T, uint8_t);
 117 CREATE_MPI_DATATYPE(MPI_UINT16_T, uint16_t);
 118 CREATE_MPI_DATATYPE(MPI_UINT32_T, uint32_t);
 119 CREATE_MPI_DATATYPE(MPI_UINT64_T, uint64_t);
 120 CREATE_MPI_DATATYPE(MPI_C_FLOAT_COMPLEX, float _Complex);
 121 CREATE_MPI_DATATYPE(MPI_C_DOUBLE_COMPLEX, double _Complex);
 122 CREATE_MPI_DATATYPE(MPI_C_LONG_DOUBLE_COMPLEX, long double _Complex);
 123 CREATE_MPI_DATATYPE(MPI_AINT, MPI_Aint);
 124 CREATE_MPI_DATATYPE(MPI_OFFSET, MPI_Offset);
 125
 126 CREATE_MPI_DATATYPE(MPI_FLOAT_INT, float_int);
 127 CREATE_MPI_DATATYPE(MPI_LONG_INT, long_int);
 128 CREATE_MPI_DATATYPE(MPI_DOUBLE_INT, double_int);
 129 CREATE_MPI_DATATYPE(MPI_SHORT_INT, short_int);
 130 CREATE_MPI_DATATYPE(MPI_2INT, int_int);
 131 CREATE_MPI_DATATYPE(MPI_2FLOAT, float_float);
 132 CREATE_MPI_DATATYPE(MPI_2DOUBLE, double_double);
 133 CREATE_MPI_DATATYPE(MPI_2LONG, long_long);
 134
 135 CREATE_MPI_DATATYPE(MPI_REAL, float);
 136 CREATE_MPI_DATATYPE(MPI_REAL4, float);
 137 CREATE_MPI_DATATYPE(MPI_REAL8, float);
 138 CREATE_MPI_DATATYPE(MPI_REAL16, double);
 139 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX8);
 140 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX16);
 141 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX32);
 142 CREATE_MPI_DATATYPE(MPI_INTEGER1, int);
 143 CREATE_MPI_DATATYPE(MPI_INTEGER2, int16_t);
 144 CREATE_MPI_DATATYPE(MPI_INTEGER4, int32_t);
 145 CREATE_MPI_DATATYPE(MPI_INTEGER8, int64_t);
 146 CREATE_MPI_DATATYPE(MPI_INTEGER16, integer128_t);
 147
 148 CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE_INT, long_double_int);
 149
 150 CREATE_MPI_DATATYPE_NULL(MPI_UB);
 151 CREATE_MPI_DATATYPE_NULL(MPI_LB);
 152 CREATE_MPI_DATATYPE(MPI_PACKED, char);
 153 // Internal use only
 154 CREATE_MPI_DATATYPE(MPI_PTR, void*);
 155
 156 /** Check if the datatype is usable for communications */
 157 int is_datatype_valid(MPI_Datatype datatype) {
 158     return datatype != MPI_DATATYPE_NULL && (datatype->flags & DT_FLAG_COMMITED);
 159 }
 160
 161 size_t smpi_datatype_size(MPI_Datatype datatype)
 162 {
 163   return datatype->size;
 164 }
 165
 166 MPI_Aint smpi_datatype_lb(MPI_Datatype datatype)
 167 {
 168   return datatype->lb;
 169 }
 170
 171 MPI_Aint smpi_datatype_ub(MPI_Datatype datatype)
 172 {
 173   return datatype->ub;
 174 }
 175
 176 int smpi_datatype_dup(MPI_Datatype datatype, MPI_Datatype* new_t)
 177 {
 178   int ret=MPI_SUCCESS;
 179   *new_t= xbt_new(s_smpi_mpi_datatype_t,1);
 180   memcpy(*new_t, datatype, sizeof(s_smpi_mpi_datatype_t));
 181   (*new_t)->in_use=1;
 182   (*new_t)->flags &= ~DT_FLAG_PREDEFINED;
 183   if (datatype->sizeof_substruct){
 184     (*new_t)->substruct=xbt_malloc(datatype->sizeof_substruct);
 185     memcpy((*new_t)->substruct, datatype->substruct, datatype->sizeof_substruct);
 186   }
 187   if(datatype->name)
 188     (*new_t)->name = xbt_strdup(datatype->name);
 189   if(datatype->attributes !=NULL){
 190       (*new_t)->attributes=xbt_dict_new();
 191       xbt_dict_cursor_t cursor = NULL;
 192       int *key;
 193       int flag;
 194       void* value_in;
 195       void* value_out;
 196       xbt_dict_foreach(datatype->attributes, cursor, key, value_in){
 197         smpi_type_key_elem elem =
 198           static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals,  (const char*)key, sizeof(int)));
 199         if(elem && elem->copy_fn!=MPI_NULL_COPY_FN){
 200           ret = elem->copy_fn(datatype, *key, NULL, value_in, &value_out, &flag );
 201           if(ret!=MPI_SUCCESS){
 202             smpi_datatype_unuse(*new_t);
 203             *new_t=MPI_DATATYPE_NULL;
 204             return ret;
 205           }
 206           if(flag)
 207             xbt_dict_set_ext((*new_t)->attributes, (const char*)key, sizeof(int),value_out, NULL);
 208         }
 209       }
 210     }
 211   return ret;
 212 }
 213
 214 int smpi_datatype_extent(MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent)
 215 {
 216   if(datatype == MPI_DATATYPE_NULL){
 217     *lb=0;
 218     *extent=0;
 219     return MPI_SUCCESS;
 220   }
 221   *lb = datatype->lb;
 222   *extent = datatype->ub - datatype->lb;
 223   return MPI_SUCCESS;
 224 }
 225
 226 MPI_Aint smpi_datatype_get_extent(MPI_Datatype datatype){
 227   if(datatype == MPI_DATATYPE_NULL){
 228     return 0;
 229   }
 230   return datatype->ub - datatype->lb;
 231 }
 232
 233 void smpi_datatype_get_name(MPI_Datatype datatype, char* name, int* length){
 234   *length = strlen(datatype->name);
 235   strcpy(name, datatype->name);
 236 }
 237
 238 void smpi_datatype_set_name(MPI_Datatype datatype, char* name){
 239   if(datatype->name!=NULL &&  !(datatype->flags & DT_FLAG_PREDEFINED))
 240     xbt_free(datatype->name);
 241   datatype->name = xbt_strdup(name);;
 242 }
 243
 244 int smpi_datatype_copy(void *sendbuf, int sendcount, MPI_Datatype sendtype,
 245                        void *recvbuf, int recvcount, MPI_Datatype recvtype)
 246 {
 247   int count;
 248   if(smpi_privatize_global_variables){
 249     smpi_switch_data_segment(smpi_process_index());
 250   }
 251   /* First check if we really have something to do */
 252   if (recvcount > 0 && recvbuf != sendbuf) {
 253     /* FIXME: treat packed cases */
 254     sendcount *= smpi_datatype_size(sendtype);
 255     recvcount *= smpi_datatype_size(recvtype);
 256     count = sendcount < recvcount ? sendcount : recvcount;
 257
 258     if(sendtype->sizeof_substruct == 0 && recvtype->sizeof_substruct == 0) {
 259       if(!smpi_process_get_replaying()) memcpy(recvbuf, sendbuf, count);
 260     }
 261     else if (sendtype->sizeof_substruct == 0)
 262     {
 263       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(recvtype->substruct);
 264       subtype->unserialize( sendbuf, recvbuf, recvcount/smpi_datatype_size(recvtype), subtype, MPI_REPLACE);
 265     }
 266     else if (recvtype->sizeof_substruct == 0)
 267     {
 268       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(sendtype->substruct);
 269       subtype->serialize(sendbuf, recvbuf, sendcount/smpi_datatype_size(sendtype), subtype);
 270     }else{
 271       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(sendtype->substruct);
 272
 273       void * buf_tmp = xbt_malloc(count);
 274
 275       subtype->serialize( sendbuf, buf_tmp,count/smpi_datatype_size(sendtype), subtype);
 276       subtype =  static_cast<s_smpi_subtype_t*>(recvtype->substruct);
 277       subtype->unserialize( buf_tmp, recvbuf,count/smpi_datatype_size(recvtype), subtype, MPI_REPLACE);
 278
 279       free(buf_tmp);
 280     }
 281   }
 282
 283   return sendcount > recvcount ? MPI_ERR_TRUNCATE : MPI_SUCCESS;
 284 }
 285
 286 /*
 287  *  Copies noncontiguous data into contiguous memory.
 288  *  @param contiguous_vector - output vector
 289  *  @param noncontiguous_vector - input vector
 290  *  @param type - pointer contening :
 291  *      - stride - stride of between noncontiguous data
 292  *      - block_length - the width or height of blocked matrix
 293  *      - count - the number of rows of matrix
 294  */
 295 void serialize_vector( const void *noncontiguous_vector, void *contiguous_vector, int count, void *type)
 296 {
 297   s_smpi_mpi_vector_t* type_c = (s_smpi_mpi_vector_t*)type;
 298   int i;
 299   char* contiguous_vector_char = (char*)contiguous_vector;
 300   char* noncontiguous_vector_char = (char*)noncontiguous_vector;
 301
 302   for (i = 0; i < type_c->block_count * count; i++) {
 303       if (type_c->old_type->sizeof_substruct == 0)
 304         memcpy(contiguous_vector_char, noncontiguous_vector_char, type_c->block_length * type_c->size_oldtype);
 305       else
 306         ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_vector_char,
 307                                                                      contiguous_vector_char,
 308                                                                      type_c->block_length, type_c->old_type->substruct);
 309
 310     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 311     if((i+1)%type_c->block_count ==0)
 312       noncontiguous_vector_char += type_c->block_length*smpi_datatype_get_extent(type_c->old_type);
 313     else
 314       noncontiguous_vector_char += type_c->block_stride*smpi_datatype_get_extent(type_c->old_type);
 315   }
 316 }
 317
 318 /*
 319  *  Copies contiguous data into noncontiguous memory.
 320  *  @param noncontiguous_vector - output vector
 321  *  @param contiguous_vector - input vector
 322  *  @param type - pointer contening :
 323  *      - stride - stride of between noncontiguous data
 324  *      - block_length - the width or height of blocked matrix
 325  *      - count - the number of rows of matrix
 326  */
 327 void unserialize_vector( const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
 328 {
 329   s_smpi_mpi_vector_t* type_c = (s_smpi_mpi_vector_t*)type;
 330   int i;
 331
 332   char* contiguous_vector_char = (char*)contiguous_vector;
 333   char* noncontiguous_vector_char = (char*)noncontiguous_vector;
 334
 335   for (i = 0; i < type_c->block_count * count; i++) {
 336     if (type_c->old_type->sizeof_substruct == 0)
 337       smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &type_c->block_length,
 338           &type_c->old_type);
 339      /* memcpy(noncontiguous_vector_char,
 340              contiguous_vector_char, type_c->block_length * type_c->size_oldtype);*/
 341     else
 342       ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize(contiguous_vector_char, noncontiguous_vector_char,
 343                                                                     type_c->block_length,type_c->old_type->substruct,
 344                                                                     op);
 345     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 346     if((i+1)%type_c->block_count ==0)
 347       noncontiguous_vector_char += type_c->block_length*smpi_datatype_get_extent(type_c->old_type);
 348     else
 349       noncontiguous_vector_char += type_c->block_stride*smpi_datatype_get_extent(type_c->old_type);
 350   }
 351 }
 352
 353 /* Create a Sub type vector to be able to serialize and unserialize it the structure s_smpi_mpi_vector_t is derived
 354  * from s_smpi_subtype which required the functions unserialize and serialize */
 355 s_smpi_mpi_vector_t* smpi_datatype_vector_create( int block_stride, int block_length, int block_count,
 356                                                   MPI_Datatype old_type, int size_oldtype){
 357   s_smpi_mpi_vector_t *new_t= xbt_new(s_smpi_mpi_vector_t,1);
 358   new_t->base.serialize = &serialize_vector;
 359   new_t->base.unserialize = &unserialize_vector;
 360   new_t->base.subtype_free = &free_vector;
 361   new_t->base.subtype_use = &use_vector;
 362   new_t->block_stride = block_stride;
 363   new_t->block_length = block_length;
 364   new_t->block_count = block_count;
 365   smpi_datatype_use(old_type);
 366   new_t->old_type = old_type;
 367   new_t->size_oldtype = size_oldtype;
 368   return new_t;
 369 }
 370
 371 void smpi_datatype_create(MPI_Datatype* new_type, int size,int lb, int ub, int sizeof_substruct, void *struct_type,
 372                           int flags){
 373   MPI_Datatype new_t= xbt_new(s_smpi_mpi_datatype_t,1);
 374   new_t->name = NULL;
 375   new_t->size = size;
 376   new_t->sizeof_substruct = size>0? sizeof_substruct:0;
 377   new_t->lb = lb;
 378   new_t->ub = ub;
 379   new_t->flags = flags;
 380   new_t->substruct = struct_type;
 381   new_t->in_use=1;
 382   new_t->attributes=NULL;
 383   *new_type = new_t;
 384
 385 #if HAVE_MC
 386   if(MC_is_active())
 387     MC_ignore(&(new_t->in_use), sizeof(new_t->in_use));
 388 #endif
 389 }
 390
 391 void smpi_datatype_free(MPI_Datatype* type){
 392   xbt_assert((*type)->in_use >= 0);
 393
 394   if((*type)->flags & DT_FLAG_PREDEFINED)return;
 395
 396   //if still used, mark for deletion
 397   if((*type)->in_use!=0){
 398       (*type)->flags |=DT_FLAG_DESTROYED;
 399       return;
 400   }
 401
 402   if((*type)->attributes !=NULL){
 403     xbt_dict_cursor_t cursor = NULL;
 404     int* key;
 405     void * value;
 406     int flag;
 407     xbt_dict_foreach((*type)->attributes, cursor, key, value){
 408       smpi_type_key_elem elem =
 409           static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)key, sizeof(int)));
 410       if(elem &&  elem->delete_fn)
 411         elem->delete_fn(*type,*key, value, &flag);
 412     }
 413   }
 414
 415   if ((*type)->sizeof_substruct != 0){
 416     //((s_smpi_subtype_t *)(*type)->substruct)->subtype_free(type);
 417     xbt_free((*type)->substruct);
 418   }
 419   xbt_free((*type)->name);
 420   xbt_free(*type);
 421   *type = MPI_DATATYPE_NULL;
 422 }
 423
 424 void smpi_datatype_use(MPI_Datatype type){
 425
 426   if(type)type->in_use++;
 427
 428   if(type->sizeof_substruct!=0){
 429     ((s_smpi_subtype_t *)(type)->substruct)->subtype_use(&type);
 430   }
 431 #if HAVE_MC
 432   if(MC_is_active())
 433     MC_ignore(&(type->in_use), sizeof(type->in_use));
 434 #endif
 435 }
 436
 437 void smpi_datatype_unuse(MPI_Datatype type){
 438   if (type->in_use > 0)
 439     type->in_use--;
 440
 441   if(type->sizeof_substruct!=0){
 442     ((s_smpi_subtype_t *)(type)->substruct)->subtype_free(&type);
 443   }
 444
 445   if(type && type->in_use == 0){
 446     smpi_datatype_free(&type);
 447   }
 448 #if HAVE_MC
 449   if(MC_is_active())
 450     MC_ignore(&(type->in_use), sizeof(type->in_use));
 451 #endif
 452 }
 453
 454 /*Contiguous Implementation*/
 455
 456 /* Copies noncontiguous data into contiguous memory.
 457  *  @param contiguous_hvector - output hvector
 458  *  @param noncontiguous_hvector - input hvector
 459  *  @param type - pointer contening :
 460  *      - stride - stride of between noncontiguous data, in bytes
 461  *      - block_length - the width or height of blocked matrix
 462  *      - count - the number of rows of matrix
 463  */
 464 void serialize_contiguous( const void *noncontiguous_hvector, void *contiguous_hvector, int count, void *type)
 465 {
 466   s_smpi_mpi_contiguous_t* type_c = (s_smpi_mpi_contiguous_t*)type;
 467   char* contiguous_vector_char = (char*)contiguous_hvector;
 468   char* noncontiguous_vector_char = (char*)noncontiguous_hvector+type_c->lb;
 469   memcpy(contiguous_vector_char, noncontiguous_vector_char, count* type_c->block_count * type_c->size_oldtype);
 470 }
 471 /* Copies contiguous data into noncontiguous memory.
 472  *  @param noncontiguous_vector - output hvector
 473  *  @param contiguous_vector - input hvector
 474  *  @param type - pointer contening :
 475  *      - stride - stride of between noncontiguous data, in bytes
 476  *      - block_length - the width or height of blocked matrix
 477  *      - count - the number of rows of matrix
 478  */
 479 void unserialize_contiguous(const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
 480 {
 481   s_smpi_mpi_contiguous_t* type_c = (s_smpi_mpi_contiguous_t*)type;
 482   char* contiguous_vector_char = (char*)contiguous_vector;
 483   char* noncontiguous_vector_char = (char*)noncontiguous_vector+type_c->lb;
 484   int n= count* type_c->block_count;
 485   smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &n, &type_c->old_type);
 486   /*memcpy(noncontiguous_vector_char, contiguous_vector_char, count*  type_c->block_count * type_c->size_oldtype);*/
 487 }
 488
 489 void free_contiguous(MPI_Datatype* d){
 490   smpi_datatype_unuse(((s_smpi_mpi_contiguous_t *)(*d)->substruct)->old_type);
 491 }
 492
 493 void use_contiguous(MPI_Datatype* d){
 494   smpi_datatype_use(((s_smpi_mpi_contiguous_t *)(*d)->substruct)->old_type);
 495 }
 496
 497 /* Create a Sub type contiguous to be able to serialize and unserialize it the structure s_smpi_mpi_contiguous_t is
 498  * erived from s_smpi_subtype which required the functions unserialize and serialize */
 499 s_smpi_mpi_contiguous_t* smpi_datatype_contiguous_create( MPI_Aint lb, int block_count, MPI_Datatype old_type,
 500                                                   int size_oldtype){
 501   s_smpi_mpi_contiguous_t *new_t= xbt_new(s_smpi_mpi_contiguous_t,1);
 502   new_t->base.serialize = &serialize_contiguous;
 503   new_t->base.unserialize = &unserialize_contiguous;
 504   new_t->base.subtype_free = &free_contiguous;
 505   new_t->base.subtype_use = &use_contiguous;
 506   new_t->lb = lb;
 507   new_t->block_count = block_count;
 508   new_t->old_type = old_type;
 509   smpi_datatype_use(old_type);
 510   new_t->size_oldtype = size_oldtype;
 511   smpi_datatype_use(old_type);
 512   return new_t;
 513 }
 514
 515 int smpi_datatype_contiguous(int count, MPI_Datatype old_type, MPI_Datatype* new_type, MPI_Aint lb)
 516 {
 517   int retval;
 518   if(old_type->sizeof_substruct){
 519     //handle this case as a hvector with stride equals to the extent of the datatype
 520     return smpi_datatype_hvector(count, 1, smpi_datatype_get_extent(old_type), old_type, new_type);
 521   }
 522
 523   s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, count, old_type,smpi_datatype_size(old_type));
 524
 525   smpi_datatype_create(new_type, count * smpi_datatype_size(old_type),lb,lb + count * smpi_datatype_size(old_type),
 526             sizeof(s_smpi_mpi_contiguous_t),subtype, DT_FLAG_CONTIGUOUS);
 527   retval=MPI_SUCCESS;
 528   return retval;
 529 }
 530
 531 int smpi_datatype_vector(int count, int blocklen, int stride, MPI_Datatype old_type, MPI_Datatype* new_type)
 532 {
 533   int retval;
 534   if (blocklen<0) return MPI_ERR_ARG;
 535   MPI_Aint lb = 0;
 536   MPI_Aint ub = 0;
 537   if(count>0){
 538     lb=smpi_datatype_lb(old_type);
 539     ub=((count-1)*stride+blocklen-1)*smpi_datatype_get_extent(old_type)+smpi_datatype_ub(old_type);
 540   }
 541   if(old_type->sizeof_substruct || stride != blocklen){
 542
 543     s_smpi_mpi_vector_t* subtype = smpi_datatype_vector_create(stride, blocklen, count, old_type,
 544                                                                 smpi_datatype_size(old_type));
 545     smpi_datatype_create(new_type, count * (blocklen) * smpi_datatype_size(old_type), lb, ub, sizeof(s_smpi_mpi_vector_t), subtype,
 546                          DT_FLAG_VECTOR);
 547     retval=MPI_SUCCESS;
 548   }else{
 549     /* in this situation the data are contignous thus it's not required to serialize and unserialize it*/
 550     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type), 0, ((count -1) * stride + blocklen)*
 551                          smpi_datatype_size(old_type), 0, NULL, DT_FLAG_VECTOR|DT_FLAG_CONTIGUOUS);
 552     retval=MPI_SUCCESS;
 553   }
 554   return retval;
 555 }
 556
 557 void free_vector(MPI_Datatype* d){
 558   smpi_datatype_unuse(((s_smpi_mpi_indexed_t *)(*d)->substruct)->old_type);
 559 }
 560
 561 void use_vector(MPI_Datatype* d){
 562   smpi_datatype_use(((s_smpi_mpi_indexed_t *)(*d)->substruct)->old_type);
 563 }
 564
 565 /* Hvector Implementation - Vector with stride in bytes */
 566
 567 /* Copies noncontiguous data into contiguous memory.
 568  *  @param contiguous_hvector - output hvector
 569  *  @param noncontiguous_hvector - input hvector
 570  *  @param type - pointer contening :
 571  *      - stride - stride of between noncontiguous data, in bytes
 572  *      - block_length - the width or height of blocked matrix
 573  *      - count - the number of rows of matrix
 574  */
 575 void serialize_hvector( const void *noncontiguous_hvector, void *contiguous_hvector, int count, void *type)
 576 {
 577   s_smpi_mpi_hvector_t* type_c = (s_smpi_mpi_hvector_t*)type;
 578   int i;
 579   char* contiguous_vector_char = (char*)contiguous_hvector;
 580   char* noncontiguous_vector_char = (char*)noncontiguous_hvector;
 581
 582   for (i = 0; i < type_c->block_count * count; i++) {
 583     if (type_c->old_type->sizeof_substruct == 0)
 584       memcpy(contiguous_vector_char, noncontiguous_vector_char, type_c->block_length * type_c->size_oldtype);
 585     else
 586       ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_vector_char,
 587                                                                    contiguous_vector_char,
 588                                                                    type_c->block_length, type_c->old_type->substruct);
 589
 590     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 591     if((i+1)%type_c->block_count ==0)
 592       noncontiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 593     else
 594       noncontiguous_vector_char += type_c->block_stride;
 595   }
 596 }
 597 /* Copies contiguous data into noncontiguous memory.
 598  *  @param noncontiguous_vector - output hvector
 599  *  @param contiguous_vector - input hvector
 600  *  @param type - pointer contening :
 601  *      - stride - stride of between noncontiguous data, in bytes
 602  *      - block_length - the width or height of blocked matrix
 603  *      - count - the number of rows of matrix
 604  */
 605 void unserialize_hvector( const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
 606 {
 607   s_smpi_mpi_hvector_t* type_c = (s_smpi_mpi_hvector_t*)type;
 608   int i;
 609
 610   char* contiguous_vector_char = (char*)contiguous_vector;
 611   char* noncontiguous_vector_char = (char*)noncontiguous_vector;
 612
 613   for (i = 0; i < type_c->block_count * count; i++) {
 614     if (type_c->old_type->sizeof_substruct == 0)
 615       smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &type_c->block_length, &type_c->old_type);
 616              /*memcpy(noncontiguous_vector_char,
 617            contiguous_vector_char, type_c->block_length * type_c->size_oldtype);*/
 618     else
 619       ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize( contiguous_vector_char, noncontiguous_vector_char,
 620                                                                      type_c->block_length, type_c->old_type->substruct,
 621                                                                      op);
 622     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 623     if((i+1)%type_c->block_count ==0)
 624       noncontiguous_vector_char += type_c->block_length*type_c->size_oldtype;
 625     else
 626       noncontiguous_vector_char += type_c->block_stride;
 627   }
 628 }
 629
 630 /* Create a Sub type vector to be able to serialize and unserialize it the structure s_smpi_mpi_vector_t is derived
 631  * from s_smpi_subtype which required the functions unserialize and serialize
 632  *
 633  */
 634 s_smpi_mpi_hvector_t* smpi_datatype_hvector_create( MPI_Aint block_stride, int block_length, int block_count,
 635                                                   MPI_Datatype old_type, int size_oldtype){
 636   s_smpi_mpi_hvector_t *new_t= xbt_new(s_smpi_mpi_hvector_t,1);
 637   new_t->base.serialize = &serialize_hvector;
 638   new_t->base.unserialize = &unserialize_hvector;
 639   new_t->base.subtype_free = &free_hvector;
 640   new_t->base.subtype_use = &use_hvector;
 641   new_t->block_stride = block_stride;
 642   new_t->block_length = block_length;
 643   new_t->block_count = block_count;
 644   new_t->old_type = old_type;
 645   new_t->size_oldtype = size_oldtype;
 646   smpi_datatype_use(old_type);
 647   return new_t;
 648 }
 649
 650 //do nothing for vector types
 651 void free_hvector(MPI_Datatype* d){
 652   smpi_datatype_unuse(((s_smpi_mpi_hvector_t *)(*d)->substruct)->old_type);
 653 }
 654
 655 void use_hvector(MPI_Datatype* d){
 656   smpi_datatype_use(((s_smpi_mpi_hvector_t *)(*d)->substruct)->old_type);
 657 }
 658
 659 int smpi_datatype_hvector(int count, int blocklen, MPI_Aint stride, MPI_Datatype old_type, MPI_Datatype* new_type)
 660 {
 661   int retval;
 662   if (blocklen<0) return MPI_ERR_ARG;
 663   MPI_Aint lb = 0;
 664   MPI_Aint ub = 0;
 665   if(count>0){
 666     lb=smpi_datatype_lb(old_type);
 667     ub=((count-1)*stride)+(blocklen-1)*smpi_datatype_get_extent(old_type)+smpi_datatype_ub(old_type);
 668   }
 669   if(old_type->sizeof_substruct || stride != blocklen*smpi_datatype_get_extent(old_type)){
 670     s_smpi_mpi_hvector_t* subtype = smpi_datatype_hvector_create( stride, blocklen, count, old_type,
 671                                                                   smpi_datatype_size(old_type));
 672
 673     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type), lb,ub, sizeof(s_smpi_mpi_hvector_t), subtype, DT_FLAG_VECTOR);
 674     retval=MPI_SUCCESS;
 675   }else{
 676     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type),0,count * blocklen *
 677                                              smpi_datatype_size(old_type), 0, NULL, DT_FLAG_VECTOR|DT_FLAG_CONTIGUOUS);
 678     retval=MPI_SUCCESS;
 679   }
 680   return retval;
 681 }
 682
 683 /* Indexed Implementation */
 684
 685 /* Copies noncontiguous data into contiguous memory.
 686  *  @param contiguous_indexed - output indexed
 687  *  @param noncontiguous_indexed - input indexed
 688  *  @param type - pointer contening :
 689  *      - block_lengths - the width or height of blocked matrix
 690  *      - block_indices - indices of each data, in element
 691  *      - count - the number of rows of matrix
 692  */
 693 void serialize_indexed( const void *noncontiguous_indexed, void *contiguous_indexed, int count, void *type)
 694 {
 695   s_smpi_mpi_indexed_t* type_c = (s_smpi_mpi_indexed_t*)type;
 696   int i,j;
 697   char* contiguous_indexed_char = (char*)contiguous_indexed;
 698   char* noncontiguous_indexed_char = (char*)noncontiguous_indexed+type_c->block_indices[0] * type_c->size_oldtype;
 699   for(j=0; j<count;j++){
 700     for (i = 0; i < type_c->block_count; i++) {
 701       if (type_c->old_type->sizeof_substruct == 0)
 702         memcpy(contiguous_indexed_char, noncontiguous_indexed_char, type_c->block_lengths[i] * type_c->size_oldtype);
 703       else
 704         ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_indexed_char,
 705                                                                      contiguous_indexed_char,
 706                                                                      type_c->block_lengths[i],
 707                                                                      type_c->old_type->substruct);
 708
 709       contiguous_indexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 710       if (i<type_c->block_count-1)
 711         noncontiguous_indexed_char =
 712           (char*)noncontiguous_indexed + type_c->block_indices[i+1]*smpi_datatype_get_extent(type_c->old_type);
 713       else
 714         noncontiguous_indexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 715     }
 716     noncontiguous_indexed=(void*)noncontiguous_indexed_char;
 717   }
 718 }
 719 /* Copies contiguous data into noncontiguous memory.
 720  *  @param noncontiguous_indexed - output indexed
 721  *  @param contiguous_indexed - input indexed
 722  *  @param type - pointer contening :
 723  *      - block_lengths - the width or height of blocked matrix
 724  *      - block_indices - indices of each data, in element
 725  *      - count - the number of rows of matrix
 726  */
 727 void unserialize_indexed( const void *contiguous_indexed, void *noncontiguous_indexed, int count, void *type, MPI_Op op)
 728 {
 729   s_smpi_mpi_indexed_t* type_c = (s_smpi_mpi_indexed_t*)type;
 730   int i,j;
 731   char* contiguous_indexed_char = (char*)contiguous_indexed;
 732   char* noncontiguous_indexed_char =
 733     (char*)noncontiguous_indexed+type_c->block_indices[0]*smpi_datatype_get_extent(type_c->old_type);
 734   for(j=0; j<count;j++){
 735     for (i = 0; i < type_c->block_count; i++) {
 736       if (type_c->old_type->sizeof_substruct == 0)
 737         smpi_op_apply(op, contiguous_indexed_char, noncontiguous_indexed_char, &type_c->block_lengths[i],
 738                     &type_c->old_type);
 739                /*memcpy(noncontiguous_indexed_char ,
 740              contiguous_indexed_char, type_c->block_lengths[i] * type_c->size_oldtype);*/
 741       else
 742         ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize( contiguous_indexed_char,
 743                                                                        noncontiguous_indexed_char,
 744                                                                        type_c->block_lengths[i],
 745                                                                        type_c->old_type->substruct, op);
 746
 747       contiguous_indexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 748       if (i<type_c->block_count-1)
 749         noncontiguous_indexed_char =
 750           (char*)noncontiguous_indexed + type_c->block_indices[i+1]*smpi_datatype_get_extent(type_c->old_type);
 751       else
 752         noncontiguous_indexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 753     }
 754     noncontiguous_indexed=(void*)noncontiguous_indexed_char;
 755   }
 756 }
 757
 758 void free_indexed(MPI_Datatype* type){
 759   if((*type)->in_use==0){
 760     xbt_free(((s_smpi_mpi_indexed_t *)(*type)->substruct)->block_lengths);
 761     xbt_free(((s_smpi_mpi_indexed_t *)(*type)->substruct)->block_indices);
 762   }
 763   smpi_datatype_unuse(((s_smpi_mpi_indexed_t *)(*type)->substruct)->old_type);
 764 }
 765
 766 void use_indexed(MPI_Datatype* type){
 767   smpi_datatype_use(((s_smpi_mpi_indexed_t *)(*type)->substruct)->old_type);
 768 }
 769
 770
 771 /* Create a Sub type indexed to be able to serialize and unserialize it the structure s_smpi_mpi_indexed_t is derived
 772  * from s_smpi_subtype which required the functions unserialize and serialize */
 773 s_smpi_mpi_indexed_t* smpi_datatype_indexed_create( int* block_lengths, int* block_indices, int block_count,
 774                                                   MPI_Datatype old_type, int size_oldtype){
 775   s_smpi_mpi_indexed_t *new_t= xbt_new(s_smpi_mpi_indexed_t,1);
 776   new_t->base.serialize = &serialize_indexed;
 777   new_t->base.unserialize = &unserialize_indexed;
 778   new_t->base.subtype_free = &free_indexed;
 779   new_t->base.subtype_use = &use_indexed;
 780   new_t->block_lengths= xbt_new(int, block_count);
 781   new_t->block_indices= xbt_new(int, block_count);
 782   int i;
 783   for(i=0;i<block_count;i++){
 784     new_t->block_lengths[i]=block_lengths[i];
 785     new_t->block_indices[i]=block_indices[i];
 786   }
 787   new_t->block_count = block_count;
 788   smpi_datatype_use(old_type);
 789   new_t->old_type = old_type;
 790   new_t->size_oldtype = size_oldtype;
 791   return new_t;
 792 }
 793
 794 int smpi_datatype_indexed(int count, int* blocklens, int* indices, MPI_Datatype old_type, MPI_Datatype* new_type)
 795 {
 796   int i;
 797   int retval;
 798   int size = 0;
 799   int contiguous=1;
 800   MPI_Aint lb = 0;
 801   MPI_Aint ub = 0;
 802   if(count>0){
 803     lb=indices[0]*smpi_datatype_get_extent(old_type);
 804     ub=indices[0]*smpi_datatype_get_extent(old_type) + blocklens[0]*smpi_datatype_ub(old_type);
 805   }
 806
 807   for(i=0; i< count; i++){
 808     if   (blocklens[i]<0)
 809       return MPI_ERR_ARG;
 810     size += blocklens[i];
 811
 812     if(indices[i]*smpi_datatype_get_extent(old_type)+smpi_datatype_lb(old_type)<lb)
 813       lb = indices[i]*smpi_datatype_get_extent(old_type)+smpi_datatype_lb(old_type);
 814     if(indices[i]*smpi_datatype_get_extent(old_type)+blocklens[i]*smpi_datatype_ub(old_type)>ub)
 815       ub = indices[i]*smpi_datatype_get_extent(old_type)+blocklens[i]*smpi_datatype_ub(old_type);
 816
 817     if ( (i< count -1) && (indices[i]+blocklens[i] != indices[i+1]) )contiguous=0;
 818   }
 819   if (old_type->sizeof_substruct != 0)
 820     contiguous=0;
 821
 822   if(!contiguous){
 823     s_smpi_mpi_indexed_t* subtype = smpi_datatype_indexed_create( blocklens, indices, count, old_type,
 824                                                                   smpi_datatype_size(old_type));
 825      smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type),lb,ub,sizeof(s_smpi_mpi_indexed_t), subtype, DT_FLAG_DATA);
 826   }else{
 827     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, size, old_type,
 828                                                                   smpi_datatype_size(old_type));
 829     smpi_datatype_create(new_type, size * smpi_datatype_size(old_type), lb, ub, sizeof(s_smpi_mpi_contiguous_t), subtype,
 830                          DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
 831   }
 832   retval=MPI_SUCCESS;
 833   return retval;
 834 }
 835 /* Hindexed Implementation - Indexed with indices in bytes */
 836
 837 /* Copies noncontiguous data into contiguous memory.
 838  *  @param contiguous_hindexed - output hindexed
 839  *  @param noncontiguous_hindexed - input hindexed
 840  *  @param type - pointer contening :
 841  *      - block_lengths - the width or height of blocked matrix
 842  *      - block_indices - indices of each data, in bytes
 843  *      - count - the number of rows of matrix
 844  */
 845 void serialize_hindexed( const void *noncontiguous_hindexed, void *contiguous_hindexed, int count, void *type)
 846 {
 847   s_smpi_mpi_hindexed_t* type_c = (s_smpi_mpi_hindexed_t*)type;
 848   int i,j;
 849   char* contiguous_hindexed_char = (char*)contiguous_hindexed;
 850   char* noncontiguous_hindexed_char = (char*)noncontiguous_hindexed+ type_c->block_indices[0];
 851   for(j=0; j<count;j++){
 852     for (i = 0; i < type_c->block_count; i++) {
 853       if (type_c->old_type->sizeof_substruct == 0)
 854         memcpy(contiguous_hindexed_char, noncontiguous_hindexed_char, type_c->block_lengths[i] * type_c->size_oldtype);
 855       else
 856         ((s_smpi_subtype_t*)type_c->old_type->substruct)->serialize( noncontiguous_hindexed_char,
 857                                                                      contiguous_hindexed_char,
 858                                                                      type_c->block_lengths[i],
 859                                                                      type_c->old_type->substruct);
 860
 861       contiguous_hindexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 862       if (i<type_c->block_count-1)
 863         noncontiguous_hindexed_char = (char*)noncontiguous_hindexed + type_c->block_indices[i+1];
 864       else
 865         noncontiguous_hindexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 866     }
 867     noncontiguous_hindexed=(void*)noncontiguous_hindexed_char;
 868   }
 869 }
 870 /* Copies contiguous data into noncontiguous memory.
 871  *  @param noncontiguous_hindexed - output hindexed
 872  *  @param contiguous_hindexed - input hindexed
 873  *  @param type - pointer contening :
 874  *      - block_lengths - the width or height of blocked matrix
 875  *      - block_indices - indices of each data, in bytes
 876  *      - count - the number of rows of matrix
 877  */
 878 void unserialize_hindexed( const void *contiguous_hindexed, void *noncontiguous_hindexed, int count, void *type,
 879                          MPI_Op op)
 880 {
 881   s_smpi_mpi_hindexed_t* type_c = (s_smpi_mpi_hindexed_t*)type;
 882   int i,j;
 883
 884   char* contiguous_hindexed_char = (char*)contiguous_hindexed;
 885   char* noncontiguous_hindexed_char = (char*)noncontiguous_hindexed+ type_c->block_indices[0];
 886   for(j=0; j<count;j++){
 887     for (i = 0; i < type_c->block_count; i++) {
 888       if (type_c->old_type->sizeof_substruct == 0)
 889         smpi_op_apply(op, contiguous_hindexed_char, noncontiguous_hindexed_char, &type_c->block_lengths[i],
 890                             &type_c->old_type);
 891         /*memcpy(noncontiguous_hindexed_char,contiguous_hindexed_char,type_c->block_lengths[i]*type_c->size_oldtype);*/
 892       else
 893         ((s_smpi_subtype_t*)type_c->old_type->substruct)->unserialize( contiguous_hindexed_char,
 894                                                                        noncontiguous_hindexed_char,
 895                                                                        type_c->block_lengths[i],
 896                                                                        type_c->old_type->substruct, op);
 897
 898       contiguous_hindexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
 899       if (i<type_c->block_count-1)
 900         noncontiguous_hindexed_char = (char*)noncontiguous_hindexed + type_c->block_indices[i+1];
 901       else
 902         noncontiguous_hindexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
 903     }
 904     noncontiguous_hindexed=(void*)noncontiguous_hindexed_char;
 905   }
 906 }
 907
 908 void free_hindexed(MPI_Datatype* type){
 909   if((*type)->in_use==0){
 910     xbt_free(((s_smpi_mpi_hindexed_t *)(*type)->substruct)->block_lengths);
 911     xbt_free(((s_smpi_mpi_hindexed_t *)(*type)->substruct)->block_indices);
 912   }
 913   smpi_datatype_unuse(((s_smpi_mpi_indexed_t *)(*type)->substruct)->old_type);
 914 }
 915
 916 void use_hindexed(MPI_Datatype* type){
 917   smpi_datatype_use(((s_smpi_mpi_hindexed_t *)(*type)->substruct)->old_type);
 918 }
 919
 920 /* Create a Sub type hindexed to be able to serialize and unserialize it the structure s_smpi_mpi_hindexed_t is derived
 921  * from s_smpi_subtype which required the functions unserialize and serialize
 922  */
 923 s_smpi_mpi_hindexed_t* smpi_datatype_hindexed_create( int* block_lengths, MPI_Aint* block_indices, int block_count,
 924                                                   MPI_Datatype old_type, int size_oldtype){
 925   s_smpi_mpi_hindexed_t *new_t= xbt_new(s_smpi_mpi_hindexed_t,1);
 926   new_t->base.serialize = &serialize_hindexed;
 927   new_t->base.unserialize = &unserialize_hindexed;
 928   new_t->base.subtype_free = &free_hindexed;
 929   new_t->base.subtype_use = &use_hindexed;
 930   new_t->block_lengths= xbt_new(int, block_count);
 931   new_t->block_indices= xbt_new(MPI_Aint, block_count);
 932   int i;
 933   for(i=0;i<block_count;i++){
 934     new_t->block_lengths[i]=block_lengths[i];
 935     new_t->block_indices[i]=block_indices[i];
 936   }
 937   new_t->block_count = block_count;
 938   new_t->old_type = old_type;
 939   smpi_datatype_use(old_type);
 940   new_t->size_oldtype = size_oldtype;
 941   return new_t;
 942 }
 943
 944 int smpi_datatype_hindexed(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type)
 945 {
 946   int i;
 947   int retval;
 948   int size = 0;
 949   int contiguous=1;
 950   MPI_Aint lb = 0;
 951   MPI_Aint ub = 0;
 952   if(count>0){
 953     lb=indices[0] + smpi_datatype_lb(old_type);
 954     ub=indices[0] + blocklens[0]*smpi_datatype_ub(old_type);
 955   }
 956   for(i=0; i< count; i++){
 957     if   (blocklens[i]<0)
 958       return MPI_ERR_ARG;
 959     size += blocklens[i];
 960
 961     if(indices[i]+smpi_datatype_lb(old_type)<lb) lb = indices[i]+smpi_datatype_lb(old_type);
 962     if(indices[i]+blocklens[i]*smpi_datatype_ub(old_type)>ub) ub = indices[i]+blocklens[i]*smpi_datatype_ub(old_type);
 963
 964     if ( (i< count -1) && (indices[i]+blocklens[i]*static_cast<int>(smpi_datatype_size(old_type)) != indices[i+1]) )
 965       contiguous=0;
 966   }
 967   if (old_type->sizeof_substruct != 0 || lb!=0)
 968     contiguous=0;
 969
 970   if(!contiguous){
 971     s_smpi_mpi_hindexed_t* subtype = smpi_datatype_hindexed_create( blocklens, indices, count, old_type,
 972                                                                   smpi_datatype_size(old_type));
 973     smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type), lb, ub ,sizeof(s_smpi_mpi_hindexed_t), subtype, DT_FLAG_DATA);
 974   }else{
 975     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create(lb,size, old_type, smpi_datatype_size(old_type));
 976     smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type), 0,size * smpi_datatype_size(old_type),
 977                1, subtype, DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
 978   }
 979   retval=MPI_SUCCESS;
 980   return retval;
 981 }
 982
 983 /* struct Implementation - Indexed with indices in bytes */
 984
 985 /* Copies noncontiguous data into contiguous memory.
 986  *  @param contiguous_struct - output struct
 987  *  @param noncontiguous_struct - input struct
 988  *  @param type - pointer contening :
 989  *      - stride - stride of between noncontiguous data
 990  *      - block_length - the width or height of blocked matrix
 991  *      - count - the number of rows of matrix
 992  */
 993 void serialize_struct( const void *noncontiguous_struct, void *contiguous_struct, int count, void *type)
 994 {
 995   s_smpi_mpi_struct_t* type_c = (s_smpi_mpi_struct_t*)type;
 996   int i,j;
 997   char* contiguous_struct_char = (char*)contiguous_struct;
 998   char* noncontiguous_struct_char = (char*)noncontiguous_struct+ type_c->block_indices[0];
 999   for(j=0; j<count;j++){
1000     for (i = 0; i < type_c->block_count; i++) {
1001       if (type_c->old_types[i]->sizeof_substruct == 0)
1002         memcpy(contiguous_struct_char, noncontiguous_struct_char,
1003                type_c->block_lengths[i] * smpi_datatype_size(type_c->old_types[i]));
1004       else
1005         ((s_smpi_subtype_t*)type_c->old_types[i]->substruct)->serialize( noncontiguous_struct_char,
1006                                                                          contiguous_struct_char,
1007                                                                          type_c->block_lengths[i],
1008                                                                          type_c->old_types[i]->substruct);
1009
1010
1011       contiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_size(type_c->old_types[i]);
1012       if (i<type_c->block_count-1)
1013         noncontiguous_struct_char = (char*)noncontiguous_struct + type_c->block_indices[i+1];
1014       else //let's hope this is MPI_UB ?
1015         noncontiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_types[i]);
1016     }
1017     noncontiguous_struct=(void*)noncontiguous_struct_char;
1018   }
1019 }
1020
1021 /* Copies contiguous data into noncontiguous memory.
1022  *  @param noncontiguous_struct - output struct
1023  *  @param contiguous_struct - input struct
1024  *  @param type - pointer contening :
1025  *      - stride - stride of between noncontiguous data
1026  *      - block_length - the width or height of blocked matrix
1027  *      - count - the number of rows of matrix
1028  */
1029 void unserialize_struct( const void *contiguous_struct, void *noncontiguous_struct, int count, void *type, MPI_Op op)
1030 {
1031   s_smpi_mpi_struct_t* type_c = (s_smpi_mpi_struct_t*)type;
1032   int i,j;
1033
1034   char* contiguous_struct_char = (char*)contiguous_struct;
1035   char* noncontiguous_struct_char = (char*)noncontiguous_struct+ type_c->block_indices[0];
1036   for(j=0; j<count;j++){
1037     for (i = 0; i < type_c->block_count; i++) {
1038       if (type_c->old_types[i]->sizeof_substruct == 0)
1039         smpi_op_apply(op, contiguous_struct_char, noncontiguous_struct_char, &type_c->block_lengths[i],
1040            & type_c->old_types[i]);
1041       /*memcpy(noncontiguous_struct_char,
1042                contiguous_struct_char, type_c->block_lengths[i] * smpi_datatype_size(type_c->old_types[i]));*/
1043       else
1044         ((s_smpi_subtype_t*)type_c->old_types[i]->substruct)->unserialize( contiguous_struct_char,
1045                                                                            noncontiguous_struct_char,
1046                                                                            type_c->block_lengths[i],
1047                                                                            type_c->old_types[i]->substruct, op);
1048
1049       contiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_size(type_c->old_types[i]);
1050       if (i<type_c->block_count-1)
1051         noncontiguous_struct_char =  (char*)noncontiguous_struct + type_c->block_indices[i+1];
1052       else
1053         noncontiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_types[i]);
1054     }
1055     noncontiguous_struct=(void*)noncontiguous_struct_char;
1056   }
1057 }
1058
1059 void free_struct(MPI_Datatype* type){
1060   int i=0;
1061   for (i = 0; i < ((s_smpi_mpi_struct_t *)(*type)->substruct)->block_count; i++)
1062     smpi_datatype_unuse(((s_smpi_mpi_struct_t *)(*type)->substruct)->old_types[i]);
1063   if((*type)->in_use==0){
1064     xbt_free(((s_smpi_mpi_struct_t *)(*type)->substruct)->block_lengths);
1065     xbt_free(((s_smpi_mpi_struct_t *)(*type)->substruct)->block_indices);
1066     xbt_free(((s_smpi_mpi_struct_t *)(*type)->substruct)->old_types);
1067   }
1068 }
1069
1070 void use_struct(MPI_Datatype* type){
1071   int i=0;
1072   for (i = 0; i < ((s_smpi_mpi_struct_t *)(*type)->substruct)->block_count; i++)
1073     smpi_datatype_use(((s_smpi_mpi_struct_t *)(*type)->substruct)->old_types[i]);
1074 }
1075
1076 /* Create a Sub type struct to be able to serialize and unserialize it the structure s_smpi_mpi_struct_t is derived
1077  * from s_smpi_subtype which required the functions unserialize and serialize
1078  */
1079 s_smpi_mpi_struct_t* smpi_datatype_struct_create( int* block_lengths, MPI_Aint* block_indices, int block_count,
1080                                                   MPI_Datatype* old_types){
1081   s_smpi_mpi_struct_t *new_t= xbt_new(s_smpi_mpi_struct_t,1);
1082   new_t->base.serialize = &serialize_struct;
1083   new_t->base.unserialize = &unserialize_struct;
1084   new_t->base.subtype_free = &free_struct;
1085   new_t->base.subtype_use = &use_struct;
1086   new_t->block_lengths= xbt_new(int, block_count);
1087   new_t->block_indices= xbt_new(MPI_Aint, block_count);
1088   new_t->old_types=  xbt_new(MPI_Datatype, block_count);
1089   int i;
1090   for(i=0;i<block_count;i++){
1091     new_t->block_lengths[i]=block_lengths[i];
1092     new_t->block_indices[i]=block_indices[i];
1093     new_t->old_types[i]=old_types[i];
1094     smpi_datatype_use(new_t->old_types[i]);
1095   }
1096   new_t->block_count = block_count;
1097   return new_t;
1098 }
1099
1100 int smpi_datatype_struct(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype* old_types, MPI_Datatype* new_type)
1101 {
1102   int i;
1103   size_t size = 0;
1104   int contiguous=1;
1105   size = 0;
1106   MPI_Aint lb = 0;
1107   MPI_Aint ub = 0;
1108   if(count>0){
1109     lb=indices[0] + smpi_datatype_lb(old_types[0]);
1110     ub=indices[0] + blocklens[0]*smpi_datatype_ub(old_types[0]);
1111   }
1112   int forced_lb=0;
1113   int forced_ub=0;
1114   for(i=0; i< count; i++){
1115     if (blocklens[i]<0)
1116       return MPI_ERR_ARG;
1117     if (old_types[i]->sizeof_substruct != 0)
1118       contiguous=0;
1119
1120     size += blocklens[i]*smpi_datatype_size(old_types[i]);
1121     if (old_types[i]==MPI_LB){
1122       lb=indices[i];
1123       forced_lb=1;
1124     }
1125     if (old_types[i]==MPI_UB){
1126       ub=indices[i];
1127       forced_ub=1;
1128     }
1129
1130     if(!forced_lb && indices[i]+smpi_datatype_lb(old_types[i])<lb) lb = indices[i];
1131     if(!forced_ub &&  indices[i]+blocklens[i]*smpi_datatype_ub(old_types[i])>ub)
1132       ub = indices[i]+blocklens[i]*smpi_datatype_ub(old_types[i]);
1133
1134     if ( (i< count -1) && (indices[i]+blocklens[i]*static_cast<int>(smpi_datatype_size(old_types[i])) != indices[i+1]) )
1135       contiguous=0;
1136   }
1137
1138   if(!contiguous){
1139     s_smpi_mpi_struct_t* subtype = smpi_datatype_struct_create( blocklens, indices, count, old_types);
1140
1141     smpi_datatype_create(new_type,  size, lb, ub,sizeof(s_smpi_mpi_struct_t), subtype, DT_FLAG_DATA);
1142   }else{
1143     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, size, MPI_CHAR, 1);
1144     smpi_datatype_create(new_type,  size, lb, ub,1, subtype, DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
1145   }
1146   return MPI_SUCCESS;
1147 }
1148
1149 void smpi_datatype_commit(MPI_Datatype *datatype)
1150 {
1151   (*datatype)->flags=  ((*datatype)->flags | DT_FLAG_COMMITED);
1152 }
1153
1154 typedef struct s_smpi_mpi_op {
1155   MPI_User_function *func;
1156   int is_commute;
1157 } s_smpi_mpi_op_t;
1158
1159 #define MAX_OP(a, b)  (b) = (a) < (b) ? (b) : (a)
1160 #define MIN_OP(a, b)  (b) = (a) < (b) ? (a) : (b)
1161 #define SUM_OP(a, b)  (b) += (a)
1162 #define PROD_OP(a, b) (b) *= (a)
1163 #define LAND_OP(a, b) (b) = (a) && (b)
1164 #define LOR_OP(a, b)  (b) = (a) || (b)
1165 #define LXOR_OP(a, b) (b) = (!(a) && (b)) || ((a) && !(b))
1166 #define BAND_OP(a, b) (b) &= (a)
1167 #define BOR_OP(a, b)  (b) |= (a)
1168 #define BXOR_OP(a, b) (b) ^= (a)
1169 #define MAXLOC_OP(a, b)  (b) = (a.value) < (b.value) ? (b) : (a)
1170 #define MINLOC_OP(a, b)  (b) = (a.value) < (b.value) ? (a) : (b)
1171
1172 #define APPLY_FUNC(a, b, length, type, func) \
1173 {                                          \
1174   int i;                                   \
1175   type* x = (type*)(a);                    \
1176   type* y = (type*)(b);                    \
1177   for(i = 0; i < *(length); i++) {         \
1178     func(x[i], y[i]);                      \
1179   }                                        \
1180 }
1181
1182 static void max_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1183 {
1184   if (*datatype == MPI_CHAR) {
1185     APPLY_FUNC(a, b, length, char, MAX_OP);
1186   } else if (*datatype == MPI_SHORT) {
1187     APPLY_FUNC(a, b, length, short, MAX_OP);
1188   } else if (*datatype == MPI_INT) {
1189     APPLY_FUNC(a, b, length, int, MAX_OP);
1190   } else if (*datatype == MPI_LONG) {
1191     APPLY_FUNC(a, b, length, long, MAX_OP);
1192   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1193     APPLY_FUNC(a, b, length, unsigned short, MAX_OP);
1194   } else if (*datatype == MPI_UNSIGNED) {
1195     APPLY_FUNC(a, b, length, unsigned int, MAX_OP);
1196   } else if (*datatype == MPI_UNSIGNED_LONG) {
1197     APPLY_FUNC(a, b, length, unsigned long, MAX_OP);
1198   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1199     APPLY_FUNC(a, b, length, unsigned char, MAX_OP);
1200   } else if (*datatype == MPI_FLOAT) {
1201     APPLY_FUNC(a, b, length, float, MAX_OP);
1202   } else if (*datatype == MPI_DOUBLE) {
1203     APPLY_FUNC(a, b, length, double, MAX_OP);
1204   } else if (*datatype == MPI_LONG_DOUBLE) {
1205     APPLY_FUNC(a, b, length, long double, MAX_OP);
1206   }
1207 }
1208
1209 static void min_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1210 {
1211   if (*datatype == MPI_CHAR) {
1212     APPLY_FUNC(a, b, length, char, MIN_OP);
1213   } else if (*datatype == MPI_SHORT) {
1214     APPLY_FUNC(a, b, length, short, MIN_OP);
1215   } else if (*datatype == MPI_INT) {
1216     APPLY_FUNC(a, b, length, int, MIN_OP);
1217   } else if (*datatype == MPI_LONG) {
1218     APPLY_FUNC(a, b, length, long, MIN_OP);
1219   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1220     APPLY_FUNC(a, b, length, unsigned short, MIN_OP);
1221   } else if (*datatype == MPI_UNSIGNED) {
1222     APPLY_FUNC(a, b, length, unsigned int, MIN_OP);
1223   } else if (*datatype == MPI_UNSIGNED_LONG) {
1224     APPLY_FUNC(a, b, length, unsigned long, MIN_OP);
1225   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1226     APPLY_FUNC(a, b, length, unsigned char, MIN_OP);
1227   } else if (*datatype == MPI_FLOAT) {
1228     APPLY_FUNC(a, b, length, float, MIN_OP);
1229   } else if (*datatype == MPI_DOUBLE) {
1230     APPLY_FUNC(a, b, length, double, MIN_OP);
1231   } else if (*datatype == MPI_LONG_DOUBLE) {
1232     APPLY_FUNC(a, b, length, long double, MIN_OP);
1233   }
1234 }
1235
1236 static void sum_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1237 {
1238   if (*datatype == MPI_CHAR) {
1239     APPLY_FUNC(a, b, length, char, SUM_OP);
1240   } else if (*datatype == MPI_SHORT) {
1241     APPLY_FUNC(a, b, length, short, SUM_OP);
1242   } else if (*datatype == MPI_INT) {
1243     APPLY_FUNC(a, b, length, int, SUM_OP);
1244   } else if (*datatype == MPI_LONG) {
1245     APPLY_FUNC(a, b, length, long, SUM_OP);
1246   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1247     APPLY_FUNC(a, b, length, unsigned short, SUM_OP);
1248   } else if (*datatype == MPI_UNSIGNED) {
1249     APPLY_FUNC(a, b, length, unsigned int, SUM_OP);
1250   } else if (*datatype == MPI_UNSIGNED_LONG) {
1251     APPLY_FUNC(a, b, length, unsigned long, SUM_OP);
1252   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1253     APPLY_FUNC(a, b, length, unsigned char, SUM_OP);
1254   } else if (*datatype == MPI_FLOAT) {
1255     APPLY_FUNC(a, b, length, float, SUM_OP);
1256   } else if (*datatype == MPI_DOUBLE) {
1257     APPLY_FUNC(a, b, length, double, SUM_OP);
1258   } else if (*datatype == MPI_LONG_DOUBLE) {
1259     APPLY_FUNC(a, b, length, long double, SUM_OP);
1260   } else if (*datatype == MPI_C_FLOAT_COMPLEX) {
1261     APPLY_FUNC(a, b, length, float _Complex, SUM_OP);
1262   } else if (*datatype == MPI_C_DOUBLE_COMPLEX) {
1263     APPLY_FUNC(a, b, length, double _Complex, SUM_OP);
1264   } else if (*datatype == MPI_C_LONG_DOUBLE_COMPLEX) {
1265     APPLY_FUNC(a, b, length, long double _Complex, SUM_OP);
1266   }
1267 }
1268
1269 static void prod_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1270 {
1271   if (*datatype == MPI_CHAR) {
1272     APPLY_FUNC(a, b, length, char, PROD_OP);
1273   } else if (*datatype == MPI_SHORT) {
1274     APPLY_FUNC(a, b, length, short, PROD_OP);
1275   } else if (*datatype == MPI_INT) {
1276     APPLY_FUNC(a, b, length, int, PROD_OP);
1277   } else if (*datatype == MPI_LONG) {
1278     APPLY_FUNC(a, b, length, long, PROD_OP);
1279   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1280     APPLY_FUNC(a, b, length, unsigned short, PROD_OP);
1281   } else if (*datatype == MPI_UNSIGNED) {
1282     APPLY_FUNC(a, b, length, unsigned int, PROD_OP);
1283   } else if (*datatype == MPI_UNSIGNED_LONG) {
1284     APPLY_FUNC(a, b, length, unsigned long, PROD_OP);
1285   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1286     APPLY_FUNC(a, b, length, unsigned char, PROD_OP);
1287   } else if (*datatype == MPI_FLOAT) {
1288     APPLY_FUNC(a, b, length, float, PROD_OP);
1289   } else if (*datatype == MPI_DOUBLE) {
1290     APPLY_FUNC(a, b, length, double, PROD_OP);
1291   } else if (*datatype == MPI_LONG_DOUBLE) {
1292     APPLY_FUNC(a, b, length, long double, PROD_OP);
1293   } else if (*datatype == MPI_C_FLOAT_COMPLEX) {
1294     APPLY_FUNC(a, b, length, float _Complex, PROD_OP);
1295   } else if (*datatype == MPI_C_DOUBLE_COMPLEX) {
1296     APPLY_FUNC(a, b, length, double _Complex, PROD_OP);
1297   } else if (*datatype == MPI_C_LONG_DOUBLE_COMPLEX) {
1298     APPLY_FUNC(a, b, length, long double _Complex, PROD_OP);
1299   }
1300 }
1301
1302 static void land_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1303 {
1304   if (*datatype == MPI_CHAR) {
1305     APPLY_FUNC(a, b, length, char, LAND_OP);
1306   } else if (*datatype == MPI_SHORT) {
1307     APPLY_FUNC(a, b, length, short, LAND_OP);
1308   } else if (*datatype == MPI_INT) {
1309     APPLY_FUNC(a, b, length, int, LAND_OP);
1310   } else if (*datatype == MPI_LONG) {
1311     APPLY_FUNC(a, b, length, long, LAND_OP);
1312   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1313     APPLY_FUNC(a, b, length, unsigned short, LAND_OP);
1314   } else if (*datatype == MPI_UNSIGNED) {
1315     APPLY_FUNC(a, b, length, unsigned int, LAND_OP);
1316   } else if (*datatype == MPI_UNSIGNED_LONG) {
1317     APPLY_FUNC(a, b, length, unsigned long, LAND_OP);
1318   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1319     APPLY_FUNC(a, b, length, unsigned char, LAND_OP);
1320   } else if (*datatype == MPI_C_BOOL) {
1321     APPLY_FUNC(a, b, length, bool, LAND_OP);
1322   }
1323 }
1324
1325 static void lor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1326 {
1327   if (*datatype == MPI_CHAR) {
1328     APPLY_FUNC(a, b, length, char, LOR_OP);
1329   } else if (*datatype == MPI_SHORT) {
1330     APPLY_FUNC(a, b, length, short, LOR_OP);
1331   } else if (*datatype == MPI_INT) {
1332     APPLY_FUNC(a, b, length, int, LOR_OP);
1333   } else if (*datatype == MPI_LONG) {
1334     APPLY_FUNC(a, b, length, long, LOR_OP);
1335   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1336     APPLY_FUNC(a, b, length, unsigned short, LOR_OP);
1337   } else if (*datatype == MPI_UNSIGNED) {
1338     APPLY_FUNC(a, b, length, unsigned int, LOR_OP);
1339   } else if (*datatype == MPI_UNSIGNED_LONG) {
1340     APPLY_FUNC(a, b, length, unsigned long, LOR_OP);
1341   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1342     APPLY_FUNC(a, b, length, unsigned char, LOR_OP);
1343   } else if (*datatype == MPI_C_BOOL) {
1344     APPLY_FUNC(a, b, length, bool, LOR_OP);
1345   }
1346 }
1347
1348 static void lxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1349 {
1350   if (*datatype == MPI_CHAR) {
1351     APPLY_FUNC(a, b, length, char, LXOR_OP);
1352   } else if (*datatype == MPI_SHORT) {
1353     APPLY_FUNC(a, b, length, short, LXOR_OP);
1354   } else if (*datatype == MPI_INT) {
1355     APPLY_FUNC(a, b, length, int, LXOR_OP);
1356   } else if (*datatype == MPI_LONG) {
1357     APPLY_FUNC(a, b, length, long, LXOR_OP);
1358   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1359     APPLY_FUNC(a, b, length, unsigned short, LXOR_OP);
1360   } else if (*datatype == MPI_UNSIGNED) {
1361     APPLY_FUNC(a, b, length, unsigned int, LXOR_OP);
1362   } else if (*datatype == MPI_UNSIGNED_LONG) {
1363     APPLY_FUNC(a, b, length, unsigned long, LXOR_OP);
1364   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1365     APPLY_FUNC(a, b, length, unsigned char, LXOR_OP);
1366   } else if (*datatype == MPI_C_BOOL) {
1367     APPLY_FUNC(a, b, length, bool, LXOR_OP);
1368   }
1369 }
1370
1371 static void band_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1372 {
1373   if (*datatype == MPI_CHAR) {
1374     APPLY_FUNC(a, b, length, char, BAND_OP);
1375   }else if (*datatype == MPI_SHORT) {
1376     APPLY_FUNC(a, b, length, short, BAND_OP);
1377   } else if (*datatype == MPI_INT) {
1378     APPLY_FUNC(a, b, length, int, BAND_OP);
1379   } else if (*datatype == MPI_LONG) {
1380     APPLY_FUNC(a, b, length, long, BAND_OP);
1381   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1382     APPLY_FUNC(a, b, length, unsigned short, BAND_OP);
1383   } else if (*datatype == MPI_UNSIGNED) {
1384     APPLY_FUNC(a, b, length, unsigned int, BAND_OP);
1385   } else if (*datatype == MPI_UNSIGNED_LONG) {
1386     APPLY_FUNC(a, b, length, unsigned long, BAND_OP);
1387   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1388     APPLY_FUNC(a, b, length, unsigned char, BAND_OP);
1389   } else if (*datatype == MPI_BYTE) {
1390     APPLY_FUNC(a, b, length, uint8_t, BAND_OP);
1391   }
1392 }
1393
1394 static void bor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1395 {
1396   if (*datatype == MPI_CHAR) {
1397     APPLY_FUNC(a, b, length, char, BOR_OP);
1398   } else if (*datatype == MPI_SHORT) {
1399     APPLY_FUNC(a, b, length, short, BOR_OP);
1400   } else if (*datatype == MPI_INT) {
1401     APPLY_FUNC(a, b, length, int, BOR_OP);
1402   } else if (*datatype == MPI_LONG) {
1403     APPLY_FUNC(a, b, length, long, BOR_OP);
1404   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1405     APPLY_FUNC(a, b, length, unsigned short, BOR_OP);
1406   } else if (*datatype == MPI_UNSIGNED) {
1407     APPLY_FUNC(a, b, length, unsigned int, BOR_OP);
1408   } else if (*datatype == MPI_UNSIGNED_LONG) {
1409     APPLY_FUNC(a, b, length, unsigned long, BOR_OP);
1410   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1411     APPLY_FUNC(a, b, length, unsigned char, BOR_OP);
1412   } else if (*datatype == MPI_BYTE) {
1413     APPLY_FUNC(a, b, length, uint8_t, BOR_OP);
1414   }
1415 }
1416
1417 static void bxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1418 {
1419   if (*datatype == MPI_CHAR) {
1420     APPLY_FUNC(a, b, length, char, BXOR_OP);
1421   } else if (*datatype == MPI_SHORT) {
1422     APPLY_FUNC(a, b, length, short, BXOR_OP);
1423   } else if (*datatype == MPI_INT) {
1424     APPLY_FUNC(a, b, length, int, BXOR_OP);
1425   } else if (*datatype == MPI_LONG) {
1426     APPLY_FUNC(a, b, length, long, BXOR_OP);
1427   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1428     APPLY_FUNC(a, b, length, unsigned short, BXOR_OP);
1429   } else if (*datatype == MPI_UNSIGNED) {
1430     APPLY_FUNC(a, b, length, unsigned int, BXOR_OP);
1431   } else if (*datatype == MPI_UNSIGNED_LONG) {
1432     APPLY_FUNC(a, b, length, unsigned long, BXOR_OP);
1433   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1434     APPLY_FUNC(a, b, length, unsigned char, BXOR_OP);
1435   } else if (*datatype == MPI_BYTE) {
1436     APPLY_FUNC(a, b, length, uint8_t, BXOR_OP);
1437   }
1438 }
1439
1440 static void minloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1441 {
1442   if (*datatype == MPI_FLOAT_INT) {
1443     APPLY_FUNC(a, b, length, float_int, MINLOC_OP);
1444   } else if (*datatype == MPI_LONG_INT) {
1445     APPLY_FUNC(a, b, length, long_int, MINLOC_OP);
1446   } else if (*datatype == MPI_DOUBLE_INT) {
1447     APPLY_FUNC(a, b, length, double_int, MINLOC_OP);
1448   } else if (*datatype == MPI_SHORT_INT) {
1449     APPLY_FUNC(a, b, length, short_int, MINLOC_OP);
1450   } else if (*datatype == MPI_2LONG) {
1451     APPLY_FUNC(a, b, length, long_long, MINLOC_OP);
1452   } else if (*datatype == MPI_2INT) {
1453     APPLY_FUNC(a, b, length, int_int, MINLOC_OP);
1454   } else if (*datatype == MPI_LONG_DOUBLE_INT) {
1455     APPLY_FUNC(a, b, length, long_double_int, MINLOC_OP);
1456   } else if (*datatype == MPI_2FLOAT) {
1457     APPLY_FUNC(a, b, length, float_float, MINLOC_OP);
1458   } else if (*datatype == MPI_2DOUBLE) {
1459     APPLY_FUNC(a, b, length, double_double, MINLOC_OP);
1460   }
1461 }
1462
1463 static void maxloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1464 {
1465   if (*datatype == MPI_FLOAT_INT) {
1466     APPLY_FUNC(a, b, length, float_int, MAXLOC_OP);
1467   } else if (*datatype == MPI_LONG_INT) {
1468     APPLY_FUNC(a, b, length, long_int, MAXLOC_OP);
1469   } else if (*datatype == MPI_DOUBLE_INT) {
1470     APPLY_FUNC(a, b, length, double_int, MAXLOC_OP);
1471   } else if (*datatype == MPI_SHORT_INT) {
1472     APPLY_FUNC(a, b, length, short_int, MAXLOC_OP);
1473   } else if (*datatype == MPI_2LONG) {
1474     APPLY_FUNC(a, b, length, long_long, MAXLOC_OP);
1475   } else if (*datatype == MPI_2INT) {
1476     APPLY_FUNC(a, b, length, int_int, MAXLOC_OP);
1477   } else if (*datatype == MPI_LONG_DOUBLE_INT) {
1478     APPLY_FUNC(a, b, length, long_double_int, MAXLOC_OP);
1479   } else if (*datatype == MPI_2FLOAT) {
1480     APPLY_FUNC(a, b, length, float_float, MAXLOC_OP);
1481   } else if (*datatype == MPI_2DOUBLE) {
1482     APPLY_FUNC(a, b, length, double_double, MAXLOC_OP);
1483   }
1484 }
1485
1486 static void replace_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1487 {
1488   memcpy(b, a, *length * smpi_datatype_size(*datatype));
1489 }
1490
1491 #define CREATE_MPI_OP(name, func)                             \
1492   static s_smpi_mpi_op_t mpi_##name = { &(func) /* func */, true }; \
1493 MPI_Op name = &mpi_##name;
1494
1495 CREATE_MPI_OP(MPI_MAX, max_func);
1496 CREATE_MPI_OP(MPI_MIN, min_func);
1497 CREATE_MPI_OP(MPI_SUM, sum_func);
1498 CREATE_MPI_OP(MPI_PROD, prod_func);
1499 CREATE_MPI_OP(MPI_LAND, land_func);
1500 CREATE_MPI_OP(MPI_LOR, lor_func);
1501 CREATE_MPI_OP(MPI_LXOR, lxor_func);
1502 CREATE_MPI_OP(MPI_BAND, band_func);
1503 CREATE_MPI_OP(MPI_BOR, bor_func);
1504 CREATE_MPI_OP(MPI_BXOR, bxor_func);
1505 CREATE_MPI_OP(MPI_MAXLOC, maxloc_func);
1506 CREATE_MPI_OP(MPI_MINLOC, minloc_func);
1507 CREATE_MPI_OP(MPI_REPLACE, replace_func);
1508
1509 MPI_Op smpi_op_new(MPI_User_function * function, int commute)
1510 {
1511   MPI_Op op;
1512   op = xbt_new(s_smpi_mpi_op_t, 1);
1513   op->func = function;
1514   op-> is_commute = commute;
1515   return op;
1516 }
1517
1518 int smpi_op_is_commute(MPI_Op op)
1519 {
1520   return (op==MPI_OP_NULL) ? 1 : op-> is_commute;
1521 }
1522
1523 void smpi_op_destroy(MPI_Op op)
1524 {
1525   xbt_free(op);
1526 }
1527
1528 void smpi_op_apply(MPI_Op op, void *invec, void *inoutvec, int *len, MPI_Datatype * datatype)
1529 {
1530   if(op==MPI_OP_NULL)
1531     return;
1532
1533   if(smpi_privatize_global_variables){//we need to switch as the called function may silently touch global variables
1534     XBT_DEBUG("Applying operation, switch to the right data frame ");
1535     smpi_switch_data_segment(smpi_process_index());
1536   }
1537
1538   if(!smpi_process_get_replaying())
1539   op->func(invec, inoutvec, len, datatype);
1540 }
1541
1542 int smpi_type_attr_delete(MPI_Datatype type, int keyval){
1543   smpi_type_key_elem elem =
1544     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)&keyval, sizeof(int)));
1545   if(!elem)
1546     return MPI_ERR_ARG;
1547   if(elem->delete_fn!=MPI_NULL_DELETE_FN){
1548     void * value;
1549     int flag;
1550     if(smpi_type_attr_get(type, keyval, &value, &flag)==MPI_SUCCESS){
1551       int ret = elem->delete_fn(type, keyval, value, &flag);
1552       if(ret!=MPI_SUCCESS) return ret;
1553     }
1554   }
1555   if(type->attributes==NULL)
1556     return MPI_ERR_ARG;
1557
1558   xbt_dict_remove_ext(type->attributes, (const char*)&keyval, sizeof(int));
1559   return MPI_SUCCESS;
1560 }
1561
1562 int smpi_type_attr_get(MPI_Datatype type, int keyval, void* attr_value, int* flag){
1563   smpi_type_key_elem elem =
1564     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)&keyval, sizeof(int)));
1565   if(!elem)
1566     return MPI_ERR_ARG;
1567   xbt_ex_t ex;
1568   if(type->attributes==NULL){
1569     *flag=0;
1570     return MPI_SUCCESS;
1571   }
1572   TRY {
1573     *(void**)attr_value = xbt_dict_get_ext(type->attributes, (const char*)&keyval, sizeof(int));
1574     *flag=1;
1575   }
1576   CATCH(ex) {
1577     *flag=0;
1578     xbt_ex_free(ex);
1579   }
1580   return MPI_SUCCESS;
1581 }
1582
1583 int smpi_type_attr_put(MPI_Datatype type, int keyval, void* attr_value){
1584   if(!smpi_type_keyvals)
1585   smpi_type_keyvals = xbt_dict_new();
1586   smpi_type_key_elem elem =
1587      static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)&keyval, sizeof(int)));
1588   if(!elem )
1589     return MPI_ERR_ARG;
1590   int flag;
1591   void* value;
1592   smpi_type_attr_get(type, keyval, &value, &flag);
1593   if(flag && elem->delete_fn!=MPI_NULL_DELETE_FN){
1594     int ret = elem->delete_fn(type, keyval, value, &flag);
1595     if(ret!=MPI_SUCCESS) return ret;
1596   }
1597   if(type->attributes==NULL)
1598     type->attributes=xbt_dict_new();
1599
1600   xbt_dict_set_ext(type->attributes, (const char*)&keyval, sizeof(int), attr_value, NULL);
1601   return MPI_SUCCESS;
1602 }
1603
1604 int smpi_type_keyval_create(MPI_Type_copy_attr_function* copy_fn, MPI_Type_delete_attr_function* delete_fn, int* keyval,
1605                             void* extra_state){
1606   if(!smpi_type_keyvals)
1607   smpi_type_keyvals = xbt_dict_new();
1608
1609   smpi_type_key_elem value = (smpi_type_key_elem) xbt_new0(s_smpi_mpi_type_key_elem_t,1);
1610
1611   value->copy_fn=copy_fn;
1612   value->delete_fn=delete_fn;
1613
1614   *keyval = type_keyval_id;
1615   xbt_dict_set_ext(smpi_type_keyvals,(const char*)keyval, sizeof(int),(void*)value, NULL);
1616   type_keyval_id++;
1617   return MPI_SUCCESS;
1618 }
1619
1620 int smpi_type_keyval_free(int* keyval){
1621   smpi_type_key_elem elem =
1622     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, (const char*)keyval, sizeof(int)));
1623   if(!elem){
1624     return MPI_ERR_ARG;
1625   }
1626   xbt_dict_remove_ext(smpi_type_keyvals, (const char*)keyval, sizeof(int));
1627   xbt_free(elem);
1628   return MPI_SUCCESS;
1629 }
1630
1631 int smpi_mpi_pack(void* inbuf, int incount, MPI_Datatype type, void* outbuf, int outcount, int* position,MPI_Comm comm){
1632   size_t size = smpi_datatype_size(type);
1633   if (outcount - *position < incount*static_cast<int>(size))
1634     return MPI_ERR_BUFFER;
1635   smpi_datatype_copy(inbuf, incount, type, (char*)outbuf + *position, outcount, MPI_CHAR);
1636   *position += incount * size;
1637   return MPI_SUCCESS;
1638 }
1639
1640 int smpi_mpi_unpack(void* inbuf, int insize, int* position, void* outbuf, int outcount, MPI_Datatype type,MPI_Comm comm){
1641   int size = static_cast<int>(smpi_datatype_size(type));
1642   if (outcount*size> insize)
1643     return MPI_ERR_BUFFER;
1644   smpi_datatype_copy((char*)inbuf + *position, insize, MPI_CHAR, outbuf, outcount, type);
1645   *position += outcount * size;
1646   return MPI_SUCCESS;
1647 }