Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
[simix] Dexbtization: remove xbt_dynar_t argument in simcall_comm_waitany
[simgrid.git] / src / smpi / smpi_mpi_dt.cpp
1 /* smpi_mpi_dt.c -- MPI primitives to handle datatypes                      */
2 /* Copyright (c) 2009-2015. The SimGrid Team.
3  * All rights reserved.                                                     */
4
5 /* This program is free software; you can redistribute it and/or modify it
6  * under the terms of the license (GNU LGPL) which comes with this package. */
7
8 #include <stdio.h>
9 #include <stdlib.h>
10 #include <string.h>
11 #include <limits.h>
12 #include "private.h"
13 #include "smpi_mpi_dt_private.h"
14 #include "mc/mc.h"
15 #include "xbt/replay.h"
16 #include <xbt/ex.hpp>
17 #include "simgrid/modelchecker.h"
18
19 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_mpi_dt, smpi, "Logging specific to SMPI (datatype)");
20
21 xbt_dict_t smpi_type_keyvals = nullptr;
22 int type_keyval_id=0;//avoid collisions
23
24 #define CREATE_MPI_DATATYPE(name, type)               \
25   static s_smpi_mpi_datatype_t mpi_##name = {         \
26     (char*) # name,                                   \
27     sizeof(type),   /* size */                        \
28     0,              /*was 1 sizeof_substruct*/             \
29     0,              /* lb */                          \
30     sizeof(type),   /* ub = lb + size */              \
31     DT_FLAG_BASIC,  /* flags */                       \
32     nullptr,           /* attributes */                  \
33     nullptr,           /* pointer on extended struct*/   \
34     0               /* in_use counter */              \
35   };                                                  \
36 const MPI_Datatype name = &mpi_##name;
37
38 #define CREATE_MPI_DATATYPE_NULL(name)                \
39   static s_smpi_mpi_datatype_t mpi_##name = {         \
40     (char*) # name,                                   \
41     0,              /* size */                        \
42     0,              /* was 1 sizeof_substruct*/            \
43     0,              /* lb */                          \
44     0,              /* ub = lb + size */              \
45     DT_FLAG_BASIC,  /* flags */                       \
46     nullptr,           /* attributes */                  \
47     nullptr,           /* pointer on extended struct*/   \
48     0               /* in_use counter */              \
49   };                                                  \
50 const MPI_Datatype name = &mpi_##name;
51
52 //The following are datatypes for the MPI functions MPI_MAXLOC and MPI_MINLOC.
53 typedef struct {
54   float value;
55   int index;
56 } float_int;
57 typedef struct {
58   float value;
59   float index;
60 } float_float;
61 typedef struct {
62   long value;
63   long index;
64 } long_long;
65 typedef struct {
66   double value;
67   double index;
68 } double_double;
69 typedef struct {
70   long value;
71   int index;
72 } long_int;
73 typedef struct {
74   double value;
75   int index;
76 } double_int;
77 typedef struct {
78   short value;
79   int index;
80 } short_int;
81 typedef struct {
82   int value;
83   int index;
84 } int_int;
85 typedef struct {
86   long double value;
87   int index;
88 } long_double_int;
89 typedef struct {
90   int64_t value;
91   int64_t index;
92 } integer128_t;
93 // Predefined data types
94 CREATE_MPI_DATATYPE(MPI_CHAR, char);
95 CREATE_MPI_DATATYPE(MPI_SHORT, short);
96 CREATE_MPI_DATATYPE(MPI_INT, int);
97 CREATE_MPI_DATATYPE(MPI_LONG, long);
98 CREATE_MPI_DATATYPE(MPI_LONG_LONG, long long);
99 CREATE_MPI_DATATYPE(MPI_SIGNED_CHAR, signed char);
100 CREATE_MPI_DATATYPE(MPI_UNSIGNED_CHAR, unsigned char);
101 CREATE_MPI_DATATYPE(MPI_UNSIGNED_SHORT, unsigned short);
102 CREATE_MPI_DATATYPE(MPI_UNSIGNED, unsigned int);
103 CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG, unsigned long);
104 CREATE_MPI_DATATYPE(MPI_UNSIGNED_LONG_LONG, unsigned long long);
105 CREATE_MPI_DATATYPE(MPI_FLOAT, float);
106 CREATE_MPI_DATATYPE(MPI_DOUBLE, double);
107 CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE, long double);
108 CREATE_MPI_DATATYPE(MPI_WCHAR, wchar_t);
109 CREATE_MPI_DATATYPE(MPI_C_BOOL, bool);
110 CREATE_MPI_DATATYPE(MPI_BYTE, int8_t);
111 CREATE_MPI_DATATYPE(MPI_INT8_T, int8_t);
112 CREATE_MPI_DATATYPE(MPI_INT16_T, int16_t);
113 CREATE_MPI_DATATYPE(MPI_INT32_T, int32_t);
114 CREATE_MPI_DATATYPE(MPI_INT64_T, int64_t);
115 CREATE_MPI_DATATYPE(MPI_UINT8_T, uint8_t);
116 CREATE_MPI_DATATYPE(MPI_UINT16_T, uint16_t);
117 CREATE_MPI_DATATYPE(MPI_UINT32_T, uint32_t);
118 CREATE_MPI_DATATYPE(MPI_UINT64_T, uint64_t);
119 CREATE_MPI_DATATYPE(MPI_C_FLOAT_COMPLEX, float _Complex);
120 CREATE_MPI_DATATYPE(MPI_C_DOUBLE_COMPLEX, double _Complex);
121 CREATE_MPI_DATATYPE(MPI_C_LONG_DOUBLE_COMPLEX, long double _Complex);
122 CREATE_MPI_DATATYPE(MPI_AINT, MPI_Aint);
123 CREATE_MPI_DATATYPE(MPI_OFFSET, MPI_Offset);
124
125 CREATE_MPI_DATATYPE(MPI_FLOAT_INT, float_int);
126 CREATE_MPI_DATATYPE(MPI_LONG_INT, long_int);
127 CREATE_MPI_DATATYPE(MPI_DOUBLE_INT, double_int);
128 CREATE_MPI_DATATYPE(MPI_SHORT_INT, short_int);
129 CREATE_MPI_DATATYPE(MPI_2INT, int_int);
130 CREATE_MPI_DATATYPE(MPI_2FLOAT, float_float);
131 CREATE_MPI_DATATYPE(MPI_2DOUBLE, double_double);
132 CREATE_MPI_DATATYPE(MPI_2LONG, long_long);
133
134 CREATE_MPI_DATATYPE(MPI_REAL, float);
135 CREATE_MPI_DATATYPE(MPI_REAL4, float);
136 CREATE_MPI_DATATYPE(MPI_REAL8, float);
137 CREATE_MPI_DATATYPE(MPI_REAL16, double);
138 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX8);
139 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX16);
140 CREATE_MPI_DATATYPE_NULL(MPI_COMPLEX32);
141 CREATE_MPI_DATATYPE(MPI_INTEGER1, int);
142 CREATE_MPI_DATATYPE(MPI_INTEGER2, int16_t);
143 CREATE_MPI_DATATYPE(MPI_INTEGER4, int32_t);
144 CREATE_MPI_DATATYPE(MPI_INTEGER8, int64_t);
145 CREATE_MPI_DATATYPE(MPI_INTEGER16, integer128_t);
146
147 CREATE_MPI_DATATYPE(MPI_LONG_DOUBLE_INT, long_double_int);
148
149 CREATE_MPI_DATATYPE_NULL(MPI_UB);
150 CREATE_MPI_DATATYPE_NULL(MPI_LB);
151 CREATE_MPI_DATATYPE(MPI_PACKED, char);
152 // Internal use only
153 CREATE_MPI_DATATYPE(MPI_PTR, void*);
154
155 /** Check if the datatype is usable for communications */
156 bool is_datatype_valid(MPI_Datatype datatype) {
157     return datatype != MPI_DATATYPE_NULL && ((datatype->flags & DT_FLAG_COMMITED) != 0);
158 }
159
160 size_t smpi_datatype_size(MPI_Datatype datatype)
161 {
162   return datatype->size;
163 }
164
165 MPI_Aint smpi_datatype_lb(MPI_Datatype datatype)
166 {
167   return datatype->lb;
168 }
169
170 MPI_Aint smpi_datatype_ub(MPI_Datatype datatype)
171 {
172   return datatype->ub;
173 }
174
175 int smpi_datatype_dup(MPI_Datatype datatype, MPI_Datatype* new_t)
176 {
177   int ret=MPI_SUCCESS;
178   *new_t= xbt_new(s_smpi_mpi_datatype_t,1);
179   memcpy(*new_t, datatype, sizeof(s_smpi_mpi_datatype_t));
180   (*new_t)->in_use=1;
181   (*new_t)->flags &= ~DT_FLAG_PREDEFINED;
182   if (datatype->sizeof_substruct){
183     (*new_t)->substruct=xbt_malloc(datatype->sizeof_substruct);
184     memcpy((*new_t)->substruct, datatype->substruct, datatype->sizeof_substruct);
185   }
186   if(datatype->name)
187     (*new_t)->name = xbt_strdup(datatype->name);
188   if(datatype->attributes !=nullptr){
189       (*new_t)->attributes=xbt_dict_new();
190       xbt_dict_cursor_t cursor = nullptr;
191       int *key;
192       int flag;
193       void* value_in;
194       void* value_out;
195       xbt_dict_foreach(datatype->attributes, cursor, key, value_in){
196         smpi_type_key_elem elem =
197           static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals,  reinterpret_cast<const char*>(key), sizeof(int)));
198         if(elem != nullptr && elem->copy_fn!=MPI_NULL_COPY_FN){
199           ret = elem->copy_fn(datatype, *key, nullptr, value_in, &value_out, &flag );
200           if(ret!=MPI_SUCCESS){
201             smpi_datatype_unuse(*new_t);
202             *new_t=MPI_DATATYPE_NULL;
203             xbt_dict_cursor_free(&cursor);
204             return ret;
205           }
206           if(flag)
207             xbt_dict_set_ext((*new_t)->attributes, reinterpret_cast<const char*>(key), sizeof(int),value_out, nullptr);
208         }
209       }
210     }
211   return ret;
212 }
213
214 int smpi_datatype_extent(MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent)
215 {
216   if(datatype == MPI_DATATYPE_NULL){
217     *lb=0;
218     *extent=0;
219     return MPI_SUCCESS;
220   }
221   *lb = datatype->lb;
222   *extent = datatype->ub - datatype->lb;
223   return MPI_SUCCESS;
224 }
225
226 MPI_Aint smpi_datatype_get_extent(MPI_Datatype datatype){
227   if(datatype == MPI_DATATYPE_NULL){
228     return 0;
229   }
230   return datatype->ub - datatype->lb;
231 }
232
233 void smpi_datatype_get_name(MPI_Datatype datatype, char* name, int* length){
234   *length = strlen(datatype->name);
235   strncpy(name, datatype->name, *length+1);
236 }
237
238 void smpi_datatype_set_name(MPI_Datatype datatype, char* name){
239   if(datatype->name!=nullptr &&  (datatype->flags & DT_FLAG_PREDEFINED) == 0)
240     xbt_free(datatype->name);
241   datatype->name = xbt_strdup(name);
242 }
243
244 int smpi_datatype_copy(void *sendbuf, int sendcount, MPI_Datatype sendtype,
245                        void *recvbuf, int recvcount, MPI_Datatype recvtype)
246 {
247   int count;
248   if(smpi_privatize_global_variables){
249     smpi_switch_data_segment(smpi_process_index());
250   }
251   /* First check if we really have something to do */
252   if (recvcount > 0 && recvbuf != sendbuf) {
253     /* FIXME: treat packed cases */
254     sendcount *= smpi_datatype_size(sendtype);
255     recvcount *= smpi_datatype_size(recvtype);
256     count = sendcount < recvcount ? sendcount : recvcount;
257
258     if(sendtype->sizeof_substruct == 0 && recvtype->sizeof_substruct == 0) {
259       if(!smpi_process_get_replaying()) 
260         memcpy(recvbuf, sendbuf, count);
261     }
262     else if (sendtype->sizeof_substruct == 0)
263     {
264       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(recvtype->substruct);
265       subtype->unserialize( sendbuf, recvbuf, recvcount/smpi_datatype_size(recvtype), subtype, MPI_REPLACE);
266     }
267     else if (recvtype->sizeof_substruct == 0)
268     {
269       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(sendtype->substruct);
270       subtype->serialize(sendbuf, recvbuf, sendcount/smpi_datatype_size(sendtype), subtype);
271     }else{
272       s_smpi_subtype_t *subtype =  static_cast<s_smpi_subtype_t*>(sendtype->substruct);
273
274       void * buf_tmp = xbt_malloc(count);
275
276       subtype->serialize( sendbuf, buf_tmp,count/smpi_datatype_size(sendtype), subtype);
277       subtype =  static_cast<s_smpi_subtype_t*>(recvtype->substruct);
278       subtype->unserialize( buf_tmp, recvbuf,count/smpi_datatype_size(recvtype), subtype, MPI_REPLACE);
279
280       xbt_free(buf_tmp);
281     }
282   }
283
284   return sendcount > recvcount ? MPI_ERR_TRUNCATE : MPI_SUCCESS;
285 }
286
287 /*
288  *  Copies noncontiguous data into contiguous memory.
289  *  @param contiguous_vector - output vector
290  *  @param noncontiguous_vector - input vector
291  *  @param type - pointer containing :
292  *      - stride - stride of between noncontiguous data
293  *      - block_length - the width or height of blocked matrix
294  *      - count - the number of rows of matrix
295  */
296 void serialize_vector( const void *noncontiguous_vector, void *contiguous_vector, int count, void *type)
297 {
298   s_smpi_mpi_vector_t* type_c = reinterpret_cast<s_smpi_mpi_vector_t*>(type);
299   int i;
300   char* contiguous_vector_char = static_cast<char*>(contiguous_vector);
301   const char* noncontiguous_vector_char = static_cast<const char*>(noncontiguous_vector);
302
303   for (i = 0; i < type_c->block_count * count; i++) {
304       if (type_c->old_type->sizeof_substruct == 0)
305         memcpy(contiguous_vector_char, noncontiguous_vector_char, type_c->block_length * type_c->size_oldtype);
306       else
307         static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->serialize( noncontiguous_vector_char,
308                                                                      contiguous_vector_char,
309                                                                      type_c->block_length, type_c->old_type->substruct);
310
311     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
312     if((i+1)%type_c->block_count ==0)
313       noncontiguous_vector_char += type_c->block_length*smpi_datatype_get_extent(type_c->old_type);
314     else
315       noncontiguous_vector_char += type_c->block_stride*smpi_datatype_get_extent(type_c->old_type);
316   }
317 }
318
319 /*
320  *  Copies contiguous data into noncontiguous memory.
321  *  @param noncontiguous_vector - output vector
322  *  @param contiguous_vector - input vector
323  *  @param type - pointer contening :
324  *      - stride - stride of between noncontiguous data
325  *      - block_length - the width or height of blocked matrix
326  *      - count - the number of rows of matrix
327  */
328 void unserialize_vector( const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
329 {
330   s_smpi_mpi_vector_t* type_c = reinterpret_cast<s_smpi_mpi_vector_t*>(type);
331   int i;
332
333   const char* contiguous_vector_char = static_cast<const char*>(contiguous_vector);
334   char* noncontiguous_vector_char = static_cast<char*>(noncontiguous_vector);
335
336   for (i = 0; i < type_c->block_count * count; i++) {
337     if (type_c->old_type->sizeof_substruct == 0)
338       smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &type_c->block_length,
339           &type_c->old_type);
340     else
341       static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->unserialize(contiguous_vector_char, noncontiguous_vector_char,
342                                                                     type_c->block_length,type_c->old_type->substruct,
343                                                                     op);
344     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
345     if((i+1)%type_c->block_count ==0)
346       noncontiguous_vector_char += type_c->block_length*smpi_datatype_get_extent(type_c->old_type);
347     else
348       noncontiguous_vector_char += type_c->block_stride*smpi_datatype_get_extent(type_c->old_type);
349   }
350 }
351
352 /* Create a Sub type vector to be able to serialize and unserialize it the structure s_smpi_mpi_vector_t is derived
353  * from s_smpi_subtype which required the functions unserialize and serialize */
354 s_smpi_mpi_vector_t* smpi_datatype_vector_create( int block_stride, int block_length, int block_count,
355                                                   MPI_Datatype old_type, int size_oldtype){
356   s_smpi_mpi_vector_t *new_t= xbt_new(s_smpi_mpi_vector_t,1);
357   new_t->base.serialize = &serialize_vector;
358   new_t->base.unserialize = &unserialize_vector;
359   new_t->base.subtype_free = &free_vector;
360   new_t->base.subtype_use = &use_vector;
361   new_t->block_stride = block_stride;
362   new_t->block_length = block_length;
363   new_t->block_count = block_count;
364   smpi_datatype_use(old_type);
365   new_t->old_type = old_type;
366   new_t->size_oldtype = size_oldtype;
367   return new_t;
368 }
369
370 void smpi_datatype_create(MPI_Datatype* new_type, int size,int lb, int ub, int sizeof_substruct, void *struct_type,
371                           int flags){
372   MPI_Datatype new_t= xbt_new(s_smpi_mpi_datatype_t,1);
373   new_t->name = nullptr;
374   new_t->size = size;
375   new_t->sizeof_substruct = size>0? sizeof_substruct:0;
376   new_t->lb = lb;
377   new_t->ub = ub;
378   new_t->flags = flags;
379   new_t->substruct = struct_type;
380   new_t->in_use=1;
381   new_t->attributes=nullptr;
382   *new_type = new_t;
383
384 #if HAVE_MC
385   if(MC_is_active())
386     MC_ignore(&(new_t->in_use), sizeof(new_t->in_use));
387 #endif
388 }
389
390 void smpi_datatype_free(MPI_Datatype* type){
391   xbt_assert((*type)->in_use >= 0);
392
393   if((*type)->flags & DT_FLAG_PREDEFINED)
394     return;
395
396   //if still used, mark for deletion
397   if((*type)->in_use!=0){
398       (*type)->flags |=DT_FLAG_DESTROYED;
399       return;
400   }
401
402   if((*type)->attributes !=nullptr){
403     xbt_dict_cursor_t cursor = nullptr;
404     int* key;
405     void * value;
406     int flag;
407     xbt_dict_foreach((*type)->attributes, cursor, key, value){
408       smpi_type_key_elem elem =
409           static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, reinterpret_cast<const char*>(key), sizeof(int)));
410       if(elem!=nullptr && elem->delete_fn!=nullptr)
411         elem->delete_fn(*type,*key, value, &flag);
412     }
413     xbt_dict_free(&(*type)->attributes);
414   }
415
416   if ((*type)->sizeof_substruct != 0){
417     //((s_smpi_subtype_t *)(*type)->substruct)->subtype_free(type);  
418     xbt_free((*type)->substruct);
419   }
420   xbt_free((*type)->name);
421   xbt_free(*type);
422   *type = MPI_DATATYPE_NULL;
423 }
424
425 void smpi_datatype_use(MPI_Datatype type){
426
427   if(type != MPI_DATATYPE_NULL)
428     type->in_use++;
429
430   if(type->sizeof_substruct!=0){
431     static_cast<s_smpi_subtype_t *>((type)->substruct)->subtype_use(&type);  
432   }
433 #if HAVE_MC
434   if(MC_is_active())
435     MC_ignore(&(type->in_use), sizeof(type->in_use));
436 #endif
437 }
438
439 void smpi_datatype_unuse(MPI_Datatype type){
440   if (type->in_use > 0)
441     type->in_use--;
442
443   if(type->sizeof_substruct!=0){
444     static_cast<s_smpi_subtype_t *>((type)->substruct)->subtype_free(&type);  
445   }
446
447   if(type != MPI_DATATYPE_NULL && type->in_use == 0){
448     smpi_datatype_free(&type);
449   }
450 #if HAVE_MC
451   if(MC_is_active())
452     MC_ignore(&(type->in_use), sizeof(type->in_use));
453 #endif
454 }
455
456 /*Contiguous Implementation*/
457
458 /* Copies noncontiguous data into contiguous memory.
459  *  @param contiguous_hvector - output hvector
460  *  @param noncontiguous_hvector - input hvector
461  *  @param type - pointer contening :
462  *      - stride - stride of between noncontiguous data, in bytes
463  *      - block_length - the width or height of blocked matrix
464  *      - count - the number of rows of matrix
465  */
466 void serialize_contiguous( const void *noncontiguous_hvector, void *contiguous_hvector, int count, void *type)
467 {
468   s_smpi_mpi_contiguous_t* type_c = reinterpret_cast<s_smpi_mpi_contiguous_t*>(type);
469   char* contiguous_vector_char = static_cast<char*>(contiguous_hvector);
470   const char* noncontiguous_vector_char = static_cast<const char*>(noncontiguous_hvector)+type_c->lb;
471   memcpy(contiguous_vector_char, noncontiguous_vector_char, count* type_c->block_count * type_c->size_oldtype);
472 }
473 /* Copies contiguous data into noncontiguous memory.
474  *  @param noncontiguous_vector - output hvector
475  *  @param contiguous_vector - input hvector
476  *  @param type - pointer contening :
477  *      - stride - stride of between noncontiguous data, in bytes
478  *      - block_length - the width or height of blocked matrix
479  *      - count - the number of rows of matrix
480  */
481 void unserialize_contiguous(const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
482 {
483   s_smpi_mpi_contiguous_t* type_c = reinterpret_cast<s_smpi_mpi_contiguous_t*>(type);
484   const char* contiguous_vector_char = static_cast<const char*>(contiguous_vector);
485   char* noncontiguous_vector_char = static_cast<char*>(noncontiguous_vector)+type_c->lb;
486   int n= count* type_c->block_count;
487   smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &n, &type_c->old_type);
488 }
489
490 void free_contiguous(MPI_Datatype* d){
491   smpi_datatype_unuse(reinterpret_cast<s_smpi_mpi_contiguous_t*>((*d)->substruct)->old_type);
492 }
493
494 void use_contiguous(MPI_Datatype* d){
495   smpi_datatype_use(reinterpret_cast<s_smpi_mpi_contiguous_t*>((*d)->substruct)->old_type);
496 }
497
498 /* Create a Sub type contiguous to be able to serialize and unserialize it the structure s_smpi_mpi_contiguous_t is
499  * derived from s_smpi_subtype which required the functions unserialize and serialize */
500 s_smpi_mpi_contiguous_t* smpi_datatype_contiguous_create( MPI_Aint lb, int block_count, MPI_Datatype old_type,
501                                                   int size_oldtype){
502   if(block_count==0)
503     return nullptr;
504   s_smpi_mpi_contiguous_t *new_t= xbt_new(s_smpi_mpi_contiguous_t,1);
505   new_t->base.serialize = &serialize_contiguous;
506   new_t->base.unserialize = &unserialize_contiguous;
507   new_t->base.subtype_free = &free_contiguous;
508   new_t->base.subtype_use = &use_contiguous;
509   new_t->lb = lb;
510   new_t->block_count = block_count;
511   new_t->old_type = old_type;
512   smpi_datatype_use(old_type);
513   new_t->size_oldtype = size_oldtype;
514   smpi_datatype_use(old_type);
515   return new_t;
516 }
517
518 int smpi_datatype_contiguous(int count, MPI_Datatype old_type, MPI_Datatype* new_type, MPI_Aint lb)
519 {
520   int retval;
521   if(old_type->sizeof_substruct){
522     //handle this case as a hvector with stride equals to the extent of the datatype
523     return smpi_datatype_hvector(count, 1, smpi_datatype_get_extent(old_type), old_type, new_type);
524   }
525   
526   s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, count, old_type,smpi_datatype_size(old_type));
527
528   smpi_datatype_create(new_type, count * smpi_datatype_size(old_type),lb,lb + count * smpi_datatype_size(old_type),
529             sizeof(s_smpi_mpi_contiguous_t),subtype, DT_FLAG_CONTIGUOUS);
530   retval=MPI_SUCCESS;
531   return retval;
532 }
533
534 int smpi_datatype_vector(int count, int blocklen, int stride, MPI_Datatype old_type, MPI_Datatype* new_type)
535 {
536   int retval;
537   if (blocklen<0) 
538     return MPI_ERR_ARG;
539   MPI_Aint lb = 0;
540   MPI_Aint ub = 0;
541   if(count>0){
542     lb=smpi_datatype_lb(old_type);
543     ub=((count-1)*stride+blocklen-1)*smpi_datatype_get_extent(old_type)+smpi_datatype_ub(old_type);
544   }
545   if(old_type->sizeof_substruct != 0 || stride != blocklen){
546
547     s_smpi_mpi_vector_t* subtype = smpi_datatype_vector_create(stride, blocklen, count, old_type,
548                                                                 smpi_datatype_size(old_type));
549     smpi_datatype_create(new_type, count * (blocklen) * smpi_datatype_size(old_type), lb, ub, sizeof(s_smpi_mpi_vector_t), subtype,
550                          DT_FLAG_VECTOR);
551     retval=MPI_SUCCESS;
552   }else{
553     /* in this situation the data are contiguous thus it's not required to serialize and unserialize it*/
554     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type), 0, ((count -1) * stride + blocklen)*
555                          smpi_datatype_size(old_type), 0, nullptr, DT_FLAG_VECTOR|DT_FLAG_CONTIGUOUS);
556     retval=MPI_SUCCESS;
557   }
558   return retval;
559 }
560
561 void free_vector(MPI_Datatype* d){
562   smpi_datatype_unuse(reinterpret_cast<s_smpi_mpi_indexed_t*>((*d)->substruct)->old_type);
563 }
564
565 void use_vector(MPI_Datatype* d){
566   smpi_datatype_use(reinterpret_cast<s_smpi_mpi_indexed_t*>((*d)->substruct)->old_type);
567 }
568
569 /* Hvector Implementation - Vector with stride in bytes */
570
571 /* Copies noncontiguous data into contiguous memory.
572  *  @param contiguous_hvector - output hvector
573  *  @param noncontiguous_hvector - input hvector
574  *  @param type - pointer contening :
575  *      - stride - stride of between noncontiguous data, in bytes
576  *      - block_length - the width or height of blocked matrix
577  *      - count - the number of rows of matrix
578  */
579 void serialize_hvector( const void *noncontiguous_hvector, void *contiguous_hvector, int count, void *type)
580 {
581   s_smpi_mpi_hvector_t* type_c = reinterpret_cast<s_smpi_mpi_hvector_t*>(type);
582   int i;
583   char* contiguous_vector_char = static_cast<char*>(contiguous_hvector);
584   const char* noncontiguous_vector_char = static_cast<const char*>(noncontiguous_hvector);
585
586   for (i = 0; i < type_c->block_count * count; i++) {
587     if (type_c->old_type->sizeof_substruct == 0)
588       memcpy(contiguous_vector_char, noncontiguous_vector_char, type_c->block_length * type_c->size_oldtype);
589     else
590       static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->serialize( noncontiguous_vector_char,
591                                                                    contiguous_vector_char,
592                                                                    type_c->block_length, type_c->old_type->substruct);
593
594     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
595     if((i+1)%type_c->block_count ==0)
596       noncontiguous_vector_char += type_c->block_length*type_c->size_oldtype;
597     else
598       noncontiguous_vector_char += type_c->block_stride;
599   }
600 }
601 /* Copies contiguous data into noncontiguous memory.
602  *  @param noncontiguous_vector - output hvector
603  *  @param contiguous_vector - input hvector
604  *  @param type - pointer contening :
605  *      - stride - stride of between noncontiguous data, in bytes
606  *      - block_length - the width or height of blocked matrix
607  *      - count - the number of rows of matrix
608  */
609 void unserialize_hvector( const void *contiguous_vector, void *noncontiguous_vector, int count, void *type, MPI_Op op)
610 {
611   s_smpi_mpi_hvector_t* type_c = reinterpret_cast<s_smpi_mpi_hvector_t*>(type);
612   int i;
613
614   const char* contiguous_vector_char = static_cast<const char*>(contiguous_vector);
615   char* noncontiguous_vector_char = static_cast<char*>(noncontiguous_vector);
616
617   for (i = 0; i < type_c->block_count * count; i++) {
618     if (type_c->old_type->sizeof_substruct == 0)
619       smpi_op_apply(op, contiguous_vector_char, noncontiguous_vector_char, &type_c->block_length, &type_c->old_type);
620     else
621       static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->unserialize( contiguous_vector_char, noncontiguous_vector_char,
622                                                                      type_c->block_length, type_c->old_type->substruct,
623                                                                      op);
624     contiguous_vector_char += type_c->block_length*type_c->size_oldtype;
625     if((i+1)%type_c->block_count ==0)
626       noncontiguous_vector_char += type_c->block_length*type_c->size_oldtype;
627     else
628       noncontiguous_vector_char += type_c->block_stride;
629   }
630 }
631
632 /* Create a Sub type vector to be able to serialize and unserialize it the structure s_smpi_mpi_vector_t is derived
633  * from s_smpi_subtype which required the functions unserialize and serialize
634  *
635  */
636 s_smpi_mpi_hvector_t* smpi_datatype_hvector_create( MPI_Aint block_stride, int block_length, int block_count,
637                                                   MPI_Datatype old_type, int size_oldtype){
638   s_smpi_mpi_hvector_t *new_t= xbt_new(s_smpi_mpi_hvector_t,1);
639   new_t->base.serialize = &serialize_hvector;
640   new_t->base.unserialize = &unserialize_hvector;
641   new_t->base.subtype_free = &free_hvector;
642   new_t->base.subtype_use = &use_hvector;
643   new_t->block_stride = block_stride;
644   new_t->block_length = block_length;
645   new_t->block_count = block_count;
646   new_t->old_type = old_type;
647   new_t->size_oldtype = size_oldtype;
648   smpi_datatype_use(old_type);
649   return new_t;
650 }
651
652 //do nothing for vector types
653 void free_hvector(MPI_Datatype* d){
654   smpi_datatype_unuse(reinterpret_cast<s_smpi_mpi_hvector_t*>((*d)->substruct)->old_type);
655 }
656
657 void use_hvector(MPI_Datatype* d){
658   smpi_datatype_use(reinterpret_cast<s_smpi_mpi_hvector_t*>((*d)->substruct)->old_type);
659 }
660
661 int smpi_datatype_hvector(int count, int blocklen, MPI_Aint stride, MPI_Datatype old_type, MPI_Datatype* new_type)
662 {
663   int retval;
664   if (blocklen<0) 
665     return MPI_ERR_ARG;
666   MPI_Aint lb = 0;
667   MPI_Aint ub = 0;
668   if(count>0){
669     lb=smpi_datatype_lb(old_type);
670     ub=((count-1)*stride)+(blocklen-1)*smpi_datatype_get_extent(old_type)+smpi_datatype_ub(old_type);
671   }
672   if(old_type->sizeof_substruct != 0 || stride != blocklen*smpi_datatype_get_extent(old_type)){
673     s_smpi_mpi_hvector_t* subtype = smpi_datatype_hvector_create( stride, blocklen, count, old_type,
674                                                                   smpi_datatype_size(old_type));
675
676     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type), lb,ub, sizeof(s_smpi_mpi_hvector_t), subtype, DT_FLAG_VECTOR);
677     retval=MPI_SUCCESS;
678   }else{
679     smpi_datatype_create(new_type, count * blocklen * smpi_datatype_size(old_type),0,count * blocklen *
680                                              smpi_datatype_size(old_type), 0, nullptr, DT_FLAG_VECTOR|DT_FLAG_CONTIGUOUS);
681     retval=MPI_SUCCESS;
682   }
683   return retval;
684 }
685
686 /* Indexed Implementation */
687
688 /* Copies noncontiguous data into contiguous memory.
689  *  @param contiguous_indexed - output indexed
690  *  @param noncontiguous_indexed - input indexed
691  *  @param type - pointer contening :
692  *      - block_lengths - the width or height of blocked matrix
693  *      - block_indices - indices of each data, in element
694  *      - count - the number of rows of matrix
695  */
696 void serialize_indexed( const void *noncontiguous_indexed, void *contiguous_indexed, int count, void *type)
697 {
698   s_smpi_mpi_indexed_t* type_c = reinterpret_cast<s_smpi_mpi_indexed_t*>(type);
699   int i,j;
700   char* contiguous_indexed_char = static_cast<char*>(contiguous_indexed);
701   const char* noncontiguous_indexed_char = static_cast<const char*>(noncontiguous_indexed)+type_c->block_indices[0] * type_c->size_oldtype;
702   for(j=0; j<count;j++){
703     for (i = 0; i < type_c->block_count; i++) {
704       if (type_c->old_type->sizeof_substruct == 0)
705         memcpy(contiguous_indexed_char, noncontiguous_indexed_char, type_c->block_lengths[i] * type_c->size_oldtype);
706       else
707         static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->serialize( noncontiguous_indexed_char,
708                                                                      contiguous_indexed_char,
709                                                                      type_c->block_lengths[i],
710                                                                      type_c->old_type->substruct);
711
712       contiguous_indexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
713       if (i<type_c->block_count-1)
714         noncontiguous_indexed_char =
715           static_cast<const char*>(noncontiguous_indexed) + type_c->block_indices[i+1]*smpi_datatype_get_extent(type_c->old_type);
716       else
717         noncontiguous_indexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
718     }
719     noncontiguous_indexed=static_cast<const void*>(noncontiguous_indexed_char);
720   }
721 }
722 /* Copies contiguous data into noncontiguous memory.
723  *  @param noncontiguous_indexed - output indexed
724  *  @param contiguous_indexed - input indexed
725  *  @param type - pointer contening :
726  *      - block_lengths - the width or height of blocked matrix
727  *      - block_indices - indices of each data, in element
728  *      - count - the number of rows of matrix
729  */
730 void unserialize_indexed( const void *contiguous_indexed, void *noncontiguous_indexed, int count, void *type, MPI_Op op)
731 {
732   s_smpi_mpi_indexed_t* type_c = reinterpret_cast<s_smpi_mpi_indexed_t*>(type);
733   int i,j;
734   const char* contiguous_indexed_char = static_cast<const char*>(contiguous_indexed);
735   char* noncontiguous_indexed_char =
736     static_cast<char*>(noncontiguous_indexed)+type_c->block_indices[0]*smpi_datatype_get_extent(type_c->old_type);
737   for(j=0; j<count;j++){
738     for (i = 0; i < type_c->block_count; i++) {
739       if (type_c->old_type->sizeof_substruct == 0)
740         smpi_op_apply(op, contiguous_indexed_char, noncontiguous_indexed_char, &type_c->block_lengths[i],
741                     &type_c->old_type);
742       else
743         static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->unserialize( contiguous_indexed_char,
744                                                                        noncontiguous_indexed_char,
745                                                                        type_c->block_lengths[i],
746                                                                        type_c->old_type->substruct, op);
747
748       contiguous_indexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
749       if (i<type_c->block_count-1)
750         noncontiguous_indexed_char =
751           static_cast<char*>(noncontiguous_indexed) + type_c->block_indices[i+1]*smpi_datatype_get_extent(type_c->old_type);
752       else
753         noncontiguous_indexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
754     }
755     noncontiguous_indexed=static_cast<void*>(noncontiguous_indexed_char);
756   }
757 }
758
759 void free_indexed(MPI_Datatype* type){
760   if((*type)->in_use==0){
761     xbt_free(reinterpret_cast<s_smpi_mpi_indexed_t*>((*type)->substruct)->block_lengths);
762     xbt_free(reinterpret_cast<s_smpi_mpi_indexed_t*>((*type)->substruct)->block_indices);
763   }
764   smpi_datatype_unuse(reinterpret_cast<s_smpi_mpi_indexed_t*>((*type)->substruct)->old_type);
765 }
766
767 void use_indexed(MPI_Datatype* type){
768   smpi_datatype_use(reinterpret_cast<s_smpi_mpi_indexed_t*>((*type)->substruct)->old_type);
769 }
770
771
772 /* Create a Sub type indexed to be able to serialize and unserialize it the structure s_smpi_mpi_indexed_t is derived
773  * from s_smpi_subtype which required the functions unserialize and serialize */
774 s_smpi_mpi_indexed_t* smpi_datatype_indexed_create( int* block_lengths, int* block_indices, int block_count,
775                                                   MPI_Datatype old_type, int size_oldtype){
776   s_smpi_mpi_indexed_t *new_t= xbt_new(s_smpi_mpi_indexed_t,1);
777   new_t->base.serialize = &serialize_indexed;
778   new_t->base.unserialize = &unserialize_indexed;
779   new_t->base.subtype_free = &free_indexed;
780   new_t->base.subtype_use = &use_indexed;
781   new_t->block_lengths= xbt_new(int, block_count);
782   new_t->block_indices= xbt_new(int, block_count);
783   int i;
784   for(i=0;i<block_count;i++){
785     new_t->block_lengths[i]=block_lengths[i];
786     new_t->block_indices[i]=block_indices[i];
787   }
788   new_t->block_count = block_count;
789   smpi_datatype_use(old_type);
790   new_t->old_type = old_type;
791   new_t->size_oldtype = size_oldtype;
792   return new_t;
793 }
794
795 int smpi_datatype_indexed(int count, int* blocklens, int* indices, MPI_Datatype old_type, MPI_Datatype* new_type)
796 {
797   int i;
798   int retval;
799   int size = 0;
800   bool contiguous=true;
801   MPI_Aint lb = 0;
802   MPI_Aint ub = 0;
803   if(count>0){
804     lb=indices[0]*smpi_datatype_get_extent(old_type);
805     ub=indices[0]*smpi_datatype_get_extent(old_type) + blocklens[0]*smpi_datatype_ub(old_type);
806   }
807
808   for(i=0; i< count; i++){
809     if   (blocklens[i]<0)
810       return MPI_ERR_ARG;
811     size += blocklens[i];
812
813     if(indices[i]*smpi_datatype_get_extent(old_type)+smpi_datatype_lb(old_type)<lb)
814       lb = indices[i]*smpi_datatype_get_extent(old_type)+smpi_datatype_lb(old_type);
815     if(indices[i]*smpi_datatype_get_extent(old_type)+blocklens[i]*smpi_datatype_ub(old_type)>ub)
816       ub = indices[i]*smpi_datatype_get_extent(old_type)+blocklens[i]*smpi_datatype_ub(old_type);
817
818     if ( (i< count -1) && (indices[i]+blocklens[i] != indices[i+1]) )
819       contiguous=false;
820   }
821   if (old_type->sizeof_substruct != 0)
822     contiguous=false;
823
824   if(!contiguous){
825     s_smpi_mpi_indexed_t* subtype = smpi_datatype_indexed_create( blocklens, indices, count, old_type,
826                                                                   smpi_datatype_size(old_type));
827      smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type),lb,ub,sizeof(s_smpi_mpi_indexed_t), subtype, DT_FLAG_DATA);
828   }else{
829     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, size, old_type,
830                                                                   smpi_datatype_size(old_type));
831     smpi_datatype_create(new_type, size * smpi_datatype_size(old_type), lb, ub, sizeof(s_smpi_mpi_contiguous_t), subtype,
832                          DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
833   }
834   retval=MPI_SUCCESS;
835   return retval;
836 }
837 /* Hindexed Implementation - Indexed with indices in bytes */
838
839 /* Copies noncontiguous data into contiguous memory.
840  *  @param contiguous_hindexed - output hindexed
841  *  @param noncontiguous_hindexed - input hindexed
842  *  @param type - pointer contening :
843  *      - block_lengths - the width or height of blocked matrix
844  *      - block_indices - indices of each data, in bytes
845  *      - count - the number of rows of matrix
846  */
847 void serialize_hindexed( const void *noncontiguous_hindexed, void *contiguous_hindexed, int count, void *type)
848 {
849   s_smpi_mpi_hindexed_t* type_c = reinterpret_cast<s_smpi_mpi_hindexed_t*>(type);
850   int i,j;
851   char* contiguous_hindexed_char = static_cast<char*>(contiguous_hindexed);
852   const char* noncontiguous_hindexed_char = static_cast<const char*>(noncontiguous_hindexed)+ type_c->block_indices[0];
853   for(j=0; j<count;j++){
854     for (i = 0; i < type_c->block_count; i++) {
855       if (type_c->old_type->sizeof_substruct == 0)
856         memcpy(contiguous_hindexed_char, noncontiguous_hindexed_char, type_c->block_lengths[i] * type_c->size_oldtype);
857       else
858         static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->serialize( noncontiguous_hindexed_char,
859                                                                      contiguous_hindexed_char,
860                                                                      type_c->block_lengths[i],
861                                                                      type_c->old_type->substruct);
862
863       contiguous_hindexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
864       if (i<type_c->block_count-1)
865         noncontiguous_hindexed_char = static_cast<const char*>(noncontiguous_hindexed) + type_c->block_indices[i+1];
866       else
867         noncontiguous_hindexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
868     }
869     noncontiguous_hindexed=reinterpret_cast<const void*>(noncontiguous_hindexed_char);
870   }
871 }
872 /* Copies contiguous data into noncontiguous memory.
873  *  @param noncontiguous_hindexed - output hindexed
874  *  @param contiguous_hindexed - input hindexed
875  *  @param type - pointer contening :
876  *      - block_lengths - the width or height of blocked matrix
877  *      - block_indices - indices of each data, in bytes
878  *      - count - the number of rows of matrix
879  */
880 void unserialize_hindexed( const void *contiguous_hindexed, void *noncontiguous_hindexed, int count, void *type,
881                          MPI_Op op)
882 {
883   s_smpi_mpi_hindexed_t* type_c = reinterpret_cast<s_smpi_mpi_hindexed_t*>(type);
884   int i,j;
885
886   const char* contiguous_hindexed_char = static_cast<const char*>(contiguous_hindexed);
887   char* noncontiguous_hindexed_char = static_cast<char*>(noncontiguous_hindexed)+ type_c->block_indices[0];
888   for(j=0; j<count;j++){
889     for (i = 0; i < type_c->block_count; i++) {
890       if (type_c->old_type->sizeof_substruct == 0)
891         smpi_op_apply(op, contiguous_hindexed_char, noncontiguous_hindexed_char, &type_c->block_lengths[i],
892                             &type_c->old_type);
893       else
894         static_cast<s_smpi_subtype_t*>(type_c->old_type->substruct)->unserialize( contiguous_hindexed_char,
895                                                                        noncontiguous_hindexed_char,
896                                                                        type_c->block_lengths[i],
897                                                                        type_c->old_type->substruct, op);
898
899       contiguous_hindexed_char += type_c->block_lengths[i]*type_c->size_oldtype;
900       if (i<type_c->block_count-1)
901         noncontiguous_hindexed_char = static_cast<char*>(noncontiguous_hindexed) + type_c->block_indices[i+1];
902       else
903         noncontiguous_hindexed_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_type);
904     }
905     noncontiguous_hindexed=reinterpret_cast<void*>(noncontiguous_hindexed_char);
906   }
907 }
908
909 void free_hindexed(MPI_Datatype* type){
910   if((*type)->in_use==0){
911     xbt_free(reinterpret_cast<s_smpi_mpi_hindexed_t*>((*type)->substruct)->block_lengths);
912     xbt_free(reinterpret_cast<s_smpi_mpi_hindexed_t*>((*type)->substruct)->block_indices);
913   }
914   smpi_datatype_unuse(reinterpret_cast<s_smpi_mpi_hindexed_t*>((*type)->substruct)->old_type);
915 }
916
917 void use_hindexed(MPI_Datatype* type){
918   smpi_datatype_use(reinterpret_cast<s_smpi_mpi_hindexed_t*>((*type)->substruct)->old_type);
919 }
920
921 /* Create a Sub type hindexed to be able to serialize and unserialize it the structure s_smpi_mpi_hindexed_t is derived
922  * from s_smpi_subtype which required the functions unserialize and serialize
923  */
924 s_smpi_mpi_hindexed_t* smpi_datatype_hindexed_create( int* block_lengths, MPI_Aint* block_indices, int block_count,
925                                                   MPI_Datatype old_type, int size_oldtype){
926   s_smpi_mpi_hindexed_t *new_t= xbt_new(s_smpi_mpi_hindexed_t,1);
927   new_t->base.serialize = &serialize_hindexed;
928   new_t->base.unserialize = &unserialize_hindexed;
929   new_t->base.subtype_free = &free_hindexed;
930   new_t->base.subtype_use = &use_hindexed;
931   new_t->block_lengths= xbt_new(int, block_count);
932   new_t->block_indices= xbt_new(MPI_Aint, block_count);
933   int i;
934   for(i=0;i<block_count;i++){
935     new_t->block_lengths[i]=block_lengths[i];
936     new_t->block_indices[i]=block_indices[i];
937   }
938   new_t->block_count = block_count;
939   new_t->old_type = old_type;
940   smpi_datatype_use(old_type);
941   new_t->size_oldtype = size_oldtype;
942   return new_t;
943 }
944
945 int smpi_datatype_hindexed(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type)
946 {
947   int i;
948   int retval;
949   int size = 0;
950   bool contiguous=true;
951   MPI_Aint lb = 0;
952   MPI_Aint ub = 0;
953   if(count>0){
954     lb=indices[0] + smpi_datatype_lb(old_type);
955     ub=indices[0] + blocklens[0]*smpi_datatype_ub(old_type);
956   }
957   for(i=0; i< count; i++){
958     if   (blocklens[i]<0)
959       return MPI_ERR_ARG;
960     size += blocklens[i];
961
962     if(indices[i]+smpi_datatype_lb(old_type)<lb) 
963       lb = indices[i]+smpi_datatype_lb(old_type);
964     if(indices[i]+blocklens[i]*smpi_datatype_ub(old_type)>ub) 
965       ub = indices[i]+blocklens[i]*smpi_datatype_ub(old_type);
966
967     if ( (i< count -1) && (indices[i]+blocklens[i]*(static_cast<int>(smpi_datatype_size(old_type))) != indices[i+1]) )
968       contiguous=false;
969   }
970   if (old_type->sizeof_substruct != 0 || lb!=0)
971     contiguous=false;
972
973   if(!contiguous){
974     s_smpi_mpi_hindexed_t* subtype = smpi_datatype_hindexed_create( blocklens, indices, count, old_type,
975                                                                   smpi_datatype_size(old_type));
976     smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type), lb, ub ,sizeof(s_smpi_mpi_hindexed_t), subtype, DT_FLAG_DATA);
977   }else{
978     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create(lb,size, old_type, smpi_datatype_size(old_type));
979     smpi_datatype_create(new_type,  size * smpi_datatype_size(old_type), 0,size * smpi_datatype_size(old_type),
980                1, subtype, DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
981   }
982   retval=MPI_SUCCESS;
983   return retval;
984 }
985
986 /* struct Implementation - Indexed with indices in bytes */
987
988 /* Copies noncontiguous data into contiguous memory.
989  *  @param contiguous_struct - output struct
990  *  @param noncontiguous_struct - input struct
991  *  @param type - pointer contening :
992  *      - stride - stride of between noncontiguous data
993  *      - block_length - the width or height of blocked matrix
994  *      - count - the number of rows of matrix
995  */
996 void serialize_struct( const void *noncontiguous_struct, void *contiguous_struct, int count, void *type)
997 {
998   s_smpi_mpi_struct_t* type_c = reinterpret_cast<s_smpi_mpi_struct_t*>(type);
999   int i,j;
1000   char* contiguous_struct_char = static_cast<char*>(contiguous_struct);
1001   const char* noncontiguous_struct_char = static_cast<const char*>(noncontiguous_struct)+ type_c->block_indices[0];
1002   for(j=0; j<count;j++){
1003     for (i = 0; i < type_c->block_count; i++) {
1004       if (type_c->old_types[i]->sizeof_substruct == 0)
1005         memcpy(contiguous_struct_char, noncontiguous_struct_char,
1006                type_c->block_lengths[i] * smpi_datatype_size(type_c->old_types[i]));
1007       else
1008         static_cast<s_smpi_subtype_t*>(type_c->old_types[i]->substruct)->serialize( noncontiguous_struct_char,
1009                                                                          contiguous_struct_char,
1010                                                                          type_c->block_lengths[i],
1011                                                                          type_c->old_types[i]->substruct);
1012
1013
1014       contiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_size(type_c->old_types[i]);
1015       if (i<type_c->block_count-1)
1016         noncontiguous_struct_char = static_cast<const char*>(noncontiguous_struct) + type_c->block_indices[i+1];
1017       else //let's hope this is MPI_UB ?
1018         noncontiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_types[i]);
1019     }
1020     noncontiguous_struct=reinterpret_cast<const void*>(noncontiguous_struct_char);
1021   }
1022 }
1023
1024 /* Copies contiguous data into noncontiguous memory.
1025  *  @param noncontiguous_struct - output struct
1026  *  @param contiguous_struct - input struct
1027  *  @param type - pointer contening :
1028  *      - stride - stride of between noncontiguous data
1029  *      - block_length - the width or height of blocked matrix
1030  *      - count - the number of rows of matrix
1031  */
1032 void unserialize_struct( const void *contiguous_struct, void *noncontiguous_struct, int count, void *type, MPI_Op op)
1033 {
1034   s_smpi_mpi_struct_t* type_c = reinterpret_cast<s_smpi_mpi_struct_t*>(type);
1035   int i,j;
1036
1037   const char* contiguous_struct_char = static_cast<const char*>(contiguous_struct);
1038   char* noncontiguous_struct_char = static_cast<char*>(noncontiguous_struct)+ type_c->block_indices[0];
1039   for(j=0; j<count;j++){
1040     for (i = 0; i < type_c->block_count; i++) {
1041       if (type_c->old_types[i]->sizeof_substruct == 0)
1042         smpi_op_apply(op, contiguous_struct_char, noncontiguous_struct_char, &type_c->block_lengths[i],
1043            & type_c->old_types[i]);
1044       else
1045         static_cast<s_smpi_subtype_t*>(type_c->old_types[i]->substruct)->unserialize( contiguous_struct_char,
1046                                                                            noncontiguous_struct_char,
1047                                                                            type_c->block_lengths[i],
1048                                                                            type_c->old_types[i]->substruct, op);
1049
1050       contiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_size(type_c->old_types[i]);
1051       if (i<type_c->block_count-1)
1052         noncontiguous_struct_char =  static_cast<char*>(noncontiguous_struct) + type_c->block_indices[i+1];
1053       else
1054         noncontiguous_struct_char += type_c->block_lengths[i]*smpi_datatype_get_extent(type_c->old_types[i]);
1055     }
1056     noncontiguous_struct=reinterpret_cast<void*>(noncontiguous_struct_char);
1057   }
1058 }
1059
1060 void free_struct(MPI_Datatype* type){
1061   int i=0;
1062   for (i = 0; i < reinterpret_cast<s_smpi_mpi_struct_t*>((*type)->substruct)->block_count; i++)
1063     smpi_datatype_unuse(reinterpret_cast<s_smpi_mpi_struct_t*>((*type)->substruct)->old_types[i]);
1064   if((*type)->in_use==0){
1065     xbt_free(reinterpret_cast<s_smpi_mpi_struct_t*>((*type)->substruct)->block_lengths);
1066     xbt_free(reinterpret_cast<s_smpi_mpi_struct_t*>((*type)->substruct)->block_indices);
1067     xbt_free(reinterpret_cast<s_smpi_mpi_struct_t*>((*type)->substruct)->old_types);
1068   }
1069 }
1070
1071 void use_struct(MPI_Datatype* type){
1072   int i=0;
1073   for (i = 0; i < reinterpret_cast<s_smpi_mpi_struct_t*>((*type)->substruct)->block_count; i++)
1074     smpi_datatype_use(reinterpret_cast<s_smpi_mpi_struct_t*>((*type)->substruct)->old_types[i]);
1075 }
1076
1077 /* Create a Sub type struct to be able to serialize and unserialize it the structure s_smpi_mpi_struct_t is derived
1078  * from s_smpi_subtype which required the functions unserialize and serialize
1079  */
1080 s_smpi_mpi_struct_t* smpi_datatype_struct_create( int* block_lengths, MPI_Aint* block_indices, int block_count,
1081                                                   MPI_Datatype* old_types){
1082   s_smpi_mpi_struct_t *new_t= xbt_new(s_smpi_mpi_struct_t,1);
1083   new_t->base.serialize = &serialize_struct;
1084   new_t->base.unserialize = &unserialize_struct;
1085   new_t->base.subtype_free = &free_struct;
1086   new_t->base.subtype_use = &use_struct;
1087   new_t->block_lengths= xbt_new(int, block_count);
1088   new_t->block_indices= xbt_new(MPI_Aint, block_count);
1089   new_t->old_types=  xbt_new(MPI_Datatype, block_count);
1090   int i;
1091   for(i=0;i<block_count;i++){
1092     new_t->block_lengths[i]=block_lengths[i];
1093     new_t->block_indices[i]=block_indices[i];
1094     new_t->old_types[i]=old_types[i];
1095     smpi_datatype_use(new_t->old_types[i]);
1096   }
1097   new_t->block_count = block_count;
1098   return new_t;
1099 }
1100
1101 int smpi_datatype_struct(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype* old_types, MPI_Datatype* new_type)
1102 {
1103   int i;
1104   size_t size = 0;
1105   bool contiguous=true;
1106   size = 0;
1107   MPI_Aint lb = 0;
1108   MPI_Aint ub = 0;
1109   if(count>0){
1110     lb=indices[0] + smpi_datatype_lb(old_types[0]);
1111     ub=indices[0] + blocklens[0]*smpi_datatype_ub(old_types[0]);
1112   }
1113   bool forced_lb=false;
1114   bool forced_ub=false;
1115   for(i=0; i< count; i++){
1116     if (blocklens[i]<0)
1117       return MPI_ERR_ARG;
1118     if (old_types[i]->sizeof_substruct != 0)
1119       contiguous=false;
1120
1121     size += blocklens[i]*smpi_datatype_size(old_types[i]);
1122     if (old_types[i]==MPI_LB){
1123       lb=indices[i];
1124       forced_lb=true;
1125     }
1126     if (old_types[i]==MPI_UB){
1127       ub=indices[i];
1128       forced_ub=true;
1129     }
1130
1131     if(!forced_lb && indices[i]+smpi_datatype_lb(old_types[i])<lb) 
1132       lb = indices[i];
1133     if(!forced_ub &&  indices[i]+blocklens[i]*smpi_datatype_ub(old_types[i])>ub)
1134       ub = indices[i]+blocklens[i]*smpi_datatype_ub(old_types[i]);
1135
1136     if ( (i< count -1) && (indices[i]+blocklens[i]*static_cast<int>(smpi_datatype_size(old_types[i])) != indices[i+1]) )
1137       contiguous=false;
1138   }
1139
1140   if(!contiguous){
1141     s_smpi_mpi_struct_t* subtype = smpi_datatype_struct_create( blocklens, indices, count, old_types);
1142
1143     smpi_datatype_create(new_type,  size, lb, ub,sizeof(s_smpi_mpi_struct_t), subtype, DT_FLAG_DATA);
1144   }else{
1145     s_smpi_mpi_contiguous_t* subtype = smpi_datatype_contiguous_create( lb, size, MPI_CHAR, 1);
1146     smpi_datatype_create(new_type,  size, lb, ub,1, subtype, DT_FLAG_DATA|DT_FLAG_CONTIGUOUS);
1147   }
1148   return MPI_SUCCESS;
1149 }
1150
1151 void smpi_datatype_commit(MPI_Datatype *datatype)
1152 {
1153   (*datatype)->flags=  ((*datatype)->flags | DT_FLAG_COMMITED);
1154 }
1155
1156 typedef struct s_smpi_mpi_op {
1157   MPI_User_function *func;
1158   bool is_commute;
1159 } s_smpi_mpi_op_t;
1160
1161 #define MAX_OP(a, b)  (b) = (a) < (b) ? (b) : (a)
1162 #define MIN_OP(a, b)  (b) = (a) < (b) ? (a) : (b)
1163 #define SUM_OP(a, b)  (b) += (a)
1164 #define PROD_OP(a, b) (b) *= (a)
1165 #define LAND_OP(a, b) (b) = (a) && (b)
1166 #define LOR_OP(a, b)  (b) = (a) || (b)
1167 #define LXOR_OP(a, b) (b) = (!(a) && (b)) || ((a) && !(b))
1168 #define BAND_OP(a, b) (b) &= (a)
1169 #define BOR_OP(a, b)  (b) |= (a)
1170 #define BXOR_OP(a, b) (b) ^= (a)
1171 #define MAXLOC_OP(a, b)  (b) = (a.value) < (b.value) ? (b) : (a)
1172 #define MINLOC_OP(a, b)  (b) = (a.value) < (b.value) ? (a) : (b)
1173
1174 #define APPLY_FUNC(a, b, length, type, func) \
1175 {                                          \
1176   int i;                                   \
1177   type* x = (type*)(a);                    \
1178   type* y = (type*)(b);                    \
1179   for(i = 0; i < *(length); i++) {         \
1180     func(x[i], y[i]);                      \
1181   }                                        \
1182 }
1183
1184 static void max_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1185 {
1186   if (*datatype == MPI_CHAR) {
1187     APPLY_FUNC(a, b, length, char, MAX_OP)
1188   } else if (*datatype == MPI_SHORT) {
1189     APPLY_FUNC(a, b, length, short, MAX_OP)
1190   } else if (*datatype == MPI_INT) {
1191     APPLY_FUNC(a, b, length, int, MAX_OP)
1192   } else if (*datatype == MPI_LONG) {
1193     APPLY_FUNC(a, b, length, long, MAX_OP)
1194   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1195     APPLY_FUNC(a, b, length, unsigned short, MAX_OP)
1196   } else if (*datatype == MPI_UNSIGNED) {
1197     APPLY_FUNC(a, b, length, unsigned int, MAX_OP)
1198   } else if (*datatype == MPI_UNSIGNED_LONG) {
1199     APPLY_FUNC(a, b, length, unsigned long, MAX_OP)
1200   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1201     APPLY_FUNC(a, b, length, unsigned char, MAX_OP)
1202   } else if (*datatype == MPI_FLOAT) {
1203     APPLY_FUNC(a, b, length, float, MAX_OP)
1204   } else if (*datatype == MPI_DOUBLE) {
1205     APPLY_FUNC(a, b, length, double, MAX_OP)
1206   } else if (*datatype == MPI_LONG_DOUBLE) {
1207     APPLY_FUNC(a, b, length, long double, MAX_OP)
1208   } else {
1209     xbt_die("Failed to apply MAX_OP to type %s", (*datatype)->name);
1210   }
1211 }
1212
1213 static void min_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1214 {
1215   if (*datatype == MPI_CHAR) {
1216     APPLY_FUNC(a, b, length, char, MIN_OP)
1217   } else if (*datatype == MPI_SHORT) {
1218     APPLY_FUNC(a, b, length, short, MIN_OP)
1219   } else if (*datatype == MPI_INT) {
1220     APPLY_FUNC(a, b, length, int, MIN_OP)
1221   } else if (*datatype == MPI_LONG) {
1222     APPLY_FUNC(a, b, length, long, MIN_OP)
1223   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1224     APPLY_FUNC(a, b, length, unsigned short, MIN_OP)
1225   } else if (*datatype == MPI_UNSIGNED) {
1226     APPLY_FUNC(a, b, length, unsigned int, MIN_OP)
1227   } else if (*datatype == MPI_UNSIGNED_LONG) {
1228     APPLY_FUNC(a, b, length, unsigned long, MIN_OP)
1229   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1230     APPLY_FUNC(a, b, length, unsigned char, MIN_OP)
1231   } else if (*datatype == MPI_FLOAT) {
1232     APPLY_FUNC(a, b, length, float, MIN_OP)
1233   } else if (*datatype == MPI_DOUBLE) {
1234     APPLY_FUNC(a, b, length, double, MIN_OP)
1235   } else if (*datatype == MPI_LONG_DOUBLE) {
1236     APPLY_FUNC(a, b, length, long double, MIN_OP)
1237   } else {
1238     xbt_die("Failed to apply MIN_OP to type %s", (*datatype)->name);
1239   }
1240 }
1241
1242 static void sum_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1243 {
1244   if (*datatype == MPI_CHAR) {
1245     APPLY_FUNC(a, b, length, char, SUM_OP)
1246   } else if (*datatype == MPI_SHORT) {
1247     APPLY_FUNC(a, b, length, short, SUM_OP)
1248   } else if (*datatype == MPI_INT) {
1249     APPLY_FUNC(a, b, length, int, SUM_OP)
1250   } else if (*datatype == MPI_LONG) {
1251     APPLY_FUNC(a, b, length, long, SUM_OP)
1252   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1253     APPLY_FUNC(a, b, length, unsigned short, SUM_OP)
1254   } else if (*datatype == MPI_UNSIGNED) {
1255     APPLY_FUNC(a, b, length, unsigned int, SUM_OP)
1256   } else if (*datatype == MPI_UNSIGNED_LONG) {
1257     APPLY_FUNC(a, b, length, unsigned long, SUM_OP)
1258   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1259     APPLY_FUNC(a, b, length, unsigned char, SUM_OP)
1260   } else if (*datatype == MPI_FLOAT) {
1261     APPLY_FUNC(a, b, length, float, SUM_OP)
1262   } else if (*datatype == MPI_DOUBLE) {
1263     APPLY_FUNC(a, b, length, double, SUM_OP)
1264   } else if (*datatype == MPI_LONG_DOUBLE) {
1265     APPLY_FUNC(a, b, length, long double, SUM_OP)
1266   } else if (*datatype == MPI_C_FLOAT_COMPLEX) {
1267     APPLY_FUNC(a, b, length, float _Complex, SUM_OP)
1268   } else if (*datatype == MPI_C_DOUBLE_COMPLEX) {
1269     APPLY_FUNC(a, b, length, double _Complex, SUM_OP)
1270   } else if (*datatype == MPI_C_LONG_DOUBLE_COMPLEX) {
1271     APPLY_FUNC(a, b, length, long double _Complex, SUM_OP)
1272   } else {
1273     xbt_die("Failed to apply SUM_OP to type %s", (*datatype)->name);
1274   }
1275 }
1276
1277 static void prod_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1278 {
1279   if (*datatype == MPI_CHAR) {
1280     APPLY_FUNC(a, b, length, char, PROD_OP)
1281   } else if (*datatype == MPI_SHORT) {
1282     APPLY_FUNC(a, b, length, short, PROD_OP)
1283   } else if (*datatype == MPI_INT) {
1284     APPLY_FUNC(a, b, length, int, PROD_OP)
1285   } else if (*datatype == MPI_LONG) {
1286     APPLY_FUNC(a, b, length, long, PROD_OP)
1287   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1288     APPLY_FUNC(a, b, length, unsigned short, PROD_OP)
1289   } else if (*datatype == MPI_UNSIGNED) {
1290     APPLY_FUNC(a, b, length, unsigned int, PROD_OP)
1291   } else if (*datatype == MPI_UNSIGNED_LONG) {
1292     APPLY_FUNC(a, b, length, unsigned long, PROD_OP)
1293   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1294     APPLY_FUNC(a, b, length, unsigned char, PROD_OP)
1295   } else if (*datatype == MPI_FLOAT) {
1296     APPLY_FUNC(a, b, length, float, PROD_OP)
1297   } else if (*datatype == MPI_DOUBLE) {
1298     APPLY_FUNC(a, b, length, double, PROD_OP)
1299   } else if (*datatype == MPI_LONG_DOUBLE) {
1300     APPLY_FUNC(a, b, length, long double, PROD_OP)
1301   } else if (*datatype == MPI_C_FLOAT_COMPLEX) {
1302     APPLY_FUNC(a, b, length, float _Complex, PROD_OP)
1303   } else if (*datatype == MPI_C_DOUBLE_COMPLEX) {
1304     APPLY_FUNC(a, b, length, double _Complex, PROD_OP)
1305   } else if (*datatype == MPI_C_LONG_DOUBLE_COMPLEX) {
1306     APPLY_FUNC(a, b, length, long double _Complex, PROD_OP)
1307   } else {
1308     xbt_die("Failed to apply PROD_OP to type %s", (*datatype)->name);
1309   }
1310 }
1311
1312 static void land_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1313 {
1314   if (*datatype == MPI_CHAR) {
1315     APPLY_FUNC(a, b, length, char, LAND_OP)
1316   } else if (*datatype == MPI_SHORT) {
1317     APPLY_FUNC(a, b, length, short, LAND_OP)
1318   } else if (*datatype == MPI_INT) {
1319     APPLY_FUNC(a, b, length, int, LAND_OP)
1320   } else if (*datatype == MPI_LONG) {
1321     APPLY_FUNC(a, b, length, long, LAND_OP)
1322   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1323     APPLY_FUNC(a, b, length, unsigned short, LAND_OP)
1324   } else if (*datatype == MPI_UNSIGNED) {
1325     APPLY_FUNC(a, b, length, unsigned int, LAND_OP)
1326   } else if (*datatype == MPI_UNSIGNED_LONG) {
1327     APPLY_FUNC(a, b, length, unsigned long, LAND_OP)
1328   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1329     APPLY_FUNC(a, b, length, unsigned char, LAND_OP)
1330   } else if (*datatype == MPI_C_BOOL) {
1331     APPLY_FUNC(a, b, length, bool, LAND_OP)
1332   } else {
1333     xbt_die("Failed to apply LAND_OP to type %s", (*datatype)->name);
1334   }
1335 }
1336
1337 static void lor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1338 {
1339   if (*datatype == MPI_CHAR) {
1340     APPLY_FUNC(a, b, length, char, LOR_OP)
1341   } else if (*datatype == MPI_SHORT) {
1342     APPLY_FUNC(a, b, length, short, LOR_OP)
1343   } else if (*datatype == MPI_INT) {
1344     APPLY_FUNC(a, b, length, int, LOR_OP)
1345   } else if (*datatype == MPI_LONG) {
1346     APPLY_FUNC(a, b, length, long, LOR_OP)
1347   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1348     APPLY_FUNC(a, b, length, unsigned short, LOR_OP)
1349   } else if (*datatype == MPI_UNSIGNED) {
1350     APPLY_FUNC(a, b, length, unsigned int, LOR_OP)
1351   } else if (*datatype == MPI_UNSIGNED_LONG) {
1352     APPLY_FUNC(a, b, length, unsigned long, LOR_OP)
1353   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1354     APPLY_FUNC(a, b, length, unsigned char, LOR_OP)
1355   } else if (*datatype == MPI_C_BOOL) {
1356     APPLY_FUNC(a, b, length, bool, LOR_OP)
1357   } else {
1358     xbt_die("Failed to apply LOR_OP to type %s", (*datatype)->name);
1359   }
1360 }
1361
1362 static void lxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1363 {
1364   if (*datatype == MPI_CHAR) {
1365     APPLY_FUNC(a, b, length, char, LXOR_OP)
1366   } else if (*datatype == MPI_SHORT) {
1367     APPLY_FUNC(a, b, length, short, LXOR_OP)
1368   } else if (*datatype == MPI_INT) {
1369     APPLY_FUNC(a, b, length, int, LXOR_OP)
1370   } else if (*datatype == MPI_LONG) {
1371     APPLY_FUNC(a, b, length, long, LXOR_OP)
1372   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1373     APPLY_FUNC(a, b, length, unsigned short, LXOR_OP)
1374   } else if (*datatype == MPI_UNSIGNED) {
1375     APPLY_FUNC(a, b, length, unsigned int, LXOR_OP)
1376   } else if (*datatype == MPI_UNSIGNED_LONG) {
1377     APPLY_FUNC(a, b, length, unsigned long, LXOR_OP)
1378   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1379     APPLY_FUNC(a, b, length, unsigned char, LXOR_OP)
1380   } else if (*datatype == MPI_C_BOOL) {
1381     APPLY_FUNC(a, b, length, bool, LXOR_OP)
1382   } else {
1383     xbt_die("Failed to apply LXOR_OP to type %s", (*datatype)->name);
1384   }
1385 }
1386
1387 static void band_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1388 {
1389   if (*datatype == MPI_CHAR) {
1390     APPLY_FUNC(a, b, length, char, BAND_OP)
1391   }else if (*datatype == MPI_SHORT) {
1392     APPLY_FUNC(a, b, length, short, BAND_OP)
1393   } else if (*datatype == MPI_INT) {
1394     APPLY_FUNC(a, b, length, int, BAND_OP)
1395   } else if (*datatype == MPI_LONG) {
1396     APPLY_FUNC(a, b, length, long, BAND_OP)
1397   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1398     APPLY_FUNC(a, b, length, unsigned short, BAND_OP)
1399   } else if (*datatype == MPI_UNSIGNED) {
1400     APPLY_FUNC(a, b, length, unsigned int, BAND_OP)
1401   } else if (*datatype == MPI_UNSIGNED_LONG) {
1402     APPLY_FUNC(a, b, length, unsigned long, BAND_OP)
1403   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1404     APPLY_FUNC(a, b, length, unsigned char, BAND_OP)
1405   } else if (*datatype == MPI_BYTE) {
1406     APPLY_FUNC(a, b, length, uint8_t, BAND_OP)
1407   } else {
1408     xbt_die("Failed to apply BAND_OP to type %s", (*datatype)->name);
1409   }
1410 }
1411
1412 static void bor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1413 {
1414   if (*datatype == MPI_CHAR) {
1415     APPLY_FUNC(a, b, length, char, BOR_OP)
1416   } else if (*datatype == MPI_SHORT) {
1417     APPLY_FUNC(a, b, length, short, BOR_OP)
1418   } else if (*datatype == MPI_INT) {
1419     APPLY_FUNC(a, b, length, int, BOR_OP)
1420   } else if (*datatype == MPI_LONG) {
1421     APPLY_FUNC(a, b, length, long, BOR_OP)
1422   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1423     APPLY_FUNC(a, b, length, unsigned short, BOR_OP)
1424   } else if (*datatype == MPI_UNSIGNED) {
1425     APPLY_FUNC(a, b, length, unsigned int, BOR_OP)
1426   } else if (*datatype == MPI_UNSIGNED_LONG) {
1427     APPLY_FUNC(a, b, length, unsigned long, BOR_OP)
1428   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1429     APPLY_FUNC(a, b, length, unsigned char, BOR_OP)
1430   } else if (*datatype == MPI_BYTE) {
1431     APPLY_FUNC(a, b, length, uint8_t, BOR_OP)
1432   } else {
1433     xbt_die("Failed to apply BOR_OP to type %s", (*datatype)->name);
1434   }
1435 }
1436
1437 static void bxor_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1438 {
1439   if (*datatype == MPI_CHAR) {
1440     APPLY_FUNC(a, b, length, char, BXOR_OP)
1441   } else if (*datatype == MPI_SHORT) {
1442     APPLY_FUNC(a, b, length, short, BXOR_OP)
1443   } else if (*datatype == MPI_INT) {
1444     APPLY_FUNC(a, b, length, int, BXOR_OP)
1445   } else if (*datatype == MPI_LONG) {
1446     APPLY_FUNC(a, b, length, long, BXOR_OP)
1447   } else if (*datatype == MPI_UNSIGNED_SHORT) {
1448     APPLY_FUNC(a, b, length, unsigned short, BXOR_OP)
1449   } else if (*datatype == MPI_UNSIGNED) {
1450     APPLY_FUNC(a, b, length, unsigned int, BXOR_OP)
1451   } else if (*datatype == MPI_UNSIGNED_LONG) {
1452     APPLY_FUNC(a, b, length, unsigned long, BXOR_OP)
1453   } else if (*datatype == MPI_UNSIGNED_CHAR) {
1454     APPLY_FUNC(a, b, length, unsigned char, BXOR_OP)
1455   } else if (*datatype == MPI_BYTE) {
1456     APPLY_FUNC(a, b, length, uint8_t, BXOR_OP)
1457   } else {
1458     xbt_die("Failed to apply BXOR_OP to type %s", (*datatype)->name);
1459   }
1460 }
1461
1462 static void minloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1463 {
1464   if (*datatype == MPI_FLOAT_INT) {
1465     APPLY_FUNC(a, b, length, float_int, MINLOC_OP)
1466   } else if (*datatype == MPI_LONG_INT) {
1467     APPLY_FUNC(a, b, length, long_int, MINLOC_OP)
1468   } else if (*datatype == MPI_DOUBLE_INT) {
1469     APPLY_FUNC(a, b, length, double_int, MINLOC_OP)
1470   } else if (*datatype == MPI_SHORT_INT) {
1471     APPLY_FUNC(a, b, length, short_int, MINLOC_OP)
1472   } else if (*datatype == MPI_2LONG) {
1473     APPLY_FUNC(a, b, length, long_long, MINLOC_OP)
1474   } else if (*datatype == MPI_2INT) {
1475     APPLY_FUNC(a, b, length, int_int, MINLOC_OP)
1476   } else if (*datatype == MPI_LONG_DOUBLE_INT) {
1477     APPLY_FUNC(a, b, length, long_double_int, MINLOC_OP)
1478   } else if (*datatype == MPI_2FLOAT) {
1479     APPLY_FUNC(a, b, length, float_float, MINLOC_OP)
1480   } else if (*datatype == MPI_2DOUBLE) {
1481     APPLY_FUNC(a, b, length, double_double, MINLOC_OP)
1482   } else {
1483     xbt_die("Failed to apply MINLOC_OP to type %s", (*datatype)->name);
1484   }
1485 }
1486
1487 static void maxloc_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1488 {
1489   if (*datatype == MPI_FLOAT_INT) {
1490     APPLY_FUNC(a, b, length, float_int, MAXLOC_OP)
1491   } else if (*datatype == MPI_LONG_INT) {
1492     APPLY_FUNC(a, b, length, long_int, MAXLOC_OP)
1493   } else if (*datatype == MPI_DOUBLE_INT) {
1494     APPLY_FUNC(a, b, length, double_int, MAXLOC_OP)
1495   } else if (*datatype == MPI_SHORT_INT) {
1496     APPLY_FUNC(a, b, length, short_int, MAXLOC_OP)
1497   } else if (*datatype == MPI_2LONG) {
1498     APPLY_FUNC(a, b, length, long_long, MAXLOC_OP)
1499   } else if (*datatype == MPI_2INT) {
1500     APPLY_FUNC(a, b, length, int_int, MAXLOC_OP)
1501   } else if (*datatype == MPI_LONG_DOUBLE_INT) {
1502     APPLY_FUNC(a, b, length, long_double_int, MAXLOC_OP)
1503   } else if (*datatype == MPI_2FLOAT) {
1504     APPLY_FUNC(a, b, length, float_float, MAXLOC_OP)
1505   } else if (*datatype == MPI_2DOUBLE) {
1506     APPLY_FUNC(a, b, length, double_double, MAXLOC_OP)
1507   } else {
1508     xbt_die("Failed to apply MAXLOC_OP to type %s", (*datatype)->name);
1509   }
1510 }
1511
1512 static void replace_func(void *a, void *b, int *length, MPI_Datatype * datatype)
1513 {
1514   memcpy(b, a, *length * smpi_datatype_size(*datatype));
1515 }
1516
1517 #define CREATE_MPI_OP(name, func)                             \
1518   static s_smpi_mpi_op_t mpi_##name = { &(func) /* func */, true }; \
1519 MPI_Op name = &mpi_##name;
1520
1521 CREATE_MPI_OP(MPI_MAX, max_func);
1522 CREATE_MPI_OP(MPI_MIN, min_func);
1523 CREATE_MPI_OP(MPI_SUM, sum_func);
1524 CREATE_MPI_OP(MPI_PROD, prod_func);
1525 CREATE_MPI_OP(MPI_LAND, land_func);
1526 CREATE_MPI_OP(MPI_LOR, lor_func);
1527 CREATE_MPI_OP(MPI_LXOR, lxor_func);
1528 CREATE_MPI_OP(MPI_BAND, band_func);
1529 CREATE_MPI_OP(MPI_BOR, bor_func);
1530 CREATE_MPI_OP(MPI_BXOR, bxor_func);
1531 CREATE_MPI_OP(MPI_MAXLOC, maxloc_func);
1532 CREATE_MPI_OP(MPI_MINLOC, minloc_func);
1533 CREATE_MPI_OP(MPI_REPLACE, replace_func);
1534
1535 MPI_Op smpi_op_new(MPI_User_function * function, bool commute)
1536 {
1537   MPI_Op op;
1538   op = xbt_new(s_smpi_mpi_op_t, 1);
1539   op->func = function;
1540   op-> is_commute = commute;
1541   return op;
1542 }
1543
1544 bool smpi_op_is_commute(MPI_Op op)
1545 {
1546   return (op==MPI_OP_NULL) ? true : op-> is_commute;
1547 }
1548
1549 void smpi_op_destroy(MPI_Op op)
1550 {
1551   xbt_free(op);
1552 }
1553
1554 void smpi_op_apply(MPI_Op op, const void *invec, void *inoutvec, int *len, MPI_Datatype * datatype)
1555 {
1556   if(op==MPI_OP_NULL)
1557     return;
1558
1559   if(smpi_privatize_global_variables){//we need to switch as the called function may silently touch global variables
1560     XBT_DEBUG("Applying operation, switch to the right data frame ");
1561     smpi_switch_data_segment(smpi_process_index());
1562   }
1563
1564   if(!smpi_process_get_replaying())
1565     op->func(const_cast<void*>(invec), inoutvec, len, datatype);
1566 }
1567
1568 int smpi_type_attr_delete(MPI_Datatype type, int keyval){
1569   smpi_type_key_elem elem =
1570     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, reinterpret_cast<const char*>(&keyval), sizeof(int)));
1571   if(elem==nullptr)
1572     return MPI_ERR_ARG;
1573   if(elem->delete_fn!=MPI_NULL_DELETE_FN){
1574     void * value = nullptr;
1575     int flag;
1576     if(smpi_type_attr_get(type, keyval, &value, &flag)==MPI_SUCCESS){
1577       int ret = elem->delete_fn(type, keyval, value, &flag);
1578       if(ret!=MPI_SUCCESS) 
1579         return ret;
1580     }
1581   }  
1582   if(type->attributes==nullptr)
1583     return MPI_ERR_ARG;
1584
1585   xbt_dict_remove_ext(type->attributes, reinterpret_cast<const char*>(&keyval), sizeof(int));
1586   return MPI_SUCCESS;
1587 }
1588
1589 int smpi_type_attr_get(MPI_Datatype type, int keyval, void* attr_value, int* flag){
1590   smpi_type_key_elem elem =
1591     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, reinterpret_cast<const char*>(&keyval), sizeof(int)));
1592   if(elem==nullptr)
1593     return MPI_ERR_ARG;
1594   if(type->attributes==nullptr){
1595     *flag=0;
1596     return MPI_SUCCESS;
1597   }
1598   try {
1599     *static_cast<void**>(attr_value) = xbt_dict_get_ext(type->attributes, reinterpret_cast<const char*>(&keyval), sizeof(int));
1600     *flag=1;
1601   }
1602   catch (xbt_ex& ex) {
1603     *flag=0;
1604   }
1605   return MPI_SUCCESS;
1606 }
1607
1608 int smpi_type_attr_put(MPI_Datatype type, int keyval, void* attr_value){
1609   if(smpi_type_keyvals==nullptr)
1610     smpi_type_keyvals = xbt_dict_new();
1611   smpi_type_key_elem elem =
1612      static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, reinterpret_cast<const char*>(&keyval), sizeof(int)));
1613   if(elem==nullptr)
1614     return MPI_ERR_ARG;
1615   int flag;
1616   void* value = nullptr;
1617   smpi_type_attr_get(type, keyval, &value, &flag);
1618   if(flag!=0 && elem->delete_fn!=MPI_NULL_DELETE_FN){
1619     int ret = elem->delete_fn(type, keyval, value, &flag);
1620     if(ret!=MPI_SUCCESS) 
1621       return ret;
1622   }
1623   if(type->attributes==nullptr)
1624     type->attributes=xbt_dict_new();
1625
1626   xbt_dict_set_ext(type->attributes, reinterpret_cast<const char*>(&keyval), sizeof(int), attr_value, nullptr);
1627   return MPI_SUCCESS;
1628 }
1629
1630 int smpi_type_keyval_create(MPI_Type_copy_attr_function* copy_fn, MPI_Type_delete_attr_function* delete_fn, int* keyval,
1631                             void* extra_state){
1632   if(smpi_type_keyvals==nullptr)
1633     smpi_type_keyvals = xbt_dict_new();
1634
1635   smpi_type_key_elem value = (smpi_type_key_elem) xbt_new0(s_smpi_mpi_type_key_elem_t,1);
1636
1637   value->copy_fn=copy_fn;
1638   value->delete_fn=delete_fn;
1639
1640   *keyval = type_keyval_id;
1641   xbt_dict_set_ext(smpi_type_keyvals,reinterpret_cast<const char*>(keyval), sizeof(int),reinterpret_cast<void*>(value), nullptr);
1642   type_keyval_id++;
1643   return MPI_SUCCESS;
1644 }
1645
1646 int smpi_type_keyval_free(int* keyval){
1647   smpi_type_key_elem elem =
1648     static_cast<smpi_type_key_elem>(xbt_dict_get_or_null_ext(smpi_type_keyvals, reinterpret_cast<const char*>(keyval), sizeof(int)));
1649   if(elem==0){
1650     return MPI_ERR_ARG;
1651   }
1652   xbt_dict_remove_ext(smpi_type_keyvals, reinterpret_cast<const char*>(keyval), sizeof(int));
1653   xbt_free(elem);
1654   return MPI_SUCCESS;
1655 }
1656
1657 int smpi_mpi_pack(void* inbuf, int incount, MPI_Datatype type, void* outbuf, int outcount, int* position,MPI_Comm comm){
1658   size_t size = smpi_datatype_size(type);
1659   if (outcount - *position < incount*static_cast<int>(size))
1660     return MPI_ERR_BUFFER;
1661   smpi_datatype_copy(inbuf, incount, type, static_cast<char*>(outbuf) + *position, outcount, MPI_CHAR);
1662   *position += incount * size;
1663   return MPI_SUCCESS;
1664 }
1665
1666 int smpi_mpi_unpack(void* inbuf, int insize, int* position, void* outbuf, int outcount, MPI_Datatype type,MPI_Comm comm){
1667   int size = static_cast<int>(smpi_datatype_size(type));
1668   if (outcount*size> insize)
1669     return MPI_ERR_BUFFER;
1670   smpi_datatype_copy(static_cast<char*>(inbuf) + *position, insize, MPI_CHAR, outbuf, outcount, type);
1671   *position += outcount * size;
1672   return MPI_SUCCESS;
1673 }