Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
[DOC] Add doc for call-location aware simulation.
[simgrid.git] / include / smpi / smpi.h
1 /* Copyright (c) 2007-2015. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #ifndef SMPI_H
8 #define SMPI_H
9
10 #include <unistd.h>
11 #include <sys/time.h>
12
13 #include <stddef.h>
14 #include <xbt/misc.h>
15 #include <xbt/function_types.h>
16
17 #include "src/instr/instr_smpi.h"
18
19 #ifdef _WIN32
20 #define MPI_CALL(type,name,args) \
21   type name args; \
22   type P##name args
23 #else
24 #define MPI_CALL(type,name,args) \
25   type name args __attribute__((weak)); \
26   type P##name args
27 #endif
28
29 SG_BEGIN_DECL()
30 #define MPI_THREAD_SINGLE     0
31 #define MPI_THREAD_FUNNELED   1
32 #define MPI_THREAD_SERIALIZED 2
33 #define MPI_THREAD_MULTIPLE   3
34 //FIXME: check values
35 #define MPI_MAX_PROCESSOR_NAME 100
36 #define MPI_MAX_NAME_STRING    100
37 #define MPI_MAX_ERROR_STRING   100
38 #define MPI_MAX_DATAREP_STRIN  100
39 #define MPI_MAX_INFO_KEY       100
40 #define MPI_MAX_INFO_VAL       100
41 #define MPI_MAX_OBJECT_NAME    100
42 #define MPI_MAX_PORT_NAME      100
43 #define MPI_MAX_LIBRARY_VERSION_STRING 100
44 #define SMPI_RAND_SEED 5
45 #define MPI_ANY_SOURCE -555
46 #define MPI_BOTTOM (void *)-111
47 #define MPI_PROC_NULL -666
48 #define MPI_ANY_TAG -444
49 #define MPI_UNDEFINED -333
50 #define MPI_IN_PLACE (void *)-222
51
52 // errorcodes
53 #define MPI_SUCCESS                    0
54 #define MPI_ERR_COMM                   1
55 #define MPI_ERR_ARG                    2
56 #define MPI_ERR_TYPE                   3
57 #define MPI_ERR_REQUEST                4
58 #define MPI_ERR_INTERN                 5
59 #define MPI_ERR_COUNT                  6
60 #define MPI_ERR_RANK                   7
61 #define MPI_ERR_TAG                    8
62 #define MPI_ERR_TRUNCATE               9
63 #define MPI_ERR_GROUP                 10
64 #define MPI_ERR_OP                    11
65 #define MPI_ERR_OTHER                 12
66 #define MPI_ERR_IN_STATUS             13
67 #define MPI_ERR_PENDING               14
68 #define MPI_ERR_BUFFER                15
69 #define MPI_ERR_NAME                  16
70 #define MPI_ERR_DIMS                  17
71 #define MPI_ERR_TOPOLOGY              18
72 #define MPI_ERR_NO_MEM                19
73 #define MPI_ERR_WIN                   20
74 #define MPI_ERR_INFO_VALUE            21
75 #define MPI_ERR_INFO_KEY              22
76 #define MPI_ERR_INFO_NOKEY            23
77 #define MPI_ERR_ROOT                  24
78 #define MPI_ERR_UNKNOWN               25
79 #define MPI_ERR_KEYVAL                26
80 #define MPI_ERR_BASE                  27
81 #define MPI_ERR_SPAWN                 28
82 #define MPI_ERR_PORT                  29
83 #define MPI_ERR_SERVICE               30
84 #define MPI_ERR_SIZE                  31
85 #define MPI_ERR_DISP                  32
86 #define MPI_ERR_INFO                  33
87 #define MPI_ERR_LOCKTYPE              34
88 #define MPI_ERR_ASSERT                35
89 #define MPI_RMA_CONFLICT              36
90 #define MPI_RMA_SYNC                  37
91 #define MPI_ERR_FILE                  38
92 #define MPI_ERR_NOT_SAME              39
93 #define MPI_ERR_AMODE                 40
94 #define MPI_ERR_UNSUPPORTED_DATAREP   41
95 #define MPI_ERR_UNSUPPORTED_OPERATION 42
96 #define MPI_ERR_NO_SUCH_FILE          43
97 #define MPI_ERR_FILE_EXISTS           44
98 #define MPI_ERR_BAD_FILE              45
99 #define MPI_ERR_ACCESS                46
100 #define MPI_ERR_NO_SPACE              47
101 #define MPI_ERR_QUOTA                 48
102 #define MPI_ERR_READ_ONLY             49
103 #define MPI_ERR_FILE_IN_USE           50
104 #define MPI_ERR_DUP_DATAREP           51
105 #define MPI_ERR_CONVERSION            52
106 #define MPI_ERR_IO                    53
107 #define MPI_ERR_RMA_ATTACH            54
108 #define MPI_ERR_RMA_CONFLICT          55
109 #define MPI_ERR_RMA_RANGE             56
110 #define MPI_ERR_RMA_SHARED            57
111 #define MPI_ERR_RMA_SYNC              58
112 #define MPI_ERR_RMA_FLAVOR            59
113 #define MPI_T_ERR_CANNOT_INIT         60
114 #define MPI_T_ERR_NOT_INITIALIZED     61
115 #define MPI_T_ERR_MEMORY              62
116 #define MPI_T_ERR_INVALID_INDEX       63
117 #define MPI_T_ERR_INVALID_ITEM        64
118 #define MPI_T_ERR_INVALID_SESSION     65
119 #define MPI_T_ERR_INVALID_HANDLE      66
120 #define MPI_T_ERR_OUT_OF_HANDLES      67
121 #define MPI_T_ERR_OUT_OF_SESSIONS     68
122 #define MPI_T_ERR_CVAR_SET_NOT_NOW    69
123 #define MPI_T_ERR_CVAR_SET_NEVER      70
124 #define MPI_T_ERR_PVAR_NO_WRITE       71
125 #define MPI_T_ERR_PVAR_NO_STARTSTOP   72
126 #define MPI_T_ERR_PVAR_NO_ATOMIC      73
127
128 #define MPI_ERRCODES_IGNORE (int *)0
129 #define MPI_IDENT     0
130 #define MPI_SIMILAR   1
131 #define MPI_UNEQUAL   2
132 #define MPI_CONGRUENT 3
133
134 #define MPI_BSEND_OVERHEAD   0
135
136 /* Attribute keys */
137 #define MPI_IO               -1
138 #define MPI_HOST             -2
139 #define MPI_WTIME_IS_GLOBAL  -3
140 #define MPI_APPNUM           -4
141 #define MPI_TAG_UB           -5
142 #define MPI_TAG_LB           -6
143 #define MPI_UNIVERSE_SIZE    -7
144 #define MPI_LASTUSEDCODE     -8
145
146 #define MPI_MODE_NOSTORE 0x1
147 #define MPI_MODE_NOPUT 0x2
148 #define MPI_MODE_NOPRECEDE 0x4
149 #define MPI_MODE_NOSUCCEED 0x8
150 #define MPI_MODE_NOCHECK 0x10
151
152 #define MPI_KEYVAL_INVALID 0
153 #define MPI_NULL_COPY_FN NULL
154 #define MPI_NULL_DELETE_FN NULL
155 #define MPI_ERR_LASTCODE 74
156
157 #define MPI_CXX_BOOL MPI_DATATYPE_NULL
158 #define MPI_CXX_FLOAT_COMPLEX MPI_DATATYPE_NULL
159 #define MPI_CXX_DOUBLE_COMPLEX MPI_DATATYPE_NULL
160 #define MPI_CXX_LONG_DOUBLE_COMPLEX MPI_DATATYPE_NULL
161
162 #define MPI_DISTRIBUTE_BLOCK 0
163 #define MPI_DISTRIBUTE_NONE 1
164 #define MPI_DISTRIBUTE_CYCLIC 2
165 #define MPI_DISTRIBUTE_DFLT_DARG 0
166 #define MPI_ORDER_C 1
167 #define MPI_ORDER_FORTRAN 0
168
169 #define MPI_TYPECLASS_REAL 0
170 #define MPI_TYPECLASS_INTEGER 1
171 #define MPI_TYPECLASS_COMPLEX 2
172 #define MPI_ROOT 0
173 #define MPI_INFO_NULL NULL
174 #define MPI_COMM_TYPE_SHARED    1
175 #define MPI_WIN_NULL ((MPI_Win)NULL)
176
177 #define MPI_VERSION 1
178 #define MPI_SUBVERSION 1
179 #define MPI_UNWEIGHTED      (int *)0
180 #define MPI_ARGV_NULL (char **)0
181 #define MPI_ARGVS_NULL (char ***)0
182 #define MPI_LOCK_EXCLUSIVE           1
183 #define MPI_LOCK_SHARED              2
184
185 #define MPI_MODE_RDONLY              2
186 #define MPI_MODE_RDWR                8
187 #define MPI_MODE_WRONLY              4
188 #define MPI_MODE_CREATE              1
189 #define MPI_MODE_EXCL               64
190 #define MPI_MODE_DELETE_ON_CLOSE    16
191 #define MPI_MODE_UNIQUE_OPEN        32
192 #define MPI_MODE_APPEND            128
193 #define MPI_MODE_SEQUENTIAL        256
194 #define MPI_FILE_NULL ((MPI_File) 0)
195 #define MPI_DISPLACEMENT_CURRENT   -54278278
196 #define MPI_SEEK_SET            600
197 #define MPI_SEEK_CUR            602
198 #define MPI_SEEK_END            604
199 #define MPI_MAX_DATAREP_STRING  128
200
201 // FIXME : used nowhere...
202 typedef enum MPIR_Combiner_enum{
203   MPI_COMBINER_NAMED,
204   MPI_COMBINER_DUP,
205   MPI_COMBINER_CONTIGUOUS,
206   MPI_COMBINER_VECTOR,
207   MPI_COMBINER_HVECTOR_INTEGER,
208   MPI_COMBINER_HVECTOR,
209   MPI_COMBINER_INDEXED,
210   MPI_COMBINER_HINDEXED_INTEGER,
211   MPI_COMBINER_HINDEXED,
212   MPI_COMBINER_INDEXED_BLOCK,
213   MPI_COMBINER_STRUCT_INTEGER,
214   MPI_COMBINER_STRUCT,
215   MPI_COMBINER_SUBARRAY,
216   MPI_COMBINER_DARRAY,
217   MPI_COMBINER_F90_REAL,
218   MPI_COMBINER_F90_COMPLEX,
219   MPI_COMBINER_F90_INTEGER,
220   MPI_COMBINER_RESIZED,
221   MPI_COMBINER_HINDEXED_BLOCK
222 }MPIR_Combiner_enum;
223
224 typedef enum MPIR_Topo_type {
225   MPI_GRAPH=1,
226   MPI_CART=2,
227   MPI_DIST_GRAPH=3,
228   MPI_INVALID_TOPO=-1
229 } MPIR_Topo_type;
230
231 typedef ptrdiff_t MPI_Aint;
232 typedef long long MPI_Offset;
233
234 struct s_MPI_File;
235 typedef struct s_MPI_File *MPI_File;
236
237 struct s_smpi_mpi_datatype;
238 typedef struct s_smpi_mpi_datatype *MPI_Datatype;
239
240 typedef struct {
241   int MPI_SOURCE;
242   int MPI_TAG;
243   int MPI_ERROR;
244   int count;
245 } MPI_Status;
246
247 struct s_smpi_mpi_win;
248 typedef struct s_smpi_mpi_win* MPI_Win;
249 struct s_smpi_mpi_info;
250 typedef struct s_smpi_mpi_info *MPI_Info;
251
252 #define MPI_STATUS_IGNORE ((MPI_Status*)NULL)
253 #define MPI_STATUSES_IGNORE ((MPI_Status*)NULL)
254
255 #define MPI_DATATYPE_NULL ((const MPI_Datatype)NULL)
256 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_CHAR;
257 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_SHORT;
258 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INT;
259 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_LONG;
260 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_LONG_LONG;
261 #define MPI_LONG_LONG_INT MPI_LONG_LONG
262 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_SIGNED_CHAR;
263 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UNSIGNED_CHAR;
264 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UNSIGNED_SHORT;
265 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UNSIGNED;
266 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UNSIGNED_LONG;
267 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UNSIGNED_LONG_LONG;
268 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_FLOAT;
269 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_DOUBLE;
270 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_LONG_DOUBLE;
271 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_WCHAR;
272 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_C_BOOL;
273 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INT8_T;
274 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INT16_T;
275 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INT32_T;
276 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INT64_T;
277 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UINT8_T;
278 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_BYTE;
279 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UINT16_T;
280 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UINT32_T;
281 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UINT64_T;
282 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_C_FLOAT_COMPLEX;
283 #define MPI_C_COMPLEX MPI_C_FLOAT_COMPLEX
284 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_C_DOUBLE_COMPLEX;
285 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_C_LONG_DOUBLE_COMPLEX;
286 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_AINT;
287 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_OFFSET;
288 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_LB;
289 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_UB;
290 //The following are datatypes for the MPI functions MPI_MAXLOC  and MPI_MINLOC.
291 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_FLOAT_INT;
292 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_LONG_INT;
293 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_DOUBLE_INT;
294 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_SHORT_INT;
295 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_2INT;
296 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_LONG_DOUBLE_INT;
297 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_2FLOAT;
298 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_2DOUBLE;
299 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_2LONG;//only for compatibility with Fortran
300
301 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_REAL;
302 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_REAL4;
303 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_REAL8;
304 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_REAL16;
305 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_COMPLEX8;
306 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_COMPLEX16;
307 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_COMPLEX32;
308 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INTEGER1;
309 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INTEGER2;
310 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INTEGER4;
311 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INTEGER8;
312 XBT_PUBLIC_DATA( const MPI_Datatype ) MPI_INTEGER16;
313
314 //for now we only send int values at max
315 #define MPI_Count int
316 #define MPI_COUNT MPI_INT
317
318 //defines for fortran compatibility
319 #if defined(__alpha__) || defined(__sparc64__) || defined(__x86_64__) || defined(__ia64__)
320   #define MPI_INTEGER MPI_INT
321   #define MPI_2INTEGER MPI_2INT
322   #define MPI_LOGICAL MPI_INT
323 #else
324   #define MPI_INTEGER MPI_LONG
325   #define MPI_2INTEGER MPI_2LONG
326   #define MPI_LOGICAL MPI_LONG
327 #endif
328
329 #define MPI_Fint int
330
331 #define MPI_COMPLEX MPI_C_FLOAT_COMPLEX
332 #define MPI_DOUBLE_COMPLEX MPI_C_DOUBLE_COMPLEX
333 #define MPI_LOGICAL1 MPI_UINT8_T
334 #define MPI_LOGICAL2 MPI_UINT16_T
335 #define MPI_LOGICAL4 MPI_UINT32_T
336 #define MPI_LOGICAL8 MPI_UINT64_T
337 #define MPI_2REAL MPI_2FLOAT
338 #define MPI_CHARACTER MPI_CHAR
339 #define MPI_DOUBLE_PRECISION MPI_DOUBLE
340 #define MPI_2DOUBLE_PRECISION MPI_2DOUBLE
341
342 typedef void MPI_User_function(void *invec, void *inoutvec, int *len, MPI_Datatype * datatype);
343 struct s_smpi_mpi_op;
344 typedef struct s_smpi_mpi_op *MPI_Op;
345
346 #define MPI_OP_NULL ((MPI_Op)NULL)
347 XBT_PUBLIC_DATA( MPI_Op ) MPI_MAX;
348 XBT_PUBLIC_DATA( MPI_Op ) MPI_MIN;
349 XBT_PUBLIC_DATA( MPI_Op ) MPI_MAXLOC;
350 XBT_PUBLIC_DATA( MPI_Op ) MPI_MINLOC;
351 XBT_PUBLIC_DATA( MPI_Op ) MPI_SUM;
352 XBT_PUBLIC_DATA( MPI_Op ) MPI_PROD;
353 XBT_PUBLIC_DATA( MPI_Op ) MPI_LAND;
354 XBT_PUBLIC_DATA( MPI_Op ) MPI_LOR;
355 XBT_PUBLIC_DATA( MPI_Op ) MPI_LXOR;
356 XBT_PUBLIC_DATA( MPI_Op ) MPI_BAND;
357 XBT_PUBLIC_DATA( MPI_Op ) MPI_BOR;
358 XBT_PUBLIC_DATA( MPI_Op ) MPI_BXOR;
359 //For accumulate
360 XBT_PUBLIC_DATA( MPI_Op ) MPI_REPLACE;
361
362 struct s_smpi_mpi_topology;
363 typedef struct s_smpi_mpi_topology *MPI_Topology;
364                                    
365 struct s_smpi_mpi_group;
366 typedef struct s_smpi_mpi_group *MPI_Group;
367
368 #define MPI_GROUP_NULL ((MPI_Group)NULL)
369
370 XBT_PUBLIC_DATA( MPI_Group ) MPI_GROUP_EMPTY;
371
372 struct s_smpi_mpi_communicator;
373 typedef struct s_smpi_mpi_communicator *MPI_Comm;
374
375 #define MPI_COMM_NULL ((MPI_Comm)NULL)
376 XBT_PUBLIC_DATA( MPI_Comm ) MPI_COMM_WORLD;
377 #define MPI_COMM_SELF smpi_process_comm_self()
378
379 struct s_smpi_mpi_request;
380 typedef struct s_smpi_mpi_request *MPI_Request;
381
382 #define MPI_REQUEST_NULL ((MPI_Request)NULL)
383 #define MPI_FORTRAN_REQUEST_NULL -1
384
385 MPI_CALL(XBT_PUBLIC(int), MPI_Init, (int *argc, char ***argv));
386 MPI_CALL(XBT_PUBLIC(int), MPI_Finalize, (void));
387 MPI_CALL(XBT_PUBLIC(int), MPI_Finalized, (int* flag));
388 MPI_CALL(XBT_PUBLIC(int), MPI_Init_thread, (int *argc, char ***argv, int required, int *provided));
389 MPI_CALL(XBT_PUBLIC(int), MPI_Query_thread, (int *provided));
390 MPI_CALL(XBT_PUBLIC(int), MPI_Is_thread_main, (int *flag));
391 MPI_CALL(XBT_PUBLIC(int), MPI_Abort, (MPI_Comm comm, int errorcode));
392 MPI_CALL(XBT_PUBLIC(double), MPI_Wtime, (void));
393 MPI_CALL(XBT_PUBLIC(double), MPI_Wtick,(void));
394 MPI_CALL(XBT_PUBLIC(int), MPI_Address, (void *location, MPI_Aint * address));
395 MPI_CALL(XBT_PUBLIC(int), MPI_Get_address, (void *location, MPI_Aint * address));
396 MPI_CALL(XBT_PUBLIC(int), MPI_Type_free, (MPI_Datatype * datatype));
397 MPI_CALL(XBT_PUBLIC(int), MPI_Type_size, (MPI_Datatype datatype, int *size));
398 MPI_CALL(XBT_PUBLIC(int), MPI_Type_get_extent, (MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent));
399 MPI_CALL(XBT_PUBLIC(int), MPI_Type_get_true_extent, (MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent));
400 MPI_CALL(XBT_PUBLIC(int), MPI_Type_extent, (MPI_Datatype datatype, MPI_Aint * extent));
401 MPI_CALL(XBT_PUBLIC(int), MPI_Type_lb, (MPI_Datatype datatype, MPI_Aint * disp));
402 MPI_CALL(XBT_PUBLIC(int), MPI_Type_ub, (MPI_Datatype datatype, MPI_Aint * disp));
403 MPI_CALL(XBT_PUBLIC(int), MPI_Type_commit, (MPI_Datatype* datatype));
404 MPI_CALL(XBT_PUBLIC(int), MPI_Type_hindexed,(int count, int* blocklens, MPI_Aint* indices,
405                             MPI_Datatype old_type, MPI_Datatype* newtype));
406 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_hindexed, (int count, int* blocklens, MPI_Aint* indices,
407                             MPI_Datatype old_type, MPI_Datatype* newtype));
408 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_hindexed_block, (int count, int blocklength, MPI_Aint* indices,
409                             MPI_Datatype old_type, MPI_Datatype* newtype));
410 MPI_CALL(XBT_PUBLIC(int), MPI_Type_hvector, (int count, int blocklen, MPI_Aint stride,
411                              MPI_Datatype old_type, MPI_Datatype* newtype));
412 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_hvector, (int count, int blocklen, MPI_Aint stride,
413                              MPI_Datatype old_type, MPI_Datatype* newtype));
414 MPI_CALL(XBT_PUBLIC(int), MPI_Type_indexed, (int count, int* blocklens, int* indices,
415                              MPI_Datatype old_type, MPI_Datatype* newtype));
416 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_indexed, (int count, int* blocklens, int* indices,
417                              MPI_Datatype old_type, MPI_Datatype* newtype));
418 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_indexed_block, (int count, int blocklength, int* indices,
419                              MPI_Datatype old_type, MPI_Datatype* newtype));
420 MPI_CALL(XBT_PUBLIC(int), MPI_Type_struct, (int count, int* blocklens, MPI_Aint* indices,
421                              MPI_Datatype* old_types, MPI_Datatype* newtype));
422 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_struct, (int count, int* blocklens, MPI_Aint* indices,
423                              MPI_Datatype* old_types, MPI_Datatype* newtype));
424 MPI_CALL(XBT_PUBLIC(int), MPI_Type_vector, (int count, int blocklen, int stride,
425                              MPI_Datatype old_type, MPI_Datatype* newtype));
426 MPI_CALL(XBT_PUBLIC(int), MPI_Type_contiguous, (int count, MPI_Datatype old_type, MPI_Datatype* newtype));
427 MPI_CALL(XBT_PUBLIC(int), MPI_Testall, (int count, MPI_Request* requests, int* flag, MPI_Status* statuses));
428 MPI_CALL(XBT_PUBLIC(int), MPI_Op_create, (MPI_User_function * function, int commute, MPI_Op * op));
429 MPI_CALL(XBT_PUBLIC(int), MPI_Op_free, (MPI_Op * op));
430
431 MPI_CALL(XBT_PUBLIC(int), MPI_Group_free, (MPI_Group * group));
432 MPI_CALL(XBT_PUBLIC(int), MPI_Group_size, (MPI_Group group, int *size));
433 MPI_CALL(XBT_PUBLIC(int), MPI_Group_rank, (MPI_Group group, int *rank));
434 MPI_CALL(XBT_PUBLIC(int), MPI_Group_translate_ranks, (MPI_Group group1, int n, int *ranks1, MPI_Group group2,
435                              int *ranks2));
436 MPI_CALL(XBT_PUBLIC(int), MPI_Group_compare, (MPI_Group group1, MPI_Group group2, int *result));
437 MPI_CALL(XBT_PUBLIC(int), MPI_Group_union, (MPI_Group group1, MPI_Group group2, MPI_Group * newgroup));
438 MPI_CALL(XBT_PUBLIC(int), MPI_Group_intersection, (MPI_Group group1, MPI_Group group2, MPI_Group * newgroup));
439 MPI_CALL(XBT_PUBLIC(int), MPI_Group_difference, (MPI_Group group1, MPI_Group group2, MPI_Group * newgroup));
440 MPI_CALL(XBT_PUBLIC(int), MPI_Group_incl, (MPI_Group group, int n, int *ranks, MPI_Group * newgroup));
441 MPI_CALL(XBT_PUBLIC(int), MPI_Group_excl, (MPI_Group group, int n, int *ranks, MPI_Group * newgroup));
442 MPI_CALL(XBT_PUBLIC(int), MPI_Group_range_incl, (MPI_Group group, int n, int ranges[][3], MPI_Group * newgroup));
443 MPI_CALL(XBT_PUBLIC(int), MPI_Group_range_excl, (MPI_Group group, int n, int ranges[][3], MPI_Group * newgroup));
444
445 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_rank, (MPI_Comm comm, int *rank));
446 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_size, (MPI_Comm comm, int *size));
447 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_get_name, (MPI_Comm comm, char* name, int* len));
448 MPI_CALL(XBT_PUBLIC(int), MPI_Get_processor_name, (char *name, int *resultlen));
449 MPI_CALL(XBT_PUBLIC(int), MPI_Get_count, (MPI_Status * status, MPI_Datatype datatype, int *count));
450
451 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_group, (MPI_Comm comm, MPI_Group * group));
452 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_compare, (MPI_Comm comm1, MPI_Comm comm2, int *result));
453
454 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_create, (MPI_Comm comm, MPI_Group group, MPI_Comm * newcomm));
455 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_free, (MPI_Comm * comm));
456 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_disconnect, (MPI_Comm * comm));
457 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_split, (MPI_Comm comm, int color, int key, MPI_Comm* comm_out));
458
459 MPI_CALL(XBT_PUBLIC(int), MPI_Send_init, (void *buf, int count, MPI_Datatype datatype, int dst, int tag, MPI_Comm comm,
460                              MPI_Request * request));
461 MPI_CALL(XBT_PUBLIC(int), MPI_Recv_init, (void *buf, int count, MPI_Datatype datatype, int src, int tag, MPI_Comm comm,
462                              MPI_Request * request));
463 MPI_CALL(XBT_PUBLIC(int), MPI_Start, (MPI_Request * request));
464 MPI_CALL(XBT_PUBLIC(int), MPI_Startall, (int count, MPI_Request * requests));
465 MPI_CALL(XBT_PUBLIC(int), MPI_Request_free, (MPI_Request * request));
466 MPI_CALL(XBT_PUBLIC(int), MPI_Irecv, (void *buf, int count, MPI_Datatype datatype, int src, int tag, MPI_Comm comm,
467                              MPI_Request * request));
468 MPI_CALL(XBT_PUBLIC(int), MPI_Isend, (void *buf, int count, MPI_Datatype datatype, int dst, int tag, MPI_Comm comm,
469                              MPI_Request * request));
470 MPI_CALL(XBT_PUBLIC(int), MPI_Recv, (void *buf, int count, MPI_Datatype datatype, int src, int tag, MPI_Comm comm,
471                              MPI_Status * status));
472 MPI_CALL(XBT_PUBLIC(int), MPI_Send, (void *buf, int count, MPI_Datatype datatype, int dst, int tag, MPI_Comm comm));
473 MPI_CALL(XBT_PUBLIC(int), MPI_Sendrecv, (void *sendbuf, int sendcount, MPI_Datatype sendtype, int dst, int sendtag,
474                              void *recvbuf, int recvcount, MPI_Datatype recvtype, int src, int recvtag,
475                              MPI_Comm comm, MPI_Status * status));
476 MPI_CALL(XBT_PUBLIC(int), MPI_Sendrecv_replace, (void *buf, int count, MPI_Datatype datatype, int dst,
477                              int sendtag, int src, int recvtag, MPI_Comm comm, MPI_Status * status));
478
479 MPI_CALL(XBT_PUBLIC(int), MPI_Test, (MPI_Request * request, int *flag, MPI_Status* status));
480 MPI_CALL(XBT_PUBLIC(int), MPI_Testany, (int count, MPI_Request requests[], int *index, int *flag, MPI_Status * status));
481 MPI_CALL(XBT_PUBLIC(int), MPI_Wait, (MPI_Request * request, MPI_Status * status));
482 MPI_CALL(XBT_PUBLIC(int), MPI_Waitany, (int count, MPI_Request requests[], int *index, MPI_Status * status));
483 MPI_CALL(XBT_PUBLIC(int), MPI_Waitall, (int count, MPI_Request requests[], MPI_Status status[]));
484 MPI_CALL(XBT_PUBLIC(int), MPI_Waitsome, (int incount, MPI_Request requests[], int *outcount, int *indices,
485                              MPI_Status status[]));
486 MPI_CALL(XBT_PUBLIC(int), MPI_Testsome, (int incount, MPI_Request requests[], int *outcount, int *indices,
487                              MPI_Status status[]));
488 MPI_CALL(XBT_PUBLIC(int), MPI_Bcast, (void *buf, int count, MPI_Datatype datatype, int root, MPI_Comm comm));
489 MPI_CALL(XBT_PUBLIC(int), MPI_Barrier, (MPI_Comm comm));
490 MPI_CALL(XBT_PUBLIC(int), MPI_Gather, (void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf,
491                              int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm));
492 MPI_CALL(XBT_PUBLIC(int), MPI_Gatherv, (void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf,
493                              int *recvcounts, int *displs, MPI_Datatype recvtype, int root, MPI_Comm comm));
494 MPI_CALL(XBT_PUBLIC(int), MPI_Allgather, (void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf,
495                              int recvcount, MPI_Datatype recvtype, MPI_Comm comm));
496 MPI_CALL(XBT_PUBLIC(int), MPI_Allgatherv, (void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf,
497                              int *recvcounts, int *displs, MPI_Datatype recvtype, MPI_Comm comm));
498 MPI_CALL(XBT_PUBLIC(int), MPI_Scatter, (void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf,
499                              int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm));
500 MPI_CALL(XBT_PUBLIC(int), MPI_Scatterv, (void *sendbuf, int *sendcounts, int *displs, MPI_Datatype sendtype,
501                              void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm));
502 MPI_CALL(XBT_PUBLIC(int), MPI_Reduce, (void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op,
503                              int root, MPI_Comm comm));
504 MPI_CALL(XBT_PUBLIC(int), MPI_Allreduce, (void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op,
505                              MPI_Comm comm));
506 MPI_CALL(XBT_PUBLIC(int), MPI_Scan, (void *sendbuf, void *recvbuf, int count,MPI_Datatype datatype, MPI_Op op,
507                              MPI_Comm comm));
508 MPI_CALL(XBT_PUBLIC(int), MPI_Reduce_scatter, (void *sendbuf, void *recvbuf, int *recvcounts, MPI_Datatype datatype,
509                              MPI_Op op, MPI_Comm comm));
510 MPI_CALL(XBT_PUBLIC(int), MPI_Reduce_scatter_block, (void *sendbuf, void *recvbuf, int recvcount, MPI_Datatype datatype,
511                              MPI_Op op, MPI_Comm comm));
512 MPI_CALL(XBT_PUBLIC(int), MPI_Alltoall, (void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf,
513                              int recvcount, MPI_Datatype recvtype, MPI_Comm comm));
514 MPI_CALL(XBT_PUBLIC(int), MPI_Alltoallv, (void *sendbuf, int *sendcounts, int *senddisps, MPI_Datatype sendtype,
515                              void *recvbuf, int *recvcounts, int *recvdisps, MPI_Datatype recvtype, MPI_Comm comm));
516 MPI_CALL(XBT_PUBLIC(int), MPI_Iprobe, (int source, int tag, MPI_Comm comm, int* flag, MPI_Status* status));
517 MPI_CALL(XBT_PUBLIC(int), MPI_Probe, (int source, int tag, MPI_Comm comm, MPI_Status* status));
518 MPI_CALL(XBT_PUBLIC(int), MPI_Get_version, (int *version,int *subversion));
519 MPI_CALL(XBT_PUBLIC(int), MPI_Get_library_version, (char *version,int *len));
520 MPI_CALL(XBT_PUBLIC(int), MPI_Reduce_local,(void *inbuf, void *inoutbuf, int count, MPI_Datatype datatype, MPI_Op op));
521
522 MPI_CALL(XBT_PUBLIC(int), MPI_Win_free,( MPI_Win* win));
523 MPI_CALL(XBT_PUBLIC(int), MPI_Win_create,( void *base, MPI_Aint size, int disp_unit, MPI_Info info, MPI_Comm comm,
524                               MPI_Win *win));
525 MPI_CALL(XBT_PUBLIC(int), MPI_Win_set_name,(MPI_Win  win, char * name));
526 MPI_CALL(XBT_PUBLIC(int), MPI_Win_get_name,(MPI_Win  win, char * name, int* len));
527 MPI_CALL(XBT_PUBLIC(int), MPI_Win_get_group,(MPI_Win  win, MPI_Group * group));
528 MPI_CALL(XBT_PUBLIC(int), MPI_Win_fence,( int assert,  MPI_Win win));
529
530 MPI_CALL(XBT_PUBLIC(int), MPI_Get,( void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank,
531     MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win));
532 MPI_CALL(XBT_PUBLIC(int), MPI_Put,( void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank,
533     MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win));
534 MPI_CALL(XBT_PUBLIC(int), MPI_Accumulate,( void *origin_addr, int origin_count, MPI_Datatype origin_datatype,
535     int target_rank, MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Op op, MPI_Win win));
536 MPI_CALL(XBT_PUBLIC(int), MPI_Alloc_mem, (MPI_Aint size, MPI_Info info, void *baseptr));
537 MPI_CALL(XBT_PUBLIC(int), MPI_Free_mem, (void *base));
538
539 MPI_CALL(XBT_PUBLIC(MPI_Datatype), MPI_Type_f2c,(MPI_Fint datatype));
540 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Type_c2f,(MPI_Datatype datatype));
541 MPI_CALL(XBT_PUBLIC(MPI_Group), MPI_Group_f2c,(MPI_Fint group));
542 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Group_c2f,(MPI_Group group));
543 MPI_CALL(XBT_PUBLIC(MPI_Request), MPI_Request_f2c,(MPI_Fint request));
544 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Request_c2f,(MPI_Request request));
545 MPI_CALL(XBT_PUBLIC(MPI_Win), MPI_Win_f2c,(MPI_Fint win));
546 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Win_c2f,(MPI_Win win));
547 MPI_CALL(XBT_PUBLIC(MPI_Op), MPI_Op_f2c,(MPI_Fint op));
548 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Op_c2f,(MPI_Op op));
549 MPI_CALL(XBT_PUBLIC(MPI_Comm), MPI_Comm_f2c,(MPI_Fint comm));
550 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Comm_c2f,(MPI_Comm comm));
551
552 //FIXME: these are not yet implemented
553
554 typedef void MPI_Handler_function(MPI_Comm*, int*, ...);
555
556 typedef void* MPI_Errhandler;
557
558 typedef int MPI_Copy_function(MPI_Comm oldcomm, int keyval, void* extra_state, void* attribute_val_in,
559                               void* attribute_val_out, int* flag);
560 typedef int MPI_Delete_function(MPI_Comm comm, int keyval, void* attribute_val, void* extra_state);
561 #define MPI_Comm_copy_attr_function MPI_Copy_function
562 #define MPI_Comm_delete_attr_function MPI_Delete_function
563 typedef int MPI_Type_copy_attr_function(MPI_Datatype type, int keyval, void* extra_state, void* attribute_val_in,
564                               void* attribute_val_out, int* flag);
565 typedef int MPI_Type_delete_attr_function(MPI_Datatype type, int keyval, void* attribute_val, void* extra_state);
566 typedef void MPI_Comm_errhandler_function(MPI_Comm *, int *, ...);
567 typedef int MPI_Grequest_query_function(void *extra_state, MPI_Status *status); 
568 typedef int MPI_Grequest_free_function(void *extra_state); 
569 typedef int MPI_Grequest_cancel_function(void *extra_state, int complete); 
570 #define MPI_DUP_FN MPI_Comm_dup
571 #define MPI_COMM_NULL_COPY_FN ((MPI_Comm_copy_attr_function*)0)
572 #define MPI_COMM_NULL_DELETE_FN ((MPI_Comm_delete_attr_function*)0)
573 #define MPI_COMM_DUP_FN  ((MPI_Comm_copy_attr_function *)MPI_DUP_FN)
574 #define MPI_TYPE_NULL_COPY_FN ((MPI_Type_copy_attr_function*)0)
575 #define MPI_TYPE_NULL_DELETE_FN ((MPI_Type_delete_attr_function*)0)
576 #define MPI_TYPE_DUP_FN ((MPI_Type_copy_attr_function*)MPI_DUP_FN)
577
578 typedef MPI_Comm_errhandler_function MPI_Comm_errhandler_fn;
579 #define MPI_INFO_ENV 1
580 XBT_PUBLIC_DATA( const MPI_Datatype )  MPI_PACKED;
581 XBT_PUBLIC_DATA(MPI_Errhandler*)  MPI_ERRORS_RETURN;
582 XBT_PUBLIC_DATA(MPI_Errhandler*)  MPI_ERRORS_ARE_FATAL;
583 XBT_PUBLIC_DATA(MPI_Errhandler*)  MPI_ERRHANDLER_NULL;
584
585 MPI_CALL(XBT_PUBLIC(MPI_Info), MPI_Info_f2c,(MPI_Fint info));
586 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Info_c2f,(MPI_Info info));
587 MPI_CALL(XBT_PUBLIC(MPI_Errhandler), MPI_Errhandler_f2c,(MPI_Fint errhandler));
588 MPI_CALL(XBT_PUBLIC(MPI_Fint), MPI_Errhandler_c2f,(MPI_Errhandler errhandler));
589 MPI_CALL(XBT_PUBLIC(int), MPI_Pack_size, (int incount, MPI_Datatype datatype, MPI_Comm comm, int* size));
590 MPI_CALL(XBT_PUBLIC(int), MPI_Cart_coords, (MPI_Comm comm, int rank, int maxdims, int* coords));
591 MPI_CALL(XBT_PUBLIC(int), MPI_Cart_create, (MPI_Comm comm_old, int ndims, int* dims, int* periods, int reorder,
592                                             MPI_Comm* comm_cart));
593 MPI_CALL(XBT_PUBLIC(int), MPI_Cart_get, (MPI_Comm comm, int maxdims, int* dims, int* periods, int* coords));
594 MPI_CALL(XBT_PUBLIC(int), MPI_Cart_map, (MPI_Comm comm_old, int ndims, int* dims, int* periods, int* newrank));
595 MPI_CALL(XBT_PUBLIC(int), MPI_Cart_rank, (MPI_Comm comm, int* coords, int* rank));
596 MPI_CALL(XBT_PUBLIC(int), MPI_Cart_shift, (MPI_Comm comm, int direction, int displ, int* source, int* dest));
597 MPI_CALL(XBT_PUBLIC(int), MPI_Cart_sub, (MPI_Comm comm, int* remain_dims, MPI_Comm* comm_new));
598 MPI_CALL(XBT_PUBLIC(int), MPI_Cartdim_get, (MPI_Comm comm, int* ndims));
599 MPI_CALL(XBT_PUBLIC(int), MPI_Graph_create, (MPI_Comm comm_old, int nnodes, int* index, int* edges, int reorder,
600                                              MPI_Comm* comm_graph));
601 MPI_CALL(XBT_PUBLIC(int), MPI_Graph_get, (MPI_Comm comm, int maxindex, int maxedges, int* index, int* edges));
602 MPI_CALL(XBT_PUBLIC(int), MPI_Graph_map, (MPI_Comm comm_old, int nnodes, int* index, int* edges, int* newrank));
603 MPI_CALL(XBT_PUBLIC(int), MPI_Graph_neighbors, (MPI_Comm comm, int rank, int maxneighbors, int* neighbors));
604 MPI_CALL(XBT_PUBLIC(int), MPI_Graph_neighbors_count, (MPI_Comm comm, int rank, int* nneighbors));
605 MPI_CALL(XBT_PUBLIC(int), MPI_Graphdims_get, (MPI_Comm comm, int* nnodes, int* nedges));
606 MPI_CALL(XBT_PUBLIC(int), MPI_Topo_test, (MPI_Comm comm, int* top_type));
607 MPI_CALL(XBT_PUBLIC(int), MPI_Error_class, (int errorcode, int* errorclass));
608 MPI_CALL(XBT_PUBLIC(int), MPI_Errhandler_create, (MPI_Handler_function* function, MPI_Errhandler* errhandler));
609 MPI_CALL(XBT_PUBLIC(int), MPI_Errhandler_free, (MPI_Errhandler* errhandler));
610 MPI_CALL(XBT_PUBLIC(int), MPI_Errhandler_get, (MPI_Comm comm, MPI_Errhandler* errhandler));
611 MPI_CALL(XBT_PUBLIC(int), MPI_Error_string, (int errorcode, char* string, int* resultlen));
612 MPI_CALL(XBT_PUBLIC(int), MPI_Errhandler_set, (MPI_Comm comm, MPI_Errhandler errhandler));
613 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_set_errhandler, (MPI_Comm comm, MPI_Errhandler errhandler));
614 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_get_errhandler, (MPI_Comm comm, MPI_Errhandler *errhandler));
615 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_create_errhandler,( MPI_Comm_errhandler_fn *function, MPI_Errhandler *errhandler));
616 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_call_errhandler,(MPI_Comm comm,int errorcode));
617 MPI_CALL(XBT_PUBLIC(int), MPI_Add_error_class,( int *errorclass));
618 MPI_CALL(XBT_PUBLIC(int), MPI_Add_error_code,(  int errorclass, int *errorcode));
619 MPI_CALL(XBT_PUBLIC(int), MPI_Add_error_string,( int errorcode, char *string));
620 MPI_CALL(XBT_PUBLIC(int), MPI_Cancel, (MPI_Request* request));
621 MPI_CALL(XBT_PUBLIC(int), MPI_Buffer_attach, (void* buffer, int size));
622 MPI_CALL(XBT_PUBLIC(int), MPI_Buffer_detach, (void* buffer, int* size));
623 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_test_inter, (MPI_Comm comm, int* flag));
624 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_get_attr, (MPI_Comm comm, int comm_keyval, void *attribute_val, int *flag));
625 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_set_attr, (MPI_Comm comm, int comm_keyval, void *attribute_val));
626 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_delete_attr, (MPI_Comm comm, int comm_keyval));
627 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_create_keyval,(MPI_Comm_copy_attr_function* copy_fn,
628                               MPI_Comm_delete_attr_function* delete_fn, int* keyval, void* extra_state));
629 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_free_keyval,(int* keyval));
630 MPI_CALL(XBT_PUBLIC(int), MPI_Type_get_attr, (MPI_Datatype type, int type_keyval, void *attribute_val, int* flag));
631 MPI_CALL(XBT_PUBLIC(int), MPI_Type_set_attr, (MPI_Datatype type, int type_keyval, void *att));
632 MPI_CALL(XBT_PUBLIC(int), MPI_Type_delete_attr, (MPI_Datatype type, int comm_keyval));
633 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_keyval,(MPI_Type_copy_attr_function* copy_fn,
634                               MPI_Type_delete_attr_function* delete_fn, int* keyval, void* extra_state));
635 MPI_CALL(XBT_PUBLIC(int), MPI_Type_free_keyval,(int* keyval));
636 MPI_CALL(XBT_PUBLIC(int), MPI_Type_dup,(MPI_Datatype datatype,MPI_Datatype *newtype));
637 MPI_CALL(XBT_PUBLIC(int), MPI_Type_set_name,(MPI_Datatype  datatype, char * name));
638 MPI_CALL(XBT_PUBLIC(int), MPI_Type_get_name,(MPI_Datatype  datatype, char * name, int* len));
639 MPI_CALL(XBT_PUBLIC(int), MPI_Unpack, (void* inbuf, int insize, int* position, void* outbuf, int outcount,
640                               MPI_Datatype type, MPI_Comm comm));
641 MPI_CALL(XBT_PUBLIC(int), MPI_Ssend, (void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm));
642 MPI_CALL(XBT_PUBLIC(int), MPI_Ssend_init, (void* buf, int count, MPI_Datatype datatype, int dest, int tag,
643                               MPI_Comm comm, MPI_Request* request));
644 MPI_CALL(XBT_PUBLIC(int), MPI_Intercomm_create, (MPI_Comm local_comm, int local_leader, MPI_Comm peer_comm,
645                               int remote_leader, int tag, MPI_Comm* comm_out));
646 MPI_CALL(XBT_PUBLIC(int), MPI_Intercomm_merge, (MPI_Comm comm, int high, MPI_Comm* comm_out));
647 MPI_CALL(XBT_PUBLIC(int), MPI_Bsend, (void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm));
648 MPI_CALL(XBT_PUBLIC(int), MPI_Bsend_init, (void* buf, int count, MPI_Datatype datatype, int dest, int tag,
649                               MPI_Comm comm, MPI_Request* request));
650 MPI_CALL(XBT_PUBLIC(int), MPI_Ibsend, (void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm,
651                               MPI_Request* request));
652 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_remote_group, (MPI_Comm comm, MPI_Group* group));
653 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_remote_size, (MPI_Comm comm, int* size));
654 MPI_CALL(XBT_PUBLIC(int), MPI_Issend, (void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm,
655                               MPI_Request* request));
656 MPI_CALL(XBT_PUBLIC(int), MPI_Attr_delete, (MPI_Comm comm, int keyval));
657 MPI_CALL(XBT_PUBLIC(int), MPI_Attr_get, (MPI_Comm comm, int keyval, void* attr_value, int* flag));
658 MPI_CALL(XBT_PUBLIC(int), MPI_Attr_put, (MPI_Comm comm, int keyval, void* attr_value));
659 MPI_CALL(XBT_PUBLIC(int), MPI_Rsend, (void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm));
660 MPI_CALL(XBT_PUBLIC(int), MPI_Rsend_init, (void* buf, int count, MPI_Datatype datatype, int dest, int tag,
661                               MPI_Comm comm, MPI_Request* request));
662 MPI_CALL(XBT_PUBLIC(int), MPI_Irsend, (void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm,
663                               MPI_Request* request));
664 MPI_CALL(XBT_PUBLIC(int), MPI_Keyval_create, (MPI_Copy_function* copy_fn, MPI_Delete_function* delete_fn, int* keyval,
665                               void* extra_state));
666 MPI_CALL(XBT_PUBLIC(int), MPI_Keyval_free, (int* keyval));
667 MPI_CALL(XBT_PUBLIC(int), MPI_Test_cancelled, (MPI_Status* status, int* flag));
668 MPI_CALL(XBT_PUBLIC(int), MPI_Pack, (void* inbuf, int incount, MPI_Datatype type, void* outbuf, int outcount,
669                               int* position, MPI_Comm comm));
670 MPI_CALL(XBT_PUBLIC(int), MPI_Get_elements, (MPI_Status* status, MPI_Datatype datatype, int* elements));
671 MPI_CALL(XBT_PUBLIC(int), MPI_Dims_create, (int nnodes, int ndims, int* dims));
672 MPI_CALL(XBT_PUBLIC(int), MPI_Initialized, (int* flag));
673 MPI_CALL(XBT_PUBLIC(int), MPI_Pcontrol, (const int level ));
674
675 MPI_CALL(XBT_PUBLIC(int), MPI_Info_create,( MPI_Info *info));
676 MPI_CALL(XBT_PUBLIC(int), MPI_Info_set,( MPI_Info info, char *key, char *value));
677 MPI_CALL(XBT_PUBLIC(int), MPI_Info_get,(MPI_Info info,char *key,int valuelen, char *value, int *flag));
678 MPI_CALL(XBT_PUBLIC(int), MPI_Info_free,( MPI_Info *info));
679 MPI_CALL(XBT_PUBLIC(int), MPI_Info_delete,( MPI_Info info,  char *key));
680 MPI_CALL(XBT_PUBLIC(int), MPI_Info_dup,(MPI_Info info, MPI_Info *newinfo));
681 MPI_CALL(XBT_PUBLIC(int), MPI_Info_get_nkeys,( MPI_Info info, int *nkeys));
682 MPI_CALL(XBT_PUBLIC(int), MPI_Info_get_nthkey,( MPI_Info info, int n, char *key));
683 MPI_CALL(XBT_PUBLIC(int), MPI_Info_get_valuelen,( MPI_Info info, char *key, int *valuelen, int *flag));
684
685
686 MPI_CALL(XBT_PUBLIC(int), MPI_Win_set_errhandler, (MPI_Win win, MPI_Errhandler errhandler));
687 MPI_CALL(XBT_PUBLIC(int), MPI_Type_get_envelope,(MPI_Datatype datatype,int *num_integers,int *num_addresses,
688                             int *num_datatypes, int *combiner));
689 MPI_CALL(XBT_PUBLIC(int), MPI_Type_get_contents,(MPI_Datatype datatype, int max_integers, int max_addresses,
690                             int max_datatypes, int* array_of_integers, MPI_Aint* array_of_addresses, 
691                             MPI_Datatype *array_of_datatypes));
692 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_darray,(int size, int rank, int ndims, int* array_of_gsizes,
693                             int* array_of_distribs, int* array_of_dargs, int* array_of_psizes,
694                             int order, MPI_Datatype oldtype, MPI_Datatype *newtype));
695 MPI_CALL(XBT_PUBLIC(int), MPI_Pack_external_size, (char *datarep, int incount, MPI_Datatype datatype, MPI_Aint *size));
696 MPI_CALL(XBT_PUBLIC(int), MPI_Pack_external, (char *datarep, void *inbuf, int incount, MPI_Datatype datatype,
697                                               void *outbuf, MPI_Aint outcount, MPI_Aint *position));
698 MPI_CALL(XBT_PUBLIC(int), MPI_Unpack_external, (char *datarep, void *inbuf, MPI_Aint insize, MPI_Aint *position,
699                                                 void *outbuf, int outcount, MPI_Datatype datatype));
700 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_resized ,(MPI_Datatype oldtype,MPI_Aint lb, MPI_Aint extent,
701                                                     MPI_Datatype *newtype));
702 MPI_CALL(XBT_PUBLIC(int), MPI_Type_create_subarray,(int ndims,int *array_of_sizes, int *array_of_subsizes,
703                               int *array_of_starts, int order, MPI_Datatype oldtype, MPI_Datatype *newtype));
704 MPI_CALL(XBT_PUBLIC(int), MPI_Type_match_size,(int typeclass,int size,MPI_Datatype *datatype));
705 MPI_CALL(XBT_PUBLIC(int), MPI_Alltoallw, ( void *sendbuf, int *sendcnts, int *sdispls, MPI_Datatype *sendtypes,
706                               void *recvbuf, int *recvcnts, int *rdispls, MPI_Datatype *recvtypes, MPI_Comm comm));
707 MPI_CALL(XBT_PUBLIC(int), MPI_Exscan,(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op,
708                                       MPI_Comm comm));
709 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_set_name, (MPI_Comm comm, char* name));
710 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_set_info, (MPI_Comm comm, MPI_Info info));
711 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_get_info, (MPI_Comm comm, MPI_Info* info));
712 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_dup, (MPI_Comm comm, MPI_Comm * newcomm));
713 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_dup_with_info,(MPI_Comm comm, MPI_Info info, MPI_Comm * newcomm));
714 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_split_type,(MPI_Comm comm, int split_type, int key, MPI_Info info,
715                                                MPI_Comm *newcomm));
716 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_connect,(char *port_name, MPI_Info info, int root, MPI_Comm comm,
717                                             MPI_Comm *newcomm));
718 MPI_CALL(XBT_PUBLIC(int), MPI_Request_get_status,( MPI_Request request, int *flag, MPI_Status *status));
719 MPI_CALL(XBT_PUBLIC(int), MPI_Grequest_start,(MPI_Grequest_query_function *query_fn,
720                                               MPI_Grequest_free_function *free_fn,
721                                               MPI_Grequest_cancel_function *cancel_fn,
722                                               void *extra_state, MPI_Request *request));
723 MPI_CALL(XBT_PUBLIC(int), MPI_Grequest_complete,( MPI_Request request));
724 MPI_CALL(XBT_PUBLIC(int), MPI_Status_set_cancelled,(MPI_Status *status,int flag));
725 MPI_CALL(XBT_PUBLIC(int), MPI_Status_set_elements,( MPI_Status *status, MPI_Datatype datatype, int count));
726 MPI_CALL(XBT_PUBLIC(int), MPI_Unpublish_name,( char *service_name, MPI_Info info, char *port_name));
727 MPI_CALL(XBT_PUBLIC(int), MPI_Publish_name,( char *service_name, MPI_Info info, char *port_name));
728 MPI_CALL(XBT_PUBLIC(int), MPI_Lookup_name,( char *service_name, MPI_Info info, char *port_name));
729 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_join,( int fd, MPI_Comm *intercomm));
730 MPI_CALL(XBT_PUBLIC(int), MPI_Open_port,( MPI_Info info, char *port_name));
731 MPI_CALL(XBT_PUBLIC(int), MPI_Close_port,( char *port_name));
732 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_accept,(char *port_name, MPI_Info info, int root, MPI_Comm comm, MPI_Comm *newcomm));
733 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_spawn,(char *command, char **argv, int maxprocs, MPI_Info info, int root,
734                                           MPI_Comm comm, MPI_Comm *intercomm, int* array_of_errcodes));
735 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_spawn_multiple,(int count, char **array_of_commands, char*** array_of_argv,
736                                                    int* array_of_maxprocs, MPI_Info* array_of_info, int root,
737                                                    MPI_Comm comm, MPI_Comm *intercomm, int* array_of_errcodes));
738 MPI_CALL(XBT_PUBLIC(int), MPI_Comm_get_parent,( MPI_Comm *parent));
739 MPI_CALL(XBT_PUBLIC(int),  MPI_Win_complete,(MPI_Win win));
740 MPI_CALL(XBT_PUBLIC(int),  MPI_Win_lock,(int lock_type, int rank, int assert, MPI_Win win));
741 MPI_CALL(XBT_PUBLIC(int),  MPI_Win_post,(MPI_Group group, int assert, MPI_Win win));
742 MPI_CALL(XBT_PUBLIC(int),  MPI_Win_start,(MPI_Group group, int assert, MPI_Win win));
743 MPI_CALL(XBT_PUBLIC(int),  MPI_Win_test,(MPI_Win win, int *flag));
744 MPI_CALL(XBT_PUBLIC(int),  MPI_Win_unlock,(int rank, MPI_Win win));
745 MPI_CALL(XBT_PUBLIC(int),  MPI_Win_wait,(MPI_Win win));
746
747
748 MPI_CALL(XBT_PUBLIC(int),  MPI_File_get_errhandler , (MPI_File file, MPI_Errhandler *errhandler));
749 MPI_CALL(XBT_PUBLIC(int),  MPI_File_set_errhandler, (MPI_File file, MPI_Errhandler errhandler));
750
751 MPI_CALL(XBT_PUBLIC(int),  MPI_File_open,(MPI_Comm comm, const char *filename, int amode, MPI_Info info, MPI_File *fh));
752 MPI_CALL(XBT_PUBLIC(int),  MPI_File_close,(MPI_File *fh));
753 MPI_CALL(XBT_PUBLIC(int),  MPI_File_delete,(const char *filename, MPI_Info info));
754 MPI_CALL(XBT_PUBLIC(int),  MPI_File_set_size,(MPI_File fh, MPI_Offset size));
755 MPI_CALL(XBT_PUBLIC(int),  MPI_File_get_size,(MPI_File fh, MPI_Offset *size));
756
757 MPI_CALL(XBT_PUBLIC(int),  MPI_File_set_view,(MPI_File fh, MPI_Offset disp, MPI_Datatype etype, MPI_Datatype filetype,
758                       const char *datarep, MPI_Info info));
759 MPI_CALL(XBT_PUBLIC(int),  MPI_File_get_view,(MPI_File fh, MPI_Offset *disp, MPI_Datatype *etype, MPI_Datatype *filetype,
760                       char *datarep));
761
762 MPI_CALL(XBT_PUBLIC(int),  MPI_File_read_at,(MPI_File fh, MPI_Offset offset, void *buf, int count, MPI_Datatype datatype,
763                      MPI_Status *status));
764 MPI_CALL(XBT_PUBLIC(int),  MPI_File_read_at_all,(MPI_File fh, MPI_Offset offset, void * buf, int count,
765                          MPI_Datatype datatype, MPI_Status *status));
766 MPI_CALL(XBT_PUBLIC(int),  MPI_File_write_at,(MPI_File fh, MPI_Offset offset, const void * buf, int count,
767                       MPI_Datatype datatype, MPI_Status *status));
768 MPI_CALL(XBT_PUBLIC(int),  MPI_File_write_at_all,(MPI_File fh, MPI_Offset offset, const void *buf, int count,
769                           MPI_Datatype datatype, MPI_Status *status));
770 MPI_CALL(XBT_PUBLIC(int),  MPI_File_set_atomicity,(MPI_File fh, int flag));
771 MPI_CALL(XBT_PUBLIC(int),  MPI_File_get_atomicity,(MPI_File fh, int *flag));
772 MPI_CALL(XBT_PUBLIC(int),  MPI_File_sync,(MPI_File fh));
773
774 MPI_CALL(XBT_PUBLIC(int), MPI_File_read_at_all_begin,(MPI_File fh, MPI_Offset offset, void *buf, int count,
775                                MPI_Datatype datatype));
776 MPI_CALL(XBT_PUBLIC(int), MPI_File_read_at_all_end,(MPI_File fh, void *buf, MPI_Status *status));
777 MPI_CALL(XBT_PUBLIC(int), MPI_File_write_at_all_begin,(MPI_File fh, MPI_Offset offset, const void *buf, int count,MPI_Datatype datatype));
778 MPI_CALL(XBT_PUBLIC(int),  MPI_File_write_at_all_end,(MPI_File fh, const void *buf, MPI_Status *status));
779 MPI_CALL(XBT_PUBLIC(int),  MPI_File_read_all_begin,(MPI_File fh, void *buf, int count, MPI_Datatype datatype));
780 MPI_CALL(XBT_PUBLIC(int),  MPI_File_read_all_end,(MPI_File fh, void *buf, MPI_Status *status));
781 MPI_CALL(XBT_PUBLIC(int),  MPI_File_write_all_begin,(MPI_File fh, const void *buf, int count, MPI_Datatype datatype));
782 MPI_CALL(XBT_PUBLIC(int),  MPI_File_write_all_end,(MPI_File fh, const void *buf, MPI_Status *status));
783 MPI_CALL(XBT_PUBLIC(int),  MPI_File_read_ordered_begin,(MPI_File fh, void *buf, int count, MPI_Datatype datatype));
784 MPI_CALL(XBT_PUBLIC(int),  MPI_File_read_ordered_end,(MPI_File fh, void *buf, MPI_Status *status));
785 MPI_CALL(XBT_PUBLIC(int),  MPI_File_write_ordered_begin,(MPI_File fh, const void *buf, int count, MPI_Datatype datatype));
786 MPI_CALL(XBT_PUBLIC(int),  MPI_File_write_ordered_end,(MPI_File fh, const void *buf, MPI_Status *status));
787
788 //FIXME: End of all the not yet implemented stuff
789
790 // smpi functions
791 XBT_PUBLIC(int) smpi_global_size(void);
792 XBT_PUBLIC(MPI_Comm) smpi_process_comm_self(void);
793 XBT_PUBLIC(void*) smpi_process_get_user_data(void);
794 XBT_PUBLIC(void) smpi_process_set_user_data(void *);
795
796 XBT_PUBLIC(void) smpi_execute_flops(double flops);
797 XBT_PUBLIC(void) smpi_execute(double duration);
798
799 XBT_PUBLIC(double) smpi_get_host_power_peak_at(int pstate_index);
800 XBT_PUBLIC(double) smpi_get_host_current_power_peak(void);
801 XBT_PUBLIC(int) smpi_get_host_nb_pstates(void);
802 XBT_PUBLIC(void) smpi_set_host_pstate(int pstate_index);
803 XBT_PUBLIC(int)  smpi_get_host_pstate(void);
804
805 XBT_PUBLIC(double) smpi_get_host_consumed_energy(void);
806
807 XBT_PUBLIC(int) smpi_usleep(useconds_t usecs);
808 XBT_PUBLIC(unsigned int) smpi_sleep(unsigned int secs);
809 XBT_PUBLIC(int) smpi_gettimeofday(struct timeval *tv, void* tz);
810 XBT_PUBLIC(unsigned long long) smpi_rastro_resolution (void);
811 XBT_PUBLIC(unsigned long long) smpi_rastro_timestamp (void);
812 XBT_PUBLIC(void) smpi_sample_1(int global, const char *file, int line, int iters, double threshold);
813 XBT_PUBLIC(int) smpi_sample_2(int global, const char *file, int line);
814 XBT_PUBLIC(void) smpi_sample_3(int global, const char *file, int line);
815 XBT_PUBLIC(void) smpi_trace_set_call_location(const char *file, int line);
816 /** Fortran binding **/
817 XBT_PUBLIC(void) smpi_trace_set_call_location_(const char *file, int* line);
818 /** Fortran binding + -fsecond-underscore **/
819 XBT_PUBLIC(void) smpi_trace_set_call_location__(const char *file, int* line);
820 XBT_PUBLIC(smpi_trace_call_location_t*) smpi_process_get_call_location(void);
821
822 #define SMPI_SAMPLE_LOCAL(iters,thres) for(smpi_sample_1(0, __FILE__, __LINE__, iters, thres); \
823                                            smpi_sample_2(0, __FILE__, __LINE__);      \
824                                            smpi_sample_3(0, __FILE__, __LINE__))
825
826 #define SMPI_SAMPLE_GLOBAL(iters,thres) for(smpi_sample_1(1, __FILE__, __LINE__, iters, thres); \
827                                             smpi_sample_2(1, __FILE__, __LINE__);      \
828                                             smpi_sample_3(1, __FILE__, __LINE__))
829
830 #define SMPI_SAMPLE_DELAY(duration) for(smpi_execute(duration); 0; )
831 #define SMPI_SAMPLE_FLOPS(flops) for(smpi_execute_flops(flops); 0; )
832
833 XBT_PUBLIC(void *) smpi_shared_malloc(size_t size, const char *file, int line);
834 #define SMPI_SHARED_MALLOC(size) smpi_shared_malloc(size, __FILE__, __LINE__)
835
836 XBT_PUBLIC(void) smpi_shared_free(void *data);
837 #define SMPI_SHARED_FREE(data) smpi_shared_free(data)
838
839 XBT_PUBLIC(int) smpi_shared_known_call(const char* func, const char* input);
840 XBT_PUBLIC(void*) smpi_shared_get_call(const char* func, const char* input);
841 XBT_PUBLIC(void*) smpi_shared_set_call(const char* func, const char* input, void* data);
842 #define SMPI_SHARED_CALL(func, input, ...) \
843    (smpi_shared_known_call(#func, input) ? smpi_shared_get_call(#func, input) \
844                                          : smpi_shared_set_call(#func, input, (func(__VA_ARGS__))))
845
846 /* Fortran specific stuff */
847
848 XBT_PUBLIC(int) __attribute__((weak)) smpi_simulated_main_(int argc, char** argv);
849 XBT_PUBLIC(int) __attribute__((weak)) MAIN__(void);
850 XBT_PUBLIC(int) smpi_main(int (*realmain) (int argc, char *argv[]),int argc, char *argv[]);
851 XBT_PUBLIC(void) __attribute__((weak)) user_main_(void);
852 XBT_PUBLIC(int) smpi_process_index(void);
853 XBT_PUBLIC(void) smpi_process_init(int *argc, char ***argv);
854
855 /* Trace replay specific stuff */
856 XBT_PUBLIC(void) smpi_replay_run(int *argc, char***argv);
857
858 XBT_PUBLIC(void) SMPI_app_instance_register(const char *name, xbt_main_func_t code, int num_processes);
859 XBT_PUBLIC(void) SMPI_init(void);
860 XBT_PUBLIC(void) SMPI_finalize(void);
861
862 /* Manual global privatization fallback */
863 XBT_PUBLIC(void) smpi_register_static(void* arg, void_f_pvoid_t free_fn);
864 XBT_PUBLIC(void) smpi_free_static(void);
865
866 #define SMPI_VARINIT_GLOBAL(name,type)                          \
867 type *name = NULL;                                              \
868 static void __attribute__((constructor)) __preinit_##name(void) { \
869    if(!name)                                                    \
870       name = (type*)calloc(smpi_global_size(), sizeof(type));   \
871 }                                                               \
872 static void __attribute__((destructor)) __postfini_##name(void) { \
873    free(name);                                                  \
874    name = NULL;                                                 \
875 }
876
877 #define SMPI_VARINIT_GLOBAL_AND_SET(name,type,expr)             \
878 type *name = NULL;                                              \
879 static void __attribute__((constructor)) __preinit_##name(void) { \
880    size_t size = smpi_global_size();                            \
881    size_t i;                                                    \
882    type value = expr;                                           \
883    if(!name) {                                                  \
884       name = (type*)malloc(size * sizeof(type));                \
885       for(i = 0; i < size; i++) {                               \
886          name[i] = value;                                       \
887       }                                                         \
888    }                                                            \
889 }                                                               \
890 static void __attribute__((destructor)) __postfini_##name(void) { \
891    free(name);                                                  \
892    name = NULL;                                                 \
893 }
894
895 #define SMPI_VARGET_GLOBAL(name) name[smpi_process_index()]
896
897 #define SMPI_VARINIT_STATIC(name,type)                      \
898 static type *name = NULL;                                   \
899 if(!name) {                                                 \
900    name = (type*)calloc(smpi_global_size(), sizeof(type));  \
901    smpi_register_static(name, xbt_free_f);                  \
902 }
903
904 #define SMPI_VARINIT_STATIC_AND_SET(name,type,expr) \
905 static type *name = NULL;                           \
906 if(!name) {                                         \
907    size_t size = smpi_global_size();                \
908    size_t i;                                        \
909    type value = expr;                               \
910    name = (type*)malloc(size * sizeof(type));       \
911    for(i = 0; i < size; i++) {                      \
912       name[i] = value;                              \
913    }                                                \
914    smpi_register_static(name, xbt_free_f);          \
915 }
916
917 #define SMPI_VARGET_STATIC(name) name[smpi_process_index()]
918
919
920 SG_END_DECL()
921 #endif