src/smpi/smpi_pmpi.c

   1 /* Copyright (c) 2007-2014. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 #include "private.h"
   8 #include "smpi_mpi_dt_private.h"
   9
  10 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_pmpi, smpi,
  11                                 "Logging specific to SMPI (pmpi)");
  12
  13 #ifdef HAVE_TRACING
  14 //this function need to be here because of the calls to smpi_bench
  15 void TRACE_smpi_set_category(const char *category)
  16 {
  17   //need to end bench otherwise categories for execution tasks are wrong
  18   smpi_bench_end();
  19   TRACE_internal_smpi_set_category (category);
  20   //begin bench after changing process's category
  21   smpi_bench_begin();
  22 }
  23 #endif
  24
  25 /* PMPI User level calls */
  26
  27 int PMPI_Init(int *argc, char ***argv)
  28 {
  29   smpi_process_init(argc, argv);
  30   smpi_process_mark_as_initialized();
  31 #ifdef HAVE_TRACING
  32   int rank = smpi_process_index();
  33   TRACE_smpi_init(rank);
  34   TRACE_smpi_computing_init(rank);
  35   instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
  36   extra->type = TRACING_INIT;
  37   TRACE_smpi_collective_in(rank, -1, __FUNCTION__, extra);
  38   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
  39 #endif
  40   smpi_bench_begin();
  41   return MPI_SUCCESS;
  42 }
  43
  44 int PMPI_Finalize(void)
  45 {
  46   smpi_bench_end();
  47 #ifdef HAVE_TRACING
  48   int rank = smpi_process_index();
  49   instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
  50   extra->type = TRACING_FINALIZE;
  51   TRACE_smpi_collective_in(rank, -1, __FUNCTION__, extra);
  52 #endif
  53   smpi_process_finalize();
  54 #ifdef HAVE_TRACING
  55   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
  56   TRACE_smpi_finalize(smpi_process_index());
  57 #endif
  58   smpi_process_destroy();
  59   return MPI_SUCCESS;
  60 }
  61
  62 int PMPI_Finalized(int* flag)
  63 {
  64   *flag=smpi_process_finalized();
  65   return MPI_SUCCESS;
  66 }
  67
  68 int PMPI_Get_version (int *version,int *subversion){
  69   *version = MPI_VERSION;
  70   *subversion= MPI_SUBVERSION;
  71   return MPI_SUCCESS;
  72 }
  73
  74 int PMPI_Get_library_version (char *version,int *len){
  75   int retval = MPI_SUCCESS;
  76   smpi_bench_end();
  77   snprintf(version,MPI_MAX_LIBRARY_VERSION_STRING,"SMPI Version %d.%d. Copyright The Simgrid Team 2007-2013",SIMGRID_VERSION_MAJOR,
  78            SIMGRID_VERSION_MINOR);
  79   *len = strlen(version) > MPI_MAX_LIBRARY_VERSION_STRING ? MPI_MAX_LIBRARY_VERSION_STRING : strlen(version);
  80   smpi_bench_begin();
  81   return retval;
  82 }
  83
  84 int PMPI_Init_thread(int *argc, char ***argv, int required, int *provided)
  85 {
  86   if (provided != NULL) {
  87     *provided = MPI_THREAD_MULTIPLE;
  88   }
  89   return MPI_Init(argc, argv);
  90 }
  91
  92 int PMPI_Query_thread(int *provided)
  93 {
  94   int retval = 0;
  95
  96   smpi_bench_end();
  97   if (provided == NULL) {
  98     retval = MPI_ERR_ARG;
  99   } else {
 100     *provided = MPI_THREAD_MULTIPLE;
 101     retval = MPI_SUCCESS;
 102   }
 103   smpi_bench_begin();
 104   return retval;
 105 }
 106
 107 int PMPI_Is_thread_main(int *flag)
 108 {
 109   int retval = 0;
 110
 111   smpi_bench_end();
 112   if (flag == NULL) {
 113     retval = MPI_ERR_ARG;
 114   } else {
 115     *flag = smpi_process_index() == 0;
 116     retval = MPI_SUCCESS;
 117   }
 118   smpi_bench_begin();
 119   return retval;
 120 }
 121
 122 int PMPI_Abort(MPI_Comm comm, int errorcode)
 123 {
 124   smpi_bench_end();
 125   smpi_process_destroy();
 126   // FIXME: should kill all processes in comm instead
 127   simcall_process_kill(SIMIX_process_self());
 128   return MPI_SUCCESS;
 129 }
 130
 131 double PMPI_Wtime(void)
 132 {
 133   double time;
 134   if (smpi_process_initialized() && !smpi_process_finalized() && !smpi_process_get_sampling()) {
 135     smpi_bench_end();
 136     time = SIMIX_get_clock();
 137     smpi_bench_begin();
 138   } else {
 139     time = SIMIX_get_clock();
 140   }
 141   return time;
 142 }
 143
 144 extern double sg_maxmin_precision;
 145 double PMPI_Wtick(void)
 146 {
 147   return sg_maxmin_precision;
 148 }
 149
 150 int PMPI_Address(void *location, MPI_Aint * address)
 151 {
 152   int retval = 0;
 153
 154   smpi_bench_end();
 155   if (!address) {
 156     retval = MPI_ERR_ARG;
 157   } else {
 158     *address = (MPI_Aint) location;
 159     retval = MPI_SUCCESS;
 160   }
 161   smpi_bench_begin();
 162   return retval;
 163 }
 164
 165 int PMPI_Get_address(void *location, MPI_Aint * address)
 166 {
 167   return PMPI_Address(location, address);
 168 }
 169
 170 int PMPI_Type_free(MPI_Datatype * datatype)
 171 {
 172   int retval = 0;
 173
 174   smpi_bench_end();
 175   if (!datatype) {
 176     retval = MPI_ERR_ARG;
 177   } else {
 178     smpi_datatype_free(datatype);
 179     retval = MPI_SUCCESS;
 180   }
 181   smpi_bench_begin();
 182   return retval;
 183 }
 184
 185 int PMPI_Type_size(MPI_Datatype datatype, int *size)
 186 {
 187   int retval = 0;
 188
 189   smpi_bench_end();
 190   if (datatype == MPI_DATATYPE_NULL) {
 191     retval = MPI_ERR_TYPE;
 192   } else if (size == NULL) {
 193     retval = MPI_ERR_ARG;
 194   } else {
 195     *size = (int) smpi_datatype_size(datatype);
 196     retval = MPI_SUCCESS;
 197   }
 198   smpi_bench_begin();
 199   return retval;
 200 }
 201
 202 int PMPI_Type_get_extent(MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent)
 203 {
 204   int retval = 0;
 205
 206   smpi_bench_end();
 207   if (datatype == MPI_DATATYPE_NULL) {
 208     retval = MPI_ERR_TYPE;
 209   } else if (lb == NULL || extent == NULL) {
 210     retval = MPI_ERR_ARG;
 211   } else {
 212     retval = smpi_datatype_extent(datatype, lb, extent);
 213   }
 214   smpi_bench_begin();
 215   return retval;
 216 }
 217
 218 int PMPI_Type_get_true_extent(MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent)
 219 {
 220   return PMPI_Type_get_extent(datatype, lb, extent);
 221 }
 222
 223 int PMPI_Type_extent(MPI_Datatype datatype, MPI_Aint * extent)
 224 {
 225   int retval = 0;
 226
 227   smpi_bench_end();
 228   if (datatype == MPI_DATATYPE_NULL) {
 229     retval = MPI_ERR_TYPE;
 230   } else if (extent == NULL) {
 231     retval = MPI_ERR_ARG;
 232   } else {
 233     *extent = smpi_datatype_get_extent(datatype);
 234     retval = MPI_SUCCESS;
 235   }
 236   smpi_bench_begin();
 237   return retval;
 238 }
 239
 240 int PMPI_Type_lb(MPI_Datatype datatype, MPI_Aint * disp)
 241 {
 242   int retval = 0;
 243
 244   smpi_bench_end();
 245   if (datatype == MPI_DATATYPE_NULL) {
 246     retval = MPI_ERR_TYPE;
 247   } else if (disp == NULL) {
 248     retval = MPI_ERR_ARG;
 249   } else {
 250     *disp = smpi_datatype_lb(datatype);
 251     retval = MPI_SUCCESS;
 252   }
 253   smpi_bench_begin();
 254   return retval;
 255 }
 256
 257 int PMPI_Type_ub(MPI_Datatype datatype, MPI_Aint * disp)
 258 {
 259   int retval = 0;
 260
 261   smpi_bench_end();
 262   if (datatype == MPI_DATATYPE_NULL) {
 263     retval = MPI_ERR_TYPE;
 264   } else if (disp == NULL) {
 265     retval = MPI_ERR_ARG;
 266   } else {
 267     *disp = smpi_datatype_ub(datatype);
 268     retval = MPI_SUCCESS;
 269   }
 270   smpi_bench_begin();
 271   return retval;
 272 }
 273
 274 int PMPI_Op_create(MPI_User_function * function, int commute, MPI_Op * op)
 275 {
 276   int retval = 0;
 277
 278   smpi_bench_end();
 279   if (function == NULL || op == NULL) {
 280     retval = MPI_ERR_ARG;
 281   } else {
 282     *op = smpi_op_new(function, commute);
 283     retval = MPI_SUCCESS;
 284   }
 285   smpi_bench_begin();
 286   return retval;
 287 }
 288
 289 int PMPI_Op_free(MPI_Op * op)
 290 {
 291   int retval = 0;
 292
 293   smpi_bench_end();
 294   if (op == NULL) {
 295     retval = MPI_ERR_ARG;
 296   } else if (*op == MPI_OP_NULL) {
 297     retval = MPI_ERR_OP;
 298   } else {
 299     smpi_op_destroy(*op);
 300     *op = MPI_OP_NULL;
 301     retval = MPI_SUCCESS;
 302   }
 303   smpi_bench_begin();
 304   return retval;
 305 }
 306
 307 int PMPI_Group_free(MPI_Group * group)
 308 {
 309   int retval = 0;
 310
 311   smpi_bench_end();
 312   if (group == NULL) {
 313     retval = MPI_ERR_ARG;
 314   } else {
 315     smpi_group_destroy(*group);
 316     *group = MPI_GROUP_NULL;
 317     retval = MPI_SUCCESS;
 318   }
 319   smpi_bench_begin();
 320   return retval;
 321 }
 322
 323 int PMPI_Group_size(MPI_Group group, int *size)
 324 {
 325   int retval = 0;
 326
 327   smpi_bench_end();
 328   if (group == MPI_GROUP_NULL) {
 329     retval = MPI_ERR_GROUP;
 330   } else if (size == NULL) {
 331     retval = MPI_ERR_ARG;
 332   } else {
 333     *size = smpi_group_size(group);
 334     retval = MPI_SUCCESS;
 335   }
 336   smpi_bench_begin();
 337   return retval;
 338 }
 339
 340 int PMPI_Group_rank(MPI_Group group, int *rank)
 341 {
 342   int retval = 0;
 343
 344   smpi_bench_end();
 345   if (group == MPI_GROUP_NULL) {
 346     retval = MPI_ERR_GROUP;
 347   } else if (rank == NULL) {
 348     retval = MPI_ERR_ARG;
 349   } else {
 350     *rank = smpi_group_rank(group, smpi_process_index());
 351     retval = MPI_SUCCESS;
 352   }
 353   smpi_bench_begin();
 354   return retval;
 355 }
 356
 357 int PMPI_Group_translate_ranks(MPI_Group group1, int n, int *ranks1,
 358                                MPI_Group group2, int *ranks2)
 359 {
 360   int retval, i, index;
 361   smpi_bench_end();
 362   if (group1 == MPI_GROUP_NULL || group2 == MPI_GROUP_NULL) {
 363     retval = MPI_ERR_GROUP;
 364   } else {
 365     for (i = 0; i < n; i++) {
 366       if(ranks1[i]==MPI_PROC_NULL){
 367         ranks2[i]=MPI_PROC_NULL;
 368       }else{
 369         index = smpi_group_index(group1, ranks1[i]);
 370         ranks2[i] = smpi_group_rank(group2, index);
 371       }
 372     }
 373     retval = MPI_SUCCESS;
 374   }
 375   smpi_bench_begin();
 376   return retval;
 377 }
 378
 379 int PMPI_Group_compare(MPI_Group group1, MPI_Group group2, int *result)
 380 {
 381   int retval = 0;
 382
 383   smpi_bench_end();
 384   if (group1 == MPI_GROUP_NULL || group2 == MPI_GROUP_NULL) {
 385     retval = MPI_ERR_GROUP;
 386   } else if (result == NULL) {
 387     retval = MPI_ERR_ARG;
 388   } else {
 389     *result = smpi_group_compare(group1, group2);
 390     retval = MPI_SUCCESS;
 391   }
 392   smpi_bench_begin();
 393   return retval;
 394 }
 395
 396 int PMPI_Group_union(MPI_Group group1, MPI_Group group2,
 397                      MPI_Group * newgroup)
 398 {
 399   int retval, i, proc1, proc2, size, size2;
 400
 401   smpi_bench_end();
 402   if (group1 == MPI_GROUP_NULL || group2 == MPI_GROUP_NULL) {
 403     retval = MPI_ERR_GROUP;
 404   } else if (newgroup == NULL) {
 405     retval = MPI_ERR_ARG;
 406   } else {
 407     size = smpi_group_size(group1);
 408     size2 = smpi_group_size(group2);
 409     for (i = 0; i < size2; i++) {
 410       proc2 = smpi_group_index(group2, i);
 411       proc1 = smpi_group_rank(group1, proc2);
 412       if (proc1 == MPI_UNDEFINED) {
 413         size++;
 414       }
 415     }
 416     if (size == 0) {
 417       *newgroup = MPI_GROUP_EMPTY;
 418     } else {
 419       *newgroup = smpi_group_new(size);
 420       size2 = smpi_group_size(group1);
 421       for (i = 0; i < size2; i++) {
 422         proc1 = smpi_group_index(group1, i);
 423         smpi_group_set_mapping(*newgroup, proc1, i);
 424       }
 425       for (i = size2; i < size; i++) {
 426         proc2 = smpi_group_index(group2, i - size2);
 427         smpi_group_set_mapping(*newgroup, proc2, i);
 428       }
 429     }
 430     retval = MPI_SUCCESS;
 431   }
 432   smpi_bench_begin();
 433   return retval;
 434 }
 435
 436 int PMPI_Group_intersection(MPI_Group group1, MPI_Group group2,
 437                             MPI_Group * newgroup)
 438 {
 439   int retval, i, proc1, proc2, size;
 440
 441   smpi_bench_end();
 442   if (group1 == MPI_GROUP_NULL || group2 == MPI_GROUP_NULL) {
 443     retval = MPI_ERR_GROUP;
 444   } else if (newgroup == NULL) {
 445     retval = MPI_ERR_ARG;
 446   } else {
 447     size = smpi_group_size(group2);
 448     for (i = 0; i < size; i++) {
 449       proc2 = smpi_group_index(group2, i);
 450       proc1 = smpi_group_rank(group1, proc2);
 451       if (proc1 == MPI_UNDEFINED) {
 452         size--;
 453       }
 454     }
 455     if (size == 0) {
 456       *newgroup = MPI_GROUP_EMPTY;
 457     } else {
 458       *newgroup = smpi_group_new(size);
 459       int j=0;
 460       for (i = 0; i < smpi_group_size(group2); i++) {
 461         proc2 = smpi_group_index(group2, i);
 462         proc1 = smpi_group_rank(group1, proc2);
 463         if (proc1 != MPI_UNDEFINED) {
 464           smpi_group_set_mapping(*newgroup, proc2, j);
 465           j++;
 466         }
 467       }
 468     }
 469     retval = MPI_SUCCESS;
 470   }
 471   smpi_bench_begin();
 472   return retval;
 473 }
 474
 475 int PMPI_Group_difference(MPI_Group group1, MPI_Group group2, MPI_Group * newgroup)
 476 {
 477   int retval, i, proc1, proc2, size, size2;
 478
 479   smpi_bench_end();
 480   if (group1 == MPI_GROUP_NULL || group2 == MPI_GROUP_NULL) {
 481     retval = MPI_ERR_GROUP;
 482   } else if (newgroup == NULL) {
 483     retval = MPI_ERR_ARG;
 484   } else {
 485     size = size2 = smpi_group_size(group1);
 486     for (i = 0; i < size2; i++) {
 487       proc1 = smpi_group_index(group1, i);
 488       proc2 = smpi_group_rank(group2, proc1);
 489       if (proc2 != MPI_UNDEFINED) {
 490         size--;
 491       }
 492     }
 493     if (size == 0) {
 494       *newgroup = MPI_GROUP_EMPTY;
 495     } else {
 496       *newgroup = smpi_group_new(size);
 497       for (i = 0; i < size2; i++) {
 498         proc1 = smpi_group_index(group1, i);
 499         proc2 = smpi_group_rank(group2, proc1);
 500         if (proc2 == MPI_UNDEFINED) {
 501           smpi_group_set_mapping(*newgroup, proc1, i);
 502         }
 503       }
 504     }
 505     retval = MPI_SUCCESS;
 506   }
 507   smpi_bench_begin();
 508   return retval;
 509 }
 510
 511 int PMPI_Group_incl(MPI_Group group, int n, int *ranks, MPI_Group * newgroup)
 512 {
 513   int retval, i, index;
 514
 515   smpi_bench_end();
 516   if (group == MPI_GROUP_NULL) {
 517     retval = MPI_ERR_GROUP;
 518   } else if (newgroup == NULL) {
 519     retval = MPI_ERR_ARG;
 520   } else {
 521     if (n == 0) {
 522       *newgroup = MPI_GROUP_EMPTY;
 523     } else if (n == smpi_group_size(group)) {
 524       *newgroup = group;
 525       if(group!= smpi_comm_group(MPI_COMM_WORLD)
 526          && group != MPI_GROUP_NULL
 527          && group != smpi_comm_group(MPI_COMM_SELF)
 528          && group != MPI_GROUP_EMPTY)
 529         smpi_group_use(group);
 530     } else {
 531       *newgroup = smpi_group_new(n);
 532       for (i = 0; i < n; i++) {
 533         index = smpi_group_index(group, ranks[i]);
 534         smpi_group_set_mapping(*newgroup, index, i);
 535       }
 536     }
 537     retval = MPI_SUCCESS;
 538   }
 539   smpi_bench_begin();
 540   return retval;
 541 }
 542
 543 int PMPI_Group_excl(MPI_Group group, int n, int *ranks, MPI_Group * newgroup)
 544 {
 545   int retval, i, j, newsize, oldsize, index;
 546
 547   smpi_bench_end();
 548   if (group == MPI_GROUP_NULL) {
 549     retval = MPI_ERR_GROUP;
 550   } else if (newgroup == NULL) {
 551     retval = MPI_ERR_ARG;
 552   } else {
 553     if (n == 0) {
 554       *newgroup = group;
 555       if(group!= smpi_comm_group(MPI_COMM_WORLD)
 556          && group != MPI_GROUP_NULL
 557          && group != smpi_comm_group(MPI_COMM_SELF)
 558          && group != MPI_GROUP_EMPTY)
 559         smpi_group_use(group);
 560     } else if (n == smpi_group_size(group)) {
 561       *newgroup = MPI_GROUP_EMPTY;
 562     } else {
 563       oldsize=smpi_group_size(group);
 564       newsize = oldsize - n;
 565       *newgroup = smpi_group_new(newsize);
 566
 567       int* to_exclude=xbt_new0(int, smpi_group_size(group));
 568       for(i=0; i<oldsize; i++)
 569         to_exclude[i]=0;
 570       for(i=0; i<n; i++)
 571         to_exclude[ranks[i]]=1;
 572
 573       j=0;
 574       for(i=0; i<oldsize; i++){
 575         if(to_exclude[i]==0){
 576           index = smpi_group_index(group, i);
 577           smpi_group_set_mapping(*newgroup, index, j);
 578           j++;
 579         }
 580       }
 581
 582       xbt_free(to_exclude);
 583     }
 584     retval = MPI_SUCCESS;
 585   }
 586   smpi_bench_begin();
 587   return retval;
 588 }
 589
 590 int PMPI_Group_range_incl(MPI_Group group, int n, int ranges[][3],
 591                           MPI_Group * newgroup)
 592 {
 593   int retval, i, j, rank, size, index;
 594
 595   smpi_bench_end();
 596   if (group == MPI_GROUP_NULL) {
 597     retval = MPI_ERR_GROUP;
 598   } else if (newgroup == NULL) {
 599     retval = MPI_ERR_ARG;
 600   } else {
 601     if (n == 0) {
 602       *newgroup = MPI_GROUP_EMPTY;
 603     } else {
 604       size = 0;
 605       for (i = 0; i < n; i++) {
 606         for (rank = ranges[i][0];       /* First */
 607              rank >= 0; /* Last */
 608              ) {
 609           size++;
 610
 611           rank += ranges[i][2]; /* Stride */
 612           if (ranges[i][0]<ranges[i][1]){
 613             if(rank > ranges[i][1])
 614               break;
 615           }else{
 616             if(rank < ranges[i][1])
 617               break;
 618           }
 619         }
 620       }
 621
 622       *newgroup = smpi_group_new(size);
 623       j = 0;
 624       for (i = 0; i < n; i++) {
 625         for (rank = ranges[i][0];     /* First */
 626              rank >= 0; /* Last */
 627              ) {
 628           index = smpi_group_index(group, rank);
 629           smpi_group_set_mapping(*newgroup, index, j);
 630           j++;
 631           rank += ranges[i][2]; /* Stride */
 632           if (ranges[i][0]<ranges[i][1]){
 633             if(rank > ranges[i][1])
 634               break;
 635           }else{
 636             if(rank < ranges[i][1])
 637               break;
 638           }
 639         }
 640       }
 641     }
 642     retval = MPI_SUCCESS;
 643   }
 644   smpi_bench_begin();
 645   return retval;
 646 }
 647
 648 int PMPI_Group_range_excl(MPI_Group group, int n, int ranges[][3],
 649                           MPI_Group * newgroup)
 650 {
 651   int retval, i, rank, newrank,oldrank, size, index, add;
 652
 653   smpi_bench_end();
 654   if (group == MPI_GROUP_NULL) {
 655     retval = MPI_ERR_GROUP;
 656   } else if (newgroup == NULL) {
 657     retval = MPI_ERR_ARG;
 658   } else {
 659     if (n == 0) {
 660       *newgroup = group;
 661       if(group!= smpi_comm_group(MPI_COMM_WORLD)
 662          && group != MPI_GROUP_NULL
 663          && group != smpi_comm_group(MPI_COMM_SELF)
 664          && group != MPI_GROUP_EMPTY)
 665         smpi_group_use(group);
 666     } else {
 667       size = smpi_group_size(group);
 668       for (i = 0; i < n; i++) {
 669         for (rank = ranges[i][0];       /* First */
 670              rank >= 0; /* Last */
 671              ) {
 672           size--;
 673
 674           rank += ranges[i][2]; /* Stride */
 675           if (ranges[i][0]<ranges[i][1]){
 676             if(rank > ranges[i][1])
 677               break;
 678           }else{
 679             if(rank < ranges[i][1])
 680               break;
 681           }
 682         }
 683       }
 684       if (size == 0) {
 685         *newgroup = MPI_GROUP_EMPTY;
 686       } else {
 687         *newgroup = smpi_group_new(size);
 688         newrank=0;
 689         oldrank=0;
 690         while (newrank < size) {
 691           add=1;
 692           for (i = 0; i < n; i++) {
 693             for (rank = ranges[i][0];rank >= 0;){
 694               if(rank==oldrank){
 695                 add=0;
 696                 break;
 697               }
 698
 699               rank += ranges[i][2]; /* Stride */
 700
 701               if (ranges[i][0]<ranges[i][1]){
 702                 if(rank > ranges[i][1])
 703                   break;
 704               }else{
 705                 if(rank < ranges[i][1])
 706                   break;
 707               }
 708             }
 709           }
 710           if(add==1){
 711             index = smpi_group_index(group, oldrank);
 712             smpi_group_set_mapping(*newgroup, index, newrank);
 713             newrank++;
 714           }
 715           oldrank++;
 716         }
 717       }
 718     }
 719
 720     retval = MPI_SUCCESS;
 721   }
 722   smpi_bench_begin();
 723   return retval;
 724 }
 725
 726 int PMPI_Comm_rank(MPI_Comm comm, int *rank)
 727 {
 728   int retval = 0;
 729
 730   smpi_bench_end();
 731   if (comm == MPI_COMM_NULL) {
 732     retval = MPI_ERR_COMM;
 733   } else if (rank == NULL) {
 734     retval = MPI_ERR_ARG;
 735   } else {
 736     *rank = smpi_comm_rank(comm);
 737     retval = MPI_SUCCESS;
 738   }
 739   smpi_bench_begin();
 740   return retval;
 741 }
 742
 743 int PMPI_Comm_size(MPI_Comm comm, int *size)
 744 {
 745   int retval = 0;
 746
 747   smpi_bench_end();
 748   if (comm == MPI_COMM_NULL) {
 749     retval = MPI_ERR_COMM;
 750   } else if (size == NULL) {
 751     retval = MPI_ERR_ARG;
 752   } else {
 753     *size = smpi_comm_size(comm);
 754     retval = MPI_SUCCESS;
 755   }
 756   smpi_bench_begin();
 757   return retval;
 758 }
 759
 760 int PMPI_Comm_get_name (MPI_Comm comm, char* name, int* len)
 761 {
 762   int retval = 0;
 763
 764   smpi_bench_end();
 765   if (comm == MPI_COMM_NULL)  {
 766     retval = MPI_ERR_COMM;
 767   } else if (name == NULL || len == NULL)  {
 768     retval = MPI_ERR_ARG;
 769   } else {
 770     smpi_comm_get_name(comm, name, len);
 771     retval = MPI_SUCCESS;
 772   }
 773   smpi_bench_begin();
 774   return retval;
 775 }
 776
 777 int PMPI_Comm_group(MPI_Comm comm, MPI_Group * group)
 778 {
 779   int retval = 0;
 780
 781   smpi_bench_end();
 782   if (comm == MPI_COMM_NULL) {
 783     retval = MPI_ERR_COMM;
 784   } else if (group == NULL) {
 785     retval = MPI_ERR_ARG;
 786   } else {
 787     *group = smpi_comm_group(comm);
 788     if(*group!= smpi_comm_group(MPI_COMM_WORLD)
 789        && *group != MPI_GROUP_NULL
 790        && *group != smpi_comm_group(MPI_COMM_SELF)
 791        && *group != MPI_GROUP_EMPTY)
 792       smpi_group_use(*group);
 793     retval = MPI_SUCCESS;
 794   }
 795   smpi_bench_begin();
 796   return retval;
 797 }
 798
 799 int PMPI_Comm_compare(MPI_Comm comm1, MPI_Comm comm2, int *result)
 800 {
 801   int retval = 0;
 802
 803   smpi_bench_end();
 804   if (comm1 == MPI_COMM_NULL || comm2 == MPI_COMM_NULL) {
 805     retval = MPI_ERR_COMM;
 806   } else if (result == NULL) {
 807     retval = MPI_ERR_ARG;
 808   } else {
 809     if (comm1 == comm2) {       /* Same communicators means same groups */
 810       *result = MPI_IDENT;
 811     } else {
 812       *result =
 813         smpi_group_compare(smpi_comm_group(comm1),
 814                            smpi_comm_group(comm2));
 815       if (*result == MPI_IDENT) {
 816         *result = MPI_CONGRUENT;
 817       }
 818     }
 819     retval = MPI_SUCCESS;
 820   }
 821   smpi_bench_begin();
 822   return retval;
 823 }
 824
 825 int PMPI_Comm_dup(MPI_Comm comm, MPI_Comm * newcomm)
 826 {
 827   int retval = 0;
 828
 829   smpi_bench_end();
 830   if (comm == MPI_COMM_NULL) {
 831     retval = MPI_ERR_COMM;
 832   } else if (newcomm == NULL) {
 833     retval = MPI_ERR_ARG;
 834   } else {
 835     *newcomm = smpi_comm_new(smpi_comm_group(comm), smpi_comm_topo(comm));
 836     retval = MPI_SUCCESS;
 837   }
 838   smpi_bench_begin();
 839   return retval;
 840 }
 841
 842 int PMPI_Comm_create(MPI_Comm comm, MPI_Group group, MPI_Comm * newcomm)
 843 {
 844   int retval = 0;
 845
 846   smpi_bench_end();
 847   if (comm == MPI_COMM_NULL) {
 848     retval = MPI_ERR_COMM;
 849   } else if (group == MPI_GROUP_NULL) {
 850     retval = MPI_ERR_GROUP;
 851   } else if (newcomm == NULL) {
 852     retval = MPI_ERR_ARG;
 853   } else if(smpi_group_rank(group,smpi_process_index())==MPI_UNDEFINED){
 854     *newcomm= MPI_COMM_NULL;
 855     retval = MPI_SUCCESS;
 856   }else{
 857
 858     *newcomm = smpi_comm_new(group, NULL);
 859     retval = MPI_SUCCESS;
 860   }
 861   smpi_bench_begin();
 862   return retval;
 863 }
 864
 865 int PMPI_Comm_free(MPI_Comm * comm)
 866 {
 867   int retval = 0;
 868
 869   smpi_bench_end();
 870   if (comm == NULL) {
 871     retval = MPI_ERR_ARG;
 872   } else if (*comm == MPI_COMM_NULL) {
 873     retval = MPI_ERR_COMM;
 874   } else {
 875     smpi_comm_destroy(*comm);
 876     *comm = MPI_COMM_NULL;
 877     retval = MPI_SUCCESS;
 878   }
 879   smpi_bench_begin();
 880   return retval;
 881 }
 882
 883 int PMPI_Comm_disconnect(MPI_Comm * comm)
 884 {
 885   /* TODO: wait until all communication in comm are done */
 886   int retval = 0;
 887
 888   smpi_bench_end();
 889   if (comm == NULL) {
 890     retval = MPI_ERR_ARG;
 891   } else if (*comm == MPI_COMM_NULL) {
 892     retval = MPI_ERR_COMM;
 893   } else {
 894     smpi_comm_destroy(*comm);
 895     *comm = MPI_COMM_NULL;
 896     retval = MPI_SUCCESS;
 897   }
 898   smpi_bench_begin();
 899   return retval;
 900 }
 901
 902 int PMPI_Comm_split(MPI_Comm comm, int color, int key, MPI_Comm* comm_out)
 903 {
 904   int retval = 0;
 905
 906   smpi_bench_end();
 907   if (comm_out == NULL) {
 908     retval = MPI_ERR_ARG;
 909   } else if (comm == MPI_COMM_NULL) {
 910     retval = MPI_ERR_COMM;
 911   } else {
 912     *comm_out = smpi_comm_split(comm, color, key);
 913     retval = MPI_SUCCESS;
 914   }
 915   smpi_bench_begin();
 916   return retval;
 917 }
 918
 919 int PMPI_Send_init(void *buf, int count, MPI_Datatype datatype, int dst,
 920                    int tag, MPI_Comm comm, MPI_Request * request)
 921 {
 922   int retval = 0;
 923
 924   smpi_bench_end();
 925   if (request == NULL) {
 926     retval = MPI_ERR_ARG;
 927   } else if (comm == MPI_COMM_NULL) {
 928     retval = MPI_ERR_COMM;
 929   } else if (dst == MPI_PROC_NULL) {
 930     retval = MPI_SUCCESS;
 931   } else {
 932     *request = smpi_mpi_send_init(buf, count, datatype, dst, tag, comm);
 933     retval = MPI_SUCCESS;
 934   }
 935   smpi_bench_begin();
 936   if (retval != MPI_SUCCESS && request)
 937     *request = MPI_REQUEST_NULL;
 938   return retval;
 939 }
 940
 941 int PMPI_Recv_init(void *buf, int count, MPI_Datatype datatype, int src,
 942                    int tag, MPI_Comm comm, MPI_Request * request)
 943 {
 944   int retval = 0;
 945
 946   smpi_bench_end();
 947   if (request == NULL) {
 948     retval = MPI_ERR_ARG;
 949   } else if (comm == MPI_COMM_NULL) {
 950     retval = MPI_ERR_COMM;
 951   } else if (src == MPI_PROC_NULL) {
 952     retval = MPI_SUCCESS;
 953   } else {
 954     *request = smpi_mpi_recv_init(buf, count, datatype, src, tag, comm);
 955     retval = MPI_SUCCESS;
 956   }
 957   smpi_bench_begin();
 958   if (retval != MPI_SUCCESS && request)
 959     *request = MPI_REQUEST_NULL;
 960   return retval;
 961 }
 962
 963 int PMPI_Ssend_init(void* buf, int count, MPI_Datatype datatype,
 964                     int dst, int tag, MPI_Comm comm, MPI_Request* request)
 965 {
 966   int retval = 0;
 967
 968   smpi_bench_end();
 969   if (request == NULL) {
 970     retval = MPI_ERR_ARG;
 971   } else if (comm == MPI_COMM_NULL) {
 972     retval = MPI_ERR_COMM;
 973   } else if (dst == MPI_PROC_NULL) {
 974     retval = MPI_SUCCESS;
 975   } else {
 976     *request = smpi_mpi_ssend_init(buf, count, datatype, dst, tag, comm);
 977     retval = MPI_SUCCESS;
 978   }
 979   smpi_bench_begin();
 980   if (retval != MPI_SUCCESS && request)
 981     *request = MPI_REQUEST_NULL;
 982   return retval;
 983 }
 984
 985 int PMPI_Start(MPI_Request * request)
 986 {
 987   int retval = 0;
 988
 989   smpi_bench_end();
 990   if (request == NULL || *request == MPI_REQUEST_NULL) {
 991     retval = MPI_ERR_ARG;
 992   } else {
 993     smpi_mpi_start(*request);
 994     retval = MPI_SUCCESS;
 995   }
 996   smpi_bench_begin();
 997   return retval;
 998 }
 999
1000 int PMPI_Startall(int count, MPI_Request * requests)
1001 {
1002   int retval = 0;
1003
1004   smpi_bench_end();
1005   if (requests == NULL) {
1006     retval = MPI_ERR_ARG;
1007   } else {
1008     smpi_mpi_startall(count, requests);
1009     retval = MPI_SUCCESS;
1010   }
1011   smpi_bench_begin();
1012   return retval;
1013 }
1014
1015 int PMPI_Request_free(MPI_Request * request)
1016 {
1017   int retval = 0;
1018
1019   smpi_bench_end();
1020   if (*request == MPI_REQUEST_NULL) {
1021     retval = MPI_ERR_ARG;
1022   } else {
1023     smpi_mpi_request_free(request);
1024     retval = MPI_SUCCESS;
1025   }
1026   smpi_bench_begin();
1027   return retval;
1028 }
1029
1030 int PMPI_Irecv(void *buf, int count, MPI_Datatype datatype, int src,
1031                int tag, MPI_Comm comm, MPI_Request * request)
1032 {
1033   int retval = 0;
1034
1035   smpi_bench_end();
1036
1037   if (request == NULL) {
1038     retval = MPI_ERR_ARG;
1039   } else if (comm == MPI_COMM_NULL) {
1040     retval = MPI_ERR_COMM;
1041   } else if (src == MPI_PROC_NULL) {
1042     *request = MPI_REQUEST_NULL;
1043     retval = MPI_SUCCESS;
1044   } else if (src!=MPI_ANY_SOURCE && (src >= smpi_group_size(smpi_comm_group(comm)) || src <0)){
1045     retval = MPI_ERR_COMM;
1046   } else if (count < 0) {
1047     retval = MPI_ERR_COUNT;
1048   } else if (buf==NULL && count > 0) {
1049     retval = MPI_ERR_COUNT;
1050   } else if (datatype == MPI_DATATYPE_NULL){
1051     retval = MPI_ERR_TYPE;
1052   } else if(tag<0 && tag !=  MPI_ANY_TAG){
1053     retval = MPI_ERR_TAG;
1054   } else {
1055
1056 #ifdef HAVE_TRACING
1057     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1058     int src_traced = smpi_group_index(smpi_comm_group(comm), src);
1059
1060     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1061     extra->type = TRACING_IRECV;
1062     extra->send_size = count;
1063     extra->src = src_traced;
1064     extra->dst = rank;
1065     extra->datatype1 = encode_datatype(datatype);
1066     TRACE_smpi_ptp_in(rank, src_traced, rank, __FUNCTION__, extra);
1067 #endif
1068
1069     *request = smpi_mpi_irecv(buf, count, datatype, src, tag, comm);
1070     retval = MPI_SUCCESS;
1071
1072 #ifdef HAVE_TRACING
1073     TRACE_smpi_ptp_out(rank, src_traced, rank, __FUNCTION__);
1074     (*request)->recv = 1;
1075 #endif
1076   }
1077
1078   smpi_bench_begin();
1079   if (retval != MPI_SUCCESS && request)
1080     *request = MPI_REQUEST_NULL;
1081   return retval;
1082 }
1083
1084
1085 int PMPI_Isend(void *buf, int count, MPI_Datatype datatype, int dst,
1086                int tag, MPI_Comm comm, MPI_Request * request)
1087 {
1088   int retval = 0;
1089
1090   smpi_bench_end();
1091   if (request == NULL) {
1092     retval = MPI_ERR_ARG;
1093   } else if (comm == MPI_COMM_NULL) {
1094     retval = MPI_ERR_COMM;
1095   } else if (dst == MPI_PROC_NULL) {
1096     *request = MPI_REQUEST_NULL;
1097     retval = MPI_SUCCESS;
1098   } else if (dst >= smpi_group_size(smpi_comm_group(comm)) || dst <0){
1099     retval = MPI_ERR_RANK;
1100   } else if (count < 0) {
1101     retval = MPI_ERR_COUNT;
1102   } else if (buf==NULL && count > 0) {
1103     retval = MPI_ERR_COUNT;
1104   } else if (datatype == MPI_DATATYPE_NULL){
1105     retval = MPI_ERR_TYPE;
1106   } else if(tag<0 && tag !=  MPI_ANY_TAG){
1107     retval = MPI_ERR_TAG;
1108   } else {
1109
1110 #ifdef HAVE_TRACING
1111     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1112     int dst_traced = smpi_group_index(smpi_comm_group(comm), dst);
1113
1114     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1115     extra->type = TRACING_ISEND;
1116     extra->send_size = count;
1117     extra->src = rank;
1118     extra->dst = dst_traced;
1119     extra->datatype1 = encode_datatype(datatype);
1120     TRACE_smpi_ptp_in(rank, rank, dst_traced, __FUNCTION__, extra);
1121     TRACE_smpi_send(rank, rank, dst_traced, count*smpi_datatype_size(datatype));
1122 #endif
1123
1124     *request = smpi_mpi_isend(buf, count, datatype, dst, tag, comm);
1125     retval = MPI_SUCCESS;
1126
1127 #ifdef HAVE_TRACING
1128     TRACE_smpi_ptp_out(rank, rank, dst_traced, __FUNCTION__);
1129     (*request)->send = 1;
1130 #endif
1131   }
1132
1133   smpi_bench_begin();
1134   if (retval != MPI_SUCCESS && request)
1135     *request = MPI_REQUEST_NULL;
1136   return retval;
1137 }
1138
1139 int PMPI_Issend(void* buf, int count, MPI_Datatype datatype,
1140                 int dst, int tag, MPI_Comm comm, MPI_Request* request)
1141 {
1142   int retval = 0;
1143
1144   smpi_bench_end();
1145   if (request == NULL) {
1146     retval = MPI_ERR_ARG;
1147   } else if (comm == MPI_COMM_NULL) {
1148     retval = MPI_ERR_COMM;
1149   } else if (dst == MPI_PROC_NULL) {
1150     *request = MPI_REQUEST_NULL;
1151     retval = MPI_SUCCESS;
1152   } else if (dst >= smpi_group_size(smpi_comm_group(comm)) || dst <0){
1153     retval = MPI_ERR_RANK;
1154   } else if (count < 0) {
1155     retval = MPI_ERR_COUNT;
1156   } else if (buf==NULL && count > 0) {
1157     retval = MPI_ERR_COUNT;
1158   } else if (datatype == MPI_DATATYPE_NULL){
1159     retval = MPI_ERR_TYPE;
1160   } else if(tag<0 && tag !=  MPI_ANY_TAG){
1161     retval = MPI_ERR_TAG;
1162   } else {
1163
1164 #ifdef HAVE_TRACING
1165     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1166     int dst_traced = smpi_group_index(smpi_comm_group(comm), dst);
1167     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1168     extra->type = TRACING_ISSEND;
1169     extra->send_size = count;
1170     extra->src = rank;
1171     extra->dst = dst_traced;
1172     extra->datatype1 = encode_datatype(datatype);
1173     TRACE_smpi_ptp_in(rank, rank, dst_traced, __FUNCTION__, extra);
1174     TRACE_smpi_send(rank, rank, dst_traced, count*smpi_datatype_size(datatype));
1175 #endif
1176
1177     *request = smpi_mpi_issend(buf, count, datatype, dst, tag, comm);
1178     retval = MPI_SUCCESS;
1179
1180 #ifdef HAVE_TRACING
1181     TRACE_smpi_ptp_out(rank, rank, dst_traced, __FUNCTION__);
1182     (*request)->send = 1;
1183 #endif
1184   }
1185
1186   smpi_bench_begin();
1187   if (retval != MPI_SUCCESS && request)
1188     *request = MPI_REQUEST_NULL;
1189   return retval;
1190 }
1191
1192 int PMPI_Recv(void *buf, int count, MPI_Datatype datatype, int src, int tag,
1193               MPI_Comm comm, MPI_Status * status)
1194 {
1195   int retval = 0;
1196
1197   smpi_bench_end();
1198   if (comm == MPI_COMM_NULL) {
1199     retval = MPI_ERR_COMM;
1200   } else if (src == MPI_PROC_NULL) {
1201     smpi_empty_status(status);
1202     status->MPI_SOURCE = MPI_PROC_NULL;
1203     retval = MPI_SUCCESS;
1204   } else if (src!=MPI_ANY_SOURCE && (src >= smpi_group_size(smpi_comm_group(comm)) || src <0)){
1205     retval = MPI_ERR_RANK;
1206   } else if (count < 0) {
1207     retval = MPI_ERR_COUNT;
1208   } else if (buf==NULL && count > 0) {
1209     retval = MPI_ERR_COUNT;
1210   } else if (datatype == MPI_DATATYPE_NULL){
1211     retval = MPI_ERR_TYPE;
1212   } else if(tag<0 && tag !=  MPI_ANY_TAG){
1213     retval = MPI_ERR_TAG;
1214   } else {
1215 #ifdef HAVE_TRACING
1216     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1217     int src_traced = smpi_group_index(smpi_comm_group(comm), src);
1218     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1219     extra->type = TRACING_RECV;
1220     extra->send_size = count;
1221     extra->src = src_traced;
1222     extra->dst = rank;
1223     extra->datatype1 = encode_datatype(datatype);
1224     TRACE_smpi_ptp_in(rank, src_traced, rank, __FUNCTION__, extra);
1225 #endif
1226
1227     smpi_mpi_recv(buf, count, datatype, src, tag, comm, status);
1228     retval = MPI_SUCCESS;
1229
1230 #ifdef HAVE_TRACING
1231     //the src may not have been known at the beginning of the recv (MPI_ANY_SOURCE)
1232     if(status!=MPI_STATUS_IGNORE){
1233       src_traced = smpi_group_index(smpi_comm_group(comm), status->MPI_SOURCE);
1234       TRACE_smpi_recv(rank, src_traced, rank);
1235     }
1236     TRACE_smpi_ptp_out(rank, src_traced, rank, __FUNCTION__);
1237 #endif
1238   }
1239
1240   smpi_bench_begin();
1241   return retval;
1242 }
1243
1244 int PMPI_Send(void *buf, int count, MPI_Datatype datatype, int dst, int tag,
1245               MPI_Comm comm)
1246 {
1247   int retval = 0;
1248
1249   smpi_bench_end();
1250
1251   if (comm == MPI_COMM_NULL) {
1252     retval = MPI_ERR_COMM;
1253   } else if (dst == MPI_PROC_NULL) {
1254     retval = MPI_SUCCESS;
1255   } else if (dst >= smpi_group_size(smpi_comm_group(comm)) || dst <0){
1256     retval = MPI_ERR_RANK;
1257   } else if (count < 0) {
1258     retval = MPI_ERR_COUNT;
1259   } else if (buf==NULL && count > 0) {
1260     retval = MPI_ERR_COUNT;
1261   } else if (datatype == MPI_DATATYPE_NULL){
1262     retval = MPI_ERR_TYPE;
1263   } else if(tag<0 && tag !=  MPI_ANY_TAG){
1264     retval = MPI_ERR_TAG;
1265   } else {
1266
1267 #ifdef HAVE_TRACING
1268     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1269     int dst_traced = smpi_group_index(smpi_comm_group(comm), dst);
1270     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1271     extra->type = TRACING_SEND;
1272     extra->send_size = count;
1273     extra->src = rank;
1274     extra->dst = dst_traced;
1275     extra->datatype1 = encode_datatype(datatype);
1276     TRACE_smpi_ptp_in(rank, rank, dst_traced, __FUNCTION__, extra);
1277     TRACE_smpi_send(rank, rank, dst_traced,count*smpi_datatype_size(datatype));
1278 #endif
1279
1280     smpi_mpi_send(buf, count, datatype, dst, tag, comm);
1281     retval = MPI_SUCCESS;
1282
1283 #ifdef HAVE_TRACING
1284     TRACE_smpi_ptp_out(rank, rank, dst_traced, __FUNCTION__);
1285 #endif
1286   }
1287
1288   smpi_bench_begin();
1289   return retval;
1290 }
1291
1292
1293
1294 int PMPI_Ssend(void* buf, int count, MPI_Datatype datatype, int dst, int tag, MPI_Comm comm) {
1295   int retval = 0;
1296
1297   smpi_bench_end();
1298
1299   if (comm == MPI_COMM_NULL) {
1300     retval = MPI_ERR_COMM;
1301   } else if (dst == MPI_PROC_NULL) {
1302     retval = MPI_SUCCESS;
1303   } else if (dst >= smpi_group_size(smpi_comm_group(comm)) || dst <0){
1304     retval = MPI_ERR_RANK;
1305   } else if (count < 0) {
1306     retval = MPI_ERR_COUNT;
1307   } else if (buf==NULL && count > 0) {
1308     retval = MPI_ERR_COUNT;
1309   } else if (datatype == MPI_DATATYPE_NULL){
1310     retval = MPI_ERR_TYPE;
1311   } else if(tag<0 && tag !=  MPI_ANY_TAG){
1312     retval = MPI_ERR_TAG;
1313   } else {
1314
1315 #ifdef HAVE_TRACING
1316     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1317     int dst_traced = smpi_group_index(smpi_comm_group(comm), dst);
1318     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1319     extra->type = TRACING_SSEND;
1320     extra->send_size = count;
1321     extra->src = rank;
1322     extra->dst = dst_traced;
1323     extra->datatype1 = encode_datatype(datatype);
1324     TRACE_smpi_ptp_in(rank, rank, dst_traced, __FUNCTION__, extra);   TRACE_smpi_send(rank, rank, dst_traced,count*smpi_datatype_size(datatype));
1325 #endif
1326
1327     smpi_mpi_ssend(buf, count, datatype, dst, tag, comm);
1328     retval = MPI_SUCCESS;
1329
1330 #ifdef HAVE_TRACING
1331     TRACE_smpi_ptp_out(rank, rank, dst_traced, __FUNCTION__);
1332 #endif
1333   }
1334
1335   smpi_bench_begin();
1336   return retval;}
1337
1338
1339 int PMPI_Sendrecv(void *sendbuf, int sendcount, MPI_Datatype sendtype,
1340                   int dst, int sendtag, void *recvbuf, int recvcount,
1341                   MPI_Datatype recvtype, int src, int recvtag,
1342                   MPI_Comm comm, MPI_Status * status)
1343 {
1344   int retval = 0;
1345
1346   smpi_bench_end();
1347
1348   if (comm == MPI_COMM_NULL) {
1349     retval = MPI_ERR_COMM;
1350   } else if (sendtype == MPI_DATATYPE_NULL
1351              || recvtype == MPI_DATATYPE_NULL) {
1352     retval = MPI_ERR_TYPE;
1353   } else if (src == MPI_PROC_NULL || dst == MPI_PROC_NULL) {
1354     smpi_empty_status(status);
1355     status->MPI_SOURCE = MPI_PROC_NULL;
1356     retval = MPI_SUCCESS;
1357   }else if (dst >= smpi_group_size(smpi_comm_group(comm)) || dst <0 ||
1358             (src!=MPI_ANY_SOURCE && (src >= smpi_group_size(smpi_comm_group(comm)) || src <0))){
1359     retval = MPI_ERR_RANK;
1360   } else if (sendcount < 0 || recvcount<0) {
1361     retval = MPI_ERR_COUNT;
1362   } else if ((sendbuf==NULL && sendcount > 0)||(recvbuf==NULL && recvcount>0)) {
1363     retval = MPI_ERR_COUNT;
1364   } else if((sendtag<0 && sendtag !=  MPI_ANY_TAG)||(recvtag<0 && recvtag != MPI_ANY_TAG)){
1365     retval = MPI_ERR_TAG;
1366   } else {
1367
1368 #ifdef HAVE_TRACING
1369     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1370     int dst_traced = smpi_group_index(smpi_comm_group(comm), dst);
1371     int src_traced = smpi_group_index(smpi_comm_group(comm), src);
1372     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1373     extra->type = TRACING_SENDRECV;
1374     extra->send_size = sendcount;
1375     extra->recv_size = recvcount;
1376     extra->src = src_traced;
1377     extra->dst = dst_traced;
1378     extra->datatype1 = encode_datatype(sendtype);
1379     extra->datatype2 = encode_datatype(recvtype);
1380
1381     TRACE_smpi_ptp_in(rank, src_traced, dst_traced, __FUNCTION__, extra);
1382     TRACE_smpi_send(rank, rank, dst_traced,sendcount*smpi_datatype_size(sendtype));
1383 #endif
1384
1385
1386     smpi_mpi_sendrecv(sendbuf, sendcount, sendtype, dst, sendtag, recvbuf,
1387                       recvcount, recvtype, src, recvtag, comm, status);
1388     retval = MPI_SUCCESS;
1389
1390 #ifdef HAVE_TRACING
1391     TRACE_smpi_ptp_out(rank, src_traced, dst_traced, __FUNCTION__);
1392     TRACE_smpi_recv(rank, src_traced, rank);
1393 #endif
1394
1395   }
1396
1397   smpi_bench_begin();
1398   return retval;
1399 }
1400
1401 int PMPI_Sendrecv_replace(void *buf, int count, MPI_Datatype datatype,
1402                           int dst, int sendtag, int src, int recvtag,
1403                           MPI_Comm comm, MPI_Status * status)
1404 {
1405   //TODO: suboptimal implementation
1406   void *recvbuf;
1407   int retval = 0;
1408   if (datatype == MPI_DATATYPE_NULL) {
1409     retval = MPI_ERR_TYPE;
1410   } else if (count < 0) {
1411     retval = MPI_ERR_COUNT;
1412   } else {
1413     int size = smpi_datatype_get_extent(datatype) * count;
1414     recvbuf = xbt_new0(char, size);
1415     retval =
1416       MPI_Sendrecv(buf, count, datatype, dst, sendtag, recvbuf, count,
1417                    datatype, src, recvtag, comm, status);
1418     if(retval==MPI_SUCCESS){
1419       smpi_datatype_copy(recvbuf, count, datatype, buf, count, datatype);
1420     }
1421     xbt_free(recvbuf);
1422
1423   }
1424   return retval;
1425 }
1426
1427 int PMPI_Test(MPI_Request * request, int *flag, MPI_Status * status)
1428 {
1429   int retval = 0;
1430
1431   smpi_bench_end();
1432   if (request == NULL || flag == NULL) {
1433     retval = MPI_ERR_ARG;
1434   } else if (*request == MPI_REQUEST_NULL) {
1435     *flag= TRUE;
1436     smpi_empty_status(status);
1437     retval = MPI_ERR_REQUEST;
1438   } else {
1439     *flag = smpi_mpi_test(request, status);
1440     retval = MPI_SUCCESS;
1441   }
1442   smpi_bench_begin();
1443   return retval;
1444 }
1445
1446 int PMPI_Testany(int count, MPI_Request requests[], int *index, int *flag,
1447                  MPI_Status * status)
1448 {
1449   int retval = 0;
1450
1451   smpi_bench_end();
1452   if (index == NULL || flag == NULL) {
1453     retval = MPI_ERR_ARG;
1454   } else {
1455     *flag = smpi_mpi_testany(count, requests, index, status);
1456     retval = MPI_SUCCESS;
1457   }
1458   smpi_bench_begin();
1459   return retval;
1460 }
1461
1462 int PMPI_Testall(int count, MPI_Request* requests, int* flag, MPI_Status* statuses)
1463 {
1464   int retval = 0;
1465
1466   smpi_bench_end();
1467   if (flag == NULL) {
1468     retval = MPI_ERR_ARG;
1469   } else {
1470     *flag = smpi_mpi_testall(count, requests, statuses);
1471     retval = MPI_SUCCESS;
1472   }
1473   smpi_bench_begin();
1474   return retval;
1475 }
1476
1477 int PMPI_Probe(int source, int tag, MPI_Comm comm, MPI_Status* status) {
1478   int retval = 0;
1479   smpi_bench_end();
1480
1481   if (status == NULL) {
1482     retval = MPI_ERR_ARG;
1483   } else if (comm == MPI_COMM_NULL) {
1484     retval = MPI_ERR_COMM;
1485   } else if (source == MPI_PROC_NULL) {
1486     smpi_empty_status(status);
1487     status->MPI_SOURCE = MPI_PROC_NULL;
1488     retval = MPI_SUCCESS;
1489   } else {
1490     smpi_mpi_probe(source, tag, comm, status);
1491     retval = MPI_SUCCESS;
1492   }
1493   smpi_bench_begin();
1494   return retval;
1495 }
1496
1497
1498 int PMPI_Iprobe(int source, int tag, MPI_Comm comm, int* flag, MPI_Status* status) {
1499   int retval = 0;
1500   smpi_bench_end();
1501
1502   if (flag == NULL) {
1503     retval = MPI_ERR_ARG;
1504   } else if (status == NULL) {
1505     retval = MPI_ERR_ARG;
1506   } else if (comm == MPI_COMM_NULL) {
1507     retval = MPI_ERR_COMM;
1508   } else if (source == MPI_PROC_NULL) {
1509     *flag=TRUE;
1510     smpi_empty_status(status);
1511     status->MPI_SOURCE = MPI_PROC_NULL;
1512     retval = MPI_SUCCESS;
1513   } else {
1514     smpi_mpi_iprobe(source, tag, comm, flag, status);
1515     retval = MPI_SUCCESS;
1516   }
1517   smpi_bench_begin();
1518   return retval;
1519 }
1520
1521 int PMPI_Wait(MPI_Request * request, MPI_Status * status)
1522 {
1523   int retval = 0;
1524
1525   smpi_bench_end();
1526
1527   smpi_empty_status(status);
1528
1529   if (request == NULL) {
1530     retval = MPI_ERR_ARG;
1531   } else if (*request == MPI_REQUEST_NULL) {
1532     retval = MPI_ERR_REQUEST;
1533   } else {
1534
1535 #ifdef HAVE_TRACING
1536     int rank = request && (*request)->comm != MPI_COMM_NULL
1537       ? smpi_process_index()
1538       : -1;
1539
1540     int src_traced = (*request)->src;
1541     int dst_traced = (*request)->dst;
1542     MPI_Comm comm = (*request)->comm;
1543     int is_wait_for_receive = (*request)->recv;
1544     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1545     extra->type = TRACING_WAIT;
1546     TRACE_smpi_ptp_in(rank, src_traced, dst_traced, __FUNCTION__, extra);
1547 #endif
1548
1549     smpi_mpi_wait(request, status);
1550     retval = MPI_SUCCESS;
1551
1552 #ifdef HAVE_TRACING
1553     //the src may not have been known at the beginning of the recv (MPI_ANY_SOURCE)
1554     TRACE_smpi_ptp_out(rank, src_traced, dst_traced, __FUNCTION__);
1555     if (is_wait_for_receive) {
1556       if(src_traced==MPI_ANY_SOURCE)
1557         src_traced = (status!=MPI_STATUS_IGNORE) ?
1558           smpi_group_rank(smpi_comm_group(comm), status->MPI_SOURCE) :
1559           src_traced;
1560       TRACE_smpi_recv(rank, src_traced, dst_traced);
1561     }
1562 #endif
1563
1564   }
1565
1566   smpi_bench_begin();
1567   return retval;
1568 }
1569
1570 int PMPI_Waitany(int count, MPI_Request requests[], int *index, MPI_Status * status)
1571 {
1572   if (index == NULL)
1573     return MPI_ERR_ARG;
1574
1575   smpi_bench_end();
1576 #ifdef HAVE_TRACING
1577   //save requests information for tracing
1578   int i;
1579   int *srcs = xbt_new0(int, count);
1580   int *dsts = xbt_new0(int, count);
1581   int *recvs = xbt_new0(int, count);
1582   MPI_Comm *comms = xbt_new0(MPI_Comm, count);
1583
1584   for (i = 0; i < count; i++) {
1585     MPI_Request req = requests[i];      //already received requests are no longer valid
1586     if (req) {
1587       srcs[i] = req->src;
1588       dsts[i] = req->dst;
1589       recvs[i] = req->recv;
1590       comms[i] = req->comm;
1591     }
1592   }
1593   int rank_traced = smpi_process_index();
1594   instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1595   extra->type = TRACING_WAITANY;
1596   extra->send_size=count;
1597   TRACE_smpi_ptp_in(rank_traced, -1, -1, __FUNCTION__,extra);
1598
1599 #endif
1600   *index = smpi_mpi_waitany(count, requests, status);
1601 #ifdef HAVE_TRACING
1602   if(*index!=MPI_UNDEFINED){
1603     int src_traced = srcs[*index];
1604     //the src may not have been known at the beginning of the recv (MPI_ANY_SOURCE)
1605     int dst_traced = dsts[*index];
1606     int is_wait_for_receive = recvs[*index];
1607     if (is_wait_for_receive) {
1608       if(srcs[*index]==MPI_ANY_SOURCE)
1609         src_traced = (status!=MPI_STATUSES_IGNORE) ?
1610           smpi_group_rank(smpi_comm_group(comms[*index]), status->MPI_SOURCE) :
1611           srcs[*index];
1612       TRACE_smpi_recv(rank_traced, src_traced, dst_traced);
1613     }
1614     TRACE_smpi_ptp_out(rank_traced, src_traced, dst_traced, __FUNCTION__);
1615     xbt_free(srcs);
1616     xbt_free(dsts);
1617     xbt_free(recvs);
1618     xbt_free(comms);
1619
1620   }
1621 #endif
1622   smpi_bench_begin();
1623   return MPI_SUCCESS;
1624 }
1625
1626 int PMPI_Waitall(int count, MPI_Request requests[], MPI_Status status[])
1627 {
1628
1629   smpi_bench_end();
1630 #ifdef HAVE_TRACING
1631   //save information from requests
1632   int i;
1633   int *srcs = xbt_new0(int, count);
1634   int *dsts = xbt_new0(int, count);
1635   int *recvs = xbt_new0(int, count);
1636   int *valid = xbt_new0(int, count);
1637   MPI_Comm *comms = xbt_new0(MPI_Comm, count);
1638
1639   //int valid_count = 0;
1640   for (i = 0; i < count; i++) {
1641     MPI_Request req = requests[i];
1642     if(req!=MPI_REQUEST_NULL){
1643       srcs[i] = req->src;
1644       dsts[i] = req->dst;
1645       recvs[i] = req->recv;
1646       comms[i] = req->comm;
1647       valid[i]=1;;
1648     }else{
1649       valid[i]=0;
1650     }
1651   }
1652   int rank_traced = smpi_process_index();
1653   instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1654   extra->type = TRACING_WAITALL;
1655   extra->send_size=count;
1656   TRACE_smpi_ptp_in(rank_traced, -1, -1, __FUNCTION__,extra);
1657 #endif
1658   int retval = smpi_mpi_waitall(count, requests, status);
1659 #ifdef HAVE_TRACING
1660   for (i = 0; i < count; i++) {
1661     if(valid[i]){
1662       //int src_traced = srcs[*index];
1663       //the src may not have been known at the beginning of the recv (MPI_ANY_SOURCE)
1664       int src_traced = srcs[i];
1665       int dst_traced = dsts[i];
1666       int is_wait_for_receive = recvs[i];
1667       if (is_wait_for_receive) {
1668         if(src_traced==MPI_ANY_SOURCE)
1669           src_traced = (status!=MPI_STATUSES_IGNORE) ?
1670             smpi_group_rank(smpi_comm_group(comms[i]), status[i].MPI_SOURCE) :
1671             srcs[i];
1672         TRACE_smpi_recv(rank_traced, src_traced, dst_traced);
1673       }
1674     }
1675   }
1676   TRACE_smpi_ptp_out(rank_traced, -1, -1, __FUNCTION__);
1677   xbt_free(srcs);
1678   xbt_free(dsts);
1679   xbt_free(recvs);
1680   xbt_free(valid);
1681   xbt_free(comms);
1682
1683 #endif
1684   smpi_bench_begin();
1685   return retval;
1686 }
1687
1688 int PMPI_Waitsome(int incount, MPI_Request requests[], int *outcount,
1689                   int *indices, MPI_Status status[])
1690 {
1691   int retval = 0;
1692
1693   smpi_bench_end();
1694   if (outcount == NULL) {
1695     retval = MPI_ERR_ARG;
1696   } else {
1697     *outcount = smpi_mpi_waitsome(incount, requests, indices, status);
1698     retval = MPI_SUCCESS;
1699   }
1700   smpi_bench_begin();
1701   return retval;
1702 }
1703
1704 int PMPI_Testsome(int incount, MPI_Request requests[], int* outcount,
1705                   int* indices, MPI_Status status[])
1706 {
1707   int retval = 0;
1708
1709   smpi_bench_end();
1710   if (outcount == NULL) {
1711     retval = MPI_ERR_ARG;
1712   } else {
1713     *outcount = smpi_mpi_testsome(incount, requests, indices, status);
1714     retval = MPI_SUCCESS;
1715   }
1716   smpi_bench_begin();
1717   return retval;
1718 }
1719
1720
1721 int PMPI_Bcast(void *buf, int count, MPI_Datatype datatype, int root, MPI_Comm comm)
1722 {
1723   int retval = 0;
1724
1725   smpi_bench_end();
1726
1727   if (comm == MPI_COMM_NULL) {
1728     retval = MPI_ERR_COMM;
1729   } else {
1730 #ifdef HAVE_TRACING
1731     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1732     int root_traced = smpi_group_index(smpi_comm_group(comm), root);
1733
1734     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1735     extra->type = TRACING_BCAST;
1736     extra->send_size = count;
1737     extra->root = root_traced;
1738     extra->datatype1 = encode_datatype(datatype);
1739     TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__, extra);
1740
1741 #endif
1742     mpi_coll_bcast_fun(buf, count, datatype, root, comm);
1743     retval = MPI_SUCCESS;
1744 #ifdef HAVE_TRACING
1745     TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
1746 #endif
1747   }
1748
1749   smpi_bench_begin();
1750   return retval;
1751 }
1752
1753 int PMPI_Barrier(MPI_Comm comm)
1754 {
1755   int retval = 0;
1756
1757   smpi_bench_end();
1758
1759   if (comm == MPI_COMM_NULL) {
1760     retval = MPI_ERR_COMM;
1761   } else {
1762 #ifdef HAVE_TRACING
1763     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1764     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1765     extra->type = TRACING_BARRIER;
1766     TRACE_smpi_collective_in(rank, -1, __FUNCTION__, extra);
1767 #endif
1768     mpi_coll_barrier_fun(comm);
1769     retval = MPI_SUCCESS;
1770 #ifdef HAVE_TRACING
1771     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
1772 #endif
1773   }
1774
1775   smpi_bench_begin();
1776   return retval;
1777 }
1778
1779 int PMPI_Gather(void *sendbuf, int sendcount, MPI_Datatype sendtype,
1780                 void *recvbuf, int recvcount, MPI_Datatype recvtype,
1781                 int root, MPI_Comm comm)
1782 {
1783   int retval = 0;
1784
1785   smpi_bench_end();
1786
1787   if (comm == MPI_COMM_NULL) {
1788     retval = MPI_ERR_COMM;
1789   } else if ((( sendbuf != MPI_IN_PLACE) && (sendtype == MPI_DATATYPE_NULL)) ||
1790              ((smpi_comm_rank(comm) == root) && (recvtype == MPI_DATATYPE_NULL))){
1791     retval = MPI_ERR_TYPE;
1792   } else if ((( sendbuf != MPI_IN_PLACE) && (sendcount <0)) ||
1793              ((smpi_comm_rank(comm) == root) && (recvcount <0))){
1794     retval = MPI_ERR_COUNT;
1795   } else {
1796
1797     char* sendtmpbuf = (char*) sendbuf;
1798     int sendtmpcount = sendcount;
1799     MPI_Datatype sendtmptype = sendtype;
1800     if( (smpi_comm_rank(comm) == root) && (sendbuf == MPI_IN_PLACE )) {
1801       sendtmpcount=0;
1802       sendtmptype=recvtype;
1803     }
1804 #ifdef HAVE_TRACING
1805     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1806     int root_traced = smpi_group_index(smpi_comm_group(comm), root);
1807     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1808     extra->type = TRACING_GATHER;
1809     extra->send_size = sendtmpcount;
1810     extra->recv_size = recvcount;
1811     extra->root = root_traced;
1812     extra->datatype1 = encode_datatype(sendtmptype);
1813     extra->datatype2 = encode_datatype(recvtype);
1814
1815     TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__, extra);
1816 #endif
1817     mpi_coll_gather_fun(sendtmpbuf, sendtmpcount, sendtmptype, recvbuf, recvcount,
1818                         recvtype, root, comm);
1819
1820
1821     retval = MPI_SUCCESS;
1822 #ifdef HAVE_TRACING
1823     TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
1824 #endif
1825   }
1826
1827   smpi_bench_begin();
1828   return retval;
1829 }
1830
1831 int PMPI_Gatherv(void *sendbuf, int sendcount, MPI_Datatype sendtype,
1832                  void *recvbuf, int *recvcounts, int *displs,
1833                  MPI_Datatype recvtype, int root, MPI_Comm comm)
1834 {
1835   int retval = 0;
1836
1837   smpi_bench_end();
1838
1839   if (comm == MPI_COMM_NULL) {
1840     retval = MPI_ERR_COMM;
1841   } else if ((( sendbuf != MPI_IN_PLACE) && (sendtype == MPI_DATATYPE_NULL)) ||
1842              ((smpi_comm_rank(comm) == root) && (recvtype == MPI_DATATYPE_NULL))){
1843     retval = MPI_ERR_TYPE;
1844   } else if (( sendbuf != MPI_IN_PLACE) && (sendcount <0)){
1845     retval = MPI_ERR_COUNT;
1846   } else if (recvcounts == NULL || displs == NULL) {
1847     retval = MPI_ERR_ARG;
1848   } else {
1849     char* sendtmpbuf = (char*) sendbuf;
1850     int sendtmpcount = sendcount;
1851     MPI_Datatype sendtmptype = sendtype;
1852     if( (smpi_comm_rank(comm) == root) && (sendbuf == MPI_IN_PLACE )) {
1853       sendtmpcount=0;
1854       sendtmptype=recvtype;
1855     }
1856
1857 #ifdef HAVE_TRACING
1858     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1859     int root_traced = smpi_group_index(smpi_comm_group(comm), root);
1860     int i=0;
1861     int size = smpi_comm_size(comm);
1862     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1863     extra->type = TRACING_GATHERV;
1864     extra->send_size = sendtmpcount;
1865     extra->recvcounts= xbt_malloc(size*sizeof(int));
1866     for(i=0; i< size; i++)//copy data to avoid bad free
1867       extra->recvcounts[i] = recvcounts[i];
1868     extra->num_processes = size;
1869     extra->root = root_traced;
1870     extra->datatype1 = encode_datatype(sendtmptype);
1871     extra->datatype2 = encode_datatype(recvtype);
1872
1873     TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__,extra);
1874 #endif
1875     smpi_mpi_gatherv(sendtmpbuf, sendtmpcount, sendtmptype, recvbuf, recvcounts,
1876                      displs, recvtype, root, comm);
1877     retval = MPI_SUCCESS;
1878 #ifdef HAVE_TRACING
1879     TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
1880 #endif
1881   }
1882
1883   smpi_bench_begin();
1884   return retval;
1885 }
1886
1887 int PMPI_Allgather(void *sendbuf, int sendcount, MPI_Datatype sendtype,
1888                    void *recvbuf, int recvcount, MPI_Datatype recvtype,
1889                    MPI_Comm comm)
1890 {
1891   int retval = 0;
1892
1893   smpi_bench_end();
1894
1895   if (comm == MPI_COMM_NULL) {
1896     retval = MPI_ERR_COMM;
1897   } else if ((( sendbuf != MPI_IN_PLACE) && (sendtype == MPI_DATATYPE_NULL)) ||
1898              (recvtype == MPI_DATATYPE_NULL)){
1899     retval = MPI_ERR_TYPE;
1900   } else if ((( sendbuf != MPI_IN_PLACE) && (sendcount <0)) ||
1901              (recvcount <0)){
1902     retval = MPI_ERR_COUNT;
1903   } else {
1904     if(sendbuf == MPI_IN_PLACE) {
1905       sendbuf=((char*)recvbuf)+smpi_datatype_get_extent(recvtype)*recvcount*smpi_comm_rank(comm);
1906       sendcount=recvcount;
1907       sendtype=recvtype;
1908     }
1909 #ifdef HAVE_TRACING
1910     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1911     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1912     extra->type = TRACING_ALLGATHER;
1913     extra->send_size = sendcount;
1914     extra->recv_size = recvcount;
1915     extra->datatype1 = encode_datatype(sendtype);
1916     extra->datatype2 = encode_datatype(recvtype);
1917
1918     TRACE_smpi_collective_in(rank, -1, __FUNCTION__, extra);
1919 #endif
1920     mpi_coll_allgather_fun(sendbuf, sendcount, sendtype, recvbuf, recvcount,
1921                            recvtype, comm);
1922     retval = MPI_SUCCESS;
1923
1924 #ifdef HAVE_TRACING
1925     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
1926 #endif
1927   }
1928   smpi_bench_begin();
1929   return retval;
1930 }
1931
1932 int PMPI_Allgatherv(void *sendbuf, int sendcount, MPI_Datatype sendtype,
1933                     void *recvbuf, int *recvcounts, int *displs,
1934                     MPI_Datatype recvtype, MPI_Comm comm)
1935 {
1936   int retval = 0;
1937
1938   smpi_bench_end();
1939
1940   if (comm == MPI_COMM_NULL) {
1941     retval = MPI_ERR_COMM;
1942   } else if ((( sendbuf != MPI_IN_PLACE) && (sendtype == MPI_DATATYPE_NULL)) ||
1943              (recvtype == MPI_DATATYPE_NULL)){
1944     retval = MPI_ERR_TYPE;
1945   } else if (( sendbuf != MPI_IN_PLACE) && (sendcount <0)){
1946     retval = MPI_ERR_COUNT;
1947   } else if (recvcounts == NULL || displs == NULL) {
1948     retval = MPI_ERR_ARG;
1949   } else {
1950
1951     if(sendbuf == MPI_IN_PLACE) {
1952       sendbuf=((char*)recvbuf)+smpi_datatype_get_extent(recvtype)*displs[smpi_comm_rank(comm)];
1953       sendcount=recvcounts[smpi_comm_rank(comm)];
1954       sendtype=recvtype;
1955     }
1956 #ifdef HAVE_TRACING
1957     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
1958     int i=0;
1959     int size = smpi_comm_size(comm);
1960     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
1961     extra->type = TRACING_ALLGATHERV;
1962     extra->send_size = sendcount;
1963     extra->recvcounts= xbt_malloc(size*sizeof(int));
1964     for(i=0; i< size; i++)//copy data to avoid bad free
1965       extra->recvcounts[i] = recvcounts[i];
1966     extra->num_processes = size;
1967     extra->datatype1 = encode_datatype(sendtype);
1968     extra->datatype2 = encode_datatype(recvtype);
1969
1970     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
1971 #endif
1972     mpi_coll_allgatherv_fun(sendbuf, sendcount, sendtype, recvbuf, recvcounts,
1973                             displs, recvtype, comm);
1974     retval = MPI_SUCCESS;
1975 #ifdef HAVE_TRACING
1976     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
1977 #endif
1978   }
1979
1980   smpi_bench_begin();
1981   return retval;
1982 }
1983
1984 int PMPI_Scatter(void *sendbuf, int sendcount, MPI_Datatype sendtype,
1985                  void *recvbuf, int recvcount, MPI_Datatype recvtype,
1986                  int root, MPI_Comm comm)
1987 {
1988   int retval = 0;
1989
1990   smpi_bench_end();
1991
1992   if (comm == MPI_COMM_NULL) {
1993     retval = MPI_ERR_COMM;
1994   } else if (((smpi_comm_rank(comm)==root) && (sendtype == MPI_DATATYPE_NULL))
1995              || ((recvbuf !=MPI_IN_PLACE) && (recvtype == MPI_DATATYPE_NULL))) {
1996     retval = MPI_ERR_TYPE;
1997   } else {
1998
1999     if (recvbuf == MPI_IN_PLACE) {
2000       recvtype=sendtype;
2001       recvcount=sendcount;
2002     }
2003 #ifdef HAVE_TRACING
2004     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2005     int root_traced = smpi_group_index(smpi_comm_group(comm), root);
2006     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2007     extra->type = TRACING_SCATTER;
2008     extra->send_size = sendcount;
2009     extra->recv_size= recvcount;
2010     extra->root = root_traced;
2011     extra->datatype1 = encode_datatype(sendtype);
2012     extra->datatype2 = encode_datatype(recvtype);
2013
2014     TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__,extra);
2015 #endif
2016     mpi_coll_scatter_fun(sendbuf, sendcount, sendtype, recvbuf, recvcount,
2017                          recvtype, root, comm);
2018     retval = MPI_SUCCESS;
2019 #ifdef HAVE_TRACING
2020     TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
2021 #endif
2022   }
2023
2024   smpi_bench_begin();
2025   return retval;
2026 }
2027
2028 int PMPI_Scatterv(void *sendbuf, int *sendcounts, int *displs,
2029                   MPI_Datatype sendtype, void *recvbuf, int recvcount,
2030                   MPI_Datatype recvtype, int root, MPI_Comm comm)
2031 {
2032   int retval = 0;
2033
2034   smpi_bench_end();
2035
2036   if (comm == MPI_COMM_NULL) {
2037     retval = MPI_ERR_COMM;
2038   } else if (sendcounts == NULL || displs == NULL) {
2039     retval = MPI_ERR_ARG;
2040   } else if (((smpi_comm_rank(comm)==root) && (sendtype == MPI_DATATYPE_NULL))
2041              || ((recvbuf !=MPI_IN_PLACE) && (recvtype == MPI_DATATYPE_NULL))) {
2042     retval = MPI_ERR_TYPE;
2043   } else {
2044     if (recvbuf == MPI_IN_PLACE) {
2045       recvtype=sendtype;
2046       recvcount=sendcounts[smpi_comm_rank(comm)];
2047     }
2048 #ifdef HAVE_TRACING
2049     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2050     int root_traced = smpi_group_index(smpi_comm_group(comm), root);
2051     int i=0;
2052     int size = smpi_comm_size(comm);
2053     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2054     extra->type = TRACING_SCATTERV;
2055     extra->recv_size = recvcount;
2056     extra->sendcounts= xbt_malloc(size*sizeof(int));
2057     for(i=0; i< size; i++)//copy data to avoid bad free
2058       extra->sendcounts[i] = sendcounts[i];
2059     extra->num_processes = size;
2060     extra->root = root_traced;
2061     extra->datatype1 = encode_datatype(sendtype);
2062     extra->datatype2 = encode_datatype(recvtype);
2063
2064     TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__,extra);
2065
2066 #endif
2067     smpi_mpi_scatterv(sendbuf, sendcounts, displs, sendtype, recvbuf,
2068                       recvcount, recvtype, root, comm);
2069     retval = MPI_SUCCESS;
2070 #ifdef HAVE_TRACING
2071     TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
2072 #endif
2073   }
2074
2075   smpi_bench_begin();
2076   return retval;
2077 }
2078
2079 int PMPI_Reduce(void *sendbuf, void *recvbuf, int count,
2080                 MPI_Datatype datatype, MPI_Op op, int root, MPI_Comm comm)
2081 {
2082   int retval = 0;
2083
2084   smpi_bench_end();
2085
2086   if (comm == MPI_COMM_NULL) {
2087     retval = MPI_ERR_COMM;
2088   } else if (datatype == MPI_DATATYPE_NULL || op == MPI_OP_NULL) {
2089     retval = MPI_ERR_ARG;
2090   } else {
2091 #ifdef HAVE_TRACING
2092     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2093     int root_traced = smpi_group_index(smpi_comm_group(comm), root);
2094     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2095     extra->type = TRACING_REDUCE;
2096     extra->send_size = count;
2097     extra->datatype1 = encode_datatype(datatype);
2098     extra->root = root_traced;
2099
2100     TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__,extra);
2101 #endif
2102     mpi_coll_reduce_fun(sendbuf, recvbuf, count, datatype, op, root, comm);
2103
2104     retval = MPI_SUCCESS;
2105 #ifdef HAVE_TRACING
2106     TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
2107 #endif
2108   }
2109
2110   smpi_bench_begin();
2111   return retval;
2112 }
2113
2114 int PMPI_Reduce_local(void *inbuf, void *inoutbuf, int count,
2115                       MPI_Datatype datatype, MPI_Op op){
2116   int retval = 0;
2117
2118   smpi_bench_end();
2119   if (datatype == MPI_DATATYPE_NULL || op == MPI_OP_NULL) {
2120     retval = MPI_ERR_ARG;
2121   } else {
2122     smpi_op_apply(op, inbuf, inoutbuf, &count, &datatype);
2123     retval=MPI_SUCCESS;
2124   }
2125   smpi_bench_begin();
2126   return retval;
2127 }
2128
2129 int PMPI_Allreduce(void *sendbuf, void *recvbuf, int count,
2130                    MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)
2131 {
2132   int retval = 0;
2133
2134   smpi_bench_end();
2135
2136   if (comm == MPI_COMM_NULL) {
2137     retval = MPI_ERR_COMM;
2138   } else if (datatype == MPI_DATATYPE_NULL) {
2139     retval = MPI_ERR_TYPE;
2140   } else if (op == MPI_OP_NULL) {
2141     retval = MPI_ERR_OP;
2142   } else {
2143
2144     char* sendtmpbuf = (char*) sendbuf;
2145     if( sendbuf == MPI_IN_PLACE ) {
2146       sendtmpbuf = (char *)xbt_malloc(count*smpi_datatype_get_extent(datatype));
2147       smpi_datatype_copy(recvbuf, count, datatype,sendtmpbuf, count, datatype);
2148     }
2149 #ifdef HAVE_TRACING
2150     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2151     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2152     extra->type = TRACING_ALLREDUCE;
2153     extra->send_size = count;
2154     extra->datatype1 = encode_datatype(datatype);
2155
2156     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
2157 #endif
2158     mpi_coll_allreduce_fun(sendtmpbuf, recvbuf, count, datatype, op, comm);
2159
2160     if( sendbuf == MPI_IN_PLACE ) {
2161       xbt_free(sendtmpbuf);
2162     }
2163
2164     retval = MPI_SUCCESS;
2165 #ifdef HAVE_TRACING
2166     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
2167 #endif
2168   }
2169
2170   smpi_bench_begin();
2171   return retval;
2172 }
2173
2174 int PMPI_Scan(void *sendbuf, void *recvbuf, int count,
2175               MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)
2176 {
2177   int retval = 0;
2178
2179   smpi_bench_end();
2180
2181   if (comm == MPI_COMM_NULL) {
2182     retval = MPI_ERR_COMM;
2183   } else if (datatype == MPI_DATATYPE_NULL) {
2184     retval = MPI_ERR_TYPE;
2185   } else if (op == MPI_OP_NULL) {
2186     retval = MPI_ERR_OP;
2187   } else {
2188 #ifdef HAVE_TRACING
2189     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2190     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2191     extra->type = TRACING_SCAN;
2192     extra->send_size = count;
2193     extra->datatype1 = encode_datatype(datatype);
2194
2195     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
2196 #endif
2197     smpi_mpi_scan(sendbuf, recvbuf, count, datatype, op, comm);
2198     retval = MPI_SUCCESS;
2199 #ifdef HAVE_TRACING
2200     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
2201 #endif
2202   }
2203
2204   smpi_bench_begin();
2205   return retval;
2206 }
2207
2208 int PMPI_Exscan(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype,
2209                 MPI_Op op, MPI_Comm comm){
2210   int retval = 0;
2211
2212   smpi_bench_end();
2213
2214   if (comm == MPI_COMM_NULL) {
2215     retval = MPI_ERR_COMM;
2216   } else if (datatype == MPI_DATATYPE_NULL) {
2217     retval = MPI_ERR_TYPE;
2218   } else if (op == MPI_OP_NULL) {
2219     retval = MPI_ERR_OP;
2220   } else {
2221 #ifdef HAVE_TRACING
2222     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2223     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2224     extra->type = TRACING_EXSCAN;
2225     extra->send_size = count;
2226     extra->datatype1 = encode_datatype(datatype);
2227
2228     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
2229 #endif
2230     smpi_mpi_exscan(sendbuf, recvbuf, count, datatype, op, comm);
2231     retval = MPI_SUCCESS;
2232 #ifdef HAVE_TRACING
2233     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
2234 #endif
2235   }
2236
2237   smpi_bench_begin();
2238   return retval;
2239 }
2240
2241 int PMPI_Reduce_scatter(void *sendbuf, void *recvbuf, int *recvcounts,
2242                         MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)
2243 {
2244   int retval = 0;
2245   smpi_bench_end();
2246
2247   if (comm == MPI_COMM_NULL) {
2248     retval = MPI_ERR_COMM;
2249   } else if (datatype == MPI_DATATYPE_NULL) {
2250     retval = MPI_ERR_TYPE;
2251   } else if (op == MPI_OP_NULL) {
2252     retval = MPI_ERR_OP;
2253   } else if (recvcounts == NULL) {
2254     retval = MPI_ERR_ARG;
2255   } else {
2256 #ifdef HAVE_TRACING
2257     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2258     int i=0;
2259     int size = smpi_comm_size(comm);
2260     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2261     extra->type = TRACING_REDUCE_SCATTER;
2262     extra->send_size = 0;
2263     extra->recvcounts= xbt_malloc(size*sizeof(int));
2264     for(i=0; i< size; i++)//copy data to avoid bad free
2265       extra->recvcounts[i] = recvcounts[i];
2266     extra->num_processes = size;
2267     extra->datatype1 = encode_datatype(datatype);
2268
2269     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
2270 #endif
2271     void* sendtmpbuf=sendbuf;
2272     if(sendbuf==MPI_IN_PLACE){
2273       sendtmpbuf=recvbuf;
2274     }
2275
2276     mpi_coll_reduce_scatter_fun(sendtmpbuf, recvbuf, recvcounts,
2277                                 datatype,  op, comm);
2278     retval = MPI_SUCCESS;
2279 #ifdef HAVE_TRACING
2280     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
2281 #endif
2282   }
2283
2284   smpi_bench_begin();
2285   return retval;
2286 }
2287
2288 int PMPI_Reduce_scatter_block(void *sendbuf, void *recvbuf, int recvcount,
2289                               MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)
2290 {
2291   int retval,i;
2292   smpi_bench_end();
2293
2294   if (comm == MPI_COMM_NULL) {
2295     retval = MPI_ERR_COMM;
2296   } else if (datatype == MPI_DATATYPE_NULL) {
2297     retval = MPI_ERR_TYPE;
2298   } else if (op == MPI_OP_NULL) {
2299     retval = MPI_ERR_OP;
2300   } else if (recvcount < 0) {
2301     retval = MPI_ERR_ARG;
2302   } else {
2303     int count=smpi_comm_size(comm);
2304
2305 #ifdef HAVE_TRACING
2306     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2307     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2308     extra->type = TRACING_REDUCE_SCATTER;
2309     extra->send_size = 0;
2310     extra->recvcounts= xbt_malloc(count*sizeof(int));
2311     for(i=0; i< count; i++)//copy data to avoid bad free
2312       extra->recvcounts[i] = recvcount;
2313     extra->num_processes = count;
2314     extra->datatype1 = encode_datatype(datatype);
2315
2316     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
2317 #endif
2318     int* recvcounts=(int*)xbt_malloc(count);
2319     for (i=0; i<count;i++)recvcounts[i]=recvcount;
2320     mpi_coll_reduce_scatter_fun(sendbuf, recvbuf, recvcounts,
2321                                 datatype,  op, comm);
2322     xbt_free(recvcounts);
2323     retval = MPI_SUCCESS;
2324 #ifdef HAVE_TRACING
2325     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
2326 #endif
2327   }
2328
2329   smpi_bench_begin();
2330   return retval;
2331 }
2332
2333 int PMPI_Alltoall(void *sendbuf, int sendcount, MPI_Datatype sendtype,
2334                   void *recvbuf, int recvcount, MPI_Datatype recvtype,
2335                   MPI_Comm comm)
2336 {
2337   int retval = 0;
2338
2339   smpi_bench_end();
2340
2341   if (comm == MPI_COMM_NULL) {
2342     retval = MPI_ERR_COMM;
2343   } else if (sendtype == MPI_DATATYPE_NULL
2344              || recvtype == MPI_DATATYPE_NULL) {
2345     retval = MPI_ERR_TYPE;
2346   } else {
2347 #ifdef HAVE_TRACING
2348     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2349     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2350     extra->type = TRACING_ALLTOALL;
2351     extra->send_size = sendcount;
2352     extra->recv_size = recvcount;
2353     extra->datatype1 = encode_datatype(sendtype);
2354     extra->datatype2 = encode_datatype(recvtype);
2355
2356     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
2357 #endif
2358     retval = mpi_coll_alltoall_fun(sendbuf, sendcount, sendtype, recvbuf, recvcount, recvtype, comm);
2359 #ifdef HAVE_TRACING
2360     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
2361 #endif
2362   }
2363
2364   smpi_bench_begin();
2365   return retval;
2366 }
2367
2368 int PMPI_Alltoallv(void *sendbuf, int *sendcounts, int *senddisps,
2369                    MPI_Datatype sendtype, void *recvbuf, int *recvcounts,
2370                    int *recvdisps, MPI_Datatype recvtype, MPI_Comm comm)
2371 {
2372   int retval = 0;
2373
2374   smpi_bench_end();
2375
2376   if (comm == MPI_COMM_NULL) {
2377     retval = MPI_ERR_COMM;
2378   } else if (sendtype == MPI_DATATYPE_NULL
2379              || recvtype == MPI_DATATYPE_NULL) {
2380     retval = MPI_ERR_TYPE;
2381   } else if (sendcounts == NULL || senddisps == NULL || recvcounts == NULL
2382              || recvdisps == NULL) {
2383     retval = MPI_ERR_ARG;
2384   } else {
2385 #ifdef HAVE_TRACING
2386     int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
2387     int i=0;
2388     int size = smpi_comm_size(comm);
2389     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
2390     extra->type = TRACING_ALLTOALLV;
2391     extra->send_size = 0;
2392     extra->recv_size = 0;
2393     extra->recvcounts= xbt_malloc(size*sizeof(int));
2394     extra->sendcounts= xbt_malloc(size*sizeof(int));
2395
2396     for(i=0; i< size; i++){//copy data to avoid bad free
2397       extra->send_size += sendcounts[i];
2398       extra->recv_size += recvcounts[i];
2399
2400       extra->sendcounts[i] = sendcounts[i];
2401       extra->recvcounts[i] = recvcounts[i];
2402     }
2403     extra->num_processes = size;
2404
2405     extra->datatype1 = encode_datatype(sendtype);
2406     extra->datatype2 = encode_datatype(recvtype);
2407
2408     TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
2409 #endif
2410     retval =
2411       mpi_coll_alltoallv_fun(sendbuf, sendcounts, senddisps, sendtype,
2412                              recvbuf, recvcounts, recvdisps, recvtype,
2413                              comm);
2414 #ifdef HAVE_TRACING
2415     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
2416 #endif
2417   }
2418
2419   smpi_bench_begin();
2420   return retval;
2421 }
2422
2423
2424 int PMPI_Get_processor_name(char *name, int *resultlen)
2425 {
2426   int retval = MPI_SUCCESS;
2427
2428   smpi_bench_end();
2429   strncpy(name, SIMIX_host_get_name(SIMIX_host_self()),
2430           strlen(SIMIX_host_get_name(SIMIX_host_self())) < MPI_MAX_PROCESSOR_NAME - 1 ?
2431           strlen(SIMIX_host_get_name(SIMIX_host_self())) +1 :
2432           MPI_MAX_PROCESSOR_NAME - 1 );
2433   *resultlen =
2434     strlen(name) >
2435     MPI_MAX_PROCESSOR_NAME ? MPI_MAX_PROCESSOR_NAME : strlen(name);
2436
2437   smpi_bench_begin();
2438   return retval;
2439 }
2440
2441 int PMPI_Get_count(MPI_Status * status, MPI_Datatype datatype, int *count)
2442 {
2443   int retval = MPI_SUCCESS;
2444   size_t size;
2445
2446   smpi_bench_end();
2447   if (status == NULL || count == NULL) {
2448     retval = MPI_ERR_ARG;
2449   } else if (datatype == MPI_DATATYPE_NULL) {
2450     retval = MPI_ERR_TYPE;
2451   } else {
2452     size = smpi_datatype_size(datatype);
2453     if (size == 0) {
2454       *count = 0;
2455     } else if (status->count % size != 0) {
2456       retval = MPI_UNDEFINED;
2457     } else {
2458       *count = smpi_mpi_get_count(status, datatype);
2459     }
2460   }
2461   smpi_bench_begin();
2462   return retval;
2463 }
2464
2465 int PMPI_Type_contiguous(int count, MPI_Datatype old_type, MPI_Datatype* new_type) {
2466   int retval = 0;
2467
2468   smpi_bench_end();
2469   if (old_type == MPI_DATATYPE_NULL) {
2470     retval = MPI_ERR_TYPE;
2471   } else if (count<0){
2472     retval = MPI_ERR_COUNT;
2473   } else {
2474     retval = smpi_datatype_contiguous(count, old_type, new_type, 0);
2475   }
2476   smpi_bench_begin();
2477   return retval;
2478 }
2479
2480 int PMPI_Type_commit(MPI_Datatype* datatype) {
2481   int retval = 0;
2482
2483   smpi_bench_end();
2484   if (datatype == NULL || *datatype == MPI_DATATYPE_NULL) {
2485     retval = MPI_ERR_TYPE;
2486   } else {
2487     smpi_datatype_commit(datatype);
2488     retval = MPI_SUCCESS;
2489   }
2490   smpi_bench_begin();
2491   return retval;
2492 }
2493
2494
2495 int PMPI_Type_vector(int count, int blocklen, int stride, MPI_Datatype old_type, MPI_Datatype* new_type) {
2496   int retval = 0;
2497
2498   smpi_bench_end();
2499   if (old_type == MPI_DATATYPE_NULL) {
2500     retval = MPI_ERR_TYPE;
2501   } else if (count<0 || blocklen<0){
2502     retval = MPI_ERR_COUNT;
2503   } else {
2504     retval = smpi_datatype_vector(count, blocklen, stride, old_type, new_type);
2505   }
2506   smpi_bench_begin();
2507   return retval;
2508 }
2509
2510 int PMPI_Type_hvector(int count, int blocklen, MPI_Aint stride, MPI_Datatype old_type, MPI_Datatype* new_type) {
2511   int retval = 0;
2512
2513   smpi_bench_end();
2514   if (old_type == MPI_DATATYPE_NULL) {
2515     retval = MPI_ERR_TYPE;
2516   } else if (count<0 || blocklen<0){
2517     retval = MPI_ERR_COUNT;
2518   } else {
2519     retval = smpi_datatype_hvector(count, blocklen, stride, old_type, new_type);
2520   }
2521   smpi_bench_begin();
2522   return retval;
2523 }
2524
2525 int PMPI_Type_create_hvector(int count, int blocklen, MPI_Aint stride, MPI_Datatype old_type, MPI_Datatype* new_type) {
2526   return MPI_Type_hvector(count, blocklen, stride, old_type, new_type);
2527 }
2528
2529 int PMPI_Type_indexed(int count, int* blocklens, int* indices, MPI_Datatype old_type, MPI_Datatype* new_type) {
2530   int retval = 0;
2531
2532   smpi_bench_end();
2533   if (old_type == MPI_DATATYPE_NULL) {
2534     retval = MPI_ERR_TYPE;
2535   } else if (count<0){
2536     retval = MPI_ERR_COUNT;
2537   } else {
2538     retval = smpi_datatype_indexed(count, blocklens, indices, old_type, new_type);
2539   }
2540   smpi_bench_begin();
2541   return retval;
2542 }
2543
2544 int PMPI_Type_create_indexed(int count, int* blocklens, int* indices, MPI_Datatype old_type, MPI_Datatype* new_type) {
2545   int retval = 0;
2546
2547   smpi_bench_end();
2548   if (old_type == MPI_DATATYPE_NULL) {
2549     retval = MPI_ERR_TYPE;
2550   } else if (count<0){
2551     retval = MPI_ERR_COUNT;
2552   } else {
2553     retval = smpi_datatype_indexed(count, blocklens, indices, old_type, new_type);
2554   }
2555   smpi_bench_begin();
2556   return retval;
2557 }
2558
2559 int PMPI_Type_create_indexed_block(int count, int blocklength, int* indices, MPI_Datatype old_type, MPI_Datatype* new_type) {
2560   int retval,i;
2561
2562   smpi_bench_end();
2563   if (old_type == MPI_DATATYPE_NULL) {
2564     retval = MPI_ERR_TYPE;
2565   } else if (count<0){
2566     retval = MPI_ERR_COUNT;
2567   } else {
2568     int* blocklens=(int*)xbt_malloc(blocklength*count);
2569     for (i=0; i<count;i++)blocklens[i]=blocklength;
2570     retval = smpi_datatype_indexed(count, blocklens, indices, old_type, new_type);
2571     xbt_free(blocklens);
2572   }
2573   smpi_bench_begin();
2574   return retval;
2575 }
2576
2577
2578 int PMPI_Type_hindexed(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type) {
2579   int retval = 0;
2580
2581   smpi_bench_end();
2582   if (old_type == MPI_DATATYPE_NULL) {
2583     retval = MPI_ERR_TYPE;
2584   } else if (count<0){
2585     retval = MPI_ERR_COUNT;
2586   } else {
2587     retval = smpi_datatype_hindexed(count, blocklens, indices, old_type, new_type);
2588   }
2589   smpi_bench_begin();
2590   return retval;
2591 }
2592
2593 int PMPI_Type_create_hindexed(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type) {
2594   return PMPI_Type_hindexed(count, blocklens,indices,old_type,new_type);
2595 }
2596
2597 int PMPI_Type_create_hindexed_block(int count, int blocklength, MPI_Aint* indices, MPI_Datatype old_type, MPI_Datatype* new_type) {
2598   int retval,i;
2599
2600   smpi_bench_end();
2601   if (old_type == MPI_DATATYPE_NULL) {
2602     retval = MPI_ERR_TYPE;
2603   } else if (count<0){
2604     retval = MPI_ERR_COUNT;
2605   } else {
2606     int* blocklens=(int*)xbt_malloc(blocklength*count);
2607     for (i=0; i<count;i++)blocklens[i]=blocklength;
2608     retval = smpi_datatype_hindexed(count, blocklens, indices, old_type, new_type);
2609     xbt_free(blocklens);
2610   }
2611   smpi_bench_begin();
2612   return retval;
2613 }
2614
2615
2616 int PMPI_Type_struct(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype* old_types, MPI_Datatype* new_type) {
2617   int retval = 0;
2618
2619   smpi_bench_end();
2620   if (count<0){
2621     retval = MPI_ERR_COUNT;
2622   } else {
2623     retval = smpi_datatype_struct(count, blocklens, indices, old_types, new_type);
2624   }
2625   smpi_bench_begin();
2626   return retval;
2627 }
2628
2629 int PMPI_Type_create_struct(int count, int* blocklens, MPI_Aint* indices, MPI_Datatype* old_types, MPI_Datatype* new_type) {
2630   return PMPI_Type_struct(count, blocklens, indices, old_types, new_type);
2631 }
2632
2633
2634 int PMPI_Error_class(int errorcode, int* errorclass) {
2635   // assume smpi uses only standard mpi error codes
2636   *errorclass=errorcode;
2637   return MPI_SUCCESS;
2638 }
2639
2640
2641 int PMPI_Initialized(int* flag) {
2642   *flag=smpi_process_initialized();
2643   return MPI_SUCCESS;
2644 }
2645
2646 /* The topo part of MPI_COMM_WORLD should always be NULL. When other topologies
2647  * will be implemented, not only should we check if the topology is NULL, but
2648  * we should check if it is the good topology type (so we have to add a
2649  *  MPIR_Topo_Type field, and replace the MPI_Topology field by an union)*/
2650
2651 int PMPI_Cart_create(MPI_Comm comm_old, int ndims, int* dims, int* periodic, int reorder, MPI_Comm* comm_cart) {
2652   int retval = 0;
2653   smpi_bench_end();
2654   if (comm_old == MPI_COMM_NULL){
2655     return  MPI_ERR_COMM;
2656   }
2657   else if (ndims < 0 ||
2658            (ndims > 0 && (dims == NULL ||
2659                           periodic == NULL)) ||
2660            comm_cart == NULL) {
2661     return MPI_ERR_ARG;
2662   }
2663   retval = smpi_mpi_cart_create(comm_old, ndims, dims, periodic, reorder, comm_cart);
2664
2665   smpi_bench_begin();
2666
2667   return retval;
2668 }
2669
2670 int PMPI_Cart_rank(MPI_Comm comm, int* coords, int* rank) {
2671   if(comm == MPI_COMM_NULL || smpi_comm_topo(comm) == NULL) {
2672     return MPI_ERR_TOPOLOGY;
2673   }
2674   if (coords == NULL) {
2675     return MPI_ERR_ARG;
2676   }
2677   return smpi_mpi_cart_rank(comm, coords, rank);
2678 }
2679
2680 int PMPI_Cart_shift(MPI_Comm comm, int direction, int displ, int* source, int* dest) {
2681   if(comm == MPI_COMM_NULL || smpi_comm_topo(comm) == NULL) {
2682     return MPI_ERR_TOPOLOGY;
2683   }
2684   if (source == NULL || dest == NULL || direction < 0 ) {
2685     return MPI_ERR_ARG;
2686   }
2687   return smpi_mpi_cart_shift(comm, direction, displ, source, dest);
2688 }
2689
2690 int PMPI_Cart_coords(MPI_Comm comm, int rank, int maxdims, int* coords) {
2691   if(comm == MPI_COMM_NULL || smpi_comm_topo(comm) == NULL) {
2692     return MPI_ERR_TOPOLOGY;
2693   }
2694   if (rank < 0 || rank >= smpi_comm_size(comm)) {
2695     return MPI_ERR_RANK;
2696   }
2697   if (maxdims <= 0) {
2698     return MPI_ERR_ARG;
2699   }
2700   if(coords == NULL) {
2701     return MPI_ERR_ARG;
2702   }
2703   return smpi_mpi_cart_coords(comm, rank, maxdims, coords);
2704 }
2705
2706 int PMPI_Cart_get(MPI_Comm comm, int maxdims, int* dims, int* periods, int* coords) {
2707   if(comm == NULL || smpi_comm_topo(comm) == NULL) {
2708     return MPI_ERR_TOPOLOGY;
2709   }
2710   if(maxdims <= 0 || dims == NULL || periods == NULL || coords == NULL) {
2711     return MPI_ERR_ARG;
2712   }
2713   return smpi_mpi_cart_get(comm, maxdims, dims, periods, coords);
2714 }
2715
2716 int PMPI_Cartdim_get(MPI_Comm comm, int* ndims) {
2717   if (comm == MPI_COMM_NULL || smpi_comm_topo(comm) == NULL) {
2718     return MPI_ERR_TOPOLOGY;
2719   }
2720   if (ndims == NULL) {
2721     return MPI_ERR_ARG;
2722   }
2723   return smpi_mpi_cartdim_get(comm, ndims);
2724 }
2725
2726 int PMPI_Dims_create(int nnodes, int ndims, int* dims) {
2727   if(dims == NULL) {
2728     return MPI_ERR_ARG;
2729   }
2730   if (ndims < 1 || nnodes < 1) {
2731     return MPI_ERR_DIMS;
2732   }
2733
2734   return smpi_mpi_dims_create(nnodes, ndims, dims);
2735 }
2736
2737 int PMPI_Cart_sub(MPI_Comm comm, int* remain_dims, MPI_Comm* comm_new) {
2738   if(comm == MPI_COMM_NULL || smpi_comm_topo(comm) == NULL) {
2739     return MPI_ERR_TOPOLOGY;
2740   }
2741   if (comm_new == NULL) {
2742     return MPI_ERR_ARG;
2743   }
2744   return smpi_mpi_cart_sub(comm, remain_dims, comm_new);
2745 }
2746
2747
2748 /* The following calls are not yet implemented and will fail at runtime. */
2749 /* Once implemented, please move them above this notice. */
2750
2751 #define NOT_YET_IMPLEMENTED {                                           \
2752     XBT_WARN("Not yet implemented : %s. Please contact the Simgrid team if support is needed", __FUNCTION__); \
2753     return MPI_SUCCESS;                                                 \
2754   }
2755
2756
2757 int PMPI_Type_dup(MPI_Datatype datatype, MPI_Datatype *newtype){
2758   NOT_YET_IMPLEMENTED
2759     }
2760
2761 int PMPI_Type_set_name(MPI_Datatype  datatype, char * name)
2762 {
2763   NOT_YET_IMPLEMENTED
2764     }
2765
2766 int PMPI_Type_get_name(MPI_Datatype  datatype, char * name, int* len)
2767 {
2768   NOT_YET_IMPLEMENTED
2769     }
2770
2771 int PMPI_Pack_size(int incount, MPI_Datatype datatype, MPI_Comm comm, int* size) {
2772   NOT_YET_IMPLEMENTED
2773     }
2774
2775
2776 int PMPI_Cart_map(MPI_Comm comm_old, int ndims, int* dims, int* periods, int* newrank) {
2777   NOT_YET_IMPLEMENTED
2778     }
2779
2780
2781 int PMPI_Graph_create(MPI_Comm comm_old, int nnodes, int* index, int* edges, int reorder, MPI_Comm* comm_graph) {
2782   NOT_YET_IMPLEMENTED
2783     }
2784
2785 int PMPI_Graph_get(MPI_Comm comm, int maxindex, int maxedges, int* index, int* edges) {
2786   NOT_YET_IMPLEMENTED
2787     }
2788
2789 int PMPI_Graph_map(MPI_Comm comm_old, int nnodes, int* index, int* edges, int* newrank) {
2790   NOT_YET_IMPLEMENTED
2791     }
2792
2793 int PMPI_Graph_neighbors(MPI_Comm comm, int rank, int maxneighbors, int* neighbors) {
2794   NOT_YET_IMPLEMENTED
2795     }
2796
2797 int PMPI_Graph_neighbors_count(MPI_Comm comm, int rank, int* nneighbors) {
2798   NOT_YET_IMPLEMENTED
2799     }
2800
2801 int PMPI_Graphdims_get(MPI_Comm comm, int* nnodes, int* nedges) {
2802   NOT_YET_IMPLEMENTED
2803     }
2804
2805 int PMPI_Topo_test(MPI_Comm comm, int* top_type) {
2806   NOT_YET_IMPLEMENTED
2807     }
2808
2809 int PMPI_Errhandler_create(MPI_Handler_function* function, MPI_Errhandler* errhandler) {
2810   NOT_YET_IMPLEMENTED
2811     }
2812
2813 int PMPI_Errhandler_free(MPI_Errhandler* errhandler) {
2814   NOT_YET_IMPLEMENTED
2815     }
2816
2817 int PMPI_Errhandler_get(MPI_Comm comm, MPI_Errhandler* errhandler) {
2818   NOT_YET_IMPLEMENTED
2819     }
2820
2821 int PMPI_Error_string(int errorcode, char* string, int* resultlen) {
2822   NOT_YET_IMPLEMENTED
2823     }
2824
2825 int PMPI_Errhandler_set(MPI_Comm comm, MPI_Errhandler errhandler) {
2826   NOT_YET_IMPLEMENTED
2827     }
2828
2829 int PMPI_Comm_set_errhandler(MPI_Comm comm, MPI_Errhandler errhandler) {
2830   NOT_YET_IMPLEMENTED
2831     }
2832
2833 int PMPI_Comm_get_errhandler(MPI_Comm comm, MPI_Errhandler* errhandler) {
2834   NOT_YET_IMPLEMENTED
2835     }
2836
2837 int PMPI_Cancel(MPI_Request* request) {
2838   NOT_YET_IMPLEMENTED
2839     }
2840
2841 int PMPI_Buffer_attach(void* buffer, int size) {
2842   NOT_YET_IMPLEMENTED
2843     }
2844
2845 int PMPI_Buffer_detach(void* buffer, int* size) {
2846   NOT_YET_IMPLEMENTED
2847     }
2848
2849 int PMPI_Comm_test_inter(MPI_Comm comm, int* flag) {
2850   NOT_YET_IMPLEMENTED
2851     }
2852
2853 int PMPI_Comm_get_attr (MPI_Comm comm, int comm_keyval, void *attribute_val, int *flag)
2854 {
2855   NOT_YET_IMPLEMENTED
2856     }
2857
2858 int PMPI_Comm_set_attr (MPI_Comm comm, int comm_keyval, void *attribute_val)
2859 {
2860   NOT_YET_IMPLEMENTED
2861     }
2862
2863 int PMPI_Comm_delete_attr (MPI_Comm comm, int comm_keyval)
2864 {
2865   NOT_YET_IMPLEMENTED
2866     }
2867
2868 int PMPI_Comm_create_keyval(MPI_Comm_copy_attr_function* copy_fn, MPI_Comm_delete_attr_function* delete_fn, int* keyval, void* extra_state)
2869 {
2870   NOT_YET_IMPLEMENTED
2871     }
2872
2873 int PMPI_Comm_free_keyval(int* keyval) {
2874   NOT_YET_IMPLEMENTED
2875     }
2876
2877 int PMPI_Pcontrol(const int level )
2878 {
2879   NOT_YET_IMPLEMENTED
2880     }
2881
2882 int PMPI_Unpack(void* inbuf, int insize, int* position, void* outbuf, int outcount, MPI_Datatype type, MPI_Comm comm) {
2883   NOT_YET_IMPLEMENTED
2884     }
2885
2886 int PMPI_Type_get_attr (MPI_Datatype type, int type_keyval, void *attribute_val, int* flag)
2887 {
2888   NOT_YET_IMPLEMENTED
2889     }
2890
2891 int PMPI_Type_set_attr (MPI_Datatype type, int type_keyval, void *attribute_val)
2892 {
2893   NOT_YET_IMPLEMENTED
2894     }
2895
2896 int PMPI_Type_delete_attr (MPI_Datatype type, int comm_keyval)
2897 {
2898   NOT_YET_IMPLEMENTED
2899     }
2900
2901 int PMPI_Type_create_keyval(MPI_Type_copy_attr_function* copy_fn, MPI_Type_delete_attr_function* delete_fn, int* keyval, void* extra_state)
2902 {
2903   NOT_YET_IMPLEMENTED
2904     }
2905
2906 int PMPI_Type_free_keyval(int* keyval) {
2907   NOT_YET_IMPLEMENTED
2908     }
2909
2910 int PMPI_Intercomm_create(MPI_Comm local_comm, int local_leader, MPI_Comm peer_comm, int remote_leader, int tag, MPI_Comm* comm_out) {
2911   NOT_YET_IMPLEMENTED
2912     }
2913
2914 int PMPI_Intercomm_merge(MPI_Comm comm, int high, MPI_Comm* comm_out) {
2915   NOT_YET_IMPLEMENTED
2916     }
2917
2918 int PMPI_Bsend(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm) {
2919   NOT_YET_IMPLEMENTED
2920     }
2921
2922 int PMPI_Bsend_init(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request* request) {
2923   NOT_YET_IMPLEMENTED
2924     }
2925
2926 int PMPI_Ibsend(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request* request) {
2927   NOT_YET_IMPLEMENTED
2928     }
2929
2930 int PMPI_Comm_remote_group(MPI_Comm comm, MPI_Group* group) {
2931   NOT_YET_IMPLEMENTED
2932     }
2933
2934 int PMPI_Comm_remote_size(MPI_Comm comm, int* size) {
2935   NOT_YET_IMPLEMENTED
2936     }
2937
2938 int PMPI_Attr_delete(MPI_Comm comm, int keyval) {
2939   NOT_YET_IMPLEMENTED
2940     }
2941
2942 int PMPI_Attr_get(MPI_Comm comm, int keyval, void* attr_value, int* flag) {
2943   NOT_YET_IMPLEMENTED
2944     }
2945
2946 int PMPI_Attr_put(MPI_Comm comm, int keyval, void* attr_value) {
2947   NOT_YET_IMPLEMENTED
2948     }
2949
2950 int PMPI_Rsend(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm) {
2951   NOT_YET_IMPLEMENTED
2952     }
2953
2954 int PMPI_Rsend_init(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request* request) {
2955   NOT_YET_IMPLEMENTED
2956     }
2957
2958 int PMPI_Irsend(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request* request) {
2959   NOT_YET_IMPLEMENTED
2960     }
2961
2962 int PMPI_Keyval_create(MPI_Copy_function* copy_fn, MPI_Delete_function* delete_fn, int* keyval, void* extra_state) {
2963   NOT_YET_IMPLEMENTED
2964     }
2965
2966 int PMPI_Keyval_free(int* keyval) {
2967   NOT_YET_IMPLEMENTED
2968     }
2969
2970 int PMPI_Test_cancelled(MPI_Status* status, int* flag) {
2971   NOT_YET_IMPLEMENTED
2972     }
2973
2974 int PMPI_Pack(void* inbuf, int incount, MPI_Datatype type, void* outbuf, int outcount, int* position, MPI_Comm comm) {
2975   NOT_YET_IMPLEMENTED
2976     }
2977
2978 int PMPI_Pack_external_size(char *datarep, int incount, MPI_Datatype datatype, MPI_Aint *size){
2979   NOT_YET_IMPLEMENTED
2980     }
2981
2982 int PMPI_Pack_external(char *datarep, void *inbuf, int incount, MPI_Datatype datatype, void *outbuf, MPI_Aint outcount, MPI_Aint *position){
2983   NOT_YET_IMPLEMENTED
2984     }
2985
2986 int PMPI_Unpack_external( char *datarep, void *inbuf, MPI_Aint insize, MPI_Aint *position, void *outbuf, int outcount, MPI_Datatype datatype){
2987   NOT_YET_IMPLEMENTED
2988     }
2989
2990 int PMPI_Get_elements(MPI_Status* status, MPI_Datatype datatype, int* elements) {
2991   NOT_YET_IMPLEMENTED
2992     }
2993
2994 int PMPI_Win_fence( int assert,  MPI_Win win){
2995   NOT_YET_IMPLEMENTED
2996     }
2997
2998 int PMPI_Win_free( MPI_Win* win){
2999   NOT_YET_IMPLEMENTED
3000     }
3001
3002 int PMPI_Win_create( void *base, MPI_Aint size, int disp_unit, MPI_Info info, MPI_Comm comm, MPI_Win *win){
3003   NOT_YET_IMPLEMENTED
3004     }
3005
3006 int PMPI_Info_create( MPI_Info *info){
3007   NOT_YET_IMPLEMENTED
3008     }
3009
3010 int PMPI_Info_set( MPI_Info info, char *key, char *value){
3011   NOT_YET_IMPLEMENTED
3012     }
3013
3014 int PMPI_Info_free( MPI_Info *info){
3015   NOT_YET_IMPLEMENTED
3016     }
3017
3018 int PMPI_Get( void *origin_addr, int origin_count, MPI_Datatype origin_datatype, int target_rank,
3019               MPI_Aint target_disp, int target_count, MPI_Datatype target_datatype, MPI_Win win){
3020   NOT_YET_IMPLEMENTED
3021     }
3022
3023 int PMPI_Type_get_envelope( MPI_Datatype datatype, int *num_integers,
3024                             int *num_addresses, int *num_datatypes, int *combiner){
3025   NOT_YET_IMPLEMENTED
3026     }
3027
3028 int PMPI_Type_get_contents(MPI_Datatype datatype, int max_integers, int max_addresses,
3029                            int max_datatypes, int* array_of_integers, MPI_Aint* array_of_addresses,
3030                            MPI_Datatype* array_of_datatypes){
3031   NOT_YET_IMPLEMENTED
3032     }
3033
3034 int PMPI_Type_create_darray(int size, int rank, int ndims, int* array_of_gsizes,
3035                             int* array_of_distribs, int* array_of_dargs, int* array_of_psizes,
3036                             int order, MPI_Datatype oldtype, MPI_Datatype *newtype) {
3037   NOT_YET_IMPLEMENTED
3038     }
3039
3040 int PMPI_Type_create_resized(MPI_Datatype oldtype,MPI_Aint lb, MPI_Aint extent, MPI_Datatype *newtype){
3041   NOT_YET_IMPLEMENTED
3042     }
3043
3044 int PMPI_Type_create_subarray(int ndims,int *array_of_sizes, int *array_of_subsizes, int *array_of_starts, int order, MPI_Datatype oldtype, MPI_Datatype *newtype){
3045   NOT_YET_IMPLEMENTED
3046     }
3047
3048 int PMPI_Type_match_size(int typeclass,int size,MPI_Datatype *datatype){
3049   NOT_YET_IMPLEMENTED
3050     }
3051
3052 int PMPI_Alltoallw( void *sendbuf, int *sendcnts, int *sdispls, MPI_Datatype *sendtypes,
3053                     void *recvbuf, int *recvcnts, int *rdispls, MPI_Datatype *recvtypes,
3054                     MPI_Comm comm){
3055   NOT_YET_IMPLEMENTED
3056     }
3057
3058 int PMPI_Comm_set_name(MPI_Comm comm, char* name){
3059   NOT_YET_IMPLEMENTED
3060     }
3061
3062 int PMPI_Comm_dup_with_info(MPI_Comm comm, MPI_Info info, MPI_Comm * newcomm){
3063   NOT_YET_IMPLEMENTED
3064     }
3065
3066 int PMPI_Comm_split_type(MPI_Comm comm, int split_type, int key, MPI_Info info, MPI_Comm *newcomm){
3067   NOT_YET_IMPLEMENTED
3068     }
3069
3070 int PMPI_Comm_set_info (MPI_Comm comm, MPI_Info info){
3071   NOT_YET_IMPLEMENTED
3072     }
3073
3074 int PMPI_Comm_get_info (MPI_Comm comm, MPI_Info* info){
3075   NOT_YET_IMPLEMENTED
3076     }
3077
3078 int PMPI_Info_get(MPI_Info info,char *key,int valuelen, char *value, int *flag){
3079   NOT_YET_IMPLEMENTED
3080     }
3081
3082 int PMPI_Comm_create_errhandler( MPI_Comm_errhandler_fn *function, MPI_Errhandler *errhandler){
3083   NOT_YET_IMPLEMENTED
3084     }
3085
3086 int PMPI_Add_error_class( int *errorclass){
3087   NOT_YET_IMPLEMENTED
3088     }
3089
3090 int PMPI_Add_error_code(  int errorclass, int *errorcode){
3091   NOT_YET_IMPLEMENTED
3092     }
3093
3094 int PMPI_Add_error_string( int errorcode, char *string){
3095   NOT_YET_IMPLEMENTED
3096     }
3097
3098 int PMPI_Comm_call_errhandler(MPI_Comm comm,int errorcode){
3099   NOT_YET_IMPLEMENTED
3100     }
3101
3102 int PMPI_Info_dup(MPI_Info info, MPI_Info *newinfo){
3103   NOT_YET_IMPLEMENTED
3104     }
3105
3106 int PMPI_Info_delete(MPI_Info info, char *key){
3107   NOT_YET_IMPLEMENTED
3108     }
3109
3110 int PMPI_Info_get_nkeys( MPI_Info info, int *nkeys){
3111   NOT_YET_IMPLEMENTED
3112     }
3113
3114 int PMPI_Info_get_nthkey( MPI_Info info, int n, char *key){
3115   NOT_YET_IMPLEMENTED
3116     }
3117
3118 int PMPI_Info_get_valuelen( MPI_Info info, char *key, int *valuelen, int *flag){
3119   NOT_YET_IMPLEMENTED
3120     }
3121
3122 int PMPI_Request_get_status( MPI_Request request, int *flag, MPI_Status *status){
3123   NOT_YET_IMPLEMENTED
3124     }
3125
3126 int PMPI_Grequest_start( MPI_Grequest_query_function *query_fn, MPI_Grequest_free_function *free_fn, MPI_Grequest_cancel_function *cancel_fn, void *extra_state, MPI_Request *request){
3127   NOT_YET_IMPLEMENTED
3128     }
3129
3130 int PMPI_Grequest_complete( MPI_Request request){
3131   NOT_YET_IMPLEMENTED
3132     }
3133
3134 int PMPI_Status_set_cancelled(MPI_Status *status,int flag){
3135   NOT_YET_IMPLEMENTED
3136     }
3137
3138 int PMPI_Status_set_elements( MPI_Status *status, MPI_Datatype datatype, int count){
3139   NOT_YET_IMPLEMENTED
3140     }
3141
3142 int PMPI_Comm_connect( char *port_name, MPI_Info info, int root, MPI_Comm comm, MPI_Comm *newcomm){
3143   NOT_YET_IMPLEMENTED
3144     }
3145
3146 int PMPI_Publish_name( char *service_name, MPI_Info info, char *port_name){
3147   NOT_YET_IMPLEMENTED
3148     }
3149
3150 int PMPI_Unpublish_name( char *service_name, MPI_Info info, char *port_name){
3151   NOT_YET_IMPLEMENTED
3152     }
3153
3154 int PMPI_Lookup_name( char *service_name, MPI_Info info, char *port_name){
3155   NOT_YET_IMPLEMENTED
3156     }
3157
3158 int PMPI_Comm_join( int fd, MPI_Comm *intercomm){
3159   NOT_YET_IMPLEMENTED
3160     }
3161
3162 int PMPI_Open_port( MPI_Info info, char *port_name){
3163   NOT_YET_IMPLEMENTED
3164     }
3165
3166 int PMPI_Close_port(char *port_name){
3167   NOT_YET_IMPLEMENTED
3168     }
3169
3170 int PMPI_Comm_accept( char *port_name, MPI_Info info, int root, MPI_Comm comm, MPI_Comm *newcomm){
3171   NOT_YET_IMPLEMENTED
3172     }
3173
3174 int PMPI_Comm_spawn( char *command, char **argv, int maxprocs, MPI_Info info, int root, MPI_Comm comm, MPI_Comm *intercomm, int* array_of_errcodes){
3175   NOT_YET_IMPLEMENTED
3176     }
3177
3178 int PMPI_Comm_spawn_multiple( int count, char **array_of_commands, char*** array_of_argv,
3179                               int* array_of_maxprocs, MPI_Info* array_of_info, int root,
3180                               MPI_Comm comm, MPI_Comm *intercomm, int* array_of_errcodes){
3181   NOT_YET_IMPLEMENTED
3182     }
3183
3184 int PMPI_Comm_get_parent( MPI_Comm *parent){
3185   NOT_YET_IMPLEMENTED
3186     }