Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid
[simgrid.git] / src / smpi / smpi_pmpi.cpp
index 90bd6cb..0cb559c 100644 (file)
@@ -1,10 +1,9 @@
-
-/* Copyright (c) 2007-2015. The SimGrid Team.
- * All rights reserved.                                                     */
+/* Copyright (c) 2007-2016. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
+#include <simgrid/s4u/host.hpp>
 #include <xbt/ex.hpp>
 
 #include "private.h"
@@ -23,6 +22,7 @@ void TRACE_smpi_set_category(const char *category)
 }
 
 /* PMPI User level calls */
+extern "C" { // Obviously, the C MPI interface should use the C linkage
 
 int PMPI_Init(int *argc, char ***argv)
 {
@@ -185,6 +185,21 @@ int PMPI_Type_size(MPI_Datatype datatype, int *size)
   return retval;
 }
 
+int PMPI_Type_size_x(MPI_Datatype datatype, MPI_Count *size)
+{
+  int retval = 0;
+
+  if (datatype == MPI_DATATYPE_NULL) {
+    retval = MPI_ERR_TYPE;
+  } else if (size == nullptr) {
+    retval = MPI_ERR_ARG;
+  } else {
+    *size = static_cast<MPI_Count>(smpi_datatype_size(datatype));
+    retval = MPI_SUCCESS;
+  }
+  return retval;
+}
+
 int PMPI_Type_get_extent(MPI_Datatype datatype, MPI_Aint * lb, MPI_Aint * extent)
 {
   int retval = 0;
@@ -500,7 +515,7 @@ int PMPI_Group_excl(MPI_Group group, int n, int *ranks, MPI_Group * newgroup)
   } else {
     if (n == 0) {
       *newgroup = group;
-      if(group!= smpi_comm_group(MPI_COMM_WORLD) && group != MPI_GROUP_NULL
+      if (group != smpi_comm_group(MPI_COMM_WORLD)
                 && group != smpi_comm_group(MPI_COMM_SELF) && group != MPI_GROUP_EMPTY)
       smpi_group_use(group);
     } else if (n == smpi_group_size(group)) {
@@ -603,7 +618,7 @@ int PMPI_Group_range_excl(MPI_Group group, int n, int ranges[][3], MPI_Group * n
   } else {
     if (n == 0) {
       *newgroup = group;
-      if(group!= smpi_comm_group(MPI_COMM_WORLD) && group != MPI_GROUP_NULL
+      if (group!= smpi_comm_group(MPI_COMM_WORLD)
                 && group != smpi_comm_group(MPI_COMM_SELF) && group != MPI_GROUP_EMPTY)
       smpi_group_use(group);
     } else {
@@ -839,6 +854,23 @@ int PMPI_Comm_split(MPI_Comm comm, int color, int key, MPI_Comm* comm_out)
   return retval;
 }
 
+int PMPI_Comm_create_group(MPI_Comm comm, MPI_Group group, int, MPI_Comm* comm_out)
+{
+  int retval = 0;
+  smpi_bench_end();
+
+  if (comm_out == nullptr) {
+    retval = MPI_ERR_ARG;
+  } else if (comm == MPI_COMM_NULL) {
+    retval = MPI_ERR_COMM;
+  } else {
+    retval = MPI_Comm_create(comm, group, comm_out);
+  }
+  smpi_bench_begin();
+
+  return retval;
+}
+
 int PMPI_Send_init(void *buf, int count, MPI_Datatype datatype, int dst, int tag, MPI_Comm comm, MPI_Request * request)
 {
   int retval = 0;
@@ -1347,7 +1379,7 @@ int PMPI_Test(MPI_Request * request, int *flag, MPI_Status * status)
     smpi_empty_status(status);
     retval = MPI_SUCCESS;
   } else {
-    int rank = (request!=nullptr && (*request)->comm != MPI_COMM_NULL) ? smpi_process_index() : -1;
+    int rank = ((*request)->comm != MPI_COMM_NULL) ? smpi_process_index() : -1;
 
     instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
     extra->type = TRACING_TEST;
@@ -1655,15 +1687,15 @@ int PMPI_Barrier(MPI_Comm comm)
   if (comm == MPI_COMM_NULL) {
     retval = MPI_ERR_COMM;
   } else {
-  int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
-  instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
-  extra->type = TRACING_BARRIER;
-  TRACE_smpi_collective_in(rank, -1, __FUNCTION__, extra);
+    int rank               = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
+    instr_extra_data extra = xbt_new0(s_instr_extra_data_t, 1);
+    extra->type            = TRACING_BARRIER;
+    TRACE_smpi_collective_in(rank, -1, __FUNCTION__, extra);
 
-  mpi_coll_barrier_fun(comm);
-  retval = MPI_SUCCESS;
+    mpi_coll_barrier_fun(comm);
+    retval = MPI_SUCCESS;
 
-  TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
+    TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
   }
 
   smpi_bench_begin();
@@ -2132,11 +2164,18 @@ int PMPI_Exscan(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype,
   if(known==0)
     dt_size_send = smpi_datatype_size(datatype);
   extra->send_size = count*dt_size_send;
+  void * sendtmpbuf = sendbuf;
+  if(sendbuf==MPI_IN_PLACE){
+    sendtmpbuf= static_cast<void*>(xbt_malloc(count*smpi_datatype_size(datatype)));
+    memcpy(sendtmpbuf,recvbuf, count*smpi_datatype_size(datatype));
+  }
   TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
 
-  smpi_mpi_exscan(sendbuf, recvbuf, count, datatype, op, comm);
+  smpi_mpi_exscan(sendtmpbuf, recvbuf, count, datatype, op, comm);
     retval = MPI_SUCCESS;
   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
+  if(sendbuf==MPI_IN_PLACE)
+    xbt_free(sendtmpbuf);
   }
 
   smpi_bench_begin();
@@ -2170,17 +2209,25 @@ int PMPI_Reduce_scatter(void *sendbuf, void *recvbuf, int *recvcounts, MPI_Datat
     dt_size_send = smpi_datatype_size(datatype);
   extra->send_size = 0;
   extra->recvcounts= xbt_new(int, size);
-  for(i=0; i< size; i++)//copy data to avoid bad free
+  int totalcount = 0;
+  for(i=0; i< size; i++){//copy data to avoid bad free
     extra->recvcounts[i] = recvcounts[i]*dt_size_send;
-  TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
-
+    totalcount+= recvcounts[i];
+  }
   void* sendtmpbuf=sendbuf;
-    if(sendbuf==MPI_IN_PLACE)
-      sendtmpbuf=recvbuf;
+  if(sendbuf==MPI_IN_PLACE){
+    sendtmpbuf= static_cast<void*>(xbt_malloc(totalcount*smpi_datatype_size(datatype)));
+    memcpy(sendtmpbuf,recvbuf, totalcount*smpi_datatype_size(datatype));
+  }
 
-    mpi_coll_reduce_scatter_fun(sendtmpbuf, recvbuf, recvcounts, datatype,  op, comm);
-    retval = MPI_SUCCESS;
+  TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
+
+  mpi_coll_reduce_scatter_fun(sendtmpbuf, recvbuf, recvcounts, datatype,  op, comm);
+  retval = MPI_SUCCESS;
   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
+
+  if(sendbuf==MPI_IN_PLACE)
+    xbt_free(sendtmpbuf);
   }
 
   smpi_bench_begin();
@@ -2202,7 +2249,7 @@ int PMPI_Reduce_scatter_block(void *sendbuf, void *recvbuf, int recvcount,
   } else if (recvcount < 0) {
     retval = MPI_ERR_ARG;
   } else {
-    int count=smpi_comm_size(comm);
+  int count=smpi_comm_size(comm);
 
   int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
   instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
@@ -2217,17 +2264,25 @@ int PMPI_Reduce_scatter_block(void *sendbuf, void *recvbuf, int recvcount,
   extra->recvcounts= xbt_new(int, count);
   for(i=0; i< count; i++)//copy data to avoid bad free
     extra->recvcounts[i] = recvcount*dt_size_send;
+  void* sendtmpbuf=sendbuf;
+  if(sendbuf==MPI_IN_PLACE){
+    sendtmpbuf= static_cast<void*>(xbt_malloc(recvcount*count*smpi_datatype_size(datatype)));
+    memcpy(sendtmpbuf,recvbuf, recvcount*count*smpi_datatype_size(datatype));
+  }
 
   TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
 
-  int* recvcounts=static_cast<int*>(xbt_malloc(count));
-    for (i=0; i<count;i++)
-      recvcounts[i]=recvcount;
-    mpi_coll_reduce_scatter_fun(sendbuf, recvbuf, recvcounts, datatype,  op, comm);
-    xbt_free(recvcounts);
-    retval = MPI_SUCCESS;
+  int* recvcounts=static_cast<int*>(xbt_malloc(count*sizeof(int)));
+  for (i=0; i<count;i++)
+    recvcounts[i]=recvcount;
+  mpi_coll_reduce_scatter_fun(sendtmpbuf, recvbuf, recvcounts, datatype,  op, comm);
+  xbt_free(recvcounts);
+  retval = MPI_SUCCESS;
 
     TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
+
+  if(sendbuf==MPI_IN_PLACE)
+    xbt_free(sendtmpbuf);
   }
 
   smpi_bench_begin();
@@ -2243,29 +2298,44 @@ int PMPI_Alltoall(void *sendbuf, int sendcount, MPI_Datatype sendtype,
 
   if (comm == MPI_COMM_NULL) {
     retval = MPI_ERR_COMM;
-  } else if (sendtype == MPI_DATATYPE_NULL
+  } else if ((sendbuf != MPI_IN_PLACE && sendtype == MPI_DATATYPE_NULL)
              || recvtype == MPI_DATATYPE_NULL) {
     retval = MPI_ERR_TYPE;
   } else {
   int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
   instr_extra_data extra = xbt_new0(s_instr_extra_data_t,1);
   extra->type = TRACING_ALLTOALL;
+
+  void* sendtmpbuf = static_cast<char*>(sendbuf);
+  int sendtmpcount = sendcount;
+  MPI_Datatype sendtmptype = sendtype;
+  if( sendbuf == MPI_IN_PLACE ) {
+    sendtmpbuf = static_cast<void*>(xbt_malloc(recvcount*smpi_comm_size(comm)*smpi_datatype_size(recvtype)));
+    memcpy(sendtmpbuf,recvbuf, recvcount*smpi_comm_size(comm)*smpi_datatype_size(recvtype));
+    sendtmpcount = recvcount;
+    sendtmptype = recvtype;
+  }
+
   int known=0;
-  extra->datatype1 = encode_datatype(sendtype, &known);
+  extra->datatype1 = encode_datatype(sendtmptype, &known);
   if(known==0)
-    extra->send_size = sendcount*smpi_datatype_size(sendtype);
+    extra->send_size = sendtmpcount*smpi_datatype_size(sendtmptype);
   else
-    extra->send_size = sendcount;
+    extra->send_size = sendtmpcount;
   extra->datatype2 = encode_datatype(recvtype, &known);
   if(known==0)
     extra->recv_size = recvcount*smpi_datatype_size(recvtype);
   else
     extra->recv_size = recvcount;
+
   TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
 
-  retval = mpi_coll_alltoall_fun(sendbuf, sendcount, sendtype, recvbuf, recvcount, recvtype, comm);
+  retval = mpi_coll_alltoall_fun(sendtmpbuf, sendtmpcount, sendtmptype, recvbuf, recvcount, recvtype, comm);
 
   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
+
+  if( sendbuf == MPI_IN_PLACE ) 
+    xbt_free(sendtmpbuf);
   }
 
   smpi_bench_begin();
@@ -2283,7 +2353,7 @@ int PMPI_Alltoallv(void *sendbuf, int *sendcounts, int *senddisps,MPI_Datatype s
     retval = MPI_ERR_COMM;
   } else if (sendtype == MPI_DATATYPE_NULL || recvtype == MPI_DATATYPE_NULL) {
     retval = MPI_ERR_TYPE;
-  } else if (sendcounts == nullptr || senddisps == nullptr || recvcounts == nullptr || recvdisps == nullptr) {
+  } else if ((sendbuf!= MPI_IN_PLACE && (sendcounts == nullptr || senddisps == nullptr)) || recvcounts == nullptr || recvdisps == nullptr) {
     retval = MPI_ERR_ARG;
   } else {
   int rank = comm != MPI_COMM_NULL ? smpi_process_index() : -1;
@@ -2296,27 +2366,51 @@ int PMPI_Alltoallv(void *sendbuf, int *sendcounts, int *senddisps,MPI_Datatype s
   extra->recvcounts= xbt_new(int, size);
   extra->sendcounts= xbt_new(int, size);
   int known=0;
-  extra->datatype1 = encode_datatype(sendtype, &known);
-  int dt_size_send = 1;
-  if(known==0)
-    dt_size_send = smpi_datatype_size(sendtype);
   int dt_size_recv = 1;
   extra->datatype2 = encode_datatype(recvtype, &known);
-  if(known==0)
-    dt_size_recv = smpi_datatype_size(recvtype);
+  dt_size_recv = smpi_datatype_size(recvtype);
+
+  void* sendtmpbuf = static_cast<char*>(sendbuf);
+  int * sendtmpcounts = sendcounts;
+  int *sendtmpdisps = senddisps;
+  MPI_Datatype sendtmptype = sendtype;
+  int maxsize=0;
   for(i=0; i< size; i++){//copy data to avoid bad free
-    extra->send_size += sendcounts[i]*dt_size_send;
     extra->recv_size += recvcounts[i]*dt_size_recv;
-
-    extra->sendcounts[i] = sendcounts[i]*dt_size_send;
     extra->recvcounts[i] = recvcounts[i]*dt_size_recv;
+    if (((recvdisps[i]+recvcounts[i])*dt_size_recv) > maxsize)
+      maxsize=(recvdisps[i]+recvcounts[i])*dt_size_recv;
+  }
+
+  if( sendbuf == MPI_IN_PLACE ) {
+    sendtmpbuf = static_cast<void*>(xbt_malloc(maxsize));
+    memcpy(sendtmpbuf,recvbuf, maxsize);
+    sendtmpcounts= static_cast<int*>(xbt_malloc(size*sizeof(int)));
+    memcpy(sendtmpcounts,recvcounts, size*sizeof(int));
+    sendtmpdisps= static_cast<int*>(xbt_malloc(size*sizeof(int)));
+    memcpy(sendtmpdisps,recvdisps, size*sizeof(int));
+    sendtmptype=recvtype;
+  }
+
+  extra->datatype1 = encode_datatype(sendtmptype, &known);
+  int dt_size_send = 1;
+  dt_size_send = smpi_datatype_size(sendtmptype);
+
+  for(i=0; i< size; i++){//copy data to avoid bad free
+    extra->send_size += sendtmpcounts[i]*dt_size_send;
+    extra->sendcounts[i] = sendtmpcounts[i]*dt_size_send;
   }
   extra->num_processes = size;
   TRACE_smpi_collective_in(rank, -1, __FUNCTION__,extra);
-
-  retval = mpi_coll_alltoallv_fun(sendbuf, sendcounts, senddisps, sendtype, recvbuf, recvcounts, recvdisps, recvtype,
+  retval = mpi_coll_alltoallv_fun(sendtmpbuf, sendtmpcounts, sendtmpdisps, sendtmptype, recvbuf, recvcounts, recvdisps, recvtype,
                                   comm);
   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
+
+  if( sendbuf == MPI_IN_PLACE ) {
+    xbt_free(sendtmpbuf);
+    xbt_free(sendtmpcounts);
+    xbt_free(sendtmpdisps);
+  }
   }
 
   smpi_bench_begin();
@@ -2328,9 +2422,9 @@ int PMPI_Get_processor_name(char *name, int *resultlen)
 {
   int retval = MPI_SUCCESS;
 
-  strncpy(name, sg_host_get_name(SIMIX_host_self()),
-          strlen(sg_host_get_name(SIMIX_host_self())) < MPI_MAX_PROCESSOR_NAME - 1 ?
-          strlen(sg_host_get_name(SIMIX_host_self())) +1 : MPI_MAX_PROCESSOR_NAME - 1 );
+  strncpy(name, SIMIX_host_self()->cname(), strlen(SIMIX_host_self()->cname()) < MPI_MAX_PROCESSOR_NAME - 1
+                                                ? strlen(SIMIX_host_self()->cname()) + 1
+                                                : MPI_MAX_PROCESSOR_NAME - 1);
   *resultlen = strlen(name) > MPI_MAX_PROCESSOR_NAME ? MPI_MAX_PROCESSOR_NAME : strlen(name);
 
   return retval;
@@ -2448,7 +2542,7 @@ int PMPI_Type_create_indexed_block(int count, int blocklength, int* indices, MPI
   } else if (count<0){
     retval = MPI_ERR_COUNT;
   } else {
-    int* blocklens=static_cast<int*>(xbt_malloc(blocklength*count));
+    int* blocklens=static_cast<int*>(xbt_malloc(blocklength*count*sizeof(int)));
     for (i=0; i<count;i++)
       blocklens[i]=blocklength;
     retval = smpi_datatype_indexed(count, blocklens, indices, old_type, new_type);
@@ -2484,7 +2578,7 @@ int PMPI_Type_create_hindexed_block(int count, int blocklength, MPI_Aint* indice
   } else if (count<0){
     retval = MPI_ERR_COUNT;
   } else {
-    int* blocklens=(int*)xbt_malloc(blocklength*count);
+    int* blocklens=(int*)xbt_malloc(blocklength*count*sizeof(int));
     for (i=0; i<count;i++)blocklens[i]=blocklength;
     retval = smpi_datatype_hindexed(count, blocklens, indices, old_type, new_type);
     xbt_free(blocklens);
@@ -3252,3 +3346,4 @@ int PMPI_Pack_size(int incount, MPI_Datatype datatype, MPI_Comm comm, int* size)
   return MPI_SUCCESS;
 }
 
+} // extern "C"