src/smpi/colls/allgather-rhv.c

   1 #include "colls_private.h"
   2
   3 // now only work with power of two processes
   4
   5 int
   6 smpi_coll_tuned_allgather_rhv(void *sbuf, int send_count,
   7                               MPI_Datatype send_type, void *rbuf,
   8                               int recv_count, MPI_Datatype recv_type,
   9                               MPI_Comm comm)
  10 {
  11   MPI_Status status;
  12   MPI_Aint s_extent, r_extent;
  13
  14   // local int variables
  15   int i, dst, send_base_offset, recv_base_offset, send_chunk, recv_chunk,
  16       send_offset, recv_offset;
  17   int rank, num_procs;
  18   int tag = COLL_TAG_ALLGATHER;
  19   int mask;
  20   int curr_count;
  21
  22   // get size of the communicator, followed by rank
  23   num_procs = smpi_comm_size(comm);
  24
  25   if((num_procs&(num_procs-1)))
  26     THROWF(arg_error,0, "allgather rhv algorithm can't be used with non power of two number of processes ! ");
  27
  28   rank = smpi_comm_rank(comm);
  29
  30   // get size of single element's type for send buffer and recv buffer
  31   s_extent = smpi_datatype_get_extent(send_type);
  32   r_extent = smpi_datatype_get_extent(recv_type);
  33
  34   // multiply size of each element by number of elements to send or recv
  35   send_chunk = s_extent * send_count;
  36   recv_chunk = r_extent * recv_count;
  37
  38   if (send_chunk != recv_chunk) {
  39     XBT_WARN("MPI_allgather_rhv use default MPI_allgather.");
  40     smpi_mpi_allgather(sbuf, send_count, send_type, rbuf, recv_count,
  41                               recv_type, comm);
  42     return MPI_SUCCESS;
  43   }
  44
  45   // compute starting offset location to perform local copy
  46   int size = num_procs / 2;
  47   int base_offset = 0;
  48   mask = 1;
  49   while (mask < num_procs) {
  50     if (rank & mask) {
  51       base_offset += size;
  52     }
  53     mask <<= 1;
  54     size /= 2;
  55   }
  56
  57   //  printf("node %d base_offset %d\n",rank,base_offset);
  58
  59   //perform a remote copy
  60
  61   dst = base_offset;
  62   smpi_mpi_sendrecv(sbuf, send_count, send_type, dst, tag,
  63                (char *)rbuf + base_offset * recv_chunk, recv_count, recv_type, dst, tag,
  64                comm, &status);
  65
  66
  67   mask >>= 1;
  68   i = 1;
  69   int phase = 0;
  70   curr_count = recv_count;
  71   while (mask >= 1) {
  72     // destination pair for both send and recv
  73     dst = rank ^ mask;
  74
  75     // compute offsets
  76     send_base_offset = base_offset;
  77     if (rank & mask) {
  78       recv_base_offset = base_offset - i;
  79       base_offset -= i;
  80     } else {
  81       recv_base_offset = base_offset + i;
  82     }
  83     send_offset = send_base_offset * recv_chunk;
  84     recv_offset = recv_base_offset * recv_chunk;
  85
  86     //  printf("node %d send to %d in phase %d s_offset = %d r_offset = %d count = %d\n",rank,dst,phase, send_base_offset, recv_base_offset, curr_count);
  87
  88     smpi_mpi_sendrecv((char *)rbuf + send_offset, curr_count, recv_type, dst, tag,
  89                  (char *)rbuf + recv_offset, curr_count, recv_type, dst, tag,
  90                  comm, &status);
  91
  92
  93     curr_count *= 2;
  94     i *= 2;
  95     mask >>= 1;
  96     phase++;
  97   }
  98
  99   return MPI_SUCCESS;
 100 }