Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
372d5e84ccd08ce13fb1df7421577455b5e49ec7
[simgrid.git] / src / smpi / colls / allreduce-rab2.cpp
1 /* Copyright (c) 2013-2014. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #include "colls_private.h"
8 //#include <star-reduction.c>
9
10 // this requires that count >= NP
11 int smpi_coll_tuned_allreduce_rab2(void *sbuff, void *rbuff,
12                                    int count, MPI_Datatype dtype,
13                                    MPI_Op op, MPI_Comm comm)
14 {
15   MPI_Aint s_extent;
16   int i, rank, nprocs;
17   int nbytes, send_size, s_offset, r_offset;
18   void *recv, *send, *tmp;
19   /*
20      #ifdef MPICH2_REDUCTION
21      MPI_User_function * uop = MPIR_Op_table[op % 16 - 1];
22      #else
23      MPI_User_function *uop;
24      struct MPIR_OP *op_ptr;
25      op_ptr = MPIR_ToPointer(op);
26      uop  = op_ptr->op;
27      #endif
28    */
29   rank = smpi_comm_rank(comm);
30   nprocs = smpi_comm_size(comm);
31
32
33   s_extent = smpi_datatype_get_extent(dtype);
34
35   // uneven count
36   if (count % nprocs) {
37     if (count < nprocs)
38       send_size = nprocs;
39     else
40       send_size = (count + nprocs) / nprocs;
41     nbytes = send_size * s_extent;
42
43     send = (void *) smpi_get_tmp_sendbuffer(s_extent * send_size * nprocs);
44     recv = (void *) smpi_get_tmp_recvbuffer(s_extent * send_size * nprocs);
45     tmp = (void *) smpi_get_tmp_sendbuffer(nbytes);
46
47     memcpy(send, sbuff, s_extent * count);
48
49     mpi_coll_alltoall_fun(send, send_size, dtype, recv, send_size, dtype, comm);
50
51     memcpy(tmp, recv, nbytes);
52
53     for (i = 1, s_offset = nbytes; i < nprocs; i++, s_offset = i * nbytes)
54       smpi_op_apply(op, (char *) recv + s_offset, tmp, &send_size, &dtype);
55
56     mpi_coll_allgather_fun(tmp, send_size, dtype, recv, send_size, dtype, comm);
57     memcpy(rbuff, recv, count * s_extent);
58
59     smpi_free_tmp_buffer(recv);
60     smpi_free_tmp_buffer(tmp);
61     smpi_free_tmp_buffer(send);
62   } else {
63     send = sbuff;
64     send_size = count / nprocs;
65     nbytes = send_size * s_extent;
66     r_offset = rank * nbytes;
67
68     recv = (void *) smpi_get_tmp_recvbuffer(s_extent * send_size * nprocs);
69
70     mpi_coll_alltoall_fun(send, send_size, dtype, recv, send_size, dtype, comm);
71
72     memcpy((char *) rbuff + r_offset, recv, nbytes);
73
74     for (i = 1, s_offset = nbytes; i < nprocs; i++, s_offset = i * nbytes)
75       smpi_op_apply(op, (char *) recv + s_offset, (char *) rbuff + r_offset,
76                      &send_size, &dtype);
77
78     mpi_coll_allgather_fun((char *) rbuff + r_offset, send_size, dtype, rbuff, send_size,
79                   dtype, comm);
80     smpi_free_tmp_buffer(recv);
81   }
82
83   return MPI_SUCCESS;
84 }