Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Add MPI_Alltoallv support to the SMPI replay tool. Make it easy to change MPI_Datatyp...
[simgrid.git] / src / smpi / smpi_replay.c
1 /* Copyright (c) 2009, 2010, 2011, 2012. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7
8 #include "private.h"
9 #include <stdio.h>
10 #include <xbt.h>
11 #include <xbt/replay.h>
12
13 #define MPI_DTYPE MPI_BYTE
14
15 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(smpi_replay,smpi,"Trace Replay with SMPI");
16
17 int communicator_size = 0;
18 static int active_processes = 0;
19 xbt_dynar_t *reqq;
20
21 static void log_timed_action (const char *const *action, double clock){
22   if (XBT_LOG_ISENABLED(smpi_replay, xbt_log_priority_verbose)){
23     char *name = xbt_str_join_array(action, " ");
24     XBT_VERB("%s %f", name, smpi_process_simulated_elapsed()-clock);
25     free(name);
26   }
27 }
28
29
30 typedef struct {
31   xbt_dynar_t isends; /* of MPI_Request */
32   xbt_dynar_t irecvs; /* of MPI_Request */
33 } s_smpi_replay_globals_t, *smpi_replay_globals_t;
34
35
36 /* Helper function */
37 static double parse_double(const char *string)
38 {
39   double value;
40   char *endptr;
41   value = strtod(string, &endptr);
42   if (*endptr != '\0')
43     THROWF(unknown_error, 0, "%s is not a double", string);
44   return value;
45 }
46
47 static void action_init(const char *const *action)
48 {
49   int i;
50   XBT_DEBUG("Initialize the counters");
51   smpi_replay_globals_t globals =  xbt_new(s_smpi_replay_globals_t, 1);
52   globals->isends = xbt_dynar_new(sizeof(MPI_Request),NULL);
53   globals->irecvs = xbt_dynar_new(sizeof(MPI_Request),NULL);
54   
55   
56   smpi_process_set_user_data((void*) globals);
57
58   /* start a simulated timer */
59   smpi_process_simulated_start();
60   /*initialize the number of active processes */
61   active_processes = smpi_process_count();
62
63   reqq=xbt_new0(xbt_dynar_t,active_processes);
64   
65   for(i=0;i<active_processes;i++){
66     reqq[i]=xbt_dynar_new(sizeof(MPI_Request),NULL);
67   }
68     
69   
70 }
71
72 static void action_finalize(const char *const *action)
73 {
74   smpi_replay_globals_t globals =
75       (smpi_replay_globals_t) smpi_process_get_user_data();
76
77   if (globals){
78     XBT_DEBUG("There are %lu isends and %lu irecvs in the dynars",
79          xbt_dynar_length(globals->isends),xbt_dynar_length(globals->irecvs));
80     xbt_dynar_free_container(&(globals->isends));
81     xbt_dynar_free_container(&(globals->irecvs));
82   }
83   free(globals);
84 }
85
86 static void action_comm_size(const char *const *action)
87 {
88   double clock = smpi_process_simulated_elapsed();
89
90   communicator_size = parse_double(action[2]);
91   log_timed_action (action, clock);
92 }
93
94 static void action_comm_split(const char *const *action)
95 {
96   double clock = smpi_process_simulated_elapsed();
97
98   log_timed_action (action, clock);
99 }
100
101 static void action_comm_dup(const char *const *action)
102 {
103   double clock = smpi_process_simulated_elapsed();
104
105   log_timed_action (action, clock);
106 }
107
108 static void action_compute(const char *const *action)
109 {
110   double clock = smpi_process_simulated_elapsed();
111   smpi_execute_flops(parse_double(action[2]));
112
113   log_timed_action (action, clock);
114 }
115
116 static void action_send(const char *const *action)
117 {
118   int to = atoi(action[2]);
119   double size=parse_double(action[3]);
120   double clock = smpi_process_simulated_elapsed();
121 #ifdef HAVE_TRACING
122   int rank = smpi_comm_rank(MPI_COMM_WORLD);
123   TRACE_smpi_computing_out(rank);
124   int dst_traced = smpi_group_rank(smpi_comm_group(MPI_COMM_WORLD), to);
125   TRACE_smpi_ptp_in(rank, rank, dst_traced, __FUNCTION__);
126   TRACE_smpi_send(rank, rank, dst_traced);
127 #endif
128
129   smpi_mpi_send(NULL, size, MPI_DTYPE, to , 0, MPI_COMM_WORLD);
130
131   log_timed_action (action, clock);
132
133   #ifdef HAVE_TRACING
134   TRACE_smpi_ptp_out(rank, rank, dst_traced, __FUNCTION__);
135   TRACE_smpi_computing_in(rank);
136 #endif
137
138 }
139
140 static void action_Isend(const char *const *action)
141 {
142   int to = atoi(action[2]);
143   double size=parse_double(action[3]);
144   double clock = smpi_process_simulated_elapsed();
145   MPI_Request request;
146   smpi_replay_globals_t globals =
147      (smpi_replay_globals_t) smpi_process_get_user_data();
148 #ifdef HAVE_TRACING
149   int rank = smpi_comm_rank(MPI_COMM_WORLD);
150   TRACE_smpi_computing_out(rank);
151   int dst_traced = smpi_group_rank(smpi_comm_group(MPI_COMM_WORLD), to);
152   TRACE_smpi_ptp_in(rank, rank, dst_traced, __FUNCTION__);
153   TRACE_smpi_send(rank, rank, dst_traced);
154 #endif
155
156   request = smpi_mpi_isend(NULL, size, MPI_DTYPE, to, 0,MPI_COMM_WORLD);
157   
158 #ifdef HAVE_TRACING
159   TRACE_smpi_ptp_out(rank, rank, dst_traced, __FUNCTION__);
160   request->send = 1;
161   TRACE_smpi_computing_in(rank);
162 #endif
163
164   xbt_dynar_push(globals->isends,&request);
165   xbt_dynar_push(reqq[smpi_comm_rank(MPI_COMM_WORLD)],&request);
166
167   log_timed_action (action, clock);
168 }
169
170 static void action_recv(const char *const *action) {
171   int from = atoi(action[2]);
172   double size=parse_double(action[3]);
173   double clock = smpi_process_simulated_elapsed();
174   MPI_Status status;
175 #ifdef HAVE_TRACING
176   int rank = smpi_comm_rank(MPI_COMM_WORLD);
177   int src_traced = smpi_group_rank(smpi_comm_group(MPI_COMM_WORLD), from);
178   TRACE_smpi_computing_out(rank);
179
180   TRACE_smpi_ptp_in(rank, src_traced, rank, __FUNCTION__);
181 #endif
182
183   smpi_mpi_recv(NULL, size, MPI_DTYPE, from, 0, MPI_COMM_WORLD, &status);
184
185 #ifdef HAVE_TRACING
186   TRACE_smpi_ptp_out(rank, src_traced, rank, __FUNCTION__);
187   TRACE_smpi_recv(rank, src_traced, rank);
188   TRACE_smpi_computing_in(rank);
189 #endif
190
191   log_timed_action (action, clock);
192 }
193
194 static void action_Irecv(const char *const *action)
195 {
196   int from = atoi(action[2]);
197   double size=parse_double(action[3]);
198   double clock = smpi_process_simulated_elapsed();
199   MPI_Request request;
200   smpi_replay_globals_t globals =
201      (smpi_replay_globals_t) smpi_process_get_user_data();
202
203 #ifdef HAVE_TRACING
204   int rank = smpi_comm_rank(MPI_COMM_WORLD);
205   int src_traced = smpi_group_rank(smpi_comm_group(MPI_COMM_WORLD), from);
206   TRACE_smpi_ptp_in(rank, src_traced, rank, __FUNCTION__);
207 #endif
208
209   request = smpi_mpi_irecv(NULL, size, MPI_DTYPE, from, 0, MPI_COMM_WORLD);
210   
211 #ifdef HAVE_TRACING
212   TRACE_smpi_ptp_out(rank, src_traced, rank, __FUNCTION__);
213   request->recv = 1;
214 #endif
215   xbt_dynar_push(globals->irecvs,&request);
216   xbt_dynar_push(reqq[smpi_comm_rank(MPI_COMM_WORLD)],&request);
217
218   log_timed_action (action, clock);
219 }
220
221 static void action_wait(const char *const *action){
222   double clock = smpi_process_simulated_elapsed();
223   MPI_Request request;
224   MPI_Status status;
225   smpi_replay_globals_t globals =
226       (smpi_replay_globals_t) smpi_process_get_user_data();
227
228   xbt_assert(xbt_dynar_length(globals->irecvs),
229       "action wait not preceded by any irecv: %s",
230       xbt_str_join_array(action," "));
231   request = xbt_dynar_pop_as(globals->irecvs,MPI_Request);
232 #ifdef HAVE_TRACING
233   int rank = request && request->comm != MPI_COMM_NULL
234       ? smpi_comm_rank(request->comm)
235       : -1;
236   TRACE_smpi_computing_out(rank);
237
238   MPI_Group group = smpi_comm_group(request->comm);
239   int src_traced = smpi_group_rank(group, request->src);
240   int dst_traced = smpi_group_rank(group, request->dst);
241   int is_wait_for_receive = request->recv;
242   TRACE_smpi_ptp_in(rank, src_traced, dst_traced, __FUNCTION__);
243 #endif
244   smpi_mpi_wait(&request, &status);
245 #ifdef HAVE_TRACING
246   TRACE_smpi_ptp_out(rank, src_traced, dst_traced, __FUNCTION__);
247   if (is_wait_for_receive) {
248     TRACE_smpi_recv(rank, src_traced, dst_traced);
249   }
250   TRACE_smpi_computing_in(rank);
251 #endif
252
253   log_timed_action (action, clock);
254 }
255
256 static void action_waitall(const char *const *action){
257   double clock = smpi_process_simulated_elapsed();
258   int count_requests=0;
259   unsigned int i=0;
260
261   count_requests=xbt_dynar_length(reqq[smpi_comm_rank(MPI_COMM_WORLD)]);
262
263   if (count_requests>0) {
264     MPI_Request requests[count_requests];
265     MPI_Status status[count_requests];
266   
267     /*  The reqq is an array of dynars. Its index corresponds to the rank.
268      Thus each rank saves its own requests to the array request. */
269     xbt_dynar_foreach(reqq[smpi_comm_rank(MPI_COMM_WORLD)],i,requests[i]); 
270     
271   #ifdef HAVE_TRACING
272    //save information from requests
273  
274    xbt_dynar_t srcs = xbt_dynar_new(sizeof(int), NULL);
275    xbt_dynar_t dsts = xbt_dynar_new(sizeof(int), NULL);
276    xbt_dynar_t recvs = xbt_dynar_new(sizeof(int), NULL);
277    for (i = 0; i < count_requests; i++) {
278     if(requests[i]){
279       int *asrc = xbt_new(int, 1);
280       int *adst = xbt_new(int, 1);
281       int *arecv = xbt_new(int, 1);
282       *asrc = requests[i]->src;
283       *adst = requests[i]->dst;
284       *arecv = requests[i]->recv;
285       xbt_dynar_insert_at(srcs, i, asrc);
286       xbt_dynar_insert_at(dsts, i, adst);
287       xbt_dynar_insert_at(recvs, i, arecv);
288       xbt_free(asrc);
289       xbt_free(adst);
290       xbt_free(arecv);
291     }else {
292       int *t = xbt_new(int, 1);
293       xbt_dynar_insert_at(srcs, i, t);
294       xbt_dynar_insert_at(dsts, i, t);
295       xbt_dynar_insert_at(recvs, i, t);
296       xbt_free(t);
297     }
298    }
299    int rank_traced = smpi_process_index();
300    TRACE_smpi_computing_out(rank_traced);
301
302    TRACE_smpi_ptp_in(rank_traced, -1, -1, __FUNCTION__);
303   #endif
304
305     smpi_mpi_waitall(count_requests, requests, status);
306
307   #ifdef HAVE_TRACING
308    for (i = 0; i < count_requests; i++) {
309     int src_traced, dst_traced, is_wait_for_receive;
310     xbt_dynar_get_cpy(srcs, i, &src_traced);
311     xbt_dynar_get_cpy(dsts, i, &dst_traced);
312     xbt_dynar_get_cpy(recvs, i, &is_wait_for_receive);
313     if (is_wait_for_receive) {
314       TRACE_smpi_recv(rank_traced, src_traced, dst_traced);
315     }
316    }
317    TRACE_smpi_ptp_out(rank_traced, -1, -1, __FUNCTION__);
318    //clean-up of dynars
319    xbt_dynar_free(&srcs);
320    xbt_dynar_free(&dsts);
321    xbt_dynar_free(&recvs);
322    TRACE_smpi_computing_in(rank_traced);
323   #endif
324    
325    xbt_dynar_reset(reqq[smpi_comm_rank(MPI_COMM_WORLD)]);
326   }
327   log_timed_action (action, clock);
328 }
329
330 static void action_barrier(const char *const *action){
331   double clock = smpi_process_simulated_elapsed();
332 #ifdef HAVE_TRACING
333   int rank = smpi_comm_rank(MPI_COMM_WORLD);
334   TRACE_smpi_computing_out(rank);
335   TRACE_smpi_collective_in(rank, -1, __FUNCTION__);
336 #endif
337   smpi_mpi_barrier(MPI_COMM_WORLD);
338 #ifdef HAVE_TRACING
339   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
340   TRACE_smpi_computing_in(rank);
341 #endif
342
343   log_timed_action (action, clock);
344 }
345
346 static void action_bcast(const char *const *action)
347 {
348   double size = parse_double(action[2]);
349   double clock = smpi_process_simulated_elapsed();
350 #ifdef HAVE_TRACING
351   int rank = smpi_comm_rank(MPI_COMM_WORLD);
352   TRACE_smpi_computing_out(rank);
353   int root_traced = smpi_group_rank(smpi_comm_group(MPI_COMM_WORLD), 0);
354   TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__);
355 #endif
356
357   smpi_mpi_bcast(NULL, size, MPI_DTYPE, 0, MPI_COMM_WORLD);
358 #ifdef HAVE_TRACING
359   TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
360   TRACE_smpi_computing_in(rank);
361 #endif
362
363   log_timed_action (action, clock);
364 }
365
366 static void action_reduce(const char *const *action)
367 {
368   double size = parse_double(action[2]);
369   double clock = smpi_process_simulated_elapsed();
370 #ifdef HAVE_TRACING
371   int rank = smpi_comm_rank(MPI_COMM_WORLD);
372   TRACE_smpi_computing_out(rank);
373   int root_traced = smpi_group_rank(smpi_comm_group(MPI_COMM_WORLD), 0);
374   TRACE_smpi_collective_in(rank, root_traced, __FUNCTION__);
375 #endif
376    smpi_mpi_reduce(NULL, NULL, size, MPI_DTYPE, MPI_OP_NULL, 0, MPI_COMM_WORLD);
377 #ifdef HAVE_TRACING
378   TRACE_smpi_collective_out(rank, root_traced, __FUNCTION__);
379   TRACE_smpi_computing_in(rank);
380 #endif
381
382   log_timed_action (action, clock);
383 }
384
385 static void action_allReduce(const char *const *action) {
386   double comm_size = parse_double(action[2]);
387   double comp_size = parse_double(action[3]);
388   double clock = smpi_process_simulated_elapsed();
389 #ifdef HAVE_TRACING
390   int rank = smpi_comm_rank(MPI_COMM_WORLD);
391   TRACE_smpi_computing_out(rank);
392   TRACE_smpi_collective_in(rank, -1, __FUNCTION__);
393 #endif
394   smpi_mpi_reduce(NULL, NULL, comm_size, MPI_DTYPE, MPI_OP_NULL, 0, MPI_COMM_WORLD);
395   smpi_execute_flops(comp_size);
396   smpi_mpi_bcast(NULL, comm_size, MPI_DTYPE, 0, MPI_COMM_WORLD);
397 #ifdef HAVE_TRACING
398   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
399   TRACE_smpi_computing_in(rank);
400 #endif
401
402   log_timed_action (action, clock);
403 }
404
405 static void action_allToAll(const char *const *action) {
406   double clock = smpi_process_simulated_elapsed();
407   int comm_size = smpi_comm_size(MPI_COMM_WORLD);
408   int send_size = atoi(action[2]);
409   int recv_size = atoi(action[3]);
410   void *send = xbt_new0(int, send_size*comm_size);  
411   void *recv = xbt_new0(int, send_size*comm_size);
412
413
414 #ifdef HAVE_TRACING
415   int rank = smpi_process_index();
416   TRACE_smpi_computing_out(rank);
417   TRACE_smpi_collective_in(rank, -1, __FUNCTION__);
418 #endif
419
420   if (send_size < 200 && comm_size > 12) {
421     smpi_coll_tuned_alltoall_bruck(send, send_size, MPI_DTYPE,
422                                    recv, recv_size, MPI_DTYPE,
423                                    MPI_COMM_WORLD);
424   } else if (send_size < 3000) {
425   
426     smpi_coll_tuned_alltoall_basic_linear(send, send_size, MPI_DTYPE,
427                                           recv, recv_size, MPI_DTYPE,
428                                           MPI_COMM_WORLD);
429   } else {
430     smpi_coll_tuned_alltoall_pairwise(send, send_size, MPI_DTYPE,
431                                       recv, recv_size, MPI_DTYPE,
432                                       MPI_COMM_WORLD);
433   }
434
435 #ifdef HAVE_TRACING
436   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
437   TRACE_smpi_computing_in(rank);
438 #endif
439
440   log_timed_action (action, clock);
441   xbt_free(send);
442   xbt_free(recv);
443 }
444
445 static void action_allToAllv(const char *const *action) {
446   /*
447  The structure of the allToAllV action for the rank 0 (total 4 processes) 
448  is the following:   
449   0 allToAllV 100 1 7 10 12 5 10 20 45 100 1 70 10 5 1 5 77 90
450
451   where: 
452   1) 100 is the size of the send buffer *sizeof(int),
453   2) 1 7 10 12 is the sendcounts array
454   3) 5 10 20 45 is the sdispls array
455   4) 100*sizeof(int) is the size of the receiver buffer
456   5)  1 70 10 5 is the recvcounts array
457   6) 1 5 77 90 is the rdispls array
458     
459    */
460   
461   
462   double clock = smpi_process_simulated_elapsed();
463   
464   int comm_size = smpi_comm_size(MPI_COMM_WORLD);
465   int send_buf_size=0,recv_buf_size=0,i=0;
466   int *sendcounts = xbt_new0(int, comm_size);  
467   int *recvcounts = xbt_new0(int, comm_size);  
468   int *senddisps = xbt_new0(int, comm_size);  
469   int *recvdisps = xbt_new0(int, comm_size);  
470   MPI_Datatype sendtype,recvtype;
471   
472   send_buf_size=atoi(action[2]);
473   recv_buf_size=atoi(action[3+2*comm_size]);
474
475   int *sendbuf = xbt_new0(int, send_buf_size);  
476   int *recvbuf = xbt_new0(int, recv_buf_size);  
477
478   sendtype=MPI_DTYPE;
479   recvtype=MPI_DTYPE;
480  
481   for(i=0;i<comm_size;i++) {
482     sendcounts[i] = atoi(action[i+3]);
483     senddisps[i] = atoi(action[i+3+comm_size]);
484     recvcounts[i] = atoi(action[i+4+2*comm_size]);
485     recvdisps[i] = atoi(action[i+4+3*comm_size]);
486   }
487   
488
489 #ifdef HAVE_TRACING
490   int rank = MPI_COMM_WORLD != MPI_COMM_NULL ? smpi_process_index() : -1;
491   TRACE_smpi_computing_out(rank);
492   TRACE_smpi_collective_in(rank, -1, __FUNCTION__);
493 #endif
494     smpi_coll_basic_alltoallv(sendbuf, sendcounts, senddisps, sendtype,
495                                recvbuf, recvcounts, recvdisps, recvtype,
496                                MPI_COMM_WORLD);
497 #ifdef HAVE_TRACING
498   TRACE_smpi_collective_out(rank, -1, __FUNCTION__);
499   TRACE_smpi_computing_in(rank);
500 #endif
501    
502   log_timed_action (action, clock);
503   xbt_free(sendbuf);
504   xbt_free(recvbuf);
505   xbt_free(sendcounts);
506   xbt_free(recvcounts);
507   xbt_free(senddisps);
508   xbt_free(recvdisps);
509
510   
511 }
512
513 void smpi_replay_init(int *argc, char***argv){
514   PMPI_Init(argc, argv);
515   if (!smpi_process_index()){
516     _xbt_replay_action_init();
517     xbt_replay_action_register("init",       action_init);
518     xbt_replay_action_register("finalize",   action_finalize);
519     xbt_replay_action_register("comm_size",  action_comm_size);
520     xbt_replay_action_register("comm_split", action_comm_split);
521     xbt_replay_action_register("comm_dup",   action_comm_dup);
522     xbt_replay_action_register("send",       action_send);
523     xbt_replay_action_register("Isend",      action_Isend);
524     xbt_replay_action_register("recv",       action_recv);
525     xbt_replay_action_register("Irecv",      action_Irecv);
526     xbt_replay_action_register("wait",       action_wait);
527     xbt_replay_action_register("waitAll",    action_waitall);
528     xbt_replay_action_register("barrier",    action_barrier);
529     xbt_replay_action_register("bcast",      action_bcast);
530     xbt_replay_action_register("reduce",     action_reduce);
531     xbt_replay_action_register("allReduce",  action_allReduce);
532     xbt_replay_action_register("allToAll",   action_allToAll);
533     xbt_replay_action_register("allToAllV",  action_allToAllv);
534     xbt_replay_action_register("compute",    action_compute);
535   }
536
537   xbt_replay_action_runner(*argc, *argv);
538 }
539
540 int smpi_replay_finalize(){
541   double sim_time= 1.;
542   /* One active process will stop. Decrease the counter*/
543   active_processes--;
544   if(!active_processes){
545     /* Last process alive speaking */
546     /* end the simulated timer */
547     xbt_dynar_free(reqq);
548     sim_time = smpi_process_simulated_elapsed();
549     XBT_INFO("Simulation time %g", sim_time);
550     _xbt_replay_action_exit();
551   }
552   return PMPI_Finalize();
553 }