66 31 allReduce 32 9196581 1
69 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
74 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
78 31 allToAll 13824 13824
80 31 allToAll 13824 13824
83 31 allReduce 1 16408053
86 31 allReduce 795 790700995
89 31 allReduce 2 821059536
91 31 allToAll 13824 13824
93 31 allToAll 13824 13824
96 31 allReduce 1 8581230
99 31 allReduce 32 39149334 1
100 31 compute 60481268000
102 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2810376205
105 31 allReduce 2 768779652
107 31 allToAll 13824 13824
109 31 allToAll 13824 13824
112 31 allReduce 1 7929298
115 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
116 31 compute 175833386559
118 31 allReduce 4 1326591116
121 31 allToAllV 25641510 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801270 801270 801270 25834050 828900 828900 828900 828900 828900 828900 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270
124 31 allToAllV 25641510 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801299 801270 801270 801270 25834050 828900 828900 828900 828900 828900 828900 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270 801270
127 31 allReduce 1729832 753833140
128 31 compute 10273076976
138 31 allReduce 223729 200786404
141 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
145 31 compute 29258358640
147 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2861361725
150 31 allReduce 2 840152943
152 31 allToAll 13824 13824
154 31 allToAll 13824 13824
157 31 allReduce 1 12179140
160 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
161 31 compute 84960391925
163 31 allReduce 4 3104133182
166 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
169 31 allReduce 223729 82064591
172 31 allReduce 1 62072914
175 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
176 31 compute 270460648278
178 31 allReduce 2 9135756471
181 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
184 31 allReduce 7 17100645
187 31 allReduce 223729 115974383
190 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
191 31 compute 29320242249
193 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2962930089
196 31 allReduce 2 839451535
198 31 allToAll 13824 13824
200 31 allToAll 13824 13824
203 31 allReduce 1 15839592
206 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
207 31 compute 84960391799
209 31 allReduce 4 3128762516
212 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
215 31 allReduce 223729 82619962
218 31 allReduce 1 53831299
221 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
222 31 compute 270460631767
224 31 allReduce 2 9057392582
227 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
230 31 allReduce 7 614312
233 31 allReduce 223729 643132765
236 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
237 31 compute 29320242172
239 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 3992418918
242 31 allReduce 2 1328010056
244 31 allToAll 13824 13824
246 31 allToAll 13824 13824
249 31 allReduce 1 11879623
252 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
253 31 compute 84960391826
255 31 allReduce 4 2944976333
258 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
261 31 allReduce 223729 191639120
264 31 allReduce 1 64285608
267 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
268 31 compute 270460631766
270 31 allReduce 2 8391761704
273 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
276 31 allReduce 7 28382575
279 31 allReduce 223729 743597118
282 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
283 31 compute 29320242604
285 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 6074469487
288 31 allReduce 2 947761041
290 31 allToAll 13824 13824
292 31 allToAll 13824 13824
295 31 allReduce 1 12368570
298 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
299 31 compute 84960348369
301 31 allReduce 4 3027024074
304 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
307 31 allReduce 223729 106144101
310 31 allReduce 1 45438062
313 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
314 31 compute 270460631753
316 31 allReduce 2 8626603709
319 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
322 31 allReduce 7 26989379
325 31 allReduce 223729 150488374
328 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
329 31 compute 29320242207
331 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2445805773
334 31 allReduce 2 846252598
336 31 allToAll 13824 13824
338 31 allToAll 13824 13824
341 31 allReduce 1 9854004
344 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
345 31 compute 84960348229
347 31 allReduce 4 3046842437
350 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
353 31 allReduce 223729 125972114
356 31 allReduce 1 56909747
359 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
360 31 compute 270460631754
362 31 allReduce 2 8854043690
365 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
368 31 allReduce 7 35752241
371 31 allReduce 223729 86418250
374 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
375 31 compute 29320242206
377 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2321297196
380 31 allReduce 2 850334224
382 31 allToAll 13824 13824
384 31 allToAll 13824 13824
387 31 allReduce 1 10217071
390 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
391 31 compute 84960348243
393 31 allReduce 4 2965373355
396 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
399 31 allReduce 223729 85341802
402 31 allReduce 1 58393595
405 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
406 31 compute 270460631789
408 31 allReduce 2 8416190164
411 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
414 31 allReduce 7 17389108
415 31 compute 1020314339
417 31 allReduce 223729 154612353
420 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
421 31 compute 29320242220
423 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2452302972
426 31 allReduce 2 841022395
428 31 allToAll 13824 13824
430 31 allToAll 13824 13824
433 31 allReduce 1 8277104
436 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
437 31 compute 84960348243
439 31 allReduce 4 2976632256
442 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
445 31 allReduce 223729 127292802
448 31 allReduce 1 64181099
451 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
452 31 compute 270460631779
454 31 allReduce 2 8450736681
457 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
461 31 compute 1020314360
463 31 allReduce 223729 147866359
466 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
467 31 compute 29320242169
469 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2356126792
472 31 allReduce 2 832640907
474 31 allToAll 13824 13824
476 31 allToAll 13824 13824
479 31 allReduce 1 9541053
482 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
483 31 compute 84960348250
485 31 allReduce 4 3159771657
488 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
491 31 allReduce 223729 101574168
494 31 allReduce 1 60612383
497 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
498 31 compute 270460631776
500 31 allReduce 2 8723174621
503 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
506 31 allReduce 7 23786815
507 31 compute 1020314505
509 31 allReduce 223729 131760563
512 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
513 31 compute 29320242205
515 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2353169386
518 31 allReduce 2 839428408
520 31 allToAll 13824 13824
522 31 allToAll 13824 13824
525 31 allReduce 1 7895280
528 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
529 31 compute 84960348240
531 31 allReduce 4 3016263715
534 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
537 31 allReduce 223729 122923553
540 31 allReduce 1 51355566
543 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
544 31 compute 270460631782
546 31 allReduce 2 8375625725
549 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
553 31 compute 1020314366
555 31 allReduce 223729 116915317
558 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
562 31 compute 29258335112
564 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2405247283
567 31 allReduce 2 859607424
569 31 allToAll 13824 13824
571 31 allToAll 13824 13824
574 31 allReduce 1 11692853
577 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
578 31 compute 84960349936
580 31 allReduce 4 3040171727
583 31 allToAllV 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820
586 31 allReduce 223729 78731806
587 31 compute 1567988838
589 31 allReduce 1 242956207
592 31 allToAllV 13096620 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 414450 386820 386820 386820 386820 386820 386820 386820 12378660 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386834 386820 386820 386820
598 31 compute 29208832064
600 31 reduceScatter 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 2536825356
602 31 allToAll 13824 13824
604 31 allToAll 13824 13824
607 31 allReduce 1 8938462
610 31 allReduce 6 1076550
613 31 allGatherV 0 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 176256 0 0 0 176256 352512 528768 705024 881280 1057536 1233792 1410048 1586304 1762560 1938816 2115072 2291328 2467584 2643840 2820096 2996352 3172608 3348864 3525120 3701376 3877632 4053888 4230144 4406400 4582656 4758912 4935168 5111424 5258304 5258304
614 31 compute 8334508221
616 31 allReduce 795 1136947961
619 31 allReduce 1 1422615