0 init
1 init
2 init

0 allReduce 5e4 5e8
1 allReduce 5e4 5e8
2 allReduce 5e4 5e8

0 compute 5e8
1 compute 5e8
2 compute 5e8

0 finalize
1 finalize
2 finalize