0 init
1 init
2 init
3 init

0 allGatherV 275427 275427 275427 275427 204020 0 275427 550854 826281 0 0
1 allGatherV 275427 275427 275427 275427 204020 0 275427 550854 826281 0 0
2 allGatherV 275427 275427 275427 275427 204020 0 275427 550854 826281 0 0
3 allGatherV 204020 275427 275427 275427 204020 0 275427 550854 826281 0 0

0 finalize
1 finalize
2 finalize
3 finalize