Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
actors on failing hosts should die silently and with no delay
[simgrid.git] / examples / deprecated / msg / platform-failures / platform-failures.tesh
1 #!/usr/bin/env tesh
2
3 p Testing a simple master/worker example application handling failures TCP crosstraffic DISABLED
4
5 ! output sort 19
6 $ $SG_TEST_EXENV ${bindir:=.}/platform-failures$EXEEXT --log=xbt_cfg.thres:critical --log=no_loc ${platfdir}/small_platform_failures.xml ${srcdir}/../app-masterworker/app-masterworker_d.xml --cfg=path:${srcdir} --cfg=network/crosstraffic:0 "--log=root.fmt:[%10.6r]%e(%i:%P@%h)%e%m%n" --log=surf_cpu.t:verbose
7 > [  0.000000] (0:maestro@) Cannot launch actor 'worker' on failed host 'Fafard'
8 > [  0.000000] (0:maestro@) Deployment includes some initially turned off Hosts ... nevermind.
9 > [  0.000000] (1:master@Tremblay) Got 5 workers and 20 tasks to process
10 > [  0.000000] (1:master@Tremblay) Send a message to worker-0
11 > [  0.010309] (1:master@Tremblay) Send to worker-0 completed
12 > [  0.010309] (2:worker@Tremblay) Start execution...
13 > [  0.000000] (2:worker@Tremblay) Waiting a message on worker-0
14 > [  0.000000] (3:worker@Jupiter) Waiting a message on worker-1
15 > [  0.000000] (5:worker@Ginette) Waiting a message on worker-3
16 > [  0.000000] (6:worker@Bourassa) Waiting a message on worker-4
17 > [  0.010309] (1:master@Tremblay) Send a message to worker-1
18 > [  1.000000] (0:maestro@) Restart processes on host Fafard
19 > [  1.000000] (7:worker@Fafard) Waiting a message on worker-2
20 > [  1.000000] (1:master@Tremblay) Mmh. Something went wrong with 'worker-1'. Nevermind. Let's keep going!
21 > [  1.000000] (1:master@Tremblay) Send a message to worker-2
22 > [  2.000000] (1:master@Tremblay) Mmh. Something went wrong with 'worker-2'. Nevermind. Let's keep going!
23 > [  2.000000] (0:maestro@) Restart processes on host Jupiter
24 > [  2.000000] (1:master@Tremblay) Send a message to worker-3
25 > [  2.000000] (8:worker@Jupiter) Waiting a message on worker-1
26 > [  2.010309] (2:worker@Tremblay) Execution complete.
27 > [  2.010309] (2:worker@Tremblay) Waiting a message on worker-0
28 > [  3.030928] (1:master@Tremblay) Send to worker-3 completed
29 > [  3.030928] (1:master@Tremblay) Send a message to worker-4
30 > [  3.030928] (5:worker@Ginette) Start execution...
31 > [  4.061856] (1:master@Tremblay) Send to worker-4 completed
32 > [  4.061856] (1:master@Tremblay) Send a message to worker-0
33 > [  4.061856] (6:worker@Bourassa) Start execution...
34 > [  4.072165] (1:master@Tremblay) Send to worker-0 completed
35 > [  4.072165] (1:master@Tremblay) Send a message to worker-1
36 > [  4.072165] (2:worker@Tremblay) Start execution...
37 > [  5.030928] (5:worker@Ginette) Execution complete.
38 > [  5.030928] (5:worker@Ginette) Waiting a message on worker-3
39 > [  5.103093] (1:master@Tremblay) Send to worker-1 completed
40 > [  5.103093] (1:master@Tremblay) Send a message to worker-2
41 > [  5.103093] (8:worker@Jupiter) Start execution...
42 > [  6.061856] (6:worker@Bourassa) Execution complete.
43 > [  6.061856] (6:worker@Bourassa) Waiting a message on worker-4
44 > [  6.072165] (2:worker@Tremblay) Execution complete.
45 > [  6.072165] (2:worker@Tremblay) Waiting a message on worker-0
46 > [  7.103093] (8:worker@Jupiter) Execution complete.
47 > [  7.103093] (8:worker@Jupiter) Waiting a message on worker-1
48 > [ 15.103093] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
49 > [ 15.103093] (1:master@Tremblay) Send a message to worker-3
50 > [ 15.103093] (1:master@Tremblay) Mmh. Something went wrong with 'worker-3'. Nevermind. Let's keep going!
51 > [ 15.103093] (1:master@Tremblay) Send a message to worker-4
52 > [ 15.103093] (5:worker@Ginette) Mmh. Something went wrong. Nevermind. Let's keep going!
53 > [ 15.103093] (5:worker@Ginette) Waiting a message on worker-3
54 > [ 16.134021] (1:master@Tremblay) Send to worker-4 completed
55 > [ 16.134021] (1:master@Tremblay) Send a message to worker-0
56 > [ 16.134021] (6:worker@Bourassa) Start execution...
57 > [ 16.144330] (1:master@Tremblay) Send to worker-0 completed
58 > [ 16.144330] (1:master@Tremblay) Send a message to worker-1
59 > [ 16.144330] (2:worker@Tremblay) Start execution...
60 > [ 17.175258] (1:master@Tremblay) Send to worker-1 completed
61 > [ 17.175258] (1:master@Tremblay) Send a message to worker-2
62 > [ 17.175258] (8:worker@Jupiter) Start execution...
63 > [ 18.134021] (6:worker@Bourassa) Execution complete.
64 > [ 18.134021] (6:worker@Bourassa) Waiting a message on worker-4
65 > [ 18.144330] (2:worker@Tremblay) Execution complete.
66 > [ 18.144330] (2:worker@Tremblay) Waiting a message on worker-0
67 > [ 19.175258] (8:worker@Jupiter) Execution complete.
68 > [ 19.175258] (8:worker@Jupiter) Waiting a message on worker-1
69 > [ 27.175258] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
70 > [ 27.175258] (1:master@Tremblay) Send a message to worker-3
71 > [ 28.206186] (1:master@Tremblay) Send to worker-3 completed
72 > [ 28.206186] (1:master@Tremblay) Send a message to worker-4
73 > [ 28.206186] (1:master@Tremblay) Mmh. Something went wrong with 'worker-4'. Nevermind. Let's keep going!
74 > [ 28.206186] (1:master@Tremblay) Send a message to worker-0
75 > [ 28.206186] (5:worker@Ginette) Start execution...
76 > [ 28.206186] (6:worker@Bourassa) Mmh. Something went wrong. Nevermind. Let's keep going!
77 > [ 28.206186] (6:worker@Bourassa) Waiting a message on worker-4
78 > [ 28.216495] (1:master@Tremblay) Send to worker-0 completed
79 > [ 28.216495] (1:master@Tremblay) Send a message to worker-1
80 > [ 28.216495] (2:worker@Tremblay) Start execution...
81 > [ 29.247423] (1:master@Tremblay) Send to worker-1 completed
82 > [ 29.247423] (1:master@Tremblay) Send a message to worker-2
83 > [ 29.247423] (8:worker@Jupiter) Start execution...
84 > [ 30.206186] (5:worker@Ginette) Execution complete.
85 > [ 30.206186] (5:worker@Ginette) Waiting a message on worker-3
86 > [ 30.216495] (2:worker@Tremblay) Execution complete.
87 > [ 30.216495] (2:worker@Tremblay) Waiting a message on worker-0
88 > [ 31.247423] (8:worker@Jupiter) Execution complete.
89 > [ 31.247423] (8:worker@Jupiter) Waiting a message on worker-1
90 > [ 39.247423] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
91 > [ 39.247423] (1:master@Tremblay) Send a message to worker-3
92 > [ 40.278351] (1:master@Tremblay) Send to worker-3 completed
93 > [ 40.278351] (1:master@Tremblay) Send a message to worker-4
94 > [ 40.278351] (5:worker@Ginette) Start execution...
95 > [ 41.309278] (1:master@Tremblay) Send to worker-4 completed
96 > [ 41.309278] (1:master@Tremblay) All tasks have been dispatched. Let's tell everybody the computation is over.
97 > [ 41.309278] (2:worker@Tremblay) I'm done. See you!
98 > [ 41.309278] (6:worker@Bourassa) Start execution...
99 > [ 41.309278] (8:worker@Jupiter) I'm done. See you!
100 > [ 42.309278] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
101 > [ 43.309278] (0:maestro@) Simulation time 43.3093
102 > [ 43.309278] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-3'. Nevermind. Let's keep going!
103 > [ 43.309278] (1:master@Tremblay) Goodbye now!
104 > [ 43.309278] (6:worker@Bourassa) Execution complete.
105 > [ 43.309278] (6:worker@Bourassa) Waiting a message on worker-4
106 > [ 43.309278] (6:worker@Bourassa) I'm done. See you!
107
108 p Testing a simple master/worker example application handling failures. TCP crosstraffic ENABLED
109
110 ! output sort 19
111 $ $SG_TEST_EXENV ${bindir:=.}/platform-failures$EXEEXT --log=xbt_cfg.thres:critical --log=no_loc ${platfdir}/small_platform_failures.xml ${srcdir}/../app-masterworker/app-masterworker_d.xml --cfg=path:${srcdir} "--log=root.fmt:[%10.6r]%e(%i:%P@%h)%e%m%n" --log=surf_cpu.t:verbose
112 > [  0.000000] (0:maestro@) Cannot launch actor 'worker' on failed host 'Fafard'
113 > [  0.000000] (0:maestro@) Deployment includes some initially turned off Hosts ... nevermind.
114 > [  0.000000] (1:master@Tremblay) Got 5 workers and 20 tasks to process
115 > [  0.000000] (1:master@Tremblay) Send a message to worker-0
116 > [  0.000000] (2:worker@Tremblay) Waiting a message on worker-0
117 > [  0.000000] (3:worker@Jupiter) Waiting a message on worker-1
118 > [  0.000000] (5:worker@Ginette) Waiting a message on worker-3
119 > [  0.000000] (6:worker@Bourassa) Waiting a message on worker-4
120 > [  0.010825] (2:worker@Tremblay) Start execution...
121 > [  0.010825] (1:master@Tremblay) Send to worker-0 completed
122 > [  0.010825] (1:master@Tremblay) Send a message to worker-1
123 > [  1.000000] (0:maestro@) Restart processes on host Fafard
124 > [  1.000000] (7:worker@Fafard) Waiting a message on worker-2
125 > [  1.000000] (1:master@Tremblay) Mmh. Something went wrong with 'worker-1'. Nevermind. Let's keep going!
126 > [  1.000000] (1:master@Tremblay) Send a message to worker-2
127 > [  2.000000] (0:maestro@) Restart processes on host Jupiter
128 > [  2.000000] (8:worker@Jupiter) Waiting a message on worker-1
129 > [  2.000000] (1:master@Tremblay) Mmh. Something went wrong with 'worker-2'. Nevermind. Let's keep going!
130 > [  2.000000] (1:master@Tremblay) Send a message to worker-3
131 > [  2.010825] (2:worker@Tremblay) Execution complete.
132 > [  2.010825] (2:worker@Tremblay) Waiting a message on worker-0
133 > [  3.082474] (5:worker@Ginette) Start execution...
134 > [  3.082474] (1:master@Tremblay) Send to worker-3 completed
135 > [  3.082474] (1:master@Tremblay) Send a message to worker-4
136 > [  4.164948] (6:worker@Bourassa) Start execution...
137 > [  4.164948] (1:master@Tremblay) Send to worker-4 completed
138 > [  4.164948] (1:master@Tremblay) Send a message to worker-0
139 > [  4.175773] (2:worker@Tremblay) Start execution...
140 > [  4.175773] (1:master@Tremblay) Send to worker-0 completed
141 > [  4.175773] (1:master@Tremblay) Send a message to worker-1
142 > [  5.082474] (5:worker@Ginette) Execution complete.
143 > [  5.082474] (5:worker@Ginette) Waiting a message on worker-3
144 > [  5.258247] (8:worker@Jupiter) Start execution...
145 > [  5.258247] (1:master@Tremblay) Send to worker-1 completed
146 > [  5.258247] (1:master@Tremblay) Send a message to worker-2
147 > [  6.164948] (6:worker@Bourassa) Execution complete.
148 > [  6.164948] (6:worker@Bourassa) Waiting a message on worker-4
149 > [  6.175773] (2:worker@Tremblay) Execution complete.
150 > [  6.175773] (2:worker@Tremblay) Waiting a message on worker-0
151 > [  7.258247] (8:worker@Jupiter) Execution complete.
152 > [  7.258247] (8:worker@Jupiter) Waiting a message on worker-1
153 > [ 15.258247] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
154 > [ 15.258247] (1:master@Tremblay) Send a message to worker-3
155 > [ 15.258247] (5:worker@Ginette) Mmh. Something went wrong. Nevermind. Let's keep going!
156 > [ 15.258247] (5:worker@Ginette) Waiting a message on worker-3
157 > [ 15.258247] (1:master@Tremblay) Mmh. Something went wrong with 'worker-3'. Nevermind. Let's keep going!
158 > [ 15.258247] (1:master@Tremblay) Send a message to worker-4
159 > [ 16.340722] (6:worker@Bourassa) Start execution...
160 > [ 16.340722] (1:master@Tremblay) Send to worker-4 completed
161 > [ 16.340722] (1:master@Tremblay) Send a message to worker-0
162 > [ 16.351546] (2:worker@Tremblay) Start execution...
163 > [ 16.351546] (1:master@Tremblay) Send to worker-0 completed
164 > [ 16.351546] (1:master@Tremblay) Send a message to worker-1
165 > [ 17.434021] (8:worker@Jupiter) Start execution...
166 > [ 17.434021] (1:master@Tremblay) Send to worker-1 completed
167 > [ 17.434021] (1:master@Tremblay) Send a message to worker-2
168 > [ 18.340722] (6:worker@Bourassa) Execution complete.
169 > [ 18.340722] (6:worker@Bourassa) Waiting a message on worker-4
170 > [ 18.351546] (2:worker@Tremblay) Execution complete.
171 > [ 18.351546] (2:worker@Tremblay) Waiting a message on worker-0
172 > [ 19.434021] (8:worker@Jupiter) Execution complete.
173 > [ 19.434021] (8:worker@Jupiter) Waiting a message on worker-1
174 > [ 27.434021] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
175 > [ 27.434021] (1:master@Tremblay) Send a message to worker-3
176 > [ 28.516495] (5:worker@Ginette) Start execution...
177 > [ 28.516495] (1:master@Tremblay) Send to worker-3 completed
178 > [ 28.516495] (1:master@Tremblay) Send a message to worker-4
179 > [ 28.516495] (6:worker@Bourassa) Mmh. Something went wrong. Nevermind. Let's keep going!
180 > [ 28.516495] (6:worker@Bourassa) Waiting a message on worker-4
181 > [ 28.516495] (1:master@Tremblay) Mmh. Something went wrong with 'worker-4'. Nevermind. Let's keep going!
182 > [ 28.516495] (1:master@Tremblay) Send a message to worker-0
183 > [ 28.527320] (2:worker@Tremblay) Start execution...
184 > [ 28.527320] (1:master@Tremblay) Send to worker-0 completed
185 > [ 28.527320] (1:master@Tremblay) Send a message to worker-1
186 > [ 29.609794] (8:worker@Jupiter) Start execution...
187 > [ 29.609794] (1:master@Tremblay) Send to worker-1 completed
188 > [ 29.609794] (1:master@Tremblay) Send a message to worker-2
189 > [ 30.516495] (5:worker@Ginette) Execution complete.
190 > [ 30.516495] (5:worker@Ginette) Waiting a message on worker-3
191 > [ 30.527320] (2:worker@Tremblay) Execution complete.
192 > [ 30.527320] (2:worker@Tremblay) Waiting a message on worker-0
193 > [ 31.609794] (8:worker@Jupiter) Execution complete.
194 > [ 31.609794] (8:worker@Jupiter) Waiting a message on worker-1
195 > [ 39.609794] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
196 > [ 39.609794] (1:master@Tremblay) Send a message to worker-3
197 > [ 40.692268] (5:worker@Ginette) Start execution...
198 > [ 40.692268] (1:master@Tremblay) Send to worker-3 completed
199 > [ 40.692268] (1:master@Tremblay) Send a message to worker-4
200 > [ 41.774742] (6:worker@Bourassa) Start execution...
201 > [ 41.774742] (1:master@Tremblay) Send to worker-4 completed
202 > [ 41.774742] (1:master@Tremblay) All tasks have been dispatched. Let's tell everybody the computation is over.
203 > [ 41.774742] (2:worker@Tremblay) I'm done. See you!
204 > [ 41.774742] (8:worker@Jupiter) I'm done. See you!
205 > [ 42.774742] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-2'. Nevermind. Let's keep going!
206 > [ 43.774742] (6:worker@Bourassa) Execution complete.
207 > [ 43.774742] (6:worker@Bourassa) Waiting a message on worker-4
208 > [ 43.774742] (1:master@Tremblay) Mmh. Got timeouted while speaking to 'worker-3'. Nevermind. Let's keep going!
209 > [ 43.774742] (6:worker@Bourassa) I'm done. See you!
210 > [ 43.774742] (1:master@Tremblay) Goodbye now!
211 > [ 43.774742] (0:maestro@) Simulation time 43.7747
212
213 p NOT testing the mixure of failures and CpuTI: 
214 p This test leads to a deadlock because of a bug somewhere in surf_solve.
215 p We should debug this instead of ignoring the issue, but it's utterly
216 p   complex with such an integration test. One day, we will setup a set of
217 p   unit tests for the surf solver, and such issues will be addressable again.
218 p For the time being, I just give up, sorry.
219
220 p $ $SG_TEST_EXENV ${bindir:=.}/platform-failures$EXEEXT --log=xbt_cfg.thres:critical --log=no_loc ${platfdir}/small_platform_failures.xml ${srcdir}/../app-masterworker/app-masterworker_d.xml --cfg=path:${srcdir} --cfg=cpu/optim:TI "--log=root.fmt:[%10.6r]%e(%i:%P@%h)%e%m%n" --log=surf_cpu.t:verbose