Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
abc6fad8e1d857419cc9dd2145e526350eebf0d2
[simgrid.git] / tools / tesh / run_context.c
1 /* $Id$ */
2
3 /* run_context -- stuff in which TESH runs a command                        */
4
5 /* Copyright (c) 2007 Martin Quinson.                                       */
6 /* All rights reserved.                                                     */
7
8 /* This program is free software; you can redistribute it and/or modify it
9  * under the terms of the license (GNU LGPL) which comes with this package. */
10
11 #include "tesh.h"
12
13 #include <sys/types.h>
14 #include <sys/wait.h>
15 #include <sys/stat.h>
16 #include <unistd.h>
17
18 XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(tesh);
19
20 xbt_dynar_t bg_jobs = NULL;
21 rctx_t armageddon_initiator = NULL;
22 xbt_os_mutex_t armageddon_mutex = NULL;
23
24 /*
25  * Module management
26  */
27
28 static void kill_it(void*r) {
29   rctx_t rctx = *(rctx_t*)r;
30
31   VERB2("Join thread %p which were running background cmd <%s>",rctx->runner,rctx->filepos);
32   xbt_os_thread_join(rctx->runner,NULL);
33   rctx_free(rctx);
34 }
35
36 void rctx_init(void) {
37   bg_jobs = xbt_dynar_new_sync(sizeof(rctx_t),kill_it);
38   armageddon_mutex = xbt_os_mutex_init();
39   armageddon_initiator = NULL;
40 }
41
42 void rctx_exit(void) {
43   if (bg_jobs) {
44     /* Do not use xbt_dynar_free or it will lock the dynar, preventing armageddon from working */
45     while (xbt_dynar_length(bg_jobs)) {
46       rctx_t rctx;
47       xbt_dynar_pop(bg_jobs,&rctx);
48       kill_it(&rctx);
49     }
50     xbt_dynar_free(&bg_jobs);
51   }
52   xbt_os_mutex_destroy(armageddon_mutex);
53 }
54
55 void rctx_wait_bg(void) {
56   if (bg_jobs) {
57     /* Do not use xbt_dynar_free or it will lock the dynar, preventing armageddon from working */
58     while (xbt_dynar_length(bg_jobs)) {
59       rctx_t rctx;
60       xbt_dynar_pop(bg_jobs,&rctx);
61       kill_it(&rctx);
62     }
63     xbt_dynar_free(&bg_jobs);
64   }
65   bg_jobs = xbt_dynar_new_sync(sizeof(rctx_t),kill_it);
66 }
67
68 void rctx_armageddon(rctx_t initiator, int exitcode) {
69   rctx_t rctx;
70
71   DEBUG2("Armageddon request by <%s> (exit=%d)",initiator->filepos,exitcode);
72   xbt_os_mutex_acquire(armageddon_mutex);
73   if (armageddon_initiator != NULL) {
74     VERB0("Armageddon already started. Let it go");
75     xbt_os_mutex_release(initiator->interruption);
76     xbt_os_mutex_release(armageddon_mutex);
77     return;
78   }
79   DEBUG1("Armageddon request by <%s> got the lock. Let's go amok",initiator->filepos);
80   armageddon_initiator = initiator;
81   xbt_os_mutex_release(armageddon_mutex);
82
83   /* Kill any background commands */
84   while (xbt_dynar_length(bg_jobs)) {
85     xbt_dynar_pop(bg_jobs,&rctx);
86     if (rctx != initiator) {
87       INFO2("Kill <%s> because <%s> failed",rctx->filepos,initiator->filepos);
88       xbt_os_mutex_acquire(rctx->interruption);
89       rctx->interrupted = 1;
90       xbt_os_mutex_release(rctx->interruption);
91       if (!rctx->reader_done) {
92         kill(rctx->pid,SIGTERM);
93         usleep(100);
94         kill(rctx->pid,SIGKILL);
95       }
96     }
97   }
98
99   VERB0("Shut everything down!");
100   exit(exitcode);
101 }
102
103 /*
104  * Memory management
105  */
106
107 void rctx_empty(rctx_t rc) {
108   int i;
109   char **env_it=environ;
110
111   if (rc->cmd)
112     free(rc->cmd);
113   rc->cmd = NULL;
114   if (rc->filepos)
115     free(rc->filepos);
116   if (rc->env)
117     free(rc->env);
118
119   for (i=0;*env_it;i++,env_it++);
120   i++;
121   rc->env_size = i;
122   rc->env = malloc(i*sizeof(char*));
123   memcpy(rc->env,environ,i*sizeof(char*));
124
125   rc->filepos = NULL;
126   rc->is_empty = 1;
127   rc->is_background = 0;
128   rc->is_stoppable = 0;
129   rc->output = e_output_check;
130   rc->brokenpipe = 0;
131   rc->timeout = 0;
132   rc->interrupted = 0;
133   xbt_strbuff_empty(rc->input);
134   xbt_strbuff_empty(rc->output_wanted);
135   xbt_strbuff_empty(rc->output_got);
136 }
137
138
139 rctx_t rctx_new() {
140   rctx_t res = xbt_new0(s_rctx_t,1);
141
142   res->input=xbt_strbuff_new();
143   res->output_wanted=xbt_strbuff_new();
144   res->output_got=xbt_strbuff_new();
145   res->interruption = xbt_os_mutex_init();
146   rctx_empty(res);
147   return res;
148 }
149
150 void rctx_free(rctx_t rctx) {
151   DEBUG1("RCTX: Free %p", rctx);
152   rctx_dump(rctx,"free");
153   if (!rctx)
154     return;
155
156   if (rctx->cmd)
157     free(rctx->cmd);
158   if (rctx->filepos)
159     free(rctx->filepos);
160   if (rctx->env)
161     free(rctx->env);
162   xbt_os_mutex_destroy(rctx->interruption);
163   xbt_strbuff_free(rctx->input);
164   xbt_strbuff_free(rctx->output_got);
165   xbt_strbuff_free(rctx->output_wanted);
166   free(rctx);
167 }
168
169 void rctx_dump(rctx_t rctx, const char *str) {
170   DEBUG9("%s RCTX %p={in%p={%d,%10s}, want={%d,%10s}, out={%d,%10s}}",
171          str, rctx,
172          rctx->input,              rctx->input->used,        rctx->input->data,
173          rctx->output_wanted->used,rctx->output_wanted->data,
174          rctx->output_got->used,   rctx->output_got->data);
175   DEBUG5("%s RCTX %p=[cmd%p=%10s, pid=%d]",
176          str,rctx,rctx->cmd,rctx->cmd,rctx->pid);
177
178 }
179
180 /*
181  * Getting instructions from the file
182  */
183
184 void rctx_pushline(const char* filepos, char kind, char *line) {
185
186   switch (kind) {
187     case '$':
188     case '&':
189       if (rctx->cmd) {
190         if (!rctx->is_empty) {
191           ERROR2("[%s] More than one command in this chunk of lines (previous: %s).\n"
192                  " Dunno which input/output belongs to which command.",
193                  filepos,rctx->cmd);
194           ERROR1("Test suite `%s': NOK (syntax error)",testsuite_name);
195           rctx_armageddon(rctx,1);
196           return;
197         }
198         rctx_start();
199         VERB1("[%s] More than one command in this chunk of lines",filepos);
200       }
201       if (kind == '&')
202         rctx->is_background = 1;
203       else
204         rctx->is_background = 0;
205
206       rctx->cmd = xbt_strdup(line);
207       rctx->filepos = xbt_strdup(filepos);
208       INFO3("[%s] %s%s",filepos,rctx->cmd,
209             ((rctx->is_background)?" (background command)":""));
210
211       break;
212
213     case '<':
214       rctx->is_empty = 0;
215       xbt_strbuff_append(rctx->input,line);
216       xbt_strbuff_append(rctx->input,"\n");
217       break;
218
219     case '>':
220       rctx->is_empty = 0;
221       xbt_strbuff_append(rctx->output_wanted,line);
222       xbt_strbuff_append(rctx->output_wanted,"\n");
223       break;
224
225     case '!':
226       if (rctx->cmd)
227         rctx_start();
228
229       if (!strncmp(line,"timeout no",strlen("timeout no"))) {
230         VERB1("[%s] (disable timeout)", filepos);
231         timeout_value = -1;
232       } else if (!strncmp(line,"timeout ",strlen("timeout "))) {
233         timeout_value=atoi(line+strlen("timeout"));
234         VERB2("[%s] (new timeout value: %d)",
235               filepos,timeout_value);
236
237       } else if (!strncmp(line,"expect signal ",strlen("expect signal "))) {
238         rctx->expected_signal = strdup(line + strlen("expect signal "));
239         xbt_str_trim(rctx->expected_signal," \n");
240         VERB2("[%s] (next command must raise signal %s)",
241               filepos, rctx->expected_signal);
242
243       } else if (!strncmp(line,"expect return ",strlen("expect return "))) {
244         rctx->expected_return = atoi(line+strlen("expect return "));
245         VERB2("[%s] (next command must return code %d)",
246               filepos, rctx->expected_return);
247
248       } else if (!strncmp(line,"output ignore",strlen("output ignore"))) {
249         rctx->output = e_output_ignore;
250         VERB1("[%s] (ignore output of next command)", filepos);
251
252       } else if (!strncmp(line,"output display",strlen("output display"))) {
253         rctx->output = e_output_display;
254         VERB1("[%s] (ignore output of next command)", filepos);
255
256       } else if (!strncmp(line,"setenv ",strlen("setenv "))) {
257         rctx->env = realloc(rctx->env,++(rctx->env_size)*sizeof(char*));
258         rctx->env[rctx->env_size-2] = xbt_strdup(line+strlen("setenv "));
259         rctx->env[rctx->env_size-1] = NULL;
260         VERB2("[%s] setenv %s", filepos,line+strlen("setenv "));
261
262       } else {
263         ERROR2("%s: Malformed metacommand: %s",filepos,line);
264         ERROR1("Test suite `%s': NOK (syntax error)",testsuite_name);
265         rctx_armageddon(rctx,1);
266         return;
267       }
268       break;
269   }
270 }
271
272 /*
273  * Actually doing the job
274  */
275
276 /* The IO of the childs are handled by the two following threads
277    (one pair per child) */
278
279 static void* thread_writer(void *r) {
280   int posw;
281   rctx_t rctx = (rctx_t)r;
282   for (posw=0; posw<rctx->input->used && !rctx->brokenpipe; ) {
283     int got;
284     DEBUG1("Still %d chars to write",rctx->input->used-posw);
285     got=write(rctx->child_to,rctx->input->data+posw,rctx->input->used-posw);
286     if (got>0)
287       posw+=got;
288     if (got<0) {
289       if (errno == EPIPE) {
290         rctx->brokenpipe = 1;
291       } else if (errno!=EINTR && errno!=EAGAIN && errno!=EPIPE) {
292         perror("Error while writing input to child");
293         ERROR1("Test suite `%s': NOK (system error)",testsuite_name);
294         rctx_armageddon(rctx,4);
295         return NULL;
296       }
297     }
298     DEBUG1("written %d chars so far",posw);
299
300     if (got <= 0)
301       usleep(100);
302   }
303   rctx->input->data[0]='\0';
304   rctx->input->used=0;
305   close(rctx->child_to);
306
307   return NULL;
308 }
309 static void *thread_reader(void *r) {
310   rctx_t rctx = (rctx_t)r;
311   char *buffout=malloc(4096);
312   int posr, got_pid;
313
314   do {
315     posr=read(rctx->child_from,buffout,4095);
316     if (posr<0 && errno!=EINTR && errno!=EAGAIN) {
317       perror("Error while reading output of child");
318       ERROR1("Test suite `%s': NOK (system error)", testsuite_name);
319       rctx_armageddon(rctx,4);
320       return NULL;
321     }
322     if (posr>0) {
323       buffout[posr]='\0';
324       xbt_strbuff_append(rctx->output_got,buffout);
325     } else {
326       usleep(100);
327     }
328   } while (!rctx->timeout && posr!=0);
329   free(buffout);
330
331   /* let this thread wait for the child so that the main thread can detect the timeout without blocking on the wait */
332   got_pid = waitpid(rctx->pid,&rctx->status,0);
333   if (got_pid != rctx->pid) {
334     perror(bprintf("Cannot wait for the child %s",rctx->cmd));
335     ERROR1("Test suite `%s': NOK (system error)", testsuite_name);
336     rctx_armageddon(rctx,4);
337     return NULL;
338   }
339
340   rctx->reader_done = 1;
341   return NULL;
342 }
343
344 /* function to be called from the child to start the actual process */
345 static void start_command(rctx_t rctx){
346   xbt_dynar_t cmd = xbt_str_split_quoted(rctx->cmd);
347   char *binary_name = NULL;
348   unsigned int it;
349   char *str;
350   xbt_dynar_get_cpy(cmd,0,&binary_name);
351   char **args = xbt_new(char*,xbt_dynar_length(cmd)+1);
352
353   xbt_dynar_foreach(cmd,it,str) {
354     args[it] = xbt_strdup(str);
355   }
356   args[it] = NULL;
357
358   /* To search for the right executable path when not trivial */
359   struct stat stat_buf;
360
361   /* build the command line */
362   if (stat(binary_name, &stat_buf)) {
363     /* Damn. binary not in current dir. We'll have to dig the PATH to find it */
364     int i;
365
366     for (i = 0; environ[i]; i++) {
367       if (!strncmp("PATH=", environ[i], 5)) {
368         xbt_dynar_t path = xbt_str_split(environ[i] + 5, ":");
369
370         xbt_dynar_foreach(path, it, str) {
371           if (binary_name)
372             free(binary_name);
373           binary_name = bprintf("%s/%s", str, args[0]);
374           if (!stat(binary_name, &stat_buf)) {
375             /* Found. */
376             DEBUG1("Looked in the PATH for the binary. Found %s",
377                    binary_name);
378             xbt_dynar_free(&path);
379             break;
380           }
381         }
382         xbt_dynar_free(&path);
383         if (stat(binary_name, &stat_buf)) {
384           /* not found */
385           ERROR1("Command %s not found",args[0]);
386           return;
387         }
388         break;
389       }
390     }
391   } else {
392     binary_name = xbt_strdup(args[0]);
393   }
394
395   execve(binary_name, args, rctx->env);
396 }
397
398 /* Start a new child, plug the pipes as expected and fire up the
399    helping threads. Is also waits for the child to end if this is a
400    foreground job, or fire up a thread to wait otherwise. */
401 void rctx_start(void) {
402   int child_in[2];
403   int child_out[2];
404
405   DEBUG1("Cmd before rewriting %s",rctx->cmd);
406   rctx->cmd = xbt_str_varsubst(rctx->cmd,env);
407   VERB2("Start %s %s",rctx->cmd,(rctx->is_background?"(background job)":""));
408   if (pipe(child_in) || pipe(child_out)) {
409     perror("Cannot open the pipes");
410     ERROR1("Test suite `%s': NOK (system error)", testsuite_name);
411     rctx_armageddon(rctx,4);
412   }
413
414   rctx->pid=fork();
415   if (rctx->pid<0) {
416     perror("Cannot fork the command");
417     ERROR1("Test suite `%s': NOK (system error)", testsuite_name);
418     rctx_armageddon(rctx,4);
419     return;
420   }
421
422   if (rctx->pid) { /* father */
423     close(child_in[0]);
424     rctx->child_to = child_in[1];
425
426     close(child_out[1]);
427     rctx->child_from = child_out[0];
428
429     if (timeout_value > 0)
430       rctx->end_time = time(NULL) + timeout_value;
431     else
432       rctx->end_time = -1;
433
434     rctx->reader_done = 0;
435     rctx->reader = xbt_os_thread_create("reader",thread_reader,(void*)rctx);
436     rctx->writer = xbt_os_thread_create("writer",thread_writer,(void*)rctx);
437
438   } else { /* child */
439
440     close(child_in[1]);
441     dup2(child_in[0],0);
442     close(child_in[0]);
443
444     close(child_out[0]);
445     dup2(child_out[1],1);
446     dup2(child_out[1],2);
447     close(child_out[1]);
448
449     start_command(rctx);
450   }
451
452   rctx->is_stoppable = 1;
453
454   if (!rctx->is_background) {
455     rctx_wait(rctx);
456   } else {
457     /* Damn. Copy the rctx and launch a thread to handle it */
458     rctx_t old = rctx;
459     xbt_os_thread_t runner;
460
461     rctx = rctx_new();
462     DEBUG2("RCTX: new bg=%p, new fg=%p",old,rctx);
463
464     DEBUG2("Launch a thread to wait for %s %d",old->cmd,old->pid);
465     runner = xbt_os_thread_create(old->cmd,rctx_wait,(void*)old);
466     old->runner = runner;
467     VERB3("Launched thread %p to wait for %s %d",
468           runner,old->cmd, old->pid);
469     xbt_dynar_push(bg_jobs,&old);
470   }
471 }
472
473 /* Waits for the child to end (or to timeout), and check its
474    ending conditions. This is launched from rctx_start but either in main
475    thread (for foreground jobs) or in a separate one for background jobs.
476    That explains the prototype, forced by xbt_os_thread_create. */
477
478 void *rctx_wait(void* r) {
479   rctx_t rctx = (rctx_t)r;
480   int errcode = 0;
481   int now = time(NULL);
482
483   rctx_dump(rctx,"wait");
484
485   if (!rctx->is_stoppable)
486     THROW1(unknown_error,0,"Cmd '%s' not started yet. Cannot wait it",
487            rctx->cmd);
488
489   /* Wait for the child to die or the timeout to happen (or an armageddon to happen) */
490   while (!rctx->interrupted && !rctx->reader_done && (rctx->end_time <0 ||rctx->end_time >= now)) {
491     usleep(100);
492     now = time(NULL);
493   }
494
495   xbt_os_mutex_acquire(rctx->interruption);
496   if (!rctx->interrupted && rctx->end_time > 0 && rctx->end_time < now) {
497     INFO1("<%s> timeouted. Kill the process.",rctx->filepos);
498     rctx->timeout = 1;
499     kill(rctx->pid,SIGTERM);
500     usleep(100);
501     kill(rctx->pid,SIGKILL);
502     rctx->reader_done = 1;
503   }
504
505   /* Make sure helper threads die.
506      Cannot block since they wait for the child we just killed
507      if not already dead. */
508   xbt_os_thread_join(rctx->writer,NULL);
509   xbt_os_thread_join(rctx->reader,NULL);
510
511   /*  xbt_os_mutex_release(rctx->interruption);
512   if (rctx->interrupted)
513     return NULL;
514     xbt_os_mutex_acquire(rctx->interruption);*/
515
516   xbt_strbuff_chomp(rctx->output_got);
517   xbt_strbuff_chomp(rctx->output_wanted);
518   xbt_strbuff_trim(rctx->output_got);
519   xbt_strbuff_trim(rctx->output_wanted);
520
521   /* Check for broken pipe */
522   if (rctx->brokenpipe)
523     VERB0("Warning: Child did not consume all its input (I got broken pipe)");
524
525   /* Check for timeouts */
526   if (rctx->timeout) {
527     if (rctx->output_got->data[0])
528       INFO2("<%s> Output on timeout:\n%s",
529             rctx->filepos,rctx->output_got->data);
530     else
531       INFO1("<%s> No output before timeout",
532             rctx->filepos);
533     ERROR3("Test suite `%s': NOK (<%s> timeout after %d sec)",
534            testsuite_name,rctx->filepos,timeout_value);
535     DEBUG2("<%s> Interrupted = %d", rctx->filepos, rctx->interrupted);
536     if (!rctx->interrupted) {
537       rctx_armageddon(rctx, 3);
538       return NULL;
539     }
540   }
541
542   DEBUG2("RCTX=%p (pid=%d)",rctx,rctx->pid);
543   DEBUG3("Status(%s|%d)=%d",rctx->cmd,rctx->pid,rctx->status);
544
545   if (!rctx->interrupted) {
546     if (WIFSIGNALED(rctx->status) && !rctx->expected_signal) {
547       ERROR3("Test suite `%s': NOK (<%s> got signal %s)",
548              testsuite_name, rctx->filepos,
549              signal_name(WTERMSIG(rctx->status),NULL));
550       errcode = WTERMSIG(rctx->status)+4;
551     }
552
553     if (WIFSIGNALED(rctx->status) && rctx->expected_signal &&
554         strcmp(signal_name(WTERMSIG(rctx->status),rctx->expected_signal),
555                rctx->expected_signal)) {
556       ERROR4("Test suite `%s': NOK (%s got signal %s instead of %s)",
557              testsuite_name, rctx->filepos,
558              signal_name(WTERMSIG(rctx->status),rctx->expected_signal),
559              rctx->expected_signal);
560       errcode = WTERMSIG(rctx->status)+4;
561     }
562
563     if (!WIFSIGNALED(rctx->status) && rctx->expected_signal) {
564       ERROR3("Test suite `%s': NOK (child %s expected signal %s)",
565              testsuite_name, rctx->filepos,
566              rctx->expected_signal);
567       errcode = 5;
568     }
569
570     if (WIFEXITED(rctx->status) && WEXITSTATUS(rctx->status) != rctx->expected_return ) {
571       if (rctx->expected_return)
572         ERROR4("Test suite `%s': NOK (<%s> returned code %d instead of %d)",
573                testsuite_name, rctx->filepos,
574                WEXITSTATUS(rctx->status), rctx->expected_return);
575       else
576         ERROR3("Test suite `%s': NOK (<%s> returned code %d)",
577                testsuite_name, rctx->filepos, WEXITSTATUS(rctx->status));
578       errcode = 40+WEXITSTATUS(rctx->status);
579
580     }
581     rctx->expected_return = 0;
582
583     if(rctx->expected_signal){
584       free(rctx->expected_signal);
585       rctx->expected_signal = NULL;
586     }
587   }
588
589   if (   rctx->output == e_output_check
590       && (    rctx->output_got->used != rctx->output_wanted->used
591           || strcmp(rctx->output_got->data, rctx->output_wanted->data))) {
592     if (XBT_LOG_ISENABLED(tesh,xbt_log_priority_info)) {
593       char *diff= xbt_str_diff(rctx->output_wanted->data,rctx->output_got->data);
594       ERROR2("Output of <%s> mismatch:\n%s",rctx->filepos,diff);
595       free(diff);
596     }
597     ERROR2("Test suite `%s': NOK (<%s> output mismatch)",
598            testsuite_name,rctx->filepos);
599
600     errcode=2;
601   } else if (rctx->output == e_output_ignore) {
602     INFO1("(ignoring the output of <%s> as requested)",rctx->filepos);
603   } else if (rctx->output == e_output_display) {
604     xbt_dynar_t a = xbt_str_split(rctx->output_got->data, "\n");
605     char *out = xbt_str_join(a,"\n||");
606     xbt_dynar_free(&a);
607     INFO1("Here is the (ignored) command output: \n||%s",out);
608     free(out);
609   } else if (errcode || rctx->interrupted) {
610     /* checking output, and matching */
611     xbt_dynar_t a = xbt_str_split(rctx->output_got->data, "\n");
612     char *out = xbt_str_join(a,"\n||");
613     xbt_dynar_free(&a);
614     INFO2("Output of <%s> so far: \n||%s",rctx->filepos,out);
615     free(out);
616   }
617
618   if (!rctx->is_background) {
619     rctx_empty(rctx);
620   }
621   if (errcode) {
622     if (!rctx->interrupted) {
623       rctx_armageddon(rctx, errcode);
624       return NULL;
625     }
626   }
627
628   xbt_os_mutex_release(rctx->interruption);
629   return NULL;
630 }
631