Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
add background commands support + correct error code for output mismatch
[simgrid.git] / buildtools / Cmake / Scripts / tesh.pl
1 #! /usr/bin/perl
2 eval 'exec perl -S $0 ${1+"$@"}'
3   if $running_under_some_shell;
4
5 =encoding UTF-8
6
7 =head1 NAME
8
9 tesh -- testing shell
10
11 =head1 SYNOPSIS
12
13 B<tesh> [I<options>] I<tesh_file>
14
15 =cut
16 my($bindir)=".";
17 my($srcdir)=".";
18 my($timeout)=0;
19 my($time_to_wait)=0;
20 my $path = $0;
21 my $OS;
22 my $enable_coverage=0;
23 my $tesh_file;
24 my $tesh_name;
25 my $error=0;
26 my $exitcode=0;
27 my @bg_cmds;
28
29 $path =~ s|[^/]*$||;
30 push @INC,$path;
31
32 use Getopt::Long qw(GetOptions);
33 use strict;
34 use Term::ANSIColor;
35 use IPC::Open3;
36
37 if($^O eq "linux"){
38     $OS = "UNIX";
39 }
40 else{
41     $OS = "WIN";
42     $ENV{"PRINTF_EXPONENT_DIGITS"} = "2"; 
43 }
44
45
46 sub trim($)
47 {
48     my $string = shift;
49     $string =~ s/^\s+//;
50     $string =~ s/\s+$//;
51     return $string;
52 }
53
54 # make sure we received a tesh file
55 scalar @ARGV > 0 || die "Usage:\n  tesh [*options*] *tesh_file*\n";
56
57 #Add current directory to path
58 $ENV{PATH} = "$ENV{PATH}:.";
59
60 ##
61 ## Command line option handling
62 ##
63
64 # option handling helper subs
65 sub cd_cmd {
66   my $directory=$_[1];
67   my $failure=1;
68   if (-e $directory && -d $directory) {
69     chdir("$directory");
70     print "[Tesh/INFO] change directory to $directory\n";
71   $failure=0;
72   } elsif (-e $directory) {
73     print "Cannot change directory to '$directory': it is not a directory\n";
74   } else {
75     print "Chdir to $directory failed: No such file or directory\n";
76   }
77   if($failure==1){
78   $error=1;
79   $exitcode=4;
80   print "Test suite `$tesh_file': NOK (system error)\n";
81   exit 4;
82   }
83 }
84
85 sub setenv_cmd {
86   my($var,$ctn);
87   if ($_[0] =~ /^(.*)=(.*)$/) {
88     ($var,$ctn)=($1,$2);
89   }elsif ($_[1] =~ /^(.*)=(.*)$/) {
90     ($var,$ctn)=($1,$2);
91   } else { 
92       die "[Tesh/CRITICAL] Malformed argument to setenv: expected 'name=value' but got '$_[1]'\n";
93   }
94     
95     if($var =~ /bindir/){
96         print "[Tesh/INFO] setenv $var=$ctn\n";
97         $bindir = $ctn;
98     }
99     else
100     {
101         if($var =~ /srcdir/){
102             $srcdir = $ctn;
103         }
104         else{
105             $ENV{$var} = $ctn;
106             print "[Tesh/INFO] setenv $var=$ctn\n";
107         }
108     }    
109 }
110
111 # Main option parsing sub
112
113 sub get_options {
114   # remove the tesh file from the ARGV used
115   my @ARGV = @_;
116   $tesh_file = pop @ARGV;
117
118   # temporary arrays for GetOption
119   my @verbose = ();
120   my @cfg;
121   my $log; # ignored
122
123
124   my %opt = (
125     "help"  => 0,
126     "debug"   => 0,
127     "verbose" => 0
128     );
129
130   Getopt::Long::config('bundling', 'no_getopt_compat', 'no_auto_abbrev');
131   
132   GetOptions(
133     'help|h'   => \$opt{'help'},
134
135     'verbose|v'  => \@verbose,
136     'debug|d'  => \$opt{"debug"},
137
138     'cd=s'     => \&cd_cmd,
139     'timeout=s'  => \$opt{'timeout'},    
140     'setenv=s'   => \&setenv_cmd,
141     'cfg=s'    => \@cfg,
142     'log=s'    => \$log,
143     'enable-coverage+'  => \$enable_coverage,    
144     );
145
146   if($enable_coverage){
147     print "Enable coverage\n";
148   }
149
150   unless($tesh_file=~/(.*)\.tesh/){
151     $tesh_file="(stdin)";
152     $tesh_name="(stdin)";
153     print "Test suite from stdin\n";
154   }else{
155     $tesh_name=$1;
156     print "Test suite `$tesh_name'\n";
157   }
158
159   $opt{'verbose'} = scalar @verbose;
160   foreach (@cfg) {
161     $opt{'cfg'} .= " --cfg=$_";
162   }
163   return %opt;
164 }
165
166 my %opts = get_options(@ARGV);
167
168 ##
169 ## File parsing
170 ##
171 my($nb_arg)=0;
172 my($old_buffer);
173 my($linebis);
174 my($SIGABRT)=0;
175 my($verbose)=0;
176 my($return)=-1;
177 my($pid);
178 my($result);
179 my($result_err);
180 my($forked);
181 my($config)="";
182 my($tesh_command)=0;
183 my(@buffer_tesh)=();
184
185 #eval {
186   use POSIX;
187
188   sub exit_status {
189     my $status = shift;
190     if (POSIX::WIFEXITED($status)) {
191       $exitcode=POSIX::WEXITSTATUS($status)+40;
192       return "returned code ".POSIX::WEXITSTATUS($status);
193     } elsif (POSIX::WIFSIGNALED($status)) {
194       my $code;
195       if (POSIX::WTERMSIG($status) == SIGINT){$code="SIGINT"; }
196       elsif  (POSIX::WTERMSIG($status) == SIGTERM) {$code="SIGTERM"; }
197       elsif  (POSIX::WTERMSIG($status) == SIGKILL) {$code= "SIGKILL"; }
198       elsif  (POSIX::WTERMSIG($status) == SIGABRT) {$code="SIGABRT"; }
199       elsif  (POSIX::WTERMSIG($status) == SIGSEGV) {$code="SIGSEGV" ;}
200       $exitcode=POSIX::WTERMSIG($status)+4;
201       return "got signal $code";
202     }
203     return "Unparsable status. Is the process stopped?";
204   }
205 #};
206 #if ($@) { # no POSIX available?
207 #  warn "POSIX not usable to parse the return value of forked child: $@\n";
208 #  sub exit_status {
209 #    return "returned code -1 $@ ";
210 #  }
211 #}
212
213 sub exec_cmd { 
214   my %cmd = %{$_[0]};
215   if ($opts{'debug'}) {
216     print "IN BEGIN\n";
217     map {print "  $_"} @{$cmd{'in'}};
218     print "IN END\n";
219     print "OUT BEGIN\n";
220     map {print "  $_"} @{$cmd{'out'}};
221     print "OUT END\n";
222     print "CMD: $cmd{'cmd'}\n";
223   }
224
225   # cleanup the command line
226   if($OS eq "WIN"){
227         $cmd{'cmd'} =~ s/\${EXEEXT:=}/.exe/g;
228         $cmd{'cmd'} =~ s/\${EXEEXT}/.exe/g;
229         $cmd{'cmd'} =~ s/\$EXEEXT/.exe/g;
230     }
231     else{
232         $cmd{'cmd'} =~ s/\${EXEEXT:=}//g;
233     }
234   $cmd{'cmd'} =~ s/\${bindir:=}/$bindir/g;
235   $cmd{'cmd'} =~ s/\${srcdir:=}/$srcdir/g;
236   $cmd{'cmd'} =~ s/\${bindir:=.}/$bindir/g;
237   $cmd{'cmd'} =~ s/\${srcdir:=.}/$srcdir/g;
238   $cmd{'cmd'} =~ s/\${bindir}/$bindir/g;
239   $cmd{'cmd'} =~ s/\${srcdir}/$srcdir/g;
240 # $cmd{'cmd'} =~ s|^\./||g;
241 #  $cmd{'cmd'} =~ s|tesh|tesh.pl|g;
242   $cmd{'cmd'} =~ s/\(%i:%P@%h\)/\\\(%i:%P@%h\\\)/g;
243   $cmd{'cmd'} .= " $opts{'cfg'}" if (defined($opts{'cfg'}) && length($opts{'cfg'}));
244
245   print "[$tesh_name:$cmd{'line'}] $cmd{'cmd'}\n" ;
246
247   ###
248   # exec the command line
249   ###  $line =~ s/\r//g;
250
251   $cmd{'got'} = IO::File->new_tmpfile;
252   $cmd{'got'}->autoflush(1);
253   local *E = $cmd{'got'}; 
254   $cmd{'pid'} = open3(\*CHILD_IN,  ">&E",  ">&E", $cmd{'cmd'} );
255
256   # push all provided input to executing child
257   map { print CHILD_IN "$_\n"; }  @{$cmd{'in'}};
258   close CHILD_IN;
259
260   # if timeout specified, fork and kill executing child at the end of timeout
261   if (defined($cmd{'timeout'}) or defined($opts{'timeout'})){
262     $time_to_wait= defined($cmd{'timeout'}) ? $cmd{'timeout'} : $opts{'timeout'};
263     $forked = fork();
264     $timeout=-1;
265     die "fork() failed: $!" unless defined $forked;
266     if ( $forked == 0 ) { # child
267       sleep $time_to_wait;
268       kill(SIGKILL, $cmd{'pid'});
269       exit $time_to_wait;
270     }
271   }
272
273   
274   # Cleanup the executing child, and kill the timeouter brother on need
275   $cmd{'return'} = 0 unless defined($cmd{'return'});
276   if($cmd{'background'} != 1){
277     waitpid ($cmd{'pid'}, 0);
278     $cmd{'gotret'} = exit_status($?);
279     parse_out(\%cmd);
280   }else{
281     # & commands, which will be handled at the end
282     push @bg_cmds, \%cmd;
283     # no timeout for background commands
284     if($forked){
285        kill(SIGKILL, $forked);
286        $timeout=0;
287        $forked=0;
288     }
289   }
290 }
291
292
293 sub parse_out { 
294   my %cmd = %{$_[0]};
295   my $gotret=$cmd{'gotret'};
296
297   my $wantret;
298
299   if(defined($cmd{'expect'}) and ($cmd{'expect'} ne "")){
300     $wantret = "got signal $cmd{'expect'}";
301   }else{
302     $wantret = "returned code ".(defined($cmd{'return'})? $cmd{'return'} : 0);
303   }
304
305   local *got = $cmd{'got'};
306   seek(got,0,0);
307   # pop all output from executing child
308   my @got;
309   while(defined(my $got=<got>)) {
310     $got =~ s/\r//g;
311     $got =~ s/^( )*//g;
312     chomp $got;
313     $got=trim($got);
314     if( $got ne ""){
315         if (!($enable_coverage and $got=~ /^profiling:/)){    
316         push @got, "$got";
317      }
318   }
319   }    
320
321   if ($cmd{'sort'}){   
322     sub mysort{
323     $a cmp $b
324     }
325     use sort qw(defaults _quicksort); # force quicksort
326     @got = sort mysort @got;
327     #also resort the other one, as perl sort is not the same as the C one used to generate teshes
328     if(defined($cmd{'out'})){
329       @{$cmd{'out'}}=sort mysort @{$cmd{'out'}};
330     }
331   }
332
333   #Did we timeout ? If yes, handle it. If not, kill the forked process.
334
335   if($timeout==-1 and $gotret eq "got signal SIGKILL"){
336     $gotret="return code 0";
337     $timeout=1;
338     $gotret= "timeout after $time_to_wait sec";
339     $error=1;
340     $exitcode=3;
341     print STDERR "<$cmd{'file'}:$cmd{'line'}> timeouted. Kill the process.\n";
342   }else{
343     $timeout=0;  
344   }
345   if($gotret ne $wantret) {
346     $error=1;
347     my $msg = "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> $gotret)\n";
348     if ($timeout!=1) {
349         $msg=$msg."Output of <$cmd{'file'}:$cmd{'line'}> so far:\n";    
350     }
351     map {$msg .=  "|| $_\n"} @got;
352     if(!@got) {
353         if($timeout==1){
354         print STDERR "<$cmd{'file'}:$cmd{'line'}> No output before timeout\n";
355         }else{
356         $msg .= "||\n";
357         }
358     }
359     $timeout = 0;
360     print STDERR "$msg";
361   }
362
363       
364   ###
365   # Check the result of execution 
366   ###
367   my $diff;
368   if (!defined($cmd{'output ignore'})){
369     $diff = build_diff(\@{$cmd{'out'}}, \@got);
370   }else{
371   print "(ignoring the output of <$cmd{'file'}:$cmd{'line'}> as requested)\n"
372   }
373   if (length $diff) {
374     print "Output of <$cmd{'file'}:$cmd{'line'}> mismatch:\n";
375     map { print "$_\n" } split(/\n/,$diff);
376
377     print "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> output mismatch)\n";
378     $error=1;
379     $exitcode=2;
380   }
381 }
382
383 sub mkfile_cmd {
384   my %cmd = %{$_[0]};
385   my $file = $cmd{'arg'};
386   print "[Tesh/INFO] mkfile $file\n";
387
388   unlink($file);
389   open(FILE,">$file") or die "[Tesh/CRITICAL] Unable to create file $file: $!\n";
390   print FILE join("\n", @{$cmd{'in'}});
391   print FILE "\n" if (scalar @{$cmd{'in'}} > 0);
392   close(FILE);
393 }
394
395 # parse tesh file
396 #my $teshfile=$tesh_file;
397 #$teshfile=~ s{\.[^.]+$}{};
398
399 unless($tesh_file eq "(stdin)"){
400   open TESH_FILE, $tesh_file or die "[Tesh/CRITICAL] Unable to open $tesh_file $!\n";
401 }
402
403 my %cmd; # everything about the next command to run
404 my $line_num=0;
405 my $finished =0;
406 LINE: while (not $finished and not $error) {
407   my $line;
408
409
410   if ($tesh_file ne "(stdin)" and !defined($line=<TESH_FILE>)){
411     $finished=1;
412     next LINE;
413   }elsif ($tesh_file eq "(stdin)" and !defined($line=<>)){
414     $finished=1;
415     next LINE;
416   }
417
418
419   $line_num++;
420   chomp $line;
421   $line =~ s/\r//g;
422   print "[TESH/debug] $line_num: $line\n" if $opts{'debug'};
423   my $next;
424   # deal with line continuations
425   while ($line =~ /^(.*?)\\$/) {
426     $next=<TESH_FILE>;
427     die "[TESH/CRITICAL] Continued line at end of file\n"
428       unless defined($next);
429     $line_num++;
430     chomp $next;
431     print "[TESH/debug] $line_num: $next\n" if $opts{'debug'};
432     $line = $1.$next;
433   }
434
435   # Push delayed commands on empty lines
436   unless ($line =~ m/^(.).(.*)$/) {
437     if (defined($cmd{'cmd'}))  {
438       exec_cmd(\%cmd);
439       %cmd = ();
440     }
441     next LINE;
442   }     
443  
444   my ($cmd,$arg) = ($1,$2);
445   $arg =~ s/\r//g;
446   $arg =~ s/\\\\/\\/g;
447   # handle the commands
448   if ($cmd =~ /^#/) {    #comment
449   } elsif ($cmd eq '>'){    #expected result line
450     print "[TESH/debug] push expected result\n" if $opts{'debug'};
451   $arg=trim($arg);
452     if($arg ne ""){
453     push @{$cmd{'out'}}, $arg;
454   }
455
456   } elsif ($cmd eq '<') {    # provided input
457     print "[TESH/debug] push provided input\n" if $opts{'debug'};
458     push @{$cmd{'in'}}, $arg;
459
460   } elsif ($cmd eq 'p') {    # comment
461     print "[$tesh_name:$line_num] $arg\n";
462
463   } elsif ($cmd eq '$') {  # Command
464     # if we have something buffered, run it now
465     if (defined($cmd{'cmd'})) {
466       exec_cmd(\%cmd);
467       %cmd = ();
468     }
469     if ($arg =~ /^\s*mkfile /){      # "mkfile" command line
470       die "[TESH/CRITICAL] Output expected from mkfile command!\n" if scalar @{cmd{'out'}};
471
472       $cmd{'arg'} = $arg;
473       $cmd{'arg'} =~ s/\s*mkfile //;
474       mkfile_cmd(\%cmd);
475       %cmd = ();
476
477     } elsif ($arg =~ /^\s*cd /) {
478       die "[TESH/CRITICAL] Input provided to cd command!\n" if scalar @{cmd{'in'}};
479       die "[TESH/CRITICAL] Output expected from cd command!\n" if scalar @{cmd{'out'}};
480
481       $arg =~ s/^ *cd //;
482       cd_cmd("",$arg);
483       %cmd = ();
484
485     } else { # regular command
486       $cmd{'cmd'} = $arg;
487       $cmd{'file'} = $tesh_file;
488       $cmd{'line'} = $line_num;
489     }
490   }
491   elsif($cmd eq '&'){      # parallel command line
492
493     if (defined($cmd{'cmd'})) {
494       exec_cmd(\%cmd);
495       %cmd = ();
496     }
497     $cmd{'background'} = 1;
498     $cmd{'cmd'} = $arg;
499     $cmd{'file'} = $tesh_file;
500     $cmd{'line'} = $line_num;
501   }    
502   elsif($line =~ /^!\s*output sort/){    #output sort
503     if (defined($cmd{'cmd'})) {
504       exec_cmd(\%cmd);
505       %cmd = ();
506     }
507     $cmd{'sort'} = 1;
508   }
509   elsif($line =~ /^!\s*output ignore/){    #output ignore
510     if (defined($cmd{'cmd'})) {
511       exec_cmd(\%cmd);
512       %cmd = ();
513     }
514     $cmd{'output ignore'} = 1;
515   }
516   elsif($line =~ /^!\s*expect signal (\w*)/) {#expect signal SIGABRT
517     if (defined($cmd{'cmd'})) {
518       exec_cmd(\%cmd);
519       %cmd = ();
520     }
521 print "hey\n";
522     $cmd{'expect'} = "$1";
523   }
524   elsif($line =~ /^!\s*expect return/){    #expect return
525     if (defined($cmd{'cmd'})) {
526       exec_cmd(\%cmd);
527       %cmd = ();
528     }
529     $line =~ s/^! expect return //g;
530     $line =~ s/\r//g;
531     $cmd{'return'} = $line;
532   }
533   elsif($line =~ /^!\s*setenv/){    #setenv
534     if (defined($cmd{'cmd'})) {
535       exec_cmd(\%cmd);
536       %cmd = ();
537     }
538     $line =~ s/^! setenv //g;
539     $line =~ s/\r//g;
540     setenv_cmd($line);
541   }
542   elsif($line =~ /^!\s*include/){    #output sort
543     if (defined($cmd{'cmd'})) {
544       exec_cmd(\%cmd);
545       %cmd = ();
546     }
547     print color("red"), "[Tesh/CRITICAL] need include";
548     print color("reset"), "\n";
549     die;
550   }
551   elsif($line =~ /^!\s*timeout/){    #timeout
552     if (defined($cmd{'cmd'})) {
553       exec_cmd(\%cmd);
554       %cmd = ();
555     }
556     $line =~ s/^! timeout //;
557     $line =~ s/\r//g;
558     $cmd{'timeout'} = $line;
559   } else {
560     die "[TESH/CRITICAL] parse error: $line\n";
561   }
562   if($forked){
563    kill(SIGKILL, $forked);
564    $timeout=0;
565   }
566
567 }
568
569
570
571 # Deal with last command
572 if (defined($cmd{'cmd'})) {
573   exec_cmd(\%cmd);
574   %cmd = ();
575 }
576
577
578 if($forked){
579    kill(SIGKILL, $forked);
580    $timeout=0;
581 }
582
583 foreach(@bg_cmds){
584   my %test=%{$_};
585   waitpid ($test{'pid'}, 0);
586   $test{'gotret'} = exit_status($?);
587   parse_out(\%test);
588 }
589
590 @bg_cmds=();
591
592
593 if($error !=0){
594     exit $exitcode;
595 }elsif($tesh_file eq "(stdin)"){
596     print "Test suite from stdin OK\n";
597 }else{
598     print "Test suite `$tesh_name' OK\n";
599 }
600
601 #my (@a,@b);
602 #push @a,"bl1";   push @b,"bl1";
603 #push @a,"bl2";   push @b,"bl2";
604 #push @a,"bl3";   push @b,"bl3";
605 #push @a,"bl4";   push @b,"bl4";
606 #push @a,"bl5";   push @b,"bl5";
607 #push @a,"bl6";   push @b,"bl6";
608 #push @a,"bl7";   push @b,"bl7";
609 ##push @a,"Perl";  push @b,"ruby";
610 #push @a,"END1";   push @b,"END1";
611 #push @a,"END2";   push @b,"END2";
612 #push @a,"END3";   push @b,"END3";
613 #push @a,"END4";   push @b,"END4";
614 #push @a,"END5";   push @b,"END5";
615 #push @a,"END6";   push @b,"END6";
616 #push @a,"END7";   push @b,"END7";
617 #print "Identical:\n". build_diff(\@a,\@b);
618
619 #@a = (); @b =();
620 #push @a,"AZE"; push @b,"EZA";
621 #print "Different:\n".build_diff(\@a,\@b);
622
623 use lib "@CMAKE_BINARY_DIR@/bin" ;
624
625 use Diff qw(diff); # postpone a bit to have time to change INC
626
627 sub build_diff {
628   my $res;
629   my $diff = Diff->new(@_);
630   
631   $diff->Base( 1 );   # Return line numbers, not indices
632   my $chunk_count = $diff->Next(-1); # Compute the amount of chuncks
633   return ""   if ($chunk_count == 1 && $diff->Same());
634   $diff->Reset();
635   while(  $diff->Next()  ) {
636     my @same = $diff->Same();
637     if ($diff->Same() ) {
638       if ($diff->Next(0) > 1) { # not first chunk: print 2 first lines
639         $res .= '  '.$same[0]."\n" ;
640         $res .= '  '.$same[1]."\n" if (scalar @same>1);
641       }     
642       $res .= "...\n"  if (scalar @same>2);
643 #    $res .= $diff->Next(0)."/$chunk_count\n";
644       if ($diff->Next(0) < $chunk_count) { # not last chunk: print 2 last lines
645         $res .= '  '.$same[scalar @same -2]."\n" if (scalar @same>1);
646         $res .= '  '.$same[scalar @same -1]."\n";
647       } 
648     } 
649     next if  $diff->Same();
650     map { $res .= "- $_\n" } $diff->Items(1);
651     map { $res .= "+ $_\n" } $diff->Items(2);
652   }
653   return $res;
654 }
655
656