Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
fae12cdae4c74fb7950997e406e65a63b80196c2
[simgrid.git] / buildtools / Cmake / Scripts / tesh.pl
1 #! /usr/bin/perl
2 eval 'exec perl -S $0 ${1+"$@"}'
3   if $running_under_some_shell;
4
5 =encoding UTF-8
6
7 =head1 NAME
8
9 tesh -- testing shell
10
11 =head1 SYNOPSIS
12
13 B<tesh> [I<options>] I<tesh_file>
14
15 =cut
16 my($bindir)=".";
17 my($srcdir)=".";
18 my($timeout)=0;
19 my($time_to_wait)=0;
20 my $path = $0;
21 my $OS;
22 my $enable_coverage=0;
23 my $tesh_file;
24 my $tesh_name;
25 my $error=0;
26 my $exitcode=0;
27
28 $path =~ s|[^/]*$||;
29 push @INC,$path;
30
31 use Getopt::Long qw(GetOptions);
32 use strict;
33 use Term::ANSIColor;
34 use IPC::Open3;
35
36 if($^O eq "linux"){
37     $OS = "UNIX";
38 }
39 else{
40     $OS = "WIN";
41     $ENV{"PRINTF_EXPONENT_DIGITS"} = "2"; 
42 }
43
44
45 sub trim($)
46 {
47     my $string = shift;
48     $string =~ s/^\s+//;
49     $string =~ s/\s+$//;
50     return $string;
51 }
52
53 # make sure we received a tesh file
54 scalar @ARGV > 0 || die "Usage:\n  tesh [*options*] *tesh_file*\n";
55
56 #Add current directory to path
57 $ENV{PATH} = "$ENV{PATH}:.";
58
59 ##
60 ## Command line option handling
61 ##
62
63 # option handling helper subs
64 sub cd_cmd {
65   my $directory=$_[1];
66   my $failure=1;
67   if (-e $directory && -d $directory) {
68     chdir("$directory");
69     print "[Tesh/INFO] change directory to $directory\n";
70   $failure=0;
71   } elsif (-e $directory) {
72     print "Cannot change directory to '$directory': it is not a directory\n";
73   } else {
74     print "Chdir to $directory failed: No such file or directory\n";
75   }
76   if($failure==1){
77   $error=1;
78   $exitcode=4;
79   print "Test suite `$tesh_file': NOK (system error)\n";
80   exit 4;
81   }
82 }
83
84 sub setenv_cmd {
85   my($var,$ctn);
86   if ($_[0] =~ /^(.*)=(.*)$/) {
87     ($var,$ctn)=($1,$2);
88   }elsif ($_[1] =~ /^(.*)=(.*)$/) {
89     ($var,$ctn)=($1,$2);
90   } else { 
91       die "[Tesh/CRITICAL] Malformed argument to setenv: expected 'name=value' but got '$_[1]'\n";
92   }
93     
94     if($var =~ /bindir/){
95         print "[Tesh/INFO] setenv $var=$ctn\n";
96         $bindir = $ctn;
97     }
98     else
99     {
100         if($var =~ /srcdir/){
101             $srcdir = $ctn;
102         }
103         else{
104             $ENV{$var} = $ctn;
105             print "[Tesh/INFO] setenv $var=$ctn\n";
106         }
107     }    
108 }
109
110 # Main option parsing sub
111
112 sub get_options {
113   # remove the tesh file from the ARGV used
114   my @ARGV = @_;
115   $tesh_file = pop @ARGV;
116
117   # temporary arrays for GetOption
118   my @verbose = ();
119   my @cfg;
120   my $log; # ignored
121
122
123   my %opt = (
124     "help"  => 0,
125     "debug"   => 0,
126     "verbose" => 0
127     );
128
129   Getopt::Long::config('bundling', 'no_getopt_compat', 'no_auto_abbrev');
130   
131   GetOptions(
132     'help|h'   => \$opt{'help'},
133
134     'verbose|v'  => \@verbose,
135     'debug|d'  => \$opt{"debug"},
136
137     'cd=s'     => \&cd_cmd,
138     'timeout=s'  => \$opt{'timeout'},    
139     'setenv=s'   => \&setenv_cmd,
140     'cfg=s'    => \@cfg,
141     'log=s'    => \$log,
142     'enable-coverage+'  => \$enable_coverage,    
143     );
144
145   if($enable_coverage){
146     print "Enable coverage\n";
147   }
148
149   unless($tesh_file=~/(.*)\.tesh/){
150     $tesh_file="(stdin)";
151     $tesh_name="(stdin)";
152     print "Test suite from stdin\n";
153   }else{
154     $tesh_name=$1;
155     print "Test suite `$tesh_name'\n";
156   }
157
158   $opt{'verbose'} = scalar @verbose;
159   foreach (@cfg) {
160     $opt{'cfg'} .= " --cfg=$_";
161   }
162   return %opt;
163 }
164
165 my %opts = get_options(@ARGV);
166
167 ##
168 ## File parsing
169 ##
170 my($nb_arg)=0;
171 my($old_buffer);
172 my($linebis);
173 my($SIGABRT)=0;
174 my($verbose)=0;
175 my($return)=-1;
176 my($pid);
177 my($result);
178 my($result_err);
179 my($forked);
180 my($config)="";
181 my($tesh_command)=0;
182 my(@buffer_tesh)=();
183
184 #eval {
185   use POSIX;
186
187   sub exit_status {
188     my $status = shift;
189     if (POSIX::WIFEXITED($status)) {
190       return "returned code ".POSIX::WEXITSTATUS($status);
191     } elsif (POSIX::WIFSIGNALED($status)) {
192         my $code;
193         if (POSIX::WTERMSIG($status) == SIGINT){$code="SIGINT"; }
194         elsif  (POSIX::WTERMSIG($status) == SIGTERM) {$code="SIGTERM"; }
195         elsif  (POSIX::WTERMSIG($status) == SIGKILL) {$code= "SIGKILL"; }
196         elsif  (POSIX::WTERMSIG($status) == SIGABRT) {$code="SIGABRT"; }
197         elsif  (POSIX::WTERMSIG($status) == SIGSEGV) {$code="SIGSEGV" ;}
198         $exitcode=POSIX::WTERMSIG($status)+4;
199         return "got signal $code";
200     }
201     return "Unparsable status. Is the process stopped?";
202   }
203 #};
204 #if ($@) { # no POSIX available?
205 #  warn "POSIX not usable to parse the return value of forked child: $@\n";
206 #  sub exit_status {
207 #    return "returned code -1 $@ ";
208 #  }
209 #}
210
211 sub exec_cmd { 
212   my %cmd = %{$_[0]};
213   if ($opts{'debug'}) {
214     print "IN BEGIN\n";
215     map {print "  $_"} @{$cmd{'in'}};
216     print "IN END\n";
217     print "OUT BEGIN\n";
218     map {print "  $_"} @{$cmd{'out'}};
219     print "OUT END\n";
220     print "CMD: $cmd{'cmd'}\n";
221   }
222
223   # cleanup the command line
224   if($OS eq "WIN"){
225         $cmd{'cmd'} =~ s/\${EXEEXT:=}/.exe/g;
226         $cmd{'cmd'} =~ s/\${EXEEXT}/.exe/g;
227         $cmd{'cmd'} =~ s/\$EXEEXT/.exe/g;
228     }
229     else{
230         $cmd{'cmd'} =~ s/\${EXEEXT:=}//g;
231     }
232   $cmd{'cmd'} =~ s/\${bindir:=}/$bindir/g;
233   $cmd{'cmd'} =~ s/\${srcdir:=}/$srcdir/g;
234   $cmd{'cmd'} =~ s/\${bindir:=.}/$bindir/g;
235   $cmd{'cmd'} =~ s/\${srcdir:=.}/$srcdir/g;
236   $cmd{'cmd'} =~ s/\${bindir}/$bindir/g;
237   $cmd{'cmd'} =~ s/\${srcdir}/$srcdir/g;
238 # $cmd{'cmd'} =~ s|^\./||g;
239 #  $cmd{'cmd'} =~ s|tesh|tesh.pl|g;
240   $cmd{'cmd'} =~ s/\(%i:%P@%h\)/\\\(%i:%P@%h\\\)/g;
241   $cmd{'cmd'} .= " $opts{'cfg'}" if (defined($opts{'cfg'}) && length($opts{'cfg'}));
242
243   print "[$tesh_name:$cmd{'line'}] $cmd{'cmd'}\n" ;
244
245   ###
246   # exec the command line
247   ###  $line =~ s/\r//g;
248
249   my $e = IO::File->new_tmpfile;
250   $e->autoflush(1);
251   local *E = $e; 
252   $pid = open3(\*CHILD_IN,  ">&E",  ">&E", $cmd{'cmd'} );
253
254   # push all provided input to executing child
255   map { print CHILD_IN "$_\n" }  @{$cmd{'in'}};
256   close CHILD_IN;
257
258   # if timeout specified, fork and kill executing child at the end of timeout
259   if (defined($cmd{'timeout'}) or defined($opts{'timeout'})){
260     $time_to_wait= defined($cmd{'timeout'}) ? $cmd{'timeout'} : $opts{'timeout'};
261     $forked = fork();
262     $timeout=-1;
263     die "fork() failed: $!" unless defined $forked;
264     if ( $forked == 0 ) { # child
265       sleep $time_to_wait;
266       kill(SIGKILL, $pid);
267       exit $time_to_wait;
268     }
269   }
270
271   
272   # Cleanup the executing child, and kill the timeouter brother on need
273   $cmd{'return'} = 0 unless defined($cmd{'return'});
274   my $wantret;
275   if(defined($cmd{'expect'}) and ($cmd{'expect'} ne "")){
276     $wantret = "got signal $cmd{'expect'}";
277   }else{
278     $wantret = "returned code ".(defined($cmd{'return'})? $cmd{'return'} : 0);
279     $exitcode= 41;
280   }
281   my $gotret;
282   waitpid ($pid, 0);
283   $gotret = exit_status($?);
284
285   seek($e,0,0);
286   # pop all output from executing child
287   my @got;
288   while(defined(my $got=<$e>)) {
289     $got =~ s/\r//g;
290     $got =~ s/^( )*//g;
291     chomp $got;
292     $got=trim($got);
293     if( $got ne ""){
294         if (!($enable_coverage and $got=~ /^profiling:/)){    
295         push @got, "$got";
296      }
297   }
298   }    
299
300   if ($cmd{'sort'}){   
301     sub mysort{
302     $a cmp $b
303     }
304     use sort qw(defaults _quicksort); # force quicksort
305     @got = sort mysort @got;
306     #also resort the other one, as perl sort is not the same as the C one used to generate teshes
307     if(defined($cmd{'out'})){
308       @{$cmd{'out'}}=sort mysort @{$cmd{'out'}};
309     }
310   }
311
312   #Did we timeout ? If yes, handle it. If not, kill the forked process.
313
314   if($timeout==-1 and $gotret eq "got signal SIGKILL"){
315     $gotret="return code 0";
316     $timeout=1;
317     $gotret= "timeout after $time_to_wait sec";
318     $error=1;
319     $exitcode=3;
320     print STDERR "<$cmd{'file'}:$cmd{'line'}> timeouted. Kill the process.\n";
321   }else{
322     $timeout=0;  
323   }
324   if($gotret ne $wantret) {
325     $error=1;
326     my $msg = "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> $gotret)\n";
327     if ($timeout!=1) {
328         $msg=$msg."Output of <$cmd{'file'}:$cmd{'line'}> so far:\n";    
329     }
330     map {$msg .=  "|| $_\n"} @got;
331     if(!@got) {
332         if($timeout==1){
333         print STDERR "<$cmd{'file'}:$cmd{'line'}> No output before timeout\n";
334         }else{
335         $msg .= "||\n";
336         }
337     }
338     $timeout = 0;
339     print STDERR "$msg";
340   }
341
342       
343   ###
344   # Check the result of execution 
345   ###
346   my $diff;
347   if (!defined($cmd{'output ignore'})){
348     $diff = build_diff(\@{$cmd{'out'}}, \@got);
349   }else{
350   print "(ignoring the output of <$cmd{'file'}:$cmd{'line'}> as requested)\n"
351   }
352   if (length $diff) {
353     print "Output of <$cmd{'file'}:$cmd{'line'}> mismatch:\n";
354     map { print "$_\n" } split(/\n/,$diff);
355
356     print "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> output mismatch)\n";
357     $error=1;
358     $exitcode=2;
359   }
360 }
361
362 sub mkfile_cmd {
363   my %cmd = %{$_[0]};
364   my $file = $cmd{'arg'};
365   print "[Tesh/INFO] mkfile $file\n";
366
367   die "[TESH/CRITICAL] no input provided to mkfile\n" unless defined($cmd{'in'}) && scalar @{$cmd{'in'}};
368   unlink($file);
369   open(FILE,">$file") or die "[Tesh/CRITICAL] Unable to create file $file: $!\n";
370   print FILE join("\n", @{$cmd{'in'}});
371   print FILE "\n" if (scalar @{$cmd{'in'}} > 0);
372   close(FILE);
373 }
374
375 # parse tesh file
376 #my $teshfile=$tesh_file;
377 #$teshfile=~ s{\.[^.]+$}{};
378
379 unless($tesh_file eq "(stdin)"){
380   open TESH_FILE, $tesh_file or die "[Tesh/CRITICAL] Unable to open $tesh_file $!\n";
381 }
382
383 my %cmd; # everything about the next command to run
384 my $line_num=0;
385 my $finished =0;
386 LINE: while (not $finished and not $error) {
387   my $line;
388
389
390   if ($tesh_file ne "(stdin)" and !defined($line=<TESH_FILE>)){
391     $finished=1;
392     next LINE;
393   }elsif ($tesh_file eq "(stdin)" and !defined($line=<>)){
394     $finished=1;
395     next LINE;
396   }
397
398
399   $line_num++;
400   chomp $line;
401   $line =~ s/\r//g;
402   print "[TESH/debug] $line_num: $line\n" if $opts{'debug'};
403   my $next;
404   # deal with line continuations
405   while ($line =~ /^(.*?)\\$/) {
406     $next=<TESH_FILE>;
407     die "[TESH/CRITICAL] Continued line at end of file\n"
408       unless defined($next);
409     $line_num++;
410     chomp $next;
411     print "[TESH/debug] $line_num: $next\n" if $opts{'debug'};
412     $line = $1.$next;
413   }
414
415   # Push delayed commands on empty lines
416   unless ($line =~ m/^(.).(.*)$/) {
417     if (defined($cmd{'cmd'})) {
418       exec_cmd(\%cmd);
419       %cmd = ();
420     }
421     next LINE;
422   }     
423  
424   my ($cmd,$arg) = ($1,$2);
425   $arg =~ s/\r//g;
426   $arg =~ s/\\\\/\\/g;
427   # handle the commands
428   if ($cmd =~ /^#/) {    #comment
429   } elsif ($cmd eq '>'){    #expected result line
430     print "[TESH/debug] push expected result\n" if $opts{'debug'};
431   $arg=trim($arg);
432     if($arg ne ""){
433     push @{$cmd{'out'}}, $arg;
434   }
435
436   } elsif ($cmd eq '<') {    # provided input
437     print "[TESH/debug] push provided input\n" if $opts{'debug'};
438     push @{$cmd{'in'}}, $arg;
439
440   } elsif ($cmd eq 'p') {    # comment
441     print "[$tesh_name:$line_num] $arg\n";
442
443   } elsif ($cmd eq '$') {  # Command
444     # if we have something buffered, run it now
445     if (defined($cmd{'cmd'})) {
446       exec_cmd(\%cmd);
447       %cmd = ();
448     }
449     if ($arg =~ /^\s*mkfile /){      # "mkfile" command line
450       die "[TESH/CRITICAL] Output expected from mkfile command!\n" if scalar @{cmd{'out'}};
451
452       $cmd{'arg'} = $arg;
453       $cmd{'arg'} =~ s/\s*mkfile //;
454       mkfile_cmd(\%cmd);
455       %cmd = ();
456
457     } elsif ($arg =~ /^\s*cd /) {
458       die "[TESH/CRITICAL] Input provided to cd command!\n" if scalar @{cmd{'in'}};
459       die "[TESH/CRITICAL] Output expected from cd command!\n" if scalar @{cmd{'out'}};
460
461       $arg =~ s/^ *cd //;
462       cd_cmd("",$arg);
463       %cmd = ();
464
465     } else { # regular command
466       $cmd{'cmd'} = $arg;
467       $cmd{'file'} = $tesh_file;
468       $cmd{'line'} = $line_num;
469     }
470   }
471   elsif($cmd eq '&'){      # parallel command line
472
473     if (defined($cmd{'cmd'})) {
474       exec_cmd(\%cmd);
475       %cmd = ();
476     }
477     $cmd{'background'} = 1;
478     $cmd{'cmd'} = $arg;
479     $cmd{'file'} = $tesh_file;
480     $cmd{'line'} = $line_num;
481   }    
482   elsif($line =~ /^!\s*output sort/){    #output sort
483     if (defined($cmd{'cmd'})) {
484       exec_cmd(\%cmd);
485       %cmd = ();
486     }
487     $cmd{'sort'} = 1;
488   }
489   elsif($line =~ /^!\s*output ignore/){    #output ignore
490     if (defined($cmd{'cmd'})) {
491       exec_cmd(\%cmd);
492       %cmd = ();
493     }
494     $cmd{'output ignore'} = 1;
495   }
496   elsif($line =~ /^!\s*expect signal (\w*)/) {#expect signal SIGABRT
497     if (defined($cmd{'cmd'})) {
498       exec_cmd(\%cmd);
499       %cmd = ();
500     }
501     $cmd{'expect'} = "$1";
502   }
503   elsif($line =~ /^!\s*expect return/){    #expect return
504     if (defined($cmd{'cmd'})) {
505       exec_cmd(\%cmd);
506       %cmd = ();
507     }
508     $line =~ s/^! expect return //g;
509     $line =~ s/\r//g;
510     $cmd{'return'} = $line;
511   }
512   elsif($line =~ /^!\s*setenv/){    #setenv
513     if (defined($cmd{'cmd'})) {
514       exec_cmd(\%cmd);
515       %cmd = ();
516     }
517     $line =~ s/^! setenv //g;
518     $line =~ s/\r//g;
519     setenv_cmd($line);
520   }
521   elsif($line =~ /^!\s*include/){    #output sort
522     if (defined($cmd{'cmd'})) {
523       exec_cmd(\%cmd);
524       %cmd = ();
525     }
526     print color("red"), "[Tesh/CRITICAL] need include";
527     print color("reset"), "\n";
528     die;
529   }
530   elsif($line =~ /^!\s*timeout/){    #timeout
531     if (defined($cmd{'cmd'})) {
532       exec_cmd(\%cmd);
533       %cmd = ();
534     }
535     $line =~ s/^! timeout //;
536     $line =~ s/\r//g;
537     $cmd{'timeout'} = $line;
538   } else {
539     die "[TESH/CRITICAL] parse error: $line\n";
540   }
541   if($forked){
542    kill(SIGKILL, $forked);
543    $timeout=0;
544   }
545
546 }
547
548
549
550 # Deal with last command
551 if (defined($cmd{'cmd'})) {
552   exec_cmd(\%cmd);
553   %cmd = ();
554 }
555
556
557 if($forked){
558    kill(SIGKILL, $forked);
559    $timeout=0;
560 }
561
562 if($error !=0){
563     exit $exitcode;
564 }elsif($tesh_file eq "(stdin)"){
565     print "Test suite from stdin OK\n";
566 }else{
567     print "Test suite `$tesh_name' OK\n";
568 }
569
570 #my (@a,@b);
571 #push @a,"bl1";   push @b,"bl1";
572 #push @a,"bl2";   push @b,"bl2";
573 #push @a,"bl3";   push @b,"bl3";
574 #push @a,"bl4";   push @b,"bl4";
575 #push @a,"bl5";   push @b,"bl5";
576 #push @a,"bl6";   push @b,"bl6";
577 #push @a,"bl7";   push @b,"bl7";
578 ##push @a,"Perl";  push @b,"ruby";
579 #push @a,"END1";   push @b,"END1";
580 #push @a,"END2";   push @b,"END2";
581 #push @a,"END3";   push @b,"END3";
582 #push @a,"END4";   push @b,"END4";
583 #push @a,"END5";   push @b,"END5";
584 #push @a,"END6";   push @b,"END6";
585 #push @a,"END7";   push @b,"END7";
586 #print "Identical:\n". build_diff(\@a,\@b);
587
588 #@a = (); @b =();
589 #push @a,"AZE"; push @b,"EZA";
590 #print "Different:\n".build_diff(\@a,\@b);
591
592 use lib "@CMAKE_BINARY_DIR@/bin" ;
593
594 use Diff qw(diff); # postpone a bit to have time to change INC
595
596 sub build_diff {
597   my $res;
598   my $diff = Diff->new(@_);
599   
600   $diff->Base( 1 );   # Return line numbers, not indices
601   my $chunk_count = $diff->Next(-1); # Compute the amount of chuncks
602   return ""   if ($chunk_count == 1 && $diff->Same());
603   $diff->Reset();
604   while(  $diff->Next()  ) {
605     my @same = $diff->Same();
606     if ($diff->Same() ) {
607       if ($diff->Next(0) > 1) { # not first chunk: print 2 first lines
608         $res .= '  '.$same[0]."\n" ;
609         $res .= '  '.$same[1]."\n" if (scalar @same>1);
610       }     
611       $res .= "...\n"  if (scalar @same>2);
612 #    $res .= $diff->Next(0)."/$chunk_count\n";
613       if ($diff->Next(0) < $chunk_count) { # not last chunk: print 2 last lines
614         $res .= '  '.$same[scalar @same -2]."\n" if (scalar @same>1);
615         $res .= '  '.$same[scalar @same -1]."\n";
616       } 
617     } 
618     next if  $diff->Same();
619     map { $res .= "- $_\n" } $diff->Items(1);
620     map { $res .= "+ $_\n" } $diff->Items(2);
621   }
622   return $res;
623 }
624
625