Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
b365b4e0e349b6a73268b84e6e41859e4892acdb
[simgrid.git] / buildtools / Cmake / Scripts / tesh.pl
1 #! /usr/bin/perl
2 eval 'exec perl -S $0 ${1+"$@"}'
3   if $running_under_some_shell;
4
5 =encoding UTF-8
6
7 =head1 NAME
8
9 tesh -- testing shell
10
11 =head1 SYNOPSIS
12
13 B<tesh> [I<options>] I<tesh_file>
14
15 =cut
16 my($bindir)=".";
17 my($srcdir)=".";
18 my($timeout)=0;
19 my($time_to_wait)=0;
20 my $path = $0;
21 my $OS;
22 my $enable_coverage=0;
23 my $tesh_file;
24 my $tesh_name;
25 my $error=0;
26 my $exitcode=0;
27 my @bg_cmds;
28
29 $path =~ s|[^/]*$||;
30 push @INC,$path;
31
32 use Getopt::Long qw(GetOptions);
33 use strict;
34 use Term::ANSIColor;
35 use IPC::Open3;
36 use IO::File;
37
38 if($^O eq "linux"){
39     $OS = "UNIX";
40 }
41 else{
42     $OS = "WIN";
43     $ENV{"PRINTF_EXPONENT_DIGITS"} = "2"; 
44 }
45
46
47 sub trim($)
48 {
49     my $string = shift;
50     $string =~ s/^\s+//;
51     $string =~ s/\s+$//;
52     return $string;
53 }
54
55 #Add current directory to path
56 $ENV{PATH} = "$ENV{PATH}:.";
57
58 ##
59 ## Command line option handling
60 ##
61
62 # option handling helper subs
63 sub cd_cmd {
64   my $directory=$_[1];
65   my $failure=1;
66   if (-e $directory && -d $directory) {
67     chdir("$directory");
68     print "[Tesh/INFO] change directory to $directory\n";
69   $failure=0;
70   } elsif (-e $directory) {
71     print "Cannot change directory to '$directory': it is not a directory\n";
72   } else {
73     print "Chdir to $directory failed: No such file or directory\n";
74   }
75   if($failure==1){
76   $error=1;
77   $exitcode=4;
78   print "Test suite `$tesh_file': NOK (system error)\n";
79   exit 4;
80   }
81 }
82
83 sub setenv_cmd {
84   my($var,$ctn);
85   if ($_[0] =~ /^(.*)=(.*)$/) {
86     ($var,$ctn)=($1,$2);
87   }elsif ($_[1] =~ /^(.*)=(.*)$/) {
88     ($var,$ctn)=($1,$2);
89   } else { 
90       die "[Tesh/CRITICAL] Malformed argument to setenv: expected 'name=value' but got '$_[1]'\n";
91   }
92     
93     if($var =~ /bindir/){
94         print "[Tesh/INFO] setenv $var=$ctn\n";
95         $bindir = $ctn;
96     }
97     else
98     {
99         if($var =~ /srcdir/){
100             $srcdir = $ctn;
101         }
102         else{
103             $ENV{$var} = $ctn;
104             print "[Tesh/INFO] setenv $var=$ctn\n";
105         }
106     }    
107 }
108
109 # Main option parsing sub
110
111 sub get_options {
112   # remove the tesh file from the ARGV used
113   my @ARGV = @_;
114   $tesh_file = pop @ARGV;
115
116   # temporary arrays for GetOption
117   my @verbose = ();
118   my @cfg;
119   my $log; # ignored
120
121
122   my %opt = (
123     "help"  => 0,
124     "debug"   => 0,
125     "verbose" => 0
126     );
127
128   Getopt::Long::config('bundling', 'no_getopt_compat', 'no_auto_abbrev');
129   
130   GetOptions(
131     'help|h'   => \$opt{'help'},
132
133     'verbose|v'  => \@verbose,
134     'debug|d'  => \$opt{"debug"},
135
136     'cd=s'     => \&cd_cmd,
137     'timeout=s'  => \$opt{'timeout'},    
138     'setenv=s'   => \&setenv_cmd,
139     'cfg=s'    => \@cfg,
140     'log=s'    => \$log,
141     'enable-coverage+'  => \$enable_coverage,    
142     );
143
144   if($enable_coverage){
145     print "Enable coverage\n";
146   }
147
148   unless($tesh_file=~/(.*)\.tesh/){
149     $tesh_file="(stdin)";
150     $tesh_name="(stdin)";
151     print "Test suite from stdin\n";
152   }else{
153     $tesh_name=$1;
154     print "Test suite `$tesh_name'\n";
155   }
156
157   $opt{'verbose'} = scalar @verbose;
158   foreach (@cfg) {
159     $opt{'cfg'} .= " --cfg=$_";
160   }
161   return %opt;
162 }
163
164 my %opts = get_options(@ARGV);
165
166 ##
167 ## File parsing
168 ##
169 my($nb_arg)=0;
170 my($old_buffer);
171 my($linebis);
172 my($SIGABRT)=0;
173 my($verbose)=0;
174 my($return)=-1;
175 my($pid);
176 my($result);
177 my($result_err);
178 my($forked);
179 my($config)="";
180 my($tesh_command)=0;
181 my(@buffer_tesh)=();
182
183 #eval {
184   use POSIX;
185
186   sub exit_status {
187     my $status = shift;
188     if (POSIX::WIFEXITED($status)) {
189       $exitcode=POSIX::WEXITSTATUS($status)+40;
190       return "returned code ".POSIX::WEXITSTATUS($status);
191     } elsif (POSIX::WIFSIGNALED($status)) {
192       my $code;
193       if (POSIX::WTERMSIG($status) == SIGINT){$code="SIGINT"; }
194       elsif  (POSIX::WTERMSIG($status) == SIGTERM) {$code="SIGTERM"; }
195       elsif  (POSIX::WTERMSIG($status) == SIGKILL) {$code= "SIGKILL"; }
196       elsif  (POSIX::WTERMSIG($status) == SIGABRT) {$code="SIGABRT"; }
197       elsif  (POSIX::WTERMSIG($status) == SIGSEGV) {$code="SIGSEGV" ;}
198       $exitcode=POSIX::WTERMSIG($status)+4;
199       return "got signal $code";
200     }
201     return "Unparsable status. Is the process stopped?";
202   }
203 #};
204 #if ($@) { # no POSIX available?
205 #  warn "POSIX not usable to parse the return value of forked child: $@\n";
206 #  sub exit_status {
207 #    return "returned code -1 $@ ";
208 #  }
209 #}
210
211 sub exec_cmd { 
212   my %cmd = %{$_[0]};
213   if ($opts{'debug'}) {
214     print "IN BEGIN\n";
215     map {print "  $_"} @{$cmd{'in'}};
216     print "IN END\n";
217     print "OUT BEGIN\n";
218     map {print "  $_"} @{$cmd{'out'}};
219     print "OUT END\n";
220     print "CMD: $cmd{'cmd'}\n";
221   }
222
223   # cleanup the command line
224   if($OS eq "WIN"){
225         $cmd{'cmd'} =~ s/\${EXEEXT:=}/.exe/g;
226         $cmd{'cmd'} =~ s/\${EXEEXT}/.exe/g;
227         $cmd{'cmd'} =~ s/\$EXEEXT/.exe/g;
228     }
229     else{
230         $cmd{'cmd'} =~ s/\${EXEEXT:=}//g;
231     }
232   $cmd{'cmd'} =~ s/\${bindir:=}/$bindir/g;
233   $cmd{'cmd'} =~ s/\${srcdir:=}/$srcdir/g;
234   $cmd{'cmd'} =~ s/\${bindir:=.}/$bindir/g;
235   $cmd{'cmd'} =~ s/\${srcdir:=.}/$srcdir/g;
236   $cmd{'cmd'} =~ s/\${bindir}/$bindir/g;
237   $cmd{'cmd'} =~ s/\${srcdir}/$srcdir/g;
238 # $cmd{'cmd'} =~ s|^\./||g;
239 #  $cmd{'cmd'} =~ s|tesh|tesh.pl|g;
240   $cmd{'cmd'} =~ s/\(%i:%P@%h\)/\\\(%i:%P@%h\\\)/g;
241   $cmd{'cmd'} .= " $opts{'cfg'}" if (defined($opts{'cfg'}) && length($opts{'cfg'}));
242
243   print "[$tesh_name:$cmd{'line'}] $cmd{'cmd'}\n" ;
244
245   ###
246   # exec the command line
247   ###  $line =~ s/\r//g;
248
249   $cmd{'got'} = IO::File->new_tmpfile;
250   $cmd{'got'}->autoflush(1);
251   local *E = $cmd{'got'}; 
252   $cmd{'pid'} = open3(\*CHILD_IN,  ">&E",  ">&E", $cmd{'cmd'} );
253
254   # push all provided input to executing child
255   map { print CHILD_IN "$_\n"; }  @{$cmd{'in'}};
256   close CHILD_IN;
257
258   # if timeout specified, fork and kill executing child at the end of timeout
259   if (defined($cmd{'timeout'}) or defined($opts{'timeout'})){
260     $time_to_wait= defined($cmd{'timeout'}) ? $cmd{'timeout'} : $opts{'timeout'};
261     $forked = fork();
262     $timeout=-1;
263     die "fork() failed: $!" unless defined $forked;
264     if ( $forked == 0 ) { # child
265       sleep $time_to_wait;
266       kill(SIGKILL, $cmd{'pid'});
267       exit $time_to_wait;
268     }
269   }
270
271   
272   # Cleanup the executing child, and kill the timeouter brother on need
273   $cmd{'return'} = 0 unless defined($cmd{'return'});
274   if($cmd{'background'} != 1){
275     waitpid ($cmd{'pid'}, 0);
276     $cmd{'gotret'} = exit_status($?);
277     parse_out(\%cmd);
278   }else{
279     # & commands, which will be handled at the end
280     push @bg_cmds, \%cmd;
281     # no timeout for background commands
282     if($forked){
283        kill(SIGKILL, $forked);
284        $timeout=0;
285        $forked=0;
286     }
287   }
288 }
289
290
291 sub parse_out { 
292   my %cmd = %{$_[0]};
293   my $gotret=$cmd{'gotret'};
294
295   my $wantret;
296
297   if(defined($cmd{'expect'}) and ($cmd{'expect'} ne "")){
298     $wantret = "got signal $cmd{'expect'}";
299   }else{
300     $wantret = "returned code ".(defined($cmd{'return'})? $cmd{'return'} : 0);
301   }
302
303   local *got = $cmd{'got'};
304   seek(got,0,0);
305   # pop all output from executing child
306   my @got;
307   while(defined(my $got=<got>)) {
308     $got =~ s/\r//g;
309     $got =~ s/^( )*//g;
310     chomp $got;
311     $got=trim($got);
312     if( $got ne ""){
313         if (!($enable_coverage and $got=~ /^profiling:/)){    
314         push @got, "$got";
315      }
316   }
317   }    
318
319   if ($cmd{'sort'}){   
320     sub mysort{
321     $a cmp $b
322     }
323     use sort qw(defaults _quicksort); # force quicksort
324     @got = sort mysort @got;
325     #also resort the other one, as perl sort is not the same as the C one used to generate teshes
326     if(defined($cmd{'out'})){
327       @{$cmd{'out'}}=sort mysort @{$cmd{'out'}};
328     }
329   }
330
331   #Did we timeout ? If yes, handle it. If not, kill the forked process.
332
333   if($timeout==-1 and $gotret eq "got signal SIGKILL"){
334     $gotret="return code 0";
335     $timeout=1;
336     $gotret= "timeout after $time_to_wait sec";
337     $error=1;
338     $exitcode=3;
339     print STDERR "<$cmd{'file'}:$cmd{'line'}> timeouted. Kill the process.\n";
340   }else{
341     $timeout=0;  
342   }
343   if($gotret ne $wantret) {
344     $error=1;
345     my $msg = "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> $gotret)\n";
346     if ($timeout!=1) {
347         $msg=$msg."Output of <$cmd{'file'}:$cmd{'line'}> so far:\n";    
348     }
349     map {$msg .=  "|| $_\n"} @got;
350     if(!@got) {
351         if($timeout==1){
352         print STDERR "<$cmd{'file'}:$cmd{'line'}> No output before timeout\n";
353         }else{
354         $msg .= "||\n";
355         }
356     }
357     $timeout = 0;
358     print STDERR "$msg";
359   }
360
361       
362   ###
363   # Check the result of execution 
364   ###
365   my $diff;
366   if (!defined($cmd{'output ignore'})){
367     $diff = build_diff(\@{$cmd{'out'}}, \@got);
368   }else{
369   print "(ignoring the output of <$cmd{'file'}:$cmd{'line'}> as requested)\n"
370   }
371   if (length $diff) {
372     print "Output of <$cmd{'file'}:$cmd{'line'}> mismatch:\n";
373     map { print "$_\n" } split(/\n/,$diff);
374
375     print "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> output mismatch)\n";
376     $error=1;
377     $exitcode=2;
378   }
379 }
380
381 sub mkfile_cmd {
382   my %cmd = %{$_[0]};
383   my $file = $cmd{'arg'};
384   print "[Tesh/INFO] mkfile $file\n";
385
386   unlink($file);
387   open(FILE,">$file") or die "[Tesh/CRITICAL] Unable to create file $file: $!\n";
388   print FILE join("\n", @{$cmd{'in'}});
389   print FILE "\n" if (scalar @{$cmd{'in'}} > 0);
390   close(FILE);
391 }
392
393 # parse tesh file
394 #my $teshfile=$tesh_file;
395 #$teshfile=~ s{\.[^.]+$}{};
396
397 unless($tesh_file eq "(stdin)"){
398   open TESH_FILE, $tesh_file or die "[Tesh/CRITICAL] Unable to open $tesh_file $!\n";
399 }
400
401 my %cmd; # everything about the next command to run
402 my $line_num=0;
403 my $finished =0;
404 LINE: while (not $finished and not $error) {
405   my $line;
406
407
408   if ($tesh_file ne "(stdin)" and !defined($line=<TESH_FILE>)){
409     $finished=1;
410     next LINE;
411   }elsif ($tesh_file eq "(stdin)" and !defined($line=<>)){
412     $finished=1;
413     next LINE;
414   }
415
416
417   $line_num++;
418   chomp $line;
419   $line =~ s/\r//g;
420   print "[TESH/debug] $line_num: $line\n" if $opts{'debug'};
421   my $next;
422   # deal with line continuations
423   while ($line =~ /^(.*?)\\$/) {
424     $next=<TESH_FILE>;
425     die "[TESH/CRITICAL] Continued line at end of file\n"
426       unless defined($next);
427     $line_num++;
428     chomp $next;
429     print "[TESH/debug] $line_num: $next\n" if $opts{'debug'};
430     $line = $1.$next;
431   }
432
433   # Push delayed commands on empty lines
434   unless ($line =~ m/^(.).(.*)$/) {
435     if (defined($cmd{'cmd'}))  {
436       exec_cmd(\%cmd);
437       %cmd = ();
438     }
439     next LINE;
440   }     
441  
442   my ($cmd,$arg) = ($1,$2);
443   $arg =~ s/\r//g;
444   $arg =~ s/\\\\/\\/g;
445   # handle the commands
446   if ($cmd =~ /^#/) {    #comment
447   } elsif ($cmd eq '>'){    #expected result line
448     print "[TESH/debug] push expected result\n" if $opts{'debug'};
449   $arg=trim($arg);
450     if($arg ne ""){
451     push @{$cmd{'out'}}, $arg;
452   }
453
454   } elsif ($cmd eq '<') {    # provided input
455     print "[TESH/debug] push provided input\n" if $opts{'debug'};
456     push @{$cmd{'in'}}, $arg;
457
458   } elsif ($cmd eq 'p') {    # comment
459     print "[$tesh_name:$line_num] $arg\n";
460
461   } elsif ($cmd eq '$') {  # Command
462     # if we have something buffered, run it now
463     if (defined($cmd{'cmd'})) {
464       exec_cmd(\%cmd);
465       %cmd = ();
466     }
467     if ($arg =~ /^\s*mkfile /){      # "mkfile" command line
468       die "[TESH/CRITICAL] Output expected from mkfile command!\n" if scalar @{cmd{'out'}};
469
470       $cmd{'arg'} = $arg;
471       $cmd{'arg'} =~ s/\s*mkfile //;
472       mkfile_cmd(\%cmd);
473       %cmd = ();
474
475     } elsif ($arg =~ /^\s*cd /) {
476       die "[TESH/CRITICAL] Input provided to cd command!\n" if scalar @{cmd{'in'}};
477       die "[TESH/CRITICAL] Output expected from cd command!\n" if scalar @{cmd{'out'}};
478
479       $arg =~ s/^ *cd //;
480       cd_cmd("",$arg);
481       %cmd = ();
482
483     } else { # regular command
484       $cmd{'cmd'} = $arg;
485       $cmd{'file'} = $tesh_file;
486       $cmd{'line'} = $line_num;
487     }
488   }
489   elsif($cmd eq '&'){      # parallel command line
490
491     if (defined($cmd{'cmd'})) {
492       exec_cmd(\%cmd);
493       %cmd = ();
494     }
495     $cmd{'background'} = 1;
496     $cmd{'cmd'} = $arg;
497     $cmd{'file'} = $tesh_file;
498     $cmd{'line'} = $line_num;
499   }    
500   elsif($line =~ /^!\s*output sort/){    #output sort
501     if (defined($cmd{'cmd'})) {
502       exec_cmd(\%cmd);
503       %cmd = ();
504     }
505     $cmd{'sort'} = 1;
506   }
507   elsif($line =~ /^!\s*output ignore/){    #output ignore
508     if (defined($cmd{'cmd'})) {
509       exec_cmd(\%cmd);
510       %cmd = ();
511     }
512     $cmd{'output ignore'} = 1;
513   }
514   elsif($line =~ /^!\s*expect signal (\w*)/) {#expect signal SIGABRT
515     if (defined($cmd{'cmd'})) {
516       exec_cmd(\%cmd);
517       %cmd = ();
518     }
519 print "hey\n";
520     $cmd{'expect'} = "$1";
521   }
522   elsif($line =~ /^!\s*expect return/){    #expect return
523     if (defined($cmd{'cmd'})) {
524       exec_cmd(\%cmd);
525       %cmd = ();
526     }
527     $line =~ s/^! expect return //g;
528     $line =~ s/\r//g;
529     $cmd{'return'} = $line;
530   }
531   elsif($line =~ /^!\s*setenv/){    #setenv
532     if (defined($cmd{'cmd'})) {
533       exec_cmd(\%cmd);
534       %cmd = ();
535     }
536     $line =~ s/^! setenv //g;
537     $line =~ s/\r//g;
538     setenv_cmd($line);
539   }
540   elsif($line =~ /^!\s*include/){    #output sort
541     if (defined($cmd{'cmd'})) {
542       exec_cmd(\%cmd);
543       %cmd = ();
544     }
545     print color("red"), "[Tesh/CRITICAL] need include";
546     print color("reset"), "\n";
547     die;
548   }
549   elsif($line =~ /^!\s*timeout/){    #timeout
550     if (defined($cmd{'cmd'})) {
551       exec_cmd(\%cmd);
552       %cmd = ();
553     }
554     $line =~ s/^! timeout //;
555     $line =~ s/\r//g;
556     $cmd{'timeout'} = $line;
557   } else {
558     die "[TESH/CRITICAL] parse error: $line\n";
559   }
560   if($forked){
561    kill(SIGKILL, $forked);
562    $timeout=0;
563   }
564
565 }
566
567
568
569 # Deal with last command
570 if (defined($cmd{'cmd'})) {
571   exec_cmd(\%cmd);
572   %cmd = ();
573 }
574
575
576 if($forked){
577    kill(SIGKILL, $forked);
578    $timeout=0;
579 }
580
581 foreach(@bg_cmds){
582   my %test=%{$_};
583   waitpid ($test{'pid'}, 0);
584   $test{'gotret'} = exit_status($?);
585   parse_out(\%test);
586 }
587
588 @bg_cmds=();
589
590
591 if($error !=0){
592     exit $exitcode;
593 }elsif($tesh_file eq "(stdin)"){
594     print "Test suite from stdin OK\n";
595 }else{
596     print "Test suite `$tesh_name' OK\n";
597 }
598
599 #my (@a,@b);
600 #push @a,"bl1";   push @b,"bl1";
601 #push @a,"bl2";   push @b,"bl2";
602 #push @a,"bl3";   push @b,"bl3";
603 #push @a,"bl4";   push @b,"bl4";
604 #push @a,"bl5";   push @b,"bl5";
605 #push @a,"bl6";   push @b,"bl6";
606 #push @a,"bl7";   push @b,"bl7";
607 ##push @a,"Perl";  push @b,"ruby";
608 #push @a,"END1";   push @b,"END1";
609 #push @a,"END2";   push @b,"END2";
610 #push @a,"END3";   push @b,"END3";
611 #push @a,"END4";   push @b,"END4";
612 #push @a,"END5";   push @b,"END5";
613 #push @a,"END6";   push @b,"END6";
614 #push @a,"END7";   push @b,"END7";
615 #print "Identical:\n". build_diff(\@a,\@b);
616
617 #@a = (); @b =();
618 #push @a,"AZE"; push @b,"EZA";
619 #print "Different:\n".build_diff(\@a,\@b);
620
621 use lib "@CMAKE_BINARY_DIR@/bin" ;
622
623 use Diff qw(diff); # postpone a bit to have time to change INC
624
625 sub build_diff {
626   my $res;
627   my $diff = Diff->new(@_);
628   
629   $diff->Base( 1 );   # Return line numbers, not indices
630   my $chunk_count = $diff->Next(-1); # Compute the amount of chuncks
631   return ""   if ($chunk_count == 1 && $diff->Same());
632   $diff->Reset();
633   while(  $diff->Next()  ) {
634     my @same = $diff->Same();
635     if ($diff->Same() ) {
636       if ($diff->Next(0) > 1) { # not first chunk: print 2 first lines
637         $res .= '  '.$same[0]."\n" ;
638         $res .= '  '.$same[1]."\n" if (scalar @same>1);
639       }     
640       $res .= "...\n"  if (scalar @same>2);
641 #    $res .= $diff->Next(0)."/$chunk_count\n";
642       if ($diff->Next(0) < $chunk_count) { # not last chunk: print 2 last lines
643         $res .= '  '.$same[scalar @same -2]."\n" if (scalar @same>1);
644         $res .= '  '.$same[scalar @same -1]."\n";
645       } 
646     } 
647     next if  $diff->Same();
648     map { $res .= "- $_\n" } $diff->Items(1);
649     map { $res .= "+ $_\n" } $diff->Items(2);
650   }
651   return $res;
652 }
653
654