buildtools/Cmake/Scripts/tesh.pl

   1 #! /usr/bin/perl
   2 eval 'exec perl -S $0 ${1+"$@"}'
   3   if $running_under_some_shell;
   4
   5 =encoding UTF-8
   6
   7 =head1 NAME
   8
   9 tesh -- testing shell
  10
  11 =head1 SYNOPSIS
  12
  13 B<tesh> [I<options>] I<tesh_file>
  14
  15 =cut
  16 my($bindir)=".";
  17 my($srcdir)=".";
  18 my($timeout)=0;
  19 my($time_to_wait)=0;
  20 my $path = $0;
  21 my $OS;
  22 my $enable_coverage=0;
  23 my $tesh_file;
  24 my $tesh_name;
  25 my $error=0;
  26 my $exitcode=0;
  27 my @bg_cmds;
  28
  29 $path =~ s|[^/]*$||;
  30 push @INC,$path;
  31
  32 use Getopt::Long qw(GetOptions);
  33 use strict;
  34 use Term::ANSIColor;
  35 use IPC::Open3;
  36
  37 if($^O eq "linux"){
  38     $OS = "UNIX";
  39 }
  40 else{
  41     $OS = "WIN";
  42     $ENV{"PRINTF_EXPONENT_DIGITS"} = "2";
  43 }
  44
  45
  46 sub trim($)
  47 {
  48     my $string = shift;
  49     $string =~ s/^\s+//;
  50     $string =~ s/\s+$//;
  51     return $string;
  52 }
  53
  54 # make sure we received a tesh file
  55 scalar @ARGV > 0 || die "Usage:\n  tesh [*options*] *tesh_file*\n";
  56
  57 #Add current directory to path
  58 $ENV{PATH} = "$ENV{PATH}:.";
  59
  60 ##
  61 ## Command line option handling
  62 ##
  63
  64 # option handling helper subs
  65 sub cd_cmd {
  66   my $directory=$_[1];
  67   my $failure=1;
  68   if (-e $directory && -d $directory) {
  69     chdir("$directory");
  70     print "[Tesh/INFO] change directory to $directory\n";
  71   $failure=0;
  72   } elsif (-e $directory) {
  73     print "Cannot change directory to '$directory': it is not a directory\n";
  74   } else {
  75     print "Chdir to $directory failed: No such file or directory\n";
  76   }
  77   if($failure==1){
  78   $error=1;
  79   $exitcode=4;
  80   print "Test suite `$tesh_file': NOK (system error)\n";
  81   exit 4;
  82   }
  83 }
  84
  85 sub setenv_cmd {
  86   my($var,$ctn);
  87   if ($_[0] =~ /^(.*)=(.*)$/) {
  88     ($var,$ctn)=($1,$2);
  89   }elsif ($_[1] =~ /^(.*)=(.*)$/) {
  90     ($var,$ctn)=($1,$2);
  91   } else {
  92       die "[Tesh/CRITICAL] Malformed argument to setenv: expected 'name=value' but got '$_[1]'\n";
  93   }
  94
  95     if($var =~ /bindir/){
  96         print "[Tesh/INFO] setenv $var=$ctn\n";
  97         $bindir = $ctn;
  98     }
  99     else
 100     {
 101         if($var =~ /srcdir/){
 102             $srcdir = $ctn;
 103         }
 104         else{
 105             $ENV{$var} = $ctn;
 106             print "[Tesh/INFO] setenv $var=$ctn\n";
 107         }
 108     }
 109 }
 110
 111 # Main option parsing sub
 112
 113 sub get_options {
 114   # remove the tesh file from the ARGV used
 115   my @ARGV = @_;
 116   $tesh_file = pop @ARGV;
 117
 118   # temporary arrays for GetOption
 119   my @verbose = ();
 120   my @cfg;
 121   my $log; # ignored
 122
 123
 124   my %opt = (
 125     "help"  => 0,
 126     "debug"   => 0,
 127     "verbose" => 0
 128     );
 129
 130   Getopt::Long::config('bundling', 'no_getopt_compat', 'no_auto_abbrev');
 131
 132   GetOptions(
 133     'help|h'   => \$opt{'help'},
 134
 135     'verbose|v'  => \@verbose,
 136     'debug|d'  => \$opt{"debug"},
 137
 138     'cd=s'     => \&cd_cmd,
 139     'timeout=s'  => \$opt{'timeout'},
 140     'setenv=s'   => \&setenv_cmd,
 141     'cfg=s'    => \@cfg,
 142     'log=s'    => \$log,
 143     'enable-coverage+'  => \$enable_coverage,
 144     );
 145
 146   if($enable_coverage){
 147     print "Enable coverage\n";
 148   }
 149
 150   unless($tesh_file=~/(.*)\.tesh/){
 151     $tesh_file="(stdin)";
 152     $tesh_name="(stdin)";
 153     print "Test suite from stdin\n";
 154   }else{
 155     $tesh_name=$1;
 156     print "Test suite `$tesh_name'\n";
 157   }
 158
 159   $opt{'verbose'} = scalar @verbose;
 160   foreach (@cfg) {
 161     $opt{'cfg'} .= " --cfg=$_";
 162   }
 163   return %opt;
 164 }
 165
 166 my %opts = get_options(@ARGV);
 167
 168 ##
 169 ## File parsing
 170 ##
 171 my($nb_arg)=0;
 172 my($old_buffer);
 173 my($linebis);
 174 my($SIGABRT)=0;
 175 my($verbose)=0;
 176 my($return)=-1;
 177 my($pid);
 178 my($result);
 179 my($result_err);
 180 my($forked);
 181 my($config)="";
 182 my($tesh_command)=0;
 183 my(@buffer_tesh)=();
 184
 185 #eval {
 186   use POSIX;
 187
 188   sub exit_status {
 189     my $status = shift;
 190     if (POSIX::WIFEXITED($status)) {
 191       $exitcode=POSIX::WEXITSTATUS($status)+40;
 192       return "returned code ".POSIX::WEXITSTATUS($status);
 193     } elsif (POSIX::WIFSIGNALED($status)) {
 194       my $code;
 195       if (POSIX::WTERMSIG($status) == SIGINT){$code="SIGINT"; }
 196       elsif  (POSIX::WTERMSIG($status) == SIGTERM) {$code="SIGTERM"; }
 197       elsif  (POSIX::WTERMSIG($status) == SIGKILL) {$code= "SIGKILL"; }
 198       elsif  (POSIX::WTERMSIG($status) == SIGABRT) {$code="SIGABRT"; }
 199       elsif  (POSIX::WTERMSIG($status) == SIGSEGV) {$code="SIGSEGV" ;}
 200       $exitcode=POSIX::WTERMSIG($status)+4;
 201       return "got signal $code";
 202     }
 203     return "Unparsable status. Is the process stopped?";
 204   }
 205 #};
 206 #if ($@) { # no POSIX available?
 207 #  warn "POSIX not usable to parse the return value of forked child: $@\n";
 208 #  sub exit_status {
 209 #    return "returned code -1 $@ ";
 210 #  }
 211 #}
 212
 213 sub exec_cmd {
 214   my %cmd = %{$_[0]};
 215   if ($opts{'debug'}) {
 216     print "IN BEGIN\n";
 217     map {print "  $_"} @{$cmd{'in'}};
 218     print "IN END\n";
 219     print "OUT BEGIN\n";
 220     map {print "  $_"} @{$cmd{'out'}};
 221     print "OUT END\n";
 222     print "CMD: $cmd{'cmd'}\n";
 223   }
 224
 225   # cleanup the command line
 226   if($OS eq "WIN"){
 227         $cmd{'cmd'} =~ s/\${EXEEXT:=}/.exe/g;
 228         $cmd{'cmd'} =~ s/\${EXEEXT}/.exe/g;
 229         $cmd{'cmd'} =~ s/\$EXEEXT/.exe/g;
 230     }
 231     else{
 232         $cmd{'cmd'} =~ s/\${EXEEXT:=}//g;
 233     }
 234   $cmd{'cmd'} =~ s/\${bindir:=}/$bindir/g;
 235   $cmd{'cmd'} =~ s/\${srcdir:=}/$srcdir/g;
 236   $cmd{'cmd'} =~ s/\${bindir:=.}/$bindir/g;
 237   $cmd{'cmd'} =~ s/\${srcdir:=.}/$srcdir/g;
 238   $cmd{'cmd'} =~ s/\${bindir}/$bindir/g;
 239   $cmd{'cmd'} =~ s/\${srcdir}/$srcdir/g;
 240 # $cmd{'cmd'} =~ s|^\./||g;
 241 #  $cmd{'cmd'} =~ s|tesh|tesh.pl|g;
 242   $cmd{'cmd'} =~ s/\(%i:%P@%h\)/\\\(%i:%P@%h\\\)/g;
 243   $cmd{'cmd'} .= " $opts{'cfg'}" if (defined($opts{'cfg'}) && length($opts{'cfg'}));
 244
 245   print "[$tesh_name:$cmd{'line'}] $cmd{'cmd'}\n" ;
 246
 247   ###
 248   # exec the command line
 249   ###  $line =~ s/\r//g;
 250
 251   $cmd{'got'} = IO::File->new_tmpfile;
 252   $cmd{'got'}->autoflush(1);
 253   local *E = $cmd{'got'};
 254   $cmd{'pid'} = open3(\*CHILD_IN,  ">&E",  ">&E", $cmd{'cmd'} );
 255
 256   # push all provided input to executing child
 257   map { print CHILD_IN "$_\n"; }  @{$cmd{'in'}};
 258   close CHILD_IN;
 259
 260   # if timeout specified, fork and kill executing child at the end of timeout
 261   if (defined($cmd{'timeout'}) or defined($opts{'timeout'})){
 262     $time_to_wait= defined($cmd{'timeout'}) ? $cmd{'timeout'} : $opts{'timeout'};
 263     $forked = fork();
 264     $timeout=-1;
 265     die "fork() failed: $!" unless defined $forked;
 266     if ( $forked == 0 ) { # child
 267       sleep $time_to_wait;
 268       kill(SIGKILL, $cmd{'pid'});
 269       exit $time_to_wait;
 270     }
 271   }
 272
 273
 274   # Cleanup the executing child, and kill the timeouter brother on need
 275   $cmd{'return'} = 0 unless defined($cmd{'return'});
 276   if($cmd{'background'} != 1){
 277     waitpid ($cmd{'pid'}, 0);
 278     $cmd{'gotret'} = exit_status($?);
 279     parse_out(\%cmd);
 280   }else{
 281     # & commands, which will be handled at the end
 282     push @bg_cmds, \%cmd;
 283     # no timeout for background commands
 284     if($forked){
 285        kill(SIGKILL, $forked);
 286        $timeout=0;
 287        $forked=0;
 288     }
 289   }
 290 }
 291
 292
 293 sub parse_out {
 294   my %cmd = %{$_[0]};
 295   my $gotret=$cmd{'gotret'};
 296
 297   my $wantret;
 298
 299   if(defined($cmd{'expect'}) and ($cmd{'expect'} ne "")){
 300     $wantret = "got signal $cmd{'expect'}";
 301   }else{
 302     $wantret = "returned code ".(defined($cmd{'return'})? $cmd{'return'} : 0);
 303   }
 304
 305   local *got = $cmd{'got'};
 306   seek(got,0,0);
 307   # pop all output from executing child
 308   my @got;
 309   while(defined(my $got=<got>)) {
 310     $got =~ s/\r//g;
 311     $got =~ s/^( )*//g;
 312     chomp $got;
 313     $got=trim($got);
 314     if( $got ne ""){
 315         if (!($enable_coverage and $got=~ /^profiling:/)){
 316         push @got, "$got";
 317      }
 318   }
 319   }
 320
 321   if ($cmd{'sort'}){
 322     sub mysort{
 323     $a cmp $b
 324     }
 325     use sort qw(defaults _quicksort); # force quicksort
 326     @got = sort mysort @got;
 327     #also resort the other one, as perl sort is not the same as the C one used to generate teshes
 328     if(defined($cmd{'out'})){
 329       @{$cmd{'out'}}=sort mysort @{$cmd{'out'}};
 330     }
 331   }
 332
 333   #Did we timeout ? If yes, handle it. If not, kill the forked process.
 334
 335   if($timeout==-1 and $gotret eq "got signal SIGKILL"){
 336     $gotret="return code 0";
 337     $timeout=1;
 338     $gotret= "timeout after $time_to_wait sec";
 339     $error=1;
 340     $exitcode=3;
 341     print STDERR "<$cmd{'file'}:$cmd{'line'}> timeouted. Kill the process.\n";
 342   }else{
 343     $timeout=0;
 344   }
 345   if($gotret ne $wantret) {
 346     $error=1;
 347     my $msg = "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> $gotret)\n";
 348     if ($timeout!=1) {
 349         $msg=$msg."Output of <$cmd{'file'}:$cmd{'line'}> so far:\n";
 350     }
 351     map {$msg .=  "|| $_\n"} @got;
 352     if(!@got) {
 353         if($timeout==1){
 354         print STDERR "<$cmd{'file'}:$cmd{'line'}> No output before timeout\n";
 355         }else{
 356         $msg .= "||\n";
 357         }
 358     }
 359     $timeout = 0;
 360     print STDERR "$msg";
 361   }
 362
 363
 364   ###
 365   # Check the result of execution
 366   ###
 367   my $diff;
 368   if (!defined($cmd{'output ignore'})){
 369     $diff = build_diff(\@{$cmd{'out'}}, \@got);
 370   }else{
 371   print "(ignoring the output of <$cmd{'file'}:$cmd{'line'}> as requested)\n"
 372   }
 373   if (length $diff) {
 374     print "Output of <$cmd{'file'}:$cmd{'line'}> mismatch:\n";
 375     map { print "$_\n" } split(/\n/,$diff);
 376
 377     print "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> output mismatch)\n";
 378     $error=1;
 379     $exitcode=2;
 380   }
 381 }
 382
 383 sub mkfile_cmd {
 384   my %cmd = %{$_[0]};
 385   my $file = $cmd{'arg'};
 386   print "[Tesh/INFO] mkfile $file\n";
 387
 388   unlink($file);
 389   open(FILE,">$file") or die "[Tesh/CRITICAL] Unable to create file $file: $!\n";
 390   print FILE join("\n", @{$cmd{'in'}});
 391   print FILE "\n" if (scalar @{$cmd{'in'}} > 0);
 392   close(FILE);
 393 }
 394
 395 # parse tesh file
 396 #my $teshfile=$tesh_file;
 397 #$teshfile=~ s{\.[^.]+$}{};
 398
 399 unless($tesh_file eq "(stdin)"){
 400   open TESH_FILE, $tesh_file or die "[Tesh/CRITICAL] Unable to open $tesh_file $!\n";
 401 }
 402
 403 my %cmd; # everything about the next command to run
 404 my $line_num=0;
 405 my $finished =0;
 406 LINE: while (not $finished and not $error) {
 407   my $line;
 408
 409
 410   if ($tesh_file ne "(stdin)" and !defined($line=<TESH_FILE>)){
 411     $finished=1;
 412     next LINE;
 413   }elsif ($tesh_file eq "(stdin)" and !defined($line=<>)){
 414     $finished=1;
 415     next LINE;
 416   }
 417
 418
 419   $line_num++;
 420   chomp $line;
 421   $line =~ s/\r//g;
 422   print "[TESH/debug] $line_num: $line\n" if $opts{'debug'};
 423   my $next;
 424   # deal with line continuations
 425   while ($line =~ /^(.*?)\\$/) {
 426     $next=<TESH_FILE>;
 427     die "[TESH/CRITICAL] Continued line at end of file\n"
 428       unless defined($next);
 429     $line_num++;
 430     chomp $next;
 431     print "[TESH/debug] $line_num: $next\n" if $opts{'debug'};
 432     $line = $1.$next;
 433   }
 434
 435   # Push delayed commands on empty lines
 436   unless ($line =~ m/^(.).(.*)$/) {
 437     if (defined($cmd{'cmd'}))  {
 438       exec_cmd(\%cmd);
 439       %cmd = ();
 440     }
 441     next LINE;
 442   }
 443
 444   my ($cmd,$arg) = ($1,$2);
 445   $arg =~ s/\r//g;
 446   $arg =~ s/\\\\/\\/g;
 447   # handle the commands
 448   if ($cmd =~ /^#/) {    #comment
 449   } elsif ($cmd eq '>'){    #expected result line
 450     print "[TESH/debug] push expected result\n" if $opts{'debug'};
 451   $arg=trim($arg);
 452     if($arg ne ""){
 453     push @{$cmd{'out'}}, $arg;
 454   }
 455
 456   } elsif ($cmd eq '<') {    # provided input
 457     print "[TESH/debug] push provided input\n" if $opts{'debug'};
 458     push @{$cmd{'in'}}, $arg;
 459
 460   } elsif ($cmd eq 'p') {    # comment
 461     print "[$tesh_name:$line_num] $arg\n";
 462
 463   } elsif ($cmd eq '$') {  # Command
 464     # if we have something buffered, run it now
 465     if (defined($cmd{'cmd'})) {
 466       exec_cmd(\%cmd);
 467       %cmd = ();
 468     }
 469     if ($arg =~ /^\s*mkfile /){      # "mkfile" command line
 470       die "[TESH/CRITICAL] Output expected from mkfile command!\n" if scalar @{cmd{'out'}};
 471
 472       $cmd{'arg'} = $arg;
 473       $cmd{'arg'} =~ s/\s*mkfile //;
 474       mkfile_cmd(\%cmd);
 475       %cmd = ();
 476
 477     } elsif ($arg =~ /^\s*cd /) {
 478       die "[TESH/CRITICAL] Input provided to cd command!\n" if scalar @{cmd{'in'}};
 479       die "[TESH/CRITICAL] Output expected from cd command!\n" if scalar @{cmd{'out'}};
 480
 481       $arg =~ s/^ *cd //;
 482       cd_cmd("",$arg);
 483       %cmd = ();
 484
 485     } else { # regular command
 486       $cmd{'cmd'} = $arg;
 487       $cmd{'file'} = $tesh_file;
 488       $cmd{'line'} = $line_num;
 489     }
 490   }
 491   elsif($cmd eq '&'){      # parallel command line
 492
 493     if (defined($cmd{'cmd'})) {
 494       exec_cmd(\%cmd);
 495       %cmd = ();
 496     }
 497     $cmd{'background'} = 1;
 498     $cmd{'cmd'} = $arg;
 499     $cmd{'file'} = $tesh_file;
 500     $cmd{'line'} = $line_num;
 501   }
 502   elsif($line =~ /^!\s*output sort/){    #output sort
 503     if (defined($cmd{'cmd'})) {
 504       exec_cmd(\%cmd);
 505       %cmd = ();
 506     }
 507     $cmd{'sort'} = 1;
 508   }
 509   elsif($line =~ /^!\s*output ignore/){    #output ignore
 510     if (defined($cmd{'cmd'})) {
 511       exec_cmd(\%cmd);
 512       %cmd = ();
 513     }
 514     $cmd{'output ignore'} = 1;
 515   }
 516   elsif($line =~ /^!\s*expect signal (\w*)/) {#expect signal SIGABRT
 517     if (defined($cmd{'cmd'})) {
 518       exec_cmd(\%cmd);
 519       %cmd = ();
 520     }
 521 print "hey\n";
 522     $cmd{'expect'} = "$1";
 523   }
 524   elsif($line =~ /^!\s*expect return/){    #expect return
 525     if (defined($cmd{'cmd'})) {
 526       exec_cmd(\%cmd);
 527       %cmd = ();
 528     }
 529     $line =~ s/^! expect return //g;
 530     $line =~ s/\r//g;
 531     $cmd{'return'} = $line;
 532   }
 533   elsif($line =~ /^!\s*setenv/){    #setenv
 534     if (defined($cmd{'cmd'})) {
 535       exec_cmd(\%cmd);
 536       %cmd = ();
 537     }
 538     $line =~ s/^! setenv //g;
 539     $line =~ s/\r//g;
 540     setenv_cmd($line);
 541   }
 542   elsif($line =~ /^!\s*include/){    #output sort
 543     if (defined($cmd{'cmd'})) {
 544       exec_cmd(\%cmd);
 545       %cmd = ();
 546     }
 547     print color("red"), "[Tesh/CRITICAL] need include";
 548     print color("reset"), "\n";
 549     die;
 550   }
 551   elsif($line =~ /^!\s*timeout/){    #timeout
 552     if (defined($cmd{'cmd'})) {
 553       exec_cmd(\%cmd);
 554       %cmd = ();
 555     }
 556     $line =~ s/^! timeout //;
 557     $line =~ s/\r//g;
 558     $cmd{'timeout'} = $line;
 559   } else {
 560     die "[TESH/CRITICAL] parse error: $line\n";
 561   }
 562   if($forked){
 563    kill(SIGKILL, $forked);
 564    $timeout=0;
 565   }
 566
 567 }
 568
 569
 570
 571 # Deal with last command
 572 if (defined($cmd{'cmd'})) {
 573   exec_cmd(\%cmd);
 574   %cmd = ();
 575 }
 576
 577
 578 if($forked){
 579    kill(SIGKILL, $forked);
 580    $timeout=0;
 581 }
 582
 583 foreach(@bg_cmds){
 584   my %test=%{$_};
 585   waitpid ($test{'pid'}, 0);
 586   $test{'gotret'} = exit_status($?);
 587   parse_out(\%test);
 588 }
 589
 590 @bg_cmds=();
 591
 592
 593 if($error !=0){
 594     exit $exitcode;
 595 }elsif($tesh_file eq "(stdin)"){
 596     print "Test suite from stdin OK\n";
 597 }else{
 598     print "Test suite `$tesh_name' OK\n";
 599 }
 600
 601 #my (@a,@b);
 602 #push @a,"bl1";   push @b,"bl1";
 603 #push @a,"bl2";   push @b,"bl2";
 604 #push @a,"bl3";   push @b,"bl3";
 605 #push @a,"bl4";   push @b,"bl4";
 606 #push @a,"bl5";   push @b,"bl5";
 607 #push @a,"bl6";   push @b,"bl6";
 608 #push @a,"bl7";   push @b,"bl7";
 609 ##push @a,"Perl";  push @b,"ruby";
 610 #push @a,"END1";   push @b,"END1";
 611 #push @a,"END2";   push @b,"END2";
 612 #push @a,"END3";   push @b,"END3";
 613 #push @a,"END4";   push @b,"END4";
 614 #push @a,"END5";   push @b,"END5";
 615 #push @a,"END6";   push @b,"END6";
 616 #push @a,"END7";   push @b,"END7";
 617 #print "Identical:\n". build_diff(\@a,\@b);
 618
 619 #@a = (); @b =();
 620 #push @a,"AZE"; push @b,"EZA";
 621 #print "Different:\n".build_diff(\@a,\@b);
 622
 623 use lib "@CMAKE_BINARY_DIR@/bin" ;
 624
 625 use Diff qw(diff); # postpone a bit to have time to change INC
 626
 627 sub build_diff {
 628   my $res;
 629   my $diff = Diff->new(@_);
 630
 631   $diff->Base( 1 );   # Return line numbers, not indices
 632   my $chunk_count = $diff->Next(-1); # Compute the amount of chuncks
 633   return ""   if ($chunk_count == 1 && $diff->Same());
 634   $diff->Reset();
 635   while(  $diff->Next()  ) {
 636     my @same = $diff->Same();
 637     if ($diff->Same() ) {
 638       if ($diff->Next(0) > 1) { # not first chunk: print 2 first lines
 639         $res .= '  '.$same[0]."\n" ;
 640         $res .= '  '.$same[1]."\n" if (scalar @same>1);
 641       }
 642       $res .= "...\n"  if (scalar @same>2);
 643 #    $res .= $diff->Next(0)."/$chunk_count\n";
 644       if ($diff->Next(0) < $chunk_count) { # not last chunk: print 2 last lines
 645         $res .= '  '.$same[scalar @same -2]."\n" if (scalar @same>1);
 646         $res .= '  '.$same[scalar @same -1]."\n";
 647       }
 648     }
 649     next if  $diff->Same();
 650     map { $res .= "- $_\n" } $diff->Items(1);
 651     map { $res .= "+ $_\n" } $diff->Items(2);
 652   }
 653   return $res;
 654 }
 655
 656