Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Reimplement tesh with IPC::Run
[simgrid.git] / tools / tesh / tesh.pl
index a8bd4fb..29f141b 100755 (executable)
@@ -23,6 +23,12 @@ B<tesh> [I<options>] I<tesh_file>
 
 =cut
 
+BEGIN {
+    # Disabling IPC::Run::Debug saves tons of useless calls.
+    $ENV{'IPCRUNDEBUG'} = 'none'
+      unless exists $ENV{'IPCRUNDEBUG'};
+}
+
 my ($timeout)              = 0;
 my ($time_to_wait)         = 0;
 my $path                   = $0;
@@ -41,24 +47,27 @@ $SIG{'PIPE'} = 'IGNORE';
 $path =~ s|[^/]*$||;
 push @INC, $path;
 
+use lib "@CMAKE_BINARY_DIR@/bin";
+
+use Diff qw(diff);    # postpone a bit to have time to change INC
+
 use Getopt::Long qw(GetOptions);
 use strict;
 use Text::ParseWords;
-use IPC::Open3;
+use IPC::Run qw(start run timeout finish);
 use IO::File;
 use English;
 
-##
-## Portability bits for windows
-##
+####
+#### Portability bits for windows
+####
 
 use constant RUNNING_ON_WINDOWS => ( $OSNAME =~ /^(?:mswin|dos|os2)/oi );
 use POSIX qw(:sys_wait_h WIFEXITED WIFSIGNALED WIFSTOPPED WEXITSTATUS WTERMSIG WSTOPSIG
   :signal_h SIGINT SIGTERM SIGKILL SIGABRT SIGSEGV);
 
-# These are not implemented on windows
 BEGIN {
-    if (RUNNING_ON_WINDOWS) {
+    if (RUNNING_ON_WINDOWS) { # Missing on windows
         *WIFEXITED   = sub { not $_[0] & 127 };
         *WEXITSTATUS = sub { $_[0] >> 8 };
         *WIFSIGNALED = sub { ( $_[0] & 127 ) && ( $_[0] & 127 != 127 ) };
@@ -66,9 +75,10 @@ BEGIN {
     }
 }
 
-##
-## Command line option handling
-##
+
+####
+#### Command line option handling
+####
 
 if ( $ARGV[0] eq "--internal-killer-process" ) {
 
@@ -85,109 +95,43 @@ if ( $ARGV[0] eq "--internal-killer-process" ) {
     exit $time_to_wait;
 }
 
-sub var_subst {
-    my ( $text, $name, $value ) = @_;
-    if ($value) {
-        $text =~ s/\${$name(?::[=-][^}]*)?}/$value/g;
-        $text =~ s/\$$name(\W|$)/$value$1/g;
-    } else {
-        $text =~ s/\${$name:=([^}]*)}/$1/g;
-        $text =~ s/\${$name}//g;
-        $text =~ s/\$$name(\W|$)/$1/g;
-    }
-    return $text;
-}
-
-# option handling helper subs
-sub cd_cmd {
-    my $directory = shift;
-    my $failure   = 1;
-    if ( -e $directory && -d $directory ) {
-        chdir("$directory");
-        print "[Tesh/INFO] change directory to $directory\n";
-        $failure = 0;
-    } elsif ( -e $directory ) {
-        print "Cannot change directory to '$directory': it is not a directory\n";
-    } else {
-        print "Chdir to $directory failed: No such file or directory\n";
-    }
-    if ( $failure == 1 ) {
-        print "Test suite `$tesh_file': NOK (system error)\n";
-        exit 4;
-    }
-}
-
-sub setenv_cmd {
-    my $arg = shift;
-    if ( $arg =~ /^(.*)=(.*)$/ ) {
-        my ( $var, $ctn ) = ( $1, $2 );
-       print "[Tesh/INFO] setenv $var=$ctn\n";
-       $environ{$var} = $ctn;
-    } else {
-        die "[Tesh/CRITICAL] Malformed argument to setenv: expected 'name=value' but got '$arg'\n";
-    }
-}
-
-# Main option parsing sub
-
-sub get_options {
-
-    # remove the tesh file from the ARGV used
-    my @ARGV = @_;
-    $tesh_file = pop @ARGV;
-
-    # temporary arrays for GetOption
-    my @cfg;
-    my $log;    # ignored
-
-    my %opt = (
-        "help"  => 0,
-        "debug" => 0,
-    );
-
-    Getopt::Long::config( 'bundling', 'no_getopt_compat', 'no_auto_abbrev' );
+my %opts = ( "debug" => 0,
+             "timeout" => 120, # No command should run any longer than 2 minutes by default
+           );
 
-    GetOptions(
-        'help|h' => \$opt{'help'},
+Getopt::Long::config( 'bundling', 'no_getopt_compat', 'no_auto_abbrev' );
+GetOptions(
+    'debug|d' => \$opts{"debug"},
 
-        'debug|d' => \$opt{"debug"},
+    'difftool=s' => \$diff_tool,
 
-        'difftool=s' => \$diff_tool,
+    'cd=s'      => sub { cd_cmd( $_[1] ) },
+    'timeout=s' => \$opts{'timeout'},
+    'setenv=s'  => sub { setenv_cmd( $_[1] ) },
+    'cfg=s' => sub { $opts{'cfg'} .= " --cfg=$_[1]" },
+    'enable-coverage+' => \$enable_coverage,
+);
 
-        'cd=s'             => sub { cd_cmd($_[1]) },
-        'timeout=s'        => \$opt{'timeout'},
-        'setenv=s'         => sub { setenv_cmd($_[1]) },
-        'cfg=s'            => \@cfg,
-        'log=s'            => \$log,
-        'enable-coverage+' => \$enable_coverage,
-    );
+$tesh_file = pop @ARGV;
 
-    if ($enable_coverage) {
-        print "Enable coverage\n";
-    }
-
-    if ($diff_tool) {
-        use File::Temp qw/ tempfile /;
-        ( $diff_tool_tmp_fh, $diff_tool_tmp_filename ) = tempfile();
-        print "New tesh: $diff_tool_tmp_filename\n";
-    }
-
-    if ( $tesh_file =~ m/(.*)\.tesh/ ) {
-        $tesh_name = $1;
-        print "Test suite `$tesh_name'\n";
-    } else {
-        $tesh_file = "(stdin)";
-        $tesh_name = "(stdin)";
-        print "Test suite from stdin\n";
-    }
+if ($enable_coverage) {
+    print "Enable coverage\n";
+}
 
-    foreach (@cfg) {
-        $opt{'cfg'} .= " --cfg=$_";
-    }
-    return %opt;
+if ($diff_tool) {
+    use File::Temp qw/ tempfile /;
+    ( $diff_tool_tmp_fh, $diff_tool_tmp_filename ) = tempfile();
+    print "New tesh: $diff_tool_tmp_filename\n";
 }
 
-my %opts = get_options(@ARGV);
+if ( $tesh_file =~ m/(.*)\.tesh/ ) {
+    $tesh_name = $1;
+    print "Test suite `$tesh_name'\n";
+} else {
+    $tesh_file = "(stdin)";
+    $tesh_name = "(stdin)";
+    print "Test suite from stdin\n";
+}
 
 ##
 ## File parsing
@@ -220,12 +164,8 @@ sub exit_status {
 sub exec_cmd {
     my %cmd = %{ $_[0] };
     if ( $opts{'debug'} ) {
-        print "IN BEGIN\n";
-        map { print "  $_" } @{ $cmd{'in'} };
-        print "IN END\n";
-        print "OUT BEGIN\n";
-        map { print "  $_" } @{ $cmd{'out'} };
-        print "OUT END\n";
+        map { print "IN: $_\n" } @{ $cmd{'in'} };
+        map { print "OUT: $_\n" } @{ $cmd{'out'} };
         print "CMD: $cmd{'cmd'}\n";
     }
 
@@ -253,77 +193,71 @@ sub exec_cmd {
     $cmd{'cmd'} .= " $opts{'cfg'}"
       if ( defined( $opts{'cfg'} ) && length( $opts{'cfg'} ) );
 
-    # final cleanup
+    # finally trim any remaining space chars
     $cmd{'cmd'} =~ s/^\s+//;
     $cmd{'cmd'} =~ s/\s+$//;
 
     print "[$tesh_name:$cmd{'line'}] $cmd{'cmd'}\n";
 
+    $cmd{'return'} ||= 0;
+    $cmd{'timeout'} ||= $opts{'timeout'};
+    
+
     ###
     # exec the command line
-    ###  $line =~ s/\r//g;
-
-    $cmd{'got'} = IO::File->new_tmpfile;
-    $cmd{'got'}->autoflush(1);
-    local *E = $cmd{'got'};
-    $cmd{'pid'} =
-      open3( \*CHILD_IN, ">&E", ">&E", quotewords( '\s+', 0, $cmd{'cmd'} ) );
-
-    # push all provided input to executing child
-    map { print CHILD_IN "$_\n"; } @{ $cmd{'in'} };
-    close CHILD_IN;
-
-    # if timeout specified, fork and kill executing child at the end of timeout
-    if ( not $cmd{'background'}
-        and ( defined( $cmd{'timeout'} ) or defined( $opts{'timeout'} ) ) )
-    {
-        $time_to_wait =
-          defined( $cmd{'timeout'} ) ? $cmd{'timeout'} : $opts{'timeout'};
-        $forked  = fork();
-        $timeout = -1;
-        die "fork() failed: $!" unless defined $forked;
-        if ( $forked == 0 ) {    # child
-            exec("$PROGRAM_NAME --internal-killer-process $time_to_wait $cmd{'pid'}");
-        }
-    }
 
-    # Cleanup the executing child, and kill the timeouter brother on need
-    $cmd{'return'} = 0 unless defined( $cmd{'return'} );
-    if ( $cmd{'background'} != 1 ) {
-        waitpid( $cmd{'pid'}, 0 );
-        $cmd{'gotret'} = exit_status($?);
-        parse_out( \%cmd );
-    } else {
+    my @cmdline = quotewords( '\s+', 0, $cmd{'cmd'} );
+    my $input = defined($cmd{'in'})? join("\n",@{$cmd{'in'}}) : "";
+    my $output = " " x 10240; $output = ""; # Preallocate 10kB, and reset length to 0
+    $cmd{'got'} = \$output;
+    $cmd{'job'} = start \@cmdline, '<', \$input, '>&', \$output, timeout($cmd{'timeout'});
 
-        # & commands, which will be handled at the end
+    if ( $cmd{'background'} ) {
+       # Just enqueue the job. It will be dealed with at the end
         push @bg_cmds, \%cmd;
+    } else {
+       # Deal with its ending conditions right away
+        analyze_result( \%cmd );
     }
 }
 
-sub parse_out {
+sub analyze_result {
     my %cmd    = %{ $_[0] };
-    my $gotret = $cmd{'gotret'};
+    
+    eval {
+       finish( $cmd{'job'} );
+    };
+    if ($@) {
+       if ($@ =~ /timeout/) {
+           $cmd{'job'}->kill_kill;
+           $cmd{'timeouted'} = 1;
+       } elsif ($@ =~ /^ack / and $@ =~ /pipe/) {
+           print STDERR "Tesh: Broken pipe (ignored).\n";
+       } else {
+           die $@; # Don't know what it is, so let it go.
+       }
+    } 
+    $cmd{'timeouted'} ||= 0;
+    
+    my $gotret = $cmd{'gotret'} = exit_status($?); 
 
     my $wantret;
 
     if ( defined( $cmd{'expect'} ) and ( $cmd{'expect'} ne "" ) ) {
         $wantret = "got signal $cmd{'expect'}";
     } else {
-        $wantret =
-          "returned code " . ( defined( $cmd{'return'} ) ? $cmd{'return'} : 0 );
+        $wantret = "returned code " . ( defined( $cmd{'return'} ) ? $cmd{'return'} : 0 );
     }
 
-    local *got = $cmd{'got'};
-    seek( got, 0, 0 );
-
     # pop all output from executing child
     my @got;
-    while ( defined( my $got = <got> ) ) {
+    map { print "GOT: $_\n" } ${$cmd{'got'}} if $opts{'debug'};
+    foreach my $got ( split("\n", ${$cmd{'got'}}) ) {
         $got =~ s/\r//g;
         chomp $got;
         print $diff_tool_tmp_fh "> $got\n" if ($diff_tool);
 
-        if ( !( $enable_coverage and $got =~ /^profiling:/ ) ) {
+        unless ( $enable_coverage and $got =~ /^profiling:/ ) {
             push @got, $got;
         }
     }
@@ -361,33 +295,21 @@ sub parse_out {
 
     # Did we timeout ? If yes, handle it. If not, kill the forked process.
 
-    if ( $timeout == -1
-        and ( $gotret eq "got signal SIGTERM" or $gotret eq "got signal SIGKILL" ) )
-    {
-        $gotret   = "return code 0";
-        $timeout  = 1;
-        $gotret   = "timeout after $time_to_wait sec";
+    if ( $cmd{'timeouted'} ) {
+        $gotret   = "timeout after $cmd{'timeout'} sec";
         $error    = 1;
         $exitcode = 3;
         print STDERR "<$cmd{'file'}:$cmd{'line'}> timeouted. Kill the process.\n";
-    } else {
-        $timeout = 0;
     }
     if ( $gotret ne $wantret ) {
         $error = 1;
         my $msg = "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> $gotret)\n";
-        if ( $timeout != 1 ) {
+        if ( scalar @got ) {
             $msg = $msg . "Output of <$cmd{'file'}:$cmd{'line'}> so far:\n";
-        }
-        map { $msg .= "|| $_\n" } @got;
-        if ( !@got ) {
-            if ( $timeout == 1 ) {
-                print STDERR "<$cmd{'file'}:$cmd{'line'}> No output before timeout\n";
-            } else {
-                $msg .= "||\n";
-            }
-        }
-        $timeout = 0;
+           map { $msg .= "|| $_\n" } @got;
+        } else {
+           $msg .= "<$cmd{'file'}:$cmd{'line'}> No output so far.\n";
+       }
         print STDERR "$msg";
     }
 
@@ -422,19 +344,6 @@ sub parse_out {
     }
 }
 
-sub mkfile_cmd {
-    my %cmd  = %{ $_[0] };
-    my $file = $cmd{'arg'};
-    print "[Tesh/INFO] mkfile $file\n";
-
-    unlink($file);
-    open( FILE, ">$file" )
-      or die "[Tesh/CRITICAL] Unable to create file $file: $!\n";
-    print FILE join( "\n", @{ $cmd{'in'} } );
-    print FILE "\n" if ( scalar @{ $cmd{'in'} } > 0 );
-    close(FILE);
-}
-
 # parse tesh file
 my $infh;    # The file descriptor from which we should read the teshfile
 if ( $tesh_file eq "(stdin)" ) {
@@ -516,7 +425,7 @@ LINE: while ( defined( my $line = <$infh> ) and not $error ) {
               if scalar @{ cmd { 'out' } };
 
             $arg =~ s/^ *cd //;
-            cd_cmd( $arg );
+            cd_cmd($arg);
             %cmd = ();
 
         } else {    # regular command
@@ -534,7 +443,7 @@ LINE: while ( defined( my $line = <$infh> ) and not $error ) {
         $cmd{'cmd'}        = $arg;
         $cmd{'file'}       = $tesh_file;
         $cmd{'line'}       = $line_num;
-       
+
     } elsif ( $line =~ /^!\s*output sort/ ) {    #output sort
         if ( defined( $cmd{'cmd'} ) ) {
             exec_cmd( \%cmd );
@@ -612,13 +521,9 @@ if ($forked) {
 
 foreach (@bg_cmds) {
     my %test = %{$_};
-    waitpid( $test{'pid'}, 0 );
-    $test{'gotret'} = exit_status($?);
-    parse_out( \%test );
+    analyze_result( \%test );
 }
 
-@bg_cmds = ();
-
 if ($diff_tool) {
     close $diff_tool_tmp_fh;
     system("$diff_tool $diff_tool_tmp_filename $tesh_file");
@@ -633,31 +538,9 @@ if ( $error != 0 ) {
     print "Test suite `$tesh_name' OK\n";
 }
 
-#my (@a,@b);
-#push @a,"bl1";   push @b,"bl1";
-#push @a,"bl2";   push @b,"bl2";
-#push @a,"bl3";   push @b,"bl3";
-#push @a,"bl4";   push @b,"bl4";
-#push @a,"bl5";   push @b,"bl5";
-#push @a,"bl6";   push @b,"bl6";
-#push @a,"bl7";   push @b,"bl7";
-##push @a,"Perl";  push @b,"ruby";
-#push @a,"END1";   push @b,"END1";
-#push @a,"END2";   push @b,"END2";
-#push @a,"END3";   push @b,"END3";
-#push @a,"END4";   push @b,"END4";
-#push @a,"END5";   push @b,"END5";
-#push @a,"END6";   push @b,"END6";
-#push @a,"END7";   push @b,"END7";
-#print "Identical:\n". build_diff(\@a,\@b);
-
-#@a = (); @b =();
-#push @a,"AZE"; push @b,"EZA";
-#print "Different:\n".build_diff(\@a,\@b);
-
-use lib "@CMAKE_BINARY_DIR@/bin";
-
-use Diff qw(diff);    # postpone a bit to have time to change INC
+####
+#### Helper functions
+####
 
 sub build_diff {
     my $res;
@@ -690,3 +573,64 @@ sub build_diff {
     return $res;
 }
 
+# Helper function replacing any occurence of variable '$name' by its '$value'
+# As in Bash, ${$value:=BLABLA} is rewritten to $value if set or to BLABLA if $value is not set
+sub var_subst {
+    my ( $text, $name, $value ) = @_;
+    if ($value) {
+        $text =~ s/\${$name(?::[=-][^}]*)?}/$value/g;
+        $text =~ s/\$$name(\W|$)/$value$1/g;
+    } else {
+        $text =~ s/\${$name:=([^}]*)}/$1/g;
+        $text =~ s/\${$name}//g;
+        $text =~ s/\$$name(\W|$)/$1/g;
+    }
+    return $text;
+}
+
+################################  The possible commands  ################################
+
+sub mkfile_cmd($) {
+    my %cmd  = %{ $_[0] };
+    my $file = $cmd{'arg'};
+    print STDERR "[Tesh/INFO] mkfile $file. Ctn: >>".join( '\n', @{ $cmd{'in'} })."<<\n"
+      if $opts{'debug'};
+
+    unlink($file);
+    open( FILE, ">$file" )
+      or die "[Tesh/CRITICAL] Unable to create file $file: $!\n";
+    print FILE join( "\n", @{ $cmd{'in'} } );
+    print FILE "\n" if ( scalar @{ $cmd{'in'} } > 0 );
+    close(FILE);
+}
+
+# Command CD. Just change to the provided directory
+sub cd_cmd($) {
+    my $directory = shift;
+    my $failure   = 1;
+    if ( -e $directory && -d $directory ) {
+        chdir("$directory");
+        print "[Tesh/INFO] change directory to $directory\n";
+        $failure = 0;
+    } elsif ( -e $directory ) {
+        print "Cannot change directory to '$directory': it is not a directory\n";
+    } else {
+        print "Chdir to $directory failed: No such file or directory\n";
+    }
+    if ( $failure == 1 ) {
+        print "Test suite `$tesh_file': NOK (system error)\n";
+        exit 4;
+    }
+}
+
+# Command setenv. Gets "variable=content", and update the environment accordingly
+sub setenv_cmd($) {
+    my $arg = shift;
+    if ( $arg =~ /^(.*)=(.*)$/ ) {
+        my ( $var, $ctn ) = ( $1, $2 );
+        print "[Tesh/INFO] setenv $var=$ctn\n";
+        $environ{$var} = $ctn;
+    } else {
+        die "[Tesh/CRITICAL] Malformed argument to setenv: expected 'name=value' but got '$arg'\n";
+    }
+}