Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Ooops, I bork a test
[simgrid.git] / tools / tesh / tesh.pl
1 #! /usr/bin/perl
2
3 # Copyright (c) 2012-2014. The SimGrid Team.
4 # All rights reserved.
5
6 # This program is free software; you can redistribute it and/or modify it
7 # under the terms of the license (GNU LGPL) which comes with this package.
8 eval 'exec perl -S $0 ${1+"$@"}'
9   if $running_under_some_shell;
10
11 =encoding UTF-8
12
13 =head1 NAME
14
15 tesh -- testing shell
16
17 =head1 SYNOPSIS
18
19 B<tesh> [I<options>] I<tesh_file>
20
21 =cut
22 my($bindir)=".";
23 my($srcdir)=".";
24 my($timeout)=0;
25 my($time_to_wait)=0;
26 my $path = $0;
27 my $OS;
28 my $enable_coverage=0;
29 my $diff_tool=0;
30 my $diff_tool_tmp_fh=0;
31 my $diff_tool_tmp_filename=0;
32 my $sort_prefix = 19;
33 my $tesh_file;
34 my $tesh_name;
35 my $error=0;
36 my $exitcode=0;
37 my @bg_cmds;
38 my (%environ);
39 $SIG{'PIPE'} = 'IGNORE';
40 $path =~ s|[^/]*$||;
41 push @INC,$path;
42
43 use Getopt::Long qw(GetOptions);
44 use strict;
45 use Term::ANSIColor;
46 use Text::ParseWords;
47 use IPC::Open3;
48 use IO::File;
49
50 if($^O eq "linux"){
51     $OS = "UNIX";
52 }
53 else{
54     $OS = "WIN";
55     $ENV{"PRINTF_EXPONENT_DIGITS"} = "2";
56 }
57
58 ##
59 ## Command line option handling
60 ##
61
62 sub var_subst {
63     my ($text, $name, $value) = @_;
64     if ($value) {
65         $text =~ s/\${$name(?::[=-][^}]*)?}/$value/g;
66         $text =~ s/\$$name(\W|$)/$value$1/g;
67     }
68     else {
69         $text =~ s/\${$name:=([^}]*)}/$1/g;
70         $text =~ s/\${$name}//g;
71         $text =~ s/\$$name(\W|$)/$1/g;
72     }
73     return $text;
74 }
75
76 # option handling helper subs
77 sub cd_cmd {
78   my $directory=$_[1];
79   my $failure=1;
80   if (-e $directory && -d $directory) {
81     chdir("$directory");
82     print "[Tesh/INFO] change directory to $directory\n";
83   $failure=0;
84   } elsif (-e $directory) {
85     print "Cannot change directory to '$directory': it is not a directory\n";
86   } else {
87     print "Chdir to $directory failed: No such file or directory\n";
88   }
89   if($failure==1){
90   $error=1;
91   $exitcode=4;
92   print "Test suite `$tesh_file': NOK (system error)\n";
93   exit 4;
94   }
95 }
96
97 sub setenv_cmd {
98   my($var,$ctn);
99   if ($_[0] =~ /^(.*)=(.*)$/) {
100     ($var,$ctn)=($1,$2);
101   }elsif ($_[1] =~ /^(.*)=(.*)$/) {
102     ($var,$ctn)=($1,$2);
103   } else {
104       die "[Tesh/CRITICAL] Malformed argument to setenv: expected 'name=value' but got '$_[1]'\n";
105   }
106
107   print "[Tesh/INFO] setenv $var=$ctn\n";
108   $environ{$var} = $ctn;
109 }
110
111 # Main option parsing sub
112
113 sub get_options {
114   # remove the tesh file from the ARGV used
115   my @ARGV = @_;
116   $tesh_file = pop @ARGV;
117
118   # temporary arrays for GetOption
119   my @verbose = ();
120   my @cfg;
121   my $log; # ignored
122
123
124   my %opt = (
125     "help"  => 0,
126     "debug"   => 0,
127     "verbose" => 0
128     );
129
130   Getopt::Long::config('bundling', 'no_getopt_compat', 'no_auto_abbrev');
131
132   GetOptions(
133     'help|h'   => \$opt{'help'},
134
135     'verbose|v'  => \@verbose,
136     'debug|d'  => \$opt{"debug"},
137
138     'difftool=s' => \$diff_tool,
139
140     'cd=s'     => \&cd_cmd,
141     'timeout=s'  => \$opt{'timeout'},
142     'setenv=s'   => \&setenv_cmd,
143     'cfg=s'    => \@cfg,
144     'log=s'    => \$log,
145     'enable-coverage+'  => \$enable_coverage,
146     );
147
148   if($enable_coverage){
149     print "Enable coverage\n";
150   }
151
152   if($diff_tool){
153     use File::Temp qw/ tempfile /;
154     ($diff_tool_tmp_fh, $diff_tool_tmp_filename) = tempfile();
155     print "New tesh: $diff_tool_tmp_filename\n";
156   }
157
158   unless($tesh_file=~/(.*)\.tesh/){
159     $tesh_file="(stdin)";
160     $tesh_name="(stdin)";
161     print "Test suite from stdin\n";
162   }else{
163     $tesh_name=$1;
164     print "Test suite `$tesh_name'\n";
165   }
166
167   $opt{'verbose'} = scalar @verbose;
168   foreach (@cfg) {
169     $opt{'cfg'} .= " --cfg=$_";
170   }
171   return %opt;
172 }
173
174 my %opts = get_options(@ARGV);
175
176 ##
177 ## File parsing
178 ##
179 my($nb_arg)=0;
180 my($old_buffer);
181 my($linebis);
182 my($SIGABRT)=0;
183 my($verbose)=0;
184 my($return)=-1;
185 my($pid);
186 my($result);
187 my($result_err);
188 my($forked);
189 my($config)="";
190 my($tesh_command)=0;
191 my(@buffer_tesh)=();
192
193 #eval {
194   use POSIX;
195
196   sub exit_status {
197     my $status = shift;
198     if (POSIX::WIFEXITED($status)) {
199       $exitcode=POSIX::WEXITSTATUS($status)+40;
200       return "returned code ".POSIX::WEXITSTATUS($status);
201     } elsif (POSIX::WIFSIGNALED($status)) {
202       my $code;
203       if (POSIX::WTERMSIG($status) == SIGINT){$code="SIGINT"; }
204       elsif  (POSIX::WTERMSIG($status) == SIGTERM) {$code="SIGTERM"; }
205       elsif  (POSIX::WTERMSIG($status) == SIGKILL) {$code= "SIGKILL"; }
206       elsif  (POSIX::WTERMSIG($status) == SIGABRT) {$code="SIGABRT"; }
207       elsif  (POSIX::WTERMSIG($status) == SIGSEGV) {$code="SIGSEGV" ;}
208       $exitcode=POSIX::WTERMSIG($status)+4;
209       return "got signal $code";
210     }
211     return "Unparsable status. Is the process stopped?";
212   }
213 #};
214 #if ($@) { # no POSIX available?
215 #  warn "POSIX not usable to parse the return value of forked child: $@\n";
216 #  sub exit_status {
217 #    return "returned code -1 $@ ";
218 #  }
219 #}
220
221 sub exec_cmd {
222   my %cmd = %{$_[0]};
223   if ($opts{'debug'}) {
224     print "IN BEGIN\n";
225     map {print "  $_"} @{$cmd{'in'}};
226     print "IN END\n";
227     print "OUT BEGIN\n";
228     map {print "  $_"} @{$cmd{'out'}};
229     print "OUT END\n";
230     print "CMD: $cmd{'cmd'}\n";
231   }
232
233   # cleanup the command line
234   if($OS eq "WIN") {
235       var_subst($cmd{'cmd'}, "EXEEXT", ".exe");
236   } else {
237       var_subst($cmd{'cmd'}, "EXEEXT", "");
238   }
239
240   # substitute environ variables
241   foreach my $key (keys %environ) {
242       $cmd{'cmd'} = var_subst($cmd{'cmd'}, $key, $environ{$key});
243   }
244   # substitute remaining variables, if any
245   while ($cmd{'cmd'} =~ /\${(\w+)(?::[=-][^}]*)?}/) {
246       $cmd{'cmd'} = var_subst($cmd{'cmd'}, $1, "");
247   }
248   while ($cmd{'cmd'} =~ /\$(\w+)/) {
249       $cmd{'cmd'} = var_subst($cmd{'cmd'}, $1, "");
250   }
251
252   # add cfg options
253   $cmd{'cmd'} .= " $opts{'cfg'}" if (defined($opts{'cfg'}) && length($opts{'cfg'}));
254
255   # final cleanup
256   $cmd{'cmd'} =~ s/^\s+//;
257   $cmd{'cmd'} =~ s/\s+$//;
258
259   print "[$tesh_name:$cmd{'line'}] $cmd{'cmd'}\n" ;
260
261   ###
262   # exec the command line
263   ###  $line =~ s/\r//g;
264
265   $cmd{'got'} = IO::File->new_tmpfile;
266   $cmd{'got'}->autoflush(1);
267   local *E = $cmd{'got'};
268   $cmd{'pid'} = open3(\*CHILD_IN,  ">&E",  ">&E",
269                       quotewords('\s+', 0, $cmd{'cmd'}));
270
271   # push all provided input to executing child
272   map { print CHILD_IN "$_\n"; }  @{$cmd{'in'}};
273   close CHILD_IN;
274
275   # if timeout specified, fork and kill executing child at the end of timeout
276   if (defined($cmd{'timeout'}) or defined($opts{'timeout'})){
277     $time_to_wait= defined($cmd{'timeout'}) ? $cmd{'timeout'} : $opts{'timeout'};
278     $forked = fork();
279     $timeout=-1;
280     die "fork() failed: $!" unless defined $forked;
281     if ( $forked == 0 ) { # child
282       sleep $time_to_wait;
283       kill(SIGKILL, $cmd{'pid'});
284       exit $time_to_wait;
285     }
286   }
287
288
289   # Cleanup the executing child, and kill the timeouter brother on need
290   $cmd{'return'} = 0 unless defined($cmd{'return'});
291   if($cmd{'background'} != 1){
292     waitpid ($cmd{'pid'}, 0);
293     $cmd{'gotret'} = exit_status($?);
294     parse_out(\%cmd);
295   }else{
296     # & commands, which will be handled at the end
297     push @bg_cmds, \%cmd;
298     # no timeout for background commands
299     if($forked){
300        kill(SIGKILL, $forked);
301        $timeout=0;
302        $forked=0;
303     }
304   }
305 }
306
307
308 sub parse_out {
309   my %cmd = %{$_[0]};
310   my $gotret=$cmd{'gotret'};
311
312   my $wantret;
313
314   if(defined($cmd{'expect'}) and ($cmd{'expect'} ne "")){
315     $wantret = "got signal $cmd{'expect'}";
316   }else{
317     $wantret = "returned code ".(defined($cmd{'return'})? $cmd{'return'} : 0);
318   }
319
320   local *got = $cmd{'got'};
321   seek(got,0,0);
322   # pop all output from executing child
323   my @got;
324   while(defined(my $got=<got>)) {
325     $got =~ s/\r//g;
326     chomp $got;
327     print $diff_tool_tmp_fh "> $got\n" if ($diff_tool);
328
329     if (!($enable_coverage and $got=~ /^profiling:/)){
330       push @got, $got;
331     }
332   }
333
334   if ($cmd{'sort'}){
335     # Save the unsorted observed output to report it on error.
336     map { push @{$cmd{'unsorted got'}}, $_ } @got;
337
338     sub mysort{
339         substr($a, 0, $sort_prefix) cmp substr($b, 0, $sort_prefix)
340     }
341     use sort 'stable';
342     @got = sort mysort @got;
343     while (@got and $got[0] eq "") {
344       shift @got;
345     }
346
347     # Sort the expected output to make it easier to write for humans
348     if(defined($cmd{'out'})){
349       @{$cmd{'out'}}=sort mysort @{$cmd{'out'}};
350       while (@{$cmd{'out'}} and ${$cmd{'out'}}[0] eq "") {
351         shift @{$cmd{'out'}};
352       }
353     }
354   }
355
356   # Did we timeout ? If yes, handle it. If not, kill the forked process.
357
358   if($timeout==-1 and $gotret eq "got signal SIGKILL"){
359     $gotret="return code 0";
360     $timeout=1;
361     $gotret= "timeout after $time_to_wait sec";
362     $error=1;
363     $exitcode=3;
364     print STDERR "<$cmd{'file'}:$cmd{'line'}> timeouted. Kill the process.\n";
365   }else{
366     $timeout=0;
367   }
368   if($gotret ne $wantret) {
369     $error=1;
370     my $msg = "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> $gotret)\n";
371     if ($timeout!=1) {
372         $msg=$msg."Output of <$cmd{'file'}:$cmd{'line'}> so far:\n";
373     }
374     map {$msg .=  "|| $_\n"} @got;
375     if(!@got) {
376         if($timeout==1){
377         print STDERR "<$cmd{'file'}:$cmd{'line'}> No output before timeout\n";
378         }else{
379         $msg .= "||\n";
380         }
381     }
382     $timeout = 0;
383     print STDERR "$msg";
384   }
385
386
387   ###
388   # Check the result of execution
389   ###
390   my $diff;
391   if (defined($cmd{'output display'})){
392     print "[Tesh/INFO] Here is the (ignored) command output:\n";
393     map { print "||$_\n" } @got;
394   }
395   elsif (!defined($cmd{'output ignore'})){
396     $diff = build_diff(\@{$cmd{'out'}}, \@got);
397   }else{
398     print "(ignoring the output of <$cmd{'file'}:$cmd{'line'}> as requested)\n"
399   }
400   if (length $diff) {
401     print "Output of <$cmd{'file'}:$cmd{'line'}> mismatch".($cmd{'sort'}?" (even after sorting)":"").":\n";
402     map { print "$_\n" } split(/\n/,$diff);
403     if ($cmd{'sort'}) {
404         print "WARNING: both the observed output and expected output were sorted as requested.\n";
405         print "----8<---------------  Begin of unprocessed observed output (as it should appear in file):\n";
406         map {print "> $_\n"} @{$cmd{'unsorted got'}};
407         print "--------------->8----  End of the unprocessed observed output.\n";
408     }
409
410     print "Test suite `$cmd{'file'}': NOK (<$cmd{'file'}:$cmd{'line'}> output mismatch)\n";
411     $error=1;
412     $exitcode=2;
413   }
414 }
415
416 sub mkfile_cmd {
417   my %cmd = %{$_[0]};
418   my $file = $cmd{'arg'};
419   print "[Tesh/INFO] mkfile $file\n";
420
421   unlink($file);
422   open(FILE,">$file") or die "[Tesh/CRITICAL] Unable to create file $file: $!\n";
423   print FILE join("\n", @{$cmd{'in'}});
424   print FILE "\n" if (scalar @{$cmd{'in'}} > 0);
425   close(FILE);
426 }
427
428 # parse tesh file
429 #my $teshfile=$tesh_file;
430 #$teshfile=~ s{\.[^.]+$}{};
431
432 unless($tesh_file eq "(stdin)"){
433   open TESH_FILE, $tesh_file or die "[Tesh/CRITICAL] Unable to open $tesh_file $!\n";
434 }
435
436 my %cmd; # everything about the next command to run
437 my $line_num=0;
438 my $finished =0;
439 LINE: while (not $finished and not $error) {
440   my $line;
441
442
443   if ($tesh_file ne "(stdin)" and !defined($line=<TESH_FILE>)){
444     $finished=1;
445     next LINE;
446   }elsif ($tesh_file eq "(stdin)" and !defined($line=<>)){
447     $finished=1;
448     next LINE;
449   }
450
451   $line_num++;
452   chomp $line;
453   $line =~ s/\r//g;
454   print "[TESH/debug] $line_num: $line\n" if $opts{'debug'};
455   my $next;
456   # deal with line continuations
457   while ($line =~ /^(.*?)\\$/) {
458     $next=<TESH_FILE>;
459     die "[TESH/CRITICAL] Continued line at end of file\n"
460       unless defined($next);
461     $line_num++;
462     chomp $next;
463     print "[TESH/debug] $line_num: $next\n" if $opts{'debug'};
464     $line = $1.$next;
465   }
466
467   # Push delayed commands on empty lines
468   unless ($line =~ m/^(.)(.*)$/) {
469     if (defined($cmd{'cmd'}))  {
470       exec_cmd(\%cmd);
471       %cmd = ();
472     }
473     print $diff_tool_tmp_fh "$line\n" if ($diff_tool);
474     next LINE;
475   }
476
477   my ($cmd,$arg) = ($1,$2);
478   print $diff_tool_tmp_fh "$line\n" if ($diff_tool and $cmd ne '>');
479   $arg =~ s/^ //g;
480   $arg =~ s/\r//g;
481   $arg =~ s/\\\\/\\/g;
482   # handle the commands
483   if ($cmd =~ /^#/) {    #comment
484   } elsif ($cmd eq '>'){    #expected result line
485     print "[TESH/debug] push expected result\n" if $opts{'debug'};
486     push @{$cmd{'out'}}, $arg;
487
488   } elsif ($cmd eq '<') {    # provided input
489     print "[TESH/debug] push provided input\n" if $opts{'debug'};
490     push @{$cmd{'in'}}, $arg;
491
492   } elsif ($cmd eq 'p') {    # comment
493     print "[$tesh_name:$line_num] $arg\n";
494
495   } elsif ($cmd eq '$') {  # Command
496     # if we have something buffered, run it now
497     if (defined($cmd{'cmd'})) {
498       exec_cmd(\%cmd);
499       %cmd = ();
500     }
501     if ($arg =~ /^\s*mkfile /){      # "mkfile" command line
502       die "[TESH/CRITICAL] Output expected from mkfile command!\n" if scalar @{cmd{'out'}};
503
504       $cmd{'arg'} = $arg;
505       $cmd{'arg'} =~ s/\s*mkfile //;
506       mkfile_cmd(\%cmd);
507       %cmd = ();
508
509     } elsif ($arg =~ /^\s*cd /) {
510       die "[TESH/CRITICAL] Input provided to cd command!\n" if scalar @{cmd{'in'}};
511       die "[TESH/CRITICAL] Output expected from cd command!\n" if scalar @{cmd{'out'}};
512
513       $arg =~ s/^ *cd //;
514       cd_cmd("",$arg);
515       %cmd = ();
516
517     } else { # regular command
518       $cmd{'cmd'} = $arg;
519       $cmd{'file'} = $tesh_file;
520       $cmd{'line'} = $line_num;
521     }
522   }
523   elsif($cmd eq '&'){      # parallel command line
524
525     if (defined($cmd{'cmd'})) {
526       exec_cmd(\%cmd);
527       %cmd = ();
528     }
529     $cmd{'background'} = 1;
530     $cmd{'cmd'} = $arg;
531     $cmd{'file'} = $tesh_file;
532     $cmd{'line'} = $line_num;
533   }
534   elsif($line =~ /^!\s*output sort/){    #output sort
535     if (defined($cmd{'cmd'})) {
536       exec_cmd(\%cmd);
537       %cmd = ();
538     }
539     $cmd{'sort'} = 1;
540     if ($line =~ /^!\s*output sort\s+(\d+)/) {
541         $sort_prefix = $1;
542     }
543   }
544   elsif($line =~ /^!\s*output ignore/){    #output ignore
545     if (defined($cmd{'cmd'})) {
546       exec_cmd(\%cmd);
547       %cmd = ();
548     }
549     $cmd{'output ignore'} = 1;
550   }
551   elsif($line =~ /^!\s*output display/){    #output display
552     if (defined($cmd{'cmd'})) {
553       exec_cmd(\%cmd);
554       %cmd = ();
555     }
556     $cmd{'output display'} = 1;
557   }
558   elsif($line =~ /^!\s*expect signal (\w*)/) {#expect signal SIGABRT
559     if (defined($cmd{'cmd'})) {
560       exec_cmd(\%cmd);
561       %cmd = ();
562     }
563 print "hey\n";
564     $cmd{'expect'} = "$1";
565   }
566   elsif($line =~ /^!\s*expect return/){    #expect return
567     if (defined($cmd{'cmd'})) {
568       exec_cmd(\%cmd);
569       %cmd = ();
570     }
571     $line =~ s/^! expect return //g;
572     $line =~ s/\r//g;
573     $cmd{'return'} = $line;
574   }
575   elsif($line =~ /^!\s*setenv/){    #setenv
576     if (defined($cmd{'cmd'})) {
577       exec_cmd(\%cmd);
578       %cmd = ();
579     }
580     $line =~ s/^! setenv //g;
581     $line =~ s/\r//g;
582     setenv_cmd($line);
583   }
584   elsif($line =~ /^!\s*include/){    #include
585     if (defined($cmd{'cmd'})) {
586       exec_cmd(\%cmd);
587       %cmd = ();
588     }
589     print color("red"), "[Tesh/CRITICAL] need include";
590     print color("reset"), "\n";
591     die;
592   }
593   elsif($line =~ /^!\s*timeout/){    #timeout
594     if (defined($cmd{'cmd'})) {
595       exec_cmd(\%cmd);
596       %cmd = ();
597     }
598     $line =~ s/^! timeout //;
599     $line =~ s/\r//g;
600     $cmd{'timeout'} = $line;
601   } else {
602     die "[TESH/CRITICAL] parse error: $line\n";
603   }
604   if($forked){
605    kill(SIGKILL, $forked);
606    $timeout=0;
607   }
608
609 }
610
611
612
613 # Deal with last command
614 if (defined($cmd{'cmd'})) {
615   exec_cmd(\%cmd);
616   %cmd = ();
617 }
618
619
620 if($forked){
621    kill(SIGKILL, $forked);
622    $timeout=0;
623 }
624
625 foreach(@bg_cmds){
626   my %test=%{$_};
627   waitpid ($test{'pid'}, 0);
628   $test{'gotret'} = exit_status($?);
629   parse_out(\%test);
630 }
631
632 @bg_cmds=();
633
634 if ($diff_tool) {
635   close $diff_tool_tmp_fh;
636   system("$diff_tool $diff_tool_tmp_filename $tesh_file");
637   unlink $diff_tool_tmp_filename;
638 }
639
640 if($error !=0){
641     exit $exitcode;
642 }elsif($tesh_file eq "(stdin)"){
643     print "Test suite from stdin OK\n";
644 }else{
645     print "Test suite `$tesh_name' OK\n";
646 }
647
648 #my (@a,@b);
649 #push @a,"bl1";   push @b,"bl1";
650 #push @a,"bl2";   push @b,"bl2";
651 #push @a,"bl3";   push @b,"bl3";
652 #push @a,"bl4";   push @b,"bl4";
653 #push @a,"bl5";   push @b,"bl5";
654 #push @a,"bl6";   push @b,"bl6";
655 #push @a,"bl7";   push @b,"bl7";
656 ##push @a,"Perl";  push @b,"ruby";
657 #push @a,"END1";   push @b,"END1";
658 #push @a,"END2";   push @b,"END2";
659 #push @a,"END3";   push @b,"END3";
660 #push @a,"END4";   push @b,"END4";
661 #push @a,"END5";   push @b,"END5";
662 #push @a,"END6";   push @b,"END6";
663 #push @a,"END7";   push @b,"END7";
664 #print "Identical:\n". build_diff(\@a,\@b);
665
666 #@a = (); @b =();
667 #push @a,"AZE"; push @b,"EZA";
668 #print "Different:\n".build_diff(\@a,\@b);
669
670 use lib "@CMAKE_BINARY_DIR@/bin" ;
671
672 use Diff qw(diff); # postpone a bit to have time to change INC
673
674 sub build_diff {
675   my $res;
676   my $diff = Diff->new(@_);
677
678   $diff->Base( 1 );   # Return line numbers, not indices
679   my $chunk_count = $diff->Next(-1); # Compute the amount of chuncks
680   return ""   if ($chunk_count == 1 && $diff->Same());
681   $diff->Reset();
682   while(  $diff->Next()  ) {
683     my @same = $diff->Same();
684     if ($diff->Same() ) {
685       if ($diff->Next(0) > 1) { # not first chunk: print 2 first lines
686         $res .= '  '.$same[0]."\n" ;
687         $res .= '  '.$same[1]."\n" if (scalar @same>1);
688       }
689       $res .= "...\n"  if (scalar @same>2);
690 #    $res .= $diff->Next(0)."/$chunk_count\n";
691       if ($diff->Next(0) < $chunk_count) { # not last chunk: print 2 last lines
692         $res .= '  '.$same[scalar @same -2]."\n" if (scalar @same>1);
693         $res .= '  '.$same[scalar @same -1]."\n";
694       }
695     }
696     next if  $diff->Same();
697     map { $res .= "- $_\n" } $diff->Items(1);
698     map { $res .= "+ $_\n" } $diff->Items(2);
699   }
700   return $res;
701 }
702
703