Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'master' of scm.gforge.inria.fr:/gitroot/simgrid/simgrid
authorMartin Quinson <martin.quinson@loria.fr>
Thu, 1 Oct 2015 13:06:29 +0000 (15:06 +0200)
committerMartin Quinson <martin.quinson@loria.fr>
Thu, 1 Oct 2015 13:06:29 +0000 (15:06 +0200)
examples/smpi/replay_multiple/replay_multiple.tesh
tools/cmake/AddTests.cmake
tools/cmake/Documentation.cmake
tools/tesh/CMakeLists.txt
tools/tesh/IO-broken-pipe.tesh
tools/tesh/README [deleted file]
tools/tesh/set-timeout.tesh
tools/tesh/tesh.1 [deleted file]
tools/tesh/tesh.pl

index 0b1a1df..241f0f5 100644 (file)
@@ -3,6 +3,7 @@ p Test the replay with multiple instances
 p first generate the deployment file
 $ ${srcdir:=.}/generate_multiple_deployment.sh -platform ${srcdir:=.}/../../platforms/small_platform_with_routers.xml -hostfile ${srcdir:=.}/../hostfile  ${srcdir:=.}/description_file deployment.xml
 
+! timeout 120
 $ ./replay_multiple description_file ${srcdir:=.}/../../platforms/small_platform_with_routers.xml deployment.xml --log=smpi.:info
 > [0.000000] [msg_test/INFO] Initializing instance 1 of size 32
 > [0.000000] [msg_test/INFO] Initializing instance 2 of size 32
index 1679d57..bc94d0c 100644 (file)
@@ -63,33 +63,38 @@ INCLUDE(CTest)
 ENABLE_TESTING()
 
 IF(NOT enable_memcheck)
+IF(NOT WIN32)
   ## CORE ##
   ### TESH ###
-  ADD_TESH(tesh-self-basic              --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/basic.tesh)
-  ADD_TESH(tesh-self-cd                 --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/cd.tesh)
-  ADD_TESH(tesh-self-setenv             --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/setenv.tesh)
-  ADD_TESH(tesh-self-IO-broken-pipe     --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/IO-broken-pipe.tesh)
-  ADD_TESH(tesh-self-IO-orders          --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/IO-orders.tesh)
-  ADD_TESH(tesh-self-IO-bigsize         --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/IO-bigsize.tesh)
-  ADD_TESH(tesh-self-set-return         --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-return.tesh)
-  ADD_TESH(tesh-self-set-timeout        --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-timeout.tesh)
-  ADD_TESH(tesh-self-set-output-ignore  --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-output-ignore.tesh)
-  ADD_TESH(tesh-self-set-output-sort    --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-output-sort.tesh)
-  ADD_TESH(tesh-self-catch-return       --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-return.tesh)
-  ADD_TESH(tesh-self-catch-timeout      --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-timeout.tesh)
-  ADD_TESH(tesh-self-catch-wrong-output --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-wrong-output.tesh)
-  ADD_TESH(tesh-self-bg-basic           --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/bg-basic.tesh)
-  ADD_TESH(tesh-self-background         --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/background.tesh)
-  ADD_TESH(tesh-self-bg-set-signal      --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/bg-set-signal.tesh)
-  ADD_TESH(tesh-self-catch-signal       --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-signal.tesh)
+  IF(NOT WIN32)
+    ADD_TESH(tesh-self-basic              --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/basic.tesh)
+    ADD_TESH(tesh-self-cd                 --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/cd.tesh)
+    ADD_TESH(tesh-self-setenv             --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/setenv.tesh)
+    ADD_TESH(tesh-self-IO-broken-pipe     --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/IO-broken-pipe.tesh)
+    ADD_TESH(tesh-self-IO-orders          --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/IO-orders.tesh)
+    ADD_TESH(tesh-self-IO-bigsize         --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/IO-bigsize.tesh)
+    ADD_TESH(tesh-self-set-return         --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-return.tesh)
+    ADD_TESH(tesh-self-set-timeout        --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-timeout.tesh)
+    ADD_TESH(tesh-self-set-output-ignore  --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-output-ignore.tesh)
+    ADD_TESH(tesh-self-set-output-sort    --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/set-output-sort.tesh)
+    ADD_TESH(tesh-self-catch-return       --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-return.tesh)
+    ADD_TESH(tesh-self-catch-timeout      --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-timeout.tesh)
+    ADD_TESH(tesh-self-catch-wrong-output --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-wrong-output.tesh)
+    ADD_TESH(tesh-self-bg-basic           --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/bg-basic.tesh)
+    ADD_TESH(tesh-self-background         --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/background.tesh)
+    ADD_TESH(tesh-self-bg-set-signal      --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/bg-set-signal.tesh)
+    ADD_TESH(tesh-self-catch-signal       --setenv bindir=${CMAKE_BINARY_DIR}/bin ${CMAKE_HOME_DIRECTORY}/tools/tesh/catch-signal.tesh)
+  ENDIF()
 
   ### GENERIC  ###
   # BEGIN TESH TESTS
   # test for code coverage
-  ADD_TEST(test-help                             ${CMAKE_BINARY_DIR}/teshsuite/simdag/platforms/basic_parsing_test --help)
-  ADD_TEST(test-help-models                      ${CMAKE_BINARY_DIR}/teshsuite/simdag/platforms/basic_parsing_test --help-models)
-  ADD_TEST(test-tracing-help                   ${CMAKE_BINARY_DIR}/teshsuite/simdag/platforms/basic_parsing_test --help-tracing)
-  ADD_TESH(graphicator                         --setenv srcdir=${CMAKE_HOME_DIRECTORY} --setenv bindir=${CMAKE_BINARY_DIR}/bin --cd ${CMAKE_HOME_DIRECTORY}/tools/graphicator graphicator.tesh)
+  IF(NOT WIN32)
+    ADD_TEST(test-help                             ${CMAKE_BINARY_DIR}/teshsuite/simdag/platforms/basic_parsing_test --help)
+    ADD_TEST(test-help-models                      ${CMAKE_BINARY_DIR}/teshsuite/simdag/platforms/basic_parsing_test --help-models)
+    ADD_TEST(test-tracing-help                   ${CMAKE_BINARY_DIR}/teshsuite/simdag/platforms/basic_parsing_test --help-tracing)
+    ADD_TESH(graphicator                         --setenv srcdir=${CMAKE_HOME_DIRECTORY} --setenv bindir=${CMAKE_BINARY_DIR}/bin --cd ${CMAKE_HOME_DIRECTORY}/tools/graphicator graphicator.tesh)
+  ENDIF()
   # END TESH TESTS
 
   ADD_TESH(mc-replay-random-bug                  --setenv bindir=${CMAKE_BINARY_DIR}/teshsuite/mc/replay --setenv srcdir=${CMAKE_HOME_DIRECTORY}/teshsuite/mc/replay --cd ${CMAKE_HOME_DIRECTORY}/teshsuite/mc/replay random_bug_replay.tesh)
@@ -499,6 +504,7 @@ IF(NOT enable_memcheck)
   ENDIF()
   # END TESH TESTS
 
+endif(NOT WIN32)
 
   ### JAVA ###
   IF(enable_java)
index 5c43242..038edc3 100644 (file)
@@ -141,11 +141,12 @@ endif()
 add_custom_target(manpages ALL
   COMMAND ${CMAKE_COMMAND} -E make_directory ${MANPAGE_DIR}
   COMMAND pod2man ${CMAKE_HOME_DIRECTORY}/tools/simgrid_update_xml.pl > ${MANPAGE_DIR}/simgrid_update_xml.1
+  COMMAND pod2man ${CMAKE_HOME_DIRECTORY}/tools/tesh/tesh.pl > ${MANPAGE_DIR}/tesh.1
   COMMENT "Generating manpages"
   )
 install(FILES
   ${MANPAGE_DIR}/simgrid_update_xml.1
-  ${CMAKE_HOME_DIRECTORY}/tools/tesh/tesh.1
+  ${MANPAGE_DIR}/tesh.1
   ${CMAKE_HOME_DIRECTORY}/doc/manpage/smpicc.1
   ${CMAKE_HOME_DIRECTORY}/doc/manpage/smpicxx.1
   ${CMAKE_HOME_DIRECTORY}/doc/manpage/smpif90.1
index 5d6d6ff..b0a018c 100644 (file)
@@ -42,7 +42,5 @@ set(bin_files
   )
 set(txt_files
   ${txt_files}
-  ${CMAKE_CURRENT_SOURCE_DIR}/README
-  ${CMAKE_CURRENT_SOURCE_DIR}/tesh.1
   PARENT_SCOPE
   )
index df79b7c..0f4e134 100644 (file)
@@ -6,76 +6,76 @@
 #
 
 < blablablablablablablablablablablablablablablablablablablabla 01
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 02
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 03
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 04
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 05
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 06
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 07
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 08
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 09
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 10
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 11
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 12
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 13
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 14
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 15
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 16
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 17
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 18
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 19
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 20
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 21
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 22
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 23
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 24
-$ echo
+$ cmake -E echo
 
 < blablablablablablablablablablablablablablablablablablablabla 25
-$ echo
+$ cmake -E echo
diff --git a/tools/tesh/README b/tools/tesh/README
deleted file mode 100644 (file)
index 5298b49..0000000
+++ /dev/null
@@ -1,149 +0,0 @@
-This is the TESH tool. It constitutes a testing shell, ie a sort of shell
-specialized to run tests. The list of actions to take is parsed from files
-files called testsuite.
-
-Testsuites syntax
------------------
-Here is the syntax of these files:
-
-The kind of each line is given by the first char (the second char should be
-blank and is ignored):
-
- `$' command to run in foreground
- `&' command to run in background
- `<' input to pass to the command
- `>' output expected from the command
- `!' metacommand, which can be one of:
-     `timeout' <integer>|no
-     `expect signal' <signal name>
-     `expect return' <integer>
-     `output' <ignore|display>
-     `setenv <key>=<val>'
- `p' a string to print
- `P' a string to print at the CRITICAL level (ease logging grepping)
-
-If the expected output do not match what the command spits, TESH will produce
-an error showing the diff (see OUTPUT below).
-
-Command line arguments
-----------------------
-Tesh accepts several command line arguments:
-  --cd some/directory : ask tesh to switch the working directory before
-                        launching the tests
-  --setenv var=value  : set a specific environment variable
-  --cfg arg           : add parameter --cfg=arg to each command line
-  --enable-coverage   : ignore output lines starting with "profiling:"
-
-IO orders
----------
-
-The < and > lines add IO to the command defined in the current block (blocks
-are separated by blank lines). It is possible to place these lines either after
-the command or before. The difference between the two following chunks is
-mainly cosmetic in your testsuites, TESH don't care. (cf IO-orders.tesh)
-
- $ cat
- < TOTO
- > TOTO
-
- > TOTO
- $ cat
- < TOTO
-
-Nevertheless, it is possible to have several commands in the same block, but
-none of them can have any output. It may seem a bit restrictive, as one could
-say that a command gets all the IO until the next command, but I'm afraid of
-errors such as the following:
-
- $ cd toto
- > TOTO
- $ mkfile file
-
-TOTO will be passed to the cd command, where the user clearly want to pass it
-to the mkfile built-in command (see below).
-
-Stream redirection
-------------------
-Stream redirections (">", "<" and "|" constructs in sh) are not
-implemented yet in tesh. This is a bit restrictive, but well, patch
-welcome...
-
-The situation in which it is mainly problematic is to create a
-temporary file. The solution is to use the "mkfile" built-in command,
-as in the following example:
-$ mkfile myFile
-> some content
-> to the file
-
-This will create a file called myFile (first argument of the mkfile
-command). Its content will be all the input provided to the command.
-
-RETURN CODE
------------
-
-TESH spits an appropriate error message when the child do not return 0 as
-return code (cf. catch-return.tesh), and returns code+40 itself.
-
-It is also possible to specify that a given command must return another
-value. For this, use the "expect return" metacommand, which takes an integer as
-argument. The change only apply to the next command (cf. set-return.tesh).
-
-SIGNALS
--------
-
-TESH detects when the child is killed by a signal (like on segfaults), and
-spits an appropriate error message (cf. catch-signal.tesh).
-
-It is also possible to specify that a given command must raise a given
-signal. For this, use the "expect signal" metacommand. It takes the signal name
-as argument. The change only apply to the next command (cf. set-signal.tesh).
-
-TIMEOUTS
---------
-
-By default, all commands are given 5 seconds to execute
-(cf. catch-timeout.tesh). You can change this with the "timeout", which
-takes an integer as argument. The change only apply to the next command
-(cf. set-timeout.tesh). If you pass "no" as argument, the command
-cannot timeout.
-
-OUTPUT
-------
-
-By default, the commands output is matched against the one expected,
-and an error is raised on discrepancy. Metacommands to change this:
- "output ignore"  -> output completely discarded
- "output display" -> output displayed (but not verified)
- "output sort"    -> sorts the display before verifying it (see below)
-
-SORTING OUTPUT
---------------
-Sorting the output seems to be a strange idea, but it is mandatory in
-SimGrid since the processes run out of order at any scheduling point
-(ie, every processes ready to run at simulated time t run in
-parallel). To ensure that the simulator outputs still match, we have
-to sort the output back before comparing it.
-
-We expect the simulators to run with that log formatting argument:
-   -log=root.fmt:[%10.6r]%e(%i:%P@%h)%e%m%n
-Then, tesh sorts string on the 19 first chars only, and is stable when
-line beginnings are equal. This should ensure that:
- (1) tesh is effective (no false positive, no false negative)
- (2) scheduling points are separated from each other
- (3) at each scheduling point, processes are separated from each other
- (4) the order of what a given process says at a given scheduling
-     point is preserved.
-
-This is of course very SimGrid oriented, breaking the generality of
-tesh, but who cares, actually?
-
-If you want to change the length of the prefix used for the sort,
-simply specify it after the output sort directive, like this:
-
-! output sort 22
-
-ENVIRONMENT
------------
-You can add some content to the tested processes environment with the
-setenv metacommand. It works as expected. For example:
-  "setenv PATH=/bin"
\ No newline at end of file
index 7f94ed9..1ba153f 100644 (file)
@@ -5,3 +5,6 @@
 
 ! timeout 10
 $ sleep 6
+
+! timeout no
+$ sleep 1
\ No newline at end of file
diff --git a/tools/tesh/tesh.1 b/tools/tesh/tesh.1
deleted file mode 100644 (file)
index 3c55b70..0000000
+++ /dev/null
@@ -1,148 +0,0 @@
-.\" Manpage for tesh, the TEsting SHell.
-.\" 
-.\" To read it locally (when not installed): 
-.\"   man ./tesh.1
-.\"
-.TH tesh 1 "10 Oct 2012" "1.0" "tesh man page"
-.SH NAME
-tesh \- testing shell
-.SH SYNOPSIS
-.B tesh
-[\fIOPTION\fR]... [\fIFILE\fR]...
-.SH DESCRIPTION
-This is the TESH tool. It constitutes a testing shell, ie a sort of shell specialized to run tests. The list of actions to take is parsed from files files called testsuite.
-.SH OPTIONS
-  --cd some/directory : ask tesh to switch the working directory before
-                        launching the tests
-  --setenv var=value  : set a specific environment variable
-  --cfg arg           : add parameter --cfg=arg to each command line
-  --enable-coverage   : ignore output lines starting with "profiling:"
-.SH TESH FILE SYNTAX
-Here is the syntax of these files:
-
-The kind of each line is given by the first char (the second char should be
-blank and is ignored):
-
- `$' command to run in foreground
- `&' command to run in background
- `<' input to pass to the command
- `>' output expected from the command
- `!' metacommand, which can be one of:
-     `timeout' <integer>|no
-     `expect signal' <signal name>
-     `expect return' <integer>
-     `output' <ignore|display>
-     `setenv <key>=<val>'
- `p' a string to print
- `P' a string to print at the CRITICAL level (ease logging grepping)
-
-If the expected output do not match what the command spits, TESH will produce
-an error showing the diff (see OUTPUT below).
-.SH IO ORDERS
-The < and > lines add IO to the command defined in the current block (blocks
-are separated by blank lines). It is possible to place these lines either after
-the command or before. The difference between the two following chunks is
-mainly cosmetic in your testsuites, TESH don't care. (cf IO-orders.tesh)
-
- $ cat
- < TOTO
- > TOTO
-
- > TOTO
- $ cat
- < TOTO
-
-Nevertheless, it is possible to have several commands in the same block, but
-none of them can have any output. It may seem a bit restrictive, as one could
-say that a command gets all the IO until the next command, but I'm afraid of
-errors such as the following:
-
- $ cd toto
- > TOTO
- $ mkfile file
-
-TOTO will be passed to the cd command, where the user clearly want to pass it
-to the mkfile built-in command (see below).
-.SH STREAM REDIRECTION
-Stream redirections (">", "<" and "|" constructs in sh) are not
-implemented yet in tesh. This is a bit restrictive, but well, patch
-welcome...
-
-The situation in which it is mainly problematic is to create a
-temporary file. The solution is to use the "mkfile" built-in command,
-as in the following example:
-$ mkfile myFile
-> some content
-> to the file
-
-This will create a file called myFile (first argument of the mkfile
-command). Its content will be all the input provided to the command.
-.SH RETURN CODE
-TESH spits an appropriate error message when the child do not return 0 as
-return code (cf. catch-return.tesh), and returns code+40 itself.
-
-It is also possible to specify that a given command must return another
-value. For this, use the "expect return" metacommand, which takes an integer as
-argument. The change only apply to the next command (cf. set-return.tesh).
-.SH SIGNALS
-TESH detects when the child is killed by a signal (like on segfaults), and
-spits an appropriate error message (cf. catch-signal.tesh).
-
-It is also possible to specify that a given command must raise a given
-signal. For this, use the "expect signal" metacommand. It takes the signal name
-as argument. The change only apply to the next command (cf. set-signal.tesh).
-.SH TIMEOUTS
-By default, all commands are given 5 seconds to execute
-(cf. catch-timeout.tesh). You can change this with the "timeout", which
-takes an integer as argument. The change only apply to the next command
-(cf. set-timeout.tesh). If you pass "no" as argument, the command
-cannot timeout.
-.SH OUTPUT
-By default, the commands output is matched against the one expected,
-and an error is raised on discrepancy. Metacommands to change this:
- "output ignore"  -> output completely discarded
- "output display" -> output displayed (but not verified)
- "output sort"    -> sorts the display before verifying it (see below)
-.SH SORTING OUTPUT
-
-SimGrid is designed to produce perfectly reproducible results, so its
-output can usualy be compared without any preprocessing. This is not
-true anymore when the user activates parallel execution: User
-processes are run in parallel at each timestamp, and the output is not
-reproducible anymore. Until you sort the lines.
-
-If you ask for 
-.B ! output sort
-then tesh will sort the whole lines. But it really complicates the
-analysis of the error detected: the logical order of the output is
-defeated by the lexicographical sort. 
-
-The solution is to ask for
-.B ! output sort 19
-instead to sort only on the prefix of the line. Indeed, we run our simulation
-tests with the flag: 
-  --log=root.fmt:[%10.6r]%e(%i:%P@%h)%e%m%n
-
-Then, the previous command sorts  lines on the first 19 chars, that is
-exactly the length of the prefix indicating the timestamp and the
-process. That's exactly what we need:
- - Every timestamps remain separated, as it should; 
- - In each timestamp, the output order of processes become
-   reproducible: that's the lexicographical order of their name;
- - For each process, the order of its execution is preserved: its
-   messages within a given timestamp are not reordered.
-
-That way, tesh can do its job (no false positive, no false negative)
-despite the unpredictable order of executions of processes within a
-timestamp, and reported errors remain easy to analyze (execution of a
-given process preserved).
-
-This is of course very SimGrid oriented, but could even be usable by
-others, who knows?
-
-.SH ENVIRONMENT
-You can add some content to the tested processes environment with the
-setenv metacommand. It works as expected. For example:
-  "setenv PATH=/bin"
-.SH BUGS
-No known bugs. 
index 5ee51aa..f25be34 100755 (executable)
@@ -19,7 +19,212 @@ tesh -- testing shell
 
 =head1 SYNOPSIS
 
-B<tesh> [I<options>] I<tesh_file>
+B<tesh> [I<options>]... I<testsuite>
+
+=head1 DESCRIPTION
+
+Tesh is the testing shell, a specialized shell for running tests. It
+provides the specified input to the tested commands, and check that
+they produce the expected output and return the expected value.
+
+=head1 OPTIONS
+
+  --cd some/directory : ask tesh to switch the working directory before
+                        launching the tests
+  --setenv var=value  : set a specific environment variable
+  --cfg arg           : add parameter --cfg=arg to each command line
+  --enable-coverage   : ignore output lines starting with "profiling:"
+
+=head1 TEST SUITE FILE SYTAX
+
+A test suite is composed of one or several I<command blocks> separated
+by empty lines, each of them being composed of a command to run, its
+input text and the expected output.
+
+The first char of each line specifies the type of line according to
+the following list. The second char of each line is ignored.
+
+ `$' command to run in foreground
+ `&' command to run in background
+
+ `<' input to pass to the command
+ `>' output expected from the command
+
+ `!' metacommand, which can be one of:
+     `timeout' <integer>|no
+     `expect signal' <signal name>
+     `expect return' <integer>
+     `output' <ignore|display>
+     `setenv <key>=<val>'
+
+ `p' an informative message to print
+
+If the expected output do not match the produced output, or if the
+command did not end as expected, Tesh provides an error message (see
+the OUTPUT section below) and stops.
+
+=head2 Command blocks examples
+
+In a given command block, you can declare the command, its input and
+its expected output in the order that you see fit.
+
+    $ cat
+    < TOTO
+    > TOTO
+
+    > TOTO
+    $ cat
+    < TOTO
+
+    > TOTO
+    < TOTO
+    $ cat
+
+You can group several commands together, provided that they don't have
+any input nor output.
+
+    $ mkdir testdir
+    $ cd testdir
+
+=head2 Enforcing the command return code
+
+By default, Tesh enforces that the tested command returns 0. If not,
+it fails with an appropriate message and returns I<code+40> itself.
+
+You specify that a given command block is expected to return another
+code as follows:
+
+    # This command MUST return 42
+    ! expect return 42
+    $ sh -e "exit 42"
+
+The I<expect return> construct applies only to the next command block.
+
+=head2 Commands that are expected to raise signals
+
+By default, Tesh detects when the command is killed by a signal (such
+as SEGV on segfaults). This is usually unexpected and unfortunate. But
+if not, you can specify that a given command block is expected to fail
+with a signal as follows:
+
+    # This command MUST raise a segfault
+    ! expect signal SIGSEGV
+    $ ./some_failing_code
+
+The I<expect signal> construct applies only to the next command block.
+
+=head2 Timeouts
+
+By default, no command is allowed to run more than 5 seconds. You can
+change this value as follows:
+
+    # Allow some more time to the command
+    ! timeout 60
+    $ ./some_longer_command
+
+You can also disable the timeout completely by passing "no" as a value:
+
+    # This command will never timeout
+    ! timeout no
+    $ ./some_very_long_but_safe_command
+
+=head2 Setting environment variables
+
+You can modify the environment of the tested commands as follows:
+
+    ! setenv PATH=/bin
+    $ my_command
+
+=head2 Not enforcing the expected output 
+
+By default, the commands output is matched against the one expected,
+and an error is raised on discrepancy. Metacommands to change this:
+
+=over 4
+
+=item output ignore
+
+The output is completely discarded.
+
+=item output display
+
+The output is displayed, but no error is issued if it differs from the
+expected output.
+
+=item output sort
+
+The output is sorted before comparison (see next section).
+
+=back
+
+=head2 Sorting output
+
+If the order of the command output changes between runs, you want to
+sort it before enforcing that it is exactly what you expect. In
+SimGrid for example, this happens when parallel execution is
+activated: User processes are run in parallel at each timestamp, and
+the output is not reproducible anymore. Until you sort the lines.
+
+You can sort the command output as follows:
+
+    ! output sort
+    $ ./some_multithreaded_command
+
+Sorting lines this ways often makes the tesh output very intricate,
+complicating the error analysis: the process logical order is defeated
+by the lexicographical sort.
+
+The solution is to prefix each line of your output with temporal
+information so that lines can be grouped by timestamps. The
+lexicographical sort then only applies to lines that occured at the
+same timestamp. Here is a SimGrid example:
+
+    # Sort only lines depending on the first 19 chars
+    ! output sort 19
+    $ ./some_simgrid_simulator --log=root.fmt:[%10.6r]%e(%i:%P@%h)%e%m%n
+
+This approach may seem surprizing at the first glance but it does its job:
+
+=over 4
+
+=item Every timestamps remain separated, as it should; 
+
+=item In each timestamp, the output order of processes become
+   reproducible: that's the lexicographical order of their name;
+
+=item For each process, the order of its execution is preserved: its
+   messages within a given timestamp are not reordered.
+
+=back
+
+That way, tesh can do its job (no false positive, no false negative)
+despite the unpredictable order of executions of processes within a
+timestamp, and reported errors remain easy to analyze (execution of a
+given process preserved).
+
+This example is very SimGrid oriented, but the feature could even be
+usable by others, who knows?
+
+
+=head1 BUILTIN COMMANDS
+
+=head2 mkfile: creating a file
+
+This command creates a file of the name provided as argument, and adds
+the content it gets as input.
+
+  $ mkfile myFile
+  > some content
+  > to the file
+
+It is not possible to use the cat command, as one would expect,
+because stream redirections are currently not implemented in Tesh.
+
+=head1 BUGS AND LIMITATIONS
+
+The main limitation is the lack of stream redirections in the commands
+(">", "<" and "|" shell constructs and friends). The B<mkfile> builtin
+command makes this situation bearable.
 
 =cut
 
@@ -29,9 +234,6 @@ BEGIN {
       unless exists $ENV{'IPCRUNDEBUG'};
 }
 
-my ($timeout)              = 0;
-my ($time_to_wait)         = 0;
-my $path                   = $0;
 my $enable_coverage        = 0;
 my $diff_tool              = 0;
 my $diff_tool_tmp_fh       = 0;
@@ -44,6 +246,8 @@ my $exitcode = 0;
 my @bg_cmds;
 my (%environ);
 $SIG{'PIPE'} = 'IGNORE';
+
+my $path = $0;
 $path =~ s|[^/]*$||;
 push @INC, $path;
 
@@ -80,23 +284,8 @@ BEGIN {
 #### Command line option handling
 ####
 
-if ( $ARGV[0] eq "--internal-killer-process" ) {
-
-    # We fork+exec a waiter process in charge of killing the command after timeout
-    # If the command stops earlier, that's fine: the killer sends a signal to an already stopped process, fails, and quits.
-    #    Nobody cares about the killer issues.
-    #    The only problem could arise if another process is given the same PID than cmd. We bet it won't happen :)
-    my $time_to_wait = $ARGV[1];
-    my $pid          = $ARGV[2];
-    sleep $time_to_wait;
-    kill( 'TERM', $pid );
-    sleep 1;
-    kill( 'KILL', $pid );
-    exit $time_to_wait;
-}
-
 my %opts = ( "debug" => 0,
-             "timeout" => 120, # No command should run any longer than 2 minutes by default
+             "timeout" => 5, # No command should run any longer than 5 seconds by default
            );
 
 Getopt::Long::config( 'bundling', 'no_getopt_compat', 'no_auto_abbrev' );
@@ -114,9 +303,7 @@ GetOptions(
 
 $tesh_file = pop @ARGV;
 
-if ($enable_coverage) {
-    print "Enable coverage\n";
-}
+print "Enable coverage\n" if ($enable_coverage);
 
 if ($diff_tool) {
     use File::Temp qw/ tempfile /;
@@ -133,14 +320,6 @@ if ( $tesh_file =~ m/(.*)\.tesh/ ) {
     print "Test suite from stdin\n";
 }
 
-##
-## File parsing
-##
-my ($return) = -1;
-my ($forked);
-my ($config)      = "";
-my (@buffer_tesh) = ();
-
 ###########################################################################
 
 sub exit_status {
@@ -210,7 +389,8 @@ sub exec_cmd {
     my $input = defined($cmd{'in'})? join("\n",@{$cmd{'in'}}) : "";
     my $output = " " x 10240; $output = ""; # Preallocate 10kB, and reset length to 0
     $cmd{'got'} = \$output;
-    $cmd{'job'} = start \@cmdline, '<', \$input, '>&', \$output, timeout($cmd{'timeout'});
+    $cmd{'job'} = start \@cmdline, '<', \$input, '>&', \$output, 
+                  ($cmd{'timeout'} eq 'no' ? () : timeout($cmd{'timeout'}));
 
     if ( $cmd{'background'} ) {
        # Just enqueue the job. It will be dealed with at the end
@@ -293,7 +473,7 @@ sub analyze_result {
         }
     }
 
-    # Did we timeout ? If yes, handle it. If not, kill the forked process.
+    # Did we timeout?
 
     if ( $cmd{'timeouted'} ) {
         $gotret   = "timeout after $cmd{'timeout'} sec";
@@ -313,9 +493,7 @@ sub analyze_result {
         print STDERR "$msg";
     }
 
-    ###
-    # Check the result of execution
-    ###
+    # Does the output match?
     my $diff;
     if ( defined( $cmd{'output display'} ) ) {
         print "[Tesh/INFO] Here is the (ignored) command output:\n";
@@ -361,11 +539,10 @@ LINE: while ( defined( my $line = <$infh> ) and not $error ) {
 
     $line_num++;
     print "[TESH/debug] $line_num: $line\n" if $opts{'debug'};
-    my $next;
 
     # deal with line continuations
     while ( $line =~ /^(.*?)\\$/ ) {
-        $next = <$infh>;
+        my $next = <$infh>;
         die "[TESH/CRITICAL] Continued line at end of file\n"
           unless defined($next);
         $line_num++;
@@ -498,10 +675,6 @@ LINE: while ( defined( my $line = <$infh> ) and not $error ) {
     } else {
         die "[TESH/CRITICAL] parse error: $line\n";
     }
-    if ($forked) {
-        kill( 'KILL', $forked );
-        $timeout = 0;
-    }
 }
 
 # We're done reading the input file
@@ -513,11 +686,6 @@ if ( defined( $cmd{'cmd'} ) ) {
     %cmd = ();
 }
 
-if ($forked) {
-    kill( 'KILL', $forked );
-    $timeout = 0;
-}
-
 foreach (@bg_cmds) {
     my %test = %{$_};
     analyze_result( \%test );
@@ -537,6 +705,8 @@ if ( $error != 0 ) {
     print "Test suite `$tesh_name' OK\n";
 }
 
+exit 0;
+
 ####
 #### Helper functions
 ####