Ensure that MSG_host_self() works from maestro context

[mc] Add some FIXMEs for cross-process support

[mc] Cross-process support for MC_ignore

[mc] Implements privatization support for MC_process_read

This is currently needed for cross-process MC in order to read the
heap state.

[mc] Abstract the process and a snapshot types with a address_space superclass

Add a `address_space`, superclass of `process` and  `snapshot`.

In order to do this, the contract of MC_process_read and
MC_snapshot_read has been uniformized:

  * the order of arguments has been harmonized;

  * a new flag MC_ADDRESS_SPACE_READ_FLAGS_LAZY is used to avoid copy
    when the data is in the current memory;

  * MC_NO_PROCESS_INDEX has been renamed into MC_PROCESS_INDEX_MISSING;

  * MC_ANY_PROCESS_INDEX has been renamed into MC_PROCESS_INDEX_ANY;

  * MC_PROCESS_INDEX_DISABLED is used to access the raw address space
    (without privatisation support);

  * `const void*` is used instead of `void*` when it possible.

Soem cleanup things are still to be done:

 * remove special NULL handling;

 * add support for SMPI privatization in the process object.

[mc] More comments for mc_dwarf_execute_expression()

Give some basic explanation about the DWARF operations.

[mc] Add more information about mc_dwarf_register_to_libunwind()

avoid word being recognized as special by doxygen

typos

update doc about privatization .. \nThis was not updated yet. The option was documented in options.doc, so this my be a duplication of information

fix tesh

requalify teshes for vm migration

update changelog

doc update for new appenders

Patch by F.Chaix : add two "new" log appender methods : split and roll
split will create new files when a specified size is reached
roll will overwrite the file when this size is reached
example syntax is : --log=root.appender:splitfile:10000:myfilename_%.txt

The % is a wildcard that will be replaced by the number of the file. If no % is present, it will be at the end

[mc] Support for reading heap state from another process

more documentation about the simcall mechanism

[mc] Fix error handling in MC_process{read,write}

[mc] Access memory from another process

The goal is to be able to move MC in a separate process which should
be more robust and easier to develop:

 * avoid using two heaps (which is combersome);

 * avoid weird interactions bewteen the MC and the application;

 * use optimisation for the whole MC process;

 * avoid the stack-cleaner for the whole MC process.

The functions MC_process_read and MC_process_write are defined to
abstract memory access:

 * when the target process is the current processs, they call
   `memcpy`;

 * otherwise they call `read` or `write` on `/proc/$pid/mem` (on newer
   kernels, `process_vm_readv` and `process_vm_writev`) could be used.

A lot of bits are missing such as:

 * access to `std_heap` is currently not process-aware (the current
   process is used);

 * access to SIMIX layer from MC;

 * communcation/synchronisation between the processes;

 * …

Limitations:

 * for the per-page/chunked snapshot the current implementation uses
   an extra copy (and one syscall per page), we can do better than
   this.

(try to) avoid looping forever, temporarily.

This value was 10 before, and was set to 3 recently, but weirdly this caused vm migration simulations to loop forever.
It works with an infinite timeout, but the message is lost with a few values (1,2 ,3, 6, 9 were tested and failed, other ones up to 13 at least do succeed), while succeeding with other ones (after a few hundred timeouts, so this seems to be working)
So if an MSG expert sees this and can find the problem here ..

Test should still fail with this patch, but just because teshes were not requalified yet

Fix windows build (this is now used from the java library)

fix dot output with file descriptor checkpoint/restore

Put a 300 seconds timeout on each test with ctest
This should really be enough (the default was 1500...)

Fix build
Some vm tests are still broken and some are looping, they need to be fixed

[mc] Enable the custom mm malloc only in MC

We can do better in the future: we can avoid using the main mm malloc
in many cases even for MC.

[mm] Allow to disable the mm based `malloc` at runtime

The goal is to enable the mm based `malloc` only when needed and fall
back to the (more efficient) builtin/next implementation when it is
not needed:

  * run instrospection-less jobs without it;

  * whene the MC and the application are in different processes, the
    MC will be able to run with the standard `malloc` and the
    application will use mm.

As malloc is needed very early in the application initialisation, an
environment variable is used to change the behaviour.

[mc] Remove redundant typedefs

Clang complains about typedef redefinitions in pre-C11 mode.

[mc] Optimise most of XBT

bashism -- (fix https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=772329 )

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

[mc] Optimise all the MC compilation units

[mc] Multiple .so support for region snapshots

The region snapshoting logic can handle a variable number of .so
files:

 * add more informations to the snapshot regions,

    * the type (heap, library/executable);

    * the correspoding library/executable;

    * the type of storage (dense/flat, chunked/sparse or privatised)
      and the type-specific variables are defined in an enum
      (variant/tagged enum).

 * SMPI privatisation snapshot regions are stored as children of a
   parent snapshot region

Limitation:

 * we might want to use a more modular/extensible approach OO for the
   snapshot region storage type instead of variant-based approach;

 * SMPI can currently only handle privatisation for the local
   variables of the executable so this is only supported in the MC as
   well for this reason but otherwise the MC is ready to support the
   SMPI privatisation of libraries.

Fixed return values for several MPI_WIN functions

(statements had to be wrapped in else-clauses)

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Few temporary debug messages - adrien

Add a mutex to lock access to the SMPI mailboxes when a message is posted
Should avoid race condition, while keeping isolation from SIMIX

Revert "Avoid using simcalls here, as by descheduling the process, we could misplace some messages in mailboxes, and end up deadlocking."

This reverts commit 63ba498484d4fcfc706be1e514d7fedbc6c9f4be.

[mc] Multiple .so support in MC_ignore_local_variable()

[mc] Basic support for more other libraries than libsimgrid.so

activate mpich3 tests for post/wait/start/complete RMA calls

Add MPI_Win_post, MPI_Win_start, MPI_Win_complete, and MPI_Win_wait support.

This is the second (out of 3) of the classic MPI RMA synchronization methods.
This version is naive and may not be what real MPI lib do, as the standard lets the implementer chose the behavior of theses calls.

[mc] Move process info in a new s_mc_process_t structure

This is a beginning of the refactoring in order to support MC-ing a
remote process.

[mc] Fix distcheck

[mc] Don't include libunwind.h in non MC builds

Merge branch 'master'

[mc] Don't use unprototyped functions

[mc] Remove useless header #includes

forgot to add this include

let's try to please windows

Avoid using simcalls here, as by descheduling the process, we could misplace some messages in mailboxes, and end up deadlocking.

Calling directly SIMIX functions is not really the best, but it may fix a bad heisenbug

typos-=2

avoid problem when freeing pointer with lb!=0

do the same thing as before with IB model parameters

[mc] Modularise header files for MC

This is a preparation step for the upcoming refactorisation of the MC
code in order to MC an external process.

[mc] Define a type for MC object information flags

[mc] Remove MC_ignore_global_variable() calls

 - compared_pointer which does not exist;
 - smpi_current_rank does not exist;
 - maestro_stack_start and mastro_stack_end doe not need to be ignored.

[mc] Enable MC specific behaviour in replay mode

Revert "[mc] Enable MC specific behaviour in replay mode"

This reverts commit 33eca433c4f055cdfcc55e46d125f8708e1848c7.

Build is broken.

[mc] Enable MC specific behaviour in replay mode

[mc] Remove useless condition check

[mc] Only enable the umpire test for MC builds

Use pthread mutex instead of semaphore in mm

Fix dist

s/formated/formatted/

[mc] Initial support MC record/replay

The idea is to record an execution path in MC mode inorder to be able
to replay it outside of the MC (event with a non-MC build). Some very
basic (an unobtrusive) MC code is compiled even when MC is disabled.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

and now, fix the java teshsuite, re-sorry

I shouldnt try to hack on simgrid at week-ends :-(

fix the build of java bundles, sorry

Dont produce that pdf output that we dont use

reindent and improve displayed message

put together the java-based tests

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

move smpi bandwidth and latency factors out of the ifdef HAVE_SMPI. SMPI and IB network models can be used without using SMPI

merge msg_vm.c - adrien (please note that there is one line (destruction of the tx_process) where I don't not remind whether it is usefull or not... this can lead to a crash unfortunately, I will fix it later)

Remove warnings in vm

Fix dist

remove potential bug / clang warning
size_t being undefined, the comparison < 0 was never true

support timeout of migration

Fixme: The default timeout value is hard-coded. Modify it and compile
the code if necessary.

fix indent in migration code

remove unnecessary comment out

remove the unnecessary vm object in migration

remove unused code in migration

remove trailing space in the migration code

remove unused migration code for CPU overheads

This commit should not affect anything.

[mc] Test if the stack-cleaner has any effect

In order to test this:

 * we compile the same test program with and without the stack cleaner
   (`-fstack-cleaner`, `-fno-stack-cleaner`);

 * in this program, we move random bytes in the stack;

 * we expect the stack-cleaner to zero them out.

This test in only used if the configure stack-cleaner is detected to
support the `-fstack-cleaner` CLI option (it is the stack-cleaner
compiler wrapper).

[mc] Disable/enable the stack-cleaner from a CLI argument (-f[no-]stack-cleaner)

[mc] Fix the stack cleaner

The condition was broken and the %rsp limit was too high.

[mc] Fix umpire tests

Merge branch 'xp'

Revert "Temporarily disable an option"

Back to normal.

Temporarily disable an option

The option somehow changes the results in the MC from previous
experiments. It is disabled temporarily in this commit in order to be
able to reproduce those results with the new commits.

Infrastructure for statically defined tracepoints

3 modes are supported on compilation:

 * normal (no SDT);

 * SDT (systemtap statically defined tracepoint);

 * UST (lttng userspace static tracepoint, compatible with systemtap
   if LTTNG_UST_HAVE_SDT_INTEGRATION).

[mc] Remove reference to DW_TAG_mutable_type:

Is was in a DWARFv3 draft but was removed from the final version: it
was removed from libdw which breaks compilation.

typo -= 2

protect these calls to smpi_datatype_size as they are not always relevant

Fix problem with unknown datatypes in replay/tracing.
When datatype was unknown to replay, it was replayed as MPI_BYTE.

This modification adds a parameter to encode_datatype, to tell tracing that the datatype size has to be taken into account in the count parameter
This results in the fact that a message of count*datatype_size being replayed as a message of (count*datatype_size)*sizeof(MPI_BYTE), which is the same.

This is not a perfect or elegant solution, but :
- it works.
- it handles manually created datatypes
- it doesn't break previously generated replay files
- it avoids testing each time 50 different datatypes (see encode_datatype function)
- the new parameter avoids doing strcmp with "-1" at each time, performance should not be too bad

There should not be msg datatypes here

[mm] Disable HAVE_GNU_LD code in order to get rid of the junkarea

The HAVE_GNU_LD mode of mmalloc delegates in some cases to standard
malloc()/free() which are resolved with dlsym(). This cause some
bootstrap problems which are only resolved with the junkarea: the
junkarea is regularly broken when adding dependencies because the
junkarea is then too small.

By disabling the HAVE_GNU_LD path, we get rid of the junkarea hack.

clean after augustin, as usual

Remove the unmodified NAS examples as they are really useless nowadays

I'm still unsure of what to do with the modified ones. I vote for
removing them if we have enough examples already.