move back the protected interface of platforms to the non-public area

And have the public surf_routing.h use the public interface of
platforms instead of the protected one.

Have smpi_bench.c see HAVE_MMAP flag
The way internal_config.h is not included in lots of files may cause bugs..
Shouldn't we pass flags through CFLAGS instead ?

Missing dependency (fix parallel builds).

Add missing files for javadoc.

Fix doxygen comments.

Missing XBT_LOG_CONNECTs.

Move win32_ucontext.h to private area.

Header platf_interface.h needs to be public (included from surf_routing.h).

Don't include private header from public ones.

Disable mmalloc when !HAVE_MC.

Avoid useless dependencies on libdw.
Mmalloc is not needed without MC.

move unused variable

protect against not mmap-enabled systems

Fix dist.

Have some mpich3 tests use the automatic privatization instead of manual one.
Add some fortran tests which were buggy and needed privatization as well.

Add a first draft for automatic privatization of global variables for smpi.
Activated with --cfg="smpi/privatize_global_variables":yes
This will read executable (using objdump for now), find addresses of .data and .bss segments and for each process (even 0 for now) copy all this data inside an mmaped zone
Each time the simulated process executes some code, or each time we copy data from these zones, the data segment is mmaped from the one of the corresponding process.

[mc] Avoid heap collisions by using a bigger gap bewteen the two heaps

[mc] Flag state hashing (model-check/hash) as experimental

Merge branch 'mc++'

Conflicts:
src/simgrid/sg_config.c
src/xbt/mmalloc/mm_diff.c

Increase the MC heap size as a quickfix for the heap overflow bug

When the model-checker is used, two heaps are used:

  * one for the application and the simulator;
  * one for the model-checker.

The heaps are initially of size STD_HEAP_SIZE (currently about
19-10MiB) and are next to each other.

In some cases, the first heap overflows into the second one leading to
curruption of the second heap. One possible symptom of this is a
freeze in malloc/sem_wait:

In strace:

    futex(0x998c000, FUTEX_WAIT, 0, NULL <unfinished ...>

The application heap overflows into the model-checker heap and memset0
the semaphore/futex at the beginning of the second heap.

In gdb (with "watch 0x998c000"):

    Old value = 1
    New value = 0
    memset () at ../sysdeps/x86_64/memset.S:98
    98     ../sysdeps/x86_64/memset.S: Aucun fichier ou dossier de ce type.
    (gdb) bt
    #0  memset () at ../sysdeps/x86_64/memset.S:98
    #1  0x00007ffff7a5419b in mmalloc (mdp=0x8603000, size=8389608) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mmalloc.c:140
    #2  0x00007ffff7a55d4f in malloc (n=8389608) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mm_legacy.c:71
    #3  0x00007ffff7a55e3a in calloc (nmemb=8389608, size=1) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mm_legacy.c:110
    #4  0x00007ffff7948224 in xbt_malloc0 (n=8389608) at /home/corona/workspace/simgrid/include/xbt/sysdep.h:119
    #5  smx_ctx_base_factory_create_context_sized (size=8389608, code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_context_base.c:46
    #6  0x00007ffff7a1b64d in smx_ctx_sysv_create_context_sized (size=8389608, code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>,
        process=0x865e400) at /home/corona/workspace/simgrid/src/simix/smx_context_sysv.c:127
    #7  0x00007ffff7a1b80a in smx_ctx_sysv_create_context (code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_context_sysv.c:186
    #8  0x00007ffff795749d in SIMIX_context_new (code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, simix_process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_private.h:249
    #9  0x00007ffff7958787 in SIMIX_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0, parent_process=0x865e200) at /home/corona/workspace/simgrid/src/simix/smx_process.c:272
    #10 0x00007ffff79580db in SIMIX_pre_process_create (simcall=0x865e298, process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000,
        hostname=0x906ec00 "Tremblay", kill_time=-1, argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/smx_process.c:208
    #11 0x00007ffff795c1d2 in SIMIX_simcall_pre (simcall=0x865e298, value=0) at /home/corona/workspace/simgrid/src/simix/simcalls_generated_case.c:218
    #12 0x00007ffff7965842 in simcall_BODY_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay",
        kill_time=-1, argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/simcalls_generated_body.c:682
    #13 0x00007ffff796f758 in simcall_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/smx_user.c:581
    #14 0x00007ffff7927fff in MSG_process_create_with_environment (name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x0, host=0x906eb00, argc=1, argv=0x8604900, properties=0x0)
        at /home/corona/workspace/simgrid/src/msg/msg_process.c:171
    #15 0x00007ffff7927c8c in MSG_process_create_from_SIMIX (process=0x7fffffffdf00, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x0, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0, parent_process=0x0) at /home/corona/workspace/simgrid/src/msg/msg_process.c:66
    #16 0x00007ffff7949fd8 in parse_process (process=0x7fffffffe000) at /home/corona/workspace/simgrid/src/simix/smx_deployment.c:74
    #17 0x00007ffff79bb589 in sg_platf_new_process (process=0x7fffffffe000) at /home/corona/workspace/simgrid/src/surf/sg_platf.c:265
    #18 0x00007ffff79fa331 in ETag_surfxml_process () at /home/corona/workspace/simgrid/src/surf/surfxml_parse.c:946
    #19 0x00007ffff79f2fcc in surf_parse_lex () at src/surf/simgrid_dtd.c:9166
    #20 0x00007ffff79fac4e in _surf_parse () at /home/corona/workspace/simgrid/src/surf/surfxml_parse.c:1045
    #21 0x00007ffff794a220 in SIMIX_launch_application (file=0x7fffffffe63b "deploy_bugged1_liveness.xml") at /home/corona/workspace/simgrid/src/simix/smx_deployment.c:125
    #22 0x00007ffff7921cb1 in MSG_launch_application (file=0x7fffffffe63b "deploy_bugged1_liveness.xml") at /home/corona/workspace/simgrid/src/msg/msg_deployment.c:32
    #23 0x0000000000401cf2 in main (argc=3, argv=0x7fffffffe348) at /home/corona/workspace/simgrid/examples/msg/mc/bugged1_liveness.c:150

The bug is triggered by commit 5a37cda with increases the default
stack size (the stacks are allocated in the application heap).

Things to change:

  Solution a:

    1) add an (optional) "hard address" to a given heap in order to
       a heap to overflow on something else;

    2) and do not place the heaps next to each other.

    The problem is that someone might mmap something in the area of
    the heaps.

  Solution b:

    mmap a very big area of memory (say 1TiB) for eac heaps and never
    grow again. Let the system allocate memory lazily.

    It might be necessary, to add a parameter fo choose this value in
    order to be able to handle very large problems.

  Solution c:

    Use segmented heaps.

    But we would need to change both the model-checker and the malloc
    implementation to do this (i.e. We don't want to do this).

Temporary workarounds:

  * either increase STD_HEAP_SIZE (in the source code);

  * or use a smaller value for the stack size
    (--cfg:contexts/stack_size=128).

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Workstation::open() improvement

Fix issues for destroy callbacks

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Leak --

Fix cfg=path for test sorage_basic.

Don't use xbt_assert for error checking.

It's deactivated when building with enable_debug=OFF.

Typo.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Fix bug and leak for msg_file_open
Repare tesh tests

[mc] Fix cleanup of info->types

[mc] Fix free callback for type->members

Missing one indirection.

[mc] Efficient lookup of subprogram by offset

info->subprograms is now a dict and not an array.

[mc] Store abstract subprograms in info->subprograms

We will use them in order to resolve DW_AT_specification references.

Fix swig compile error

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Update storage_basic tesh file

Remove debug info

Fix cmake for swig

Fix cmake for swig

[mc] Add support for inheritance

DW_TAG_inheritance relations are stored with DW_TAG_member and handled
by the same logic but are flaged as DW_TAG_inheritance.

small fix to benchmarking code

[mc] Fix documentation of the field 'full_type'

The field 'other_object_same_type' was changed into 'full_type' but
the description of the field was not changed accordingly.

Improving benchmarking code

Add java surf plugin

fix Java_org_simgrid_msg_File_open one more time

Fix Java_org_simgrid_msg_File_open() again

Fix MSG_file_open java banding

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Modify MSG_file_open() implementation

Add explicit initialization for the f77 field.

Always link with libstdc++ when not compiling with Clang on FreeBSD >= 10.0.

Avoid to compare addr with random value with gfortran.

Yet another BSD patch from M. Volat, anticipating changes in c++ stack
(shame on me for not citing him for the other ones)

No, it's not ...
Revert "let's try and say that freebsd is mmap compatible (and then mc-compatible ?)"

This reverts commit e1cb58790f4d457c8dd14d0651c2564d2d1090a6.

[mc] Fix compile_warnings

Merge branch 'master' of git://scm.gforge.inria.fr/simgrid/simgrid

let's try and say that freebsd is mmap compatible (and then mc-compatible ?)
Should be OK with Freebsd 10 .. For the 9, let's see how the continuous integration machine behaves

since guard for stack size has been implemented, this has become redundant

missing includes

[mc] Use reference to types intead of type IDs

We do not need to pass the type ID+object_info everywhere.
It is much simpler to pass a pointer to the type (dw_type_t):

 * remove 'info', 'other_info' parameters;

 * remove cumbersome 'switch_types' logic (code duplication);

 * remove type ID confusion in mm_diff (the type ID of each block was
   stored but not the originating ELF obejct leading to an ambiguity);

 * the code is now generalisable to more than 2 ELF objects;

 * remove type lookups (by name, by ID) which are all resolved at
   initialisation time.

be more friendly to systems where gcc is not used anymore

linking stuff, needed to compile on FreeBSD 10

Try again, with a reduced size.

Revert "Reduce stack size for test allreduce_coll_large."

Things were not really improved with this commit :(

This reverts commit 7f9520d8bbb96e3af373f0f1af5dc268359fdd7e.

[mc] Fix type name handling

 * use a suitable prefix for type names (struct/class/union);

 * rename "types_by_name" into "full_types_by_name" to be more
   descriptive.

Reduce stack size for test allreduce_coll_large.

The default stack size make it sometimes fail on CI, when
using mmalloc.

[mc] Fix mismatch between expected snapshot address and passed process address

Function 'compare_areas_with_type' expects snapshot addresses but was
passed process/real addresses in a recursive call.

It is very easy to mix the two types of addresses :/

[mc] Add location field in struct/class-members

Store location expression for fields when its location expression is
more complex than a simple offset.

Mark tests as known to fail on Mac OS X.

ChangeLog update.

Cosmetics.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Use a smaller stack for stack-overflow test.

It is needed on FreeBSD to have a stack size < 125K to generate a SIGSEGV with
SEGV_ACCERR when using threads, and to have this test succeed.
Without that, the SIGSEGV is correctly generated, but with SEGV_MAPERR, and the
error message is not displayed.

I don't fully understand what's going on.

Check return value for posix_memalign.

Forgot to add those files.

Add test to check the stack overflow protection.

Install signal handler for SIGSEGV.

If SEGV comes from invalid permissions, hint the user at increasing stack size.

Use context/guard_size to protect context stacks against overflow.

Add a configurable number of protected pages at the top of each
stack.

Add configuration parameter for contexts/guard_size.

New function: xbt_os_thread_setguardsize (like pthread_attr_setguardsize).

Be less coarse on error recovery: try first with a multiple of pagesize.

Initialize default thread attrs in xbt_os_thread_mod_preinit.

Add proper error checking.

Parameters were in wrong order.

Cache the size of a memory page for the current system.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Factorize valgrind stuff.

Save valgrind_stack_id on the allocated stack.

Align stack on a 16 bytes boundary in raw_makecontext.

A wrongly aligned stack may lead to segfaults.

Use surf_parse_error() rather than xbt_die() during surf parsing

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Implement a disk attachment check and add a tesh test to detect invalid platform description

Fix parameters given to MC_new_stack_area.

Also remove forward declaration for removed function.

Remove useless function: smx_ctx_sysv_create_context_sized

Use these simple smpi tests to test all context factories.

Factorize stack creation.

No need to duplicate default value.

Stack size is expressed in KiB. Keep the same unit in doc.

Free allocated string.

add mpich3 topo tests
They are not built or run for now, because features are not yet implemented