[mc] Fix type of expression resolution methods (uintpt_t and not Dwarf_Off)

[mc] Fix compatibility with old/broken version of dwarf.h

[mc] Kernel Samepage Merging support (Linux)

Add MADV_MERGEABLE advice (madvise) for KSM in the heaps and
read/write segments: mark these regions of memory as candidate for
KSM. As the stacks are stored on the heap, they are candidate for KSM
as well.

In order to work, KSM must be enabled on the system (by root):

    # Enable:
    echo 1 > /sys/kernel/mm/ksm/run
    # Do some real work:
    echo 10000 > /sys/kernel/mm/ksm/pages_to_scan

See Documentation/vm/ksm.txt:

  https://www.kernel.org/doc/Documentation/vm/ksm.txt

We would like to only mark the .data+.bss and not the other sections
of the segment.

[mc] Comment unhandled rangelistptr class in DW_AT_start_scope

[mc] Correctly handle the end of the stack unwinding

unw_step returns 0 when reaching the bottom of the stack: this return
code was not handled correctly leading to infinite loops in some
cases.

[mc] Really fix DW_AT_high_pc for DWARF4

In DWARF4, DW_AT_high_pc can be an offset from DW_AT_low_pc instead of
a relocatable address.

MC works with DWARF4!

Fix parameter names.

Fix directories for bug-17312.

Also add --cfg=smpi/cpu_threshold:-1 and --log=smpi_kernel.thres:warning
to the command line.

fix 'make dist', stupid me

integrate the testcase of #17132 into our testsuite

Finalize reservation surf plugin

Add networkCommunicateCallback, NetworkLink::updateLatency and NetworkLink::updateBandwidth methods

Change StateChanged callback signatures

Fix Workstation::fileRcopy

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Finalises MSG_file_rcopy() and MSG_file_rmove()

Merge branch 'mc++'

[mc] Fix warning on pointer/integer/address conversion

[mc] Handle DW_AT_high_pc as offset for DWARF4

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

prepare MSG_file_rcopy()

prepare Workstation::fileRcopy()

[mc] Fix DW_OP_addr to translate address into virtual address space

For shared objects, the address is in fact an offset from the base
address of the mapped shared object:

    real_address = shared_object_address + address

mpich tests : Use the manually privatized version of mtest.c file if mmap is not available

[mc] Fix DW_OP_call_frame_cfa

UNW_X86_64_CFA does not work as expected

[mc] Fix broken DW_OP_call_frame_cfa

For some reason, it seems the value of CFA is still wrong but it might
come from somewhere else.

Add java surf plugin to reserve bandwidth

Avoid to fill up the disks of build daemons with core files.

Fix doxygen comment: parameter does not exist.

[mc] Fix handling of inlined subroutines in MC_ignore_local_variable

The matching of function name was incorrecy in
MC_ignore_local_variable(): when the variable is in an inlined
subroutine, the function name was compared against the name of its
containing non-inlined subprogram (DW_TAG_subprogram) instead of the
name of the inlined subroutine (DW_TAG_inlined_subroutine).

[mc] Attach correct namespaced name in inlined subroutine (DW_TAG_inlined_subroutine)

[mc] Replace frame->frame (frame *name*) by frame->subprogram (dw_type_t)

[mc] Process nested-scopes

[mc] Remove MC_dwarf_get_variable_by_name (unused)

[mc] Fix handling of DW_AT_high_pc

DW_AT_high_pc is the first address which is not in the range and not
the last address in the range.

[mc] Rename frame->start into frame->id

[mc] Remove frame->end field which was not used anymore

Removes MSG_storage_file_rename()
Implements MSG_file_move()

[mc] Process nested scopes DWARF informations

Subprograms contains scopes (with variables) and scope contains other
scopes as well. They are represented by the same data structure
dw_frame_t. Scopes might be :

  * DW_TAG_lexical_scope;
  * DW_try_block;
  * DW_catch_block;
  * DW_with_stmt (partial support);
  * DW_inlined_subroutine.

The scopes informations are stored but they are not used yet.

[mc] Fix memory leaks

[mc] Documentation

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

fix the dist target after my last header move

move back the protected interface of platforms to the non-public area

And have the public surf_routing.h use the public interface of
platforms instead of the protected one.

Have smpi_bench.c see HAVE_MMAP flag
The way internal_config.h is not included in lots of files may cause bugs..
Shouldn't we pass flags through CFLAGS instead ?

Missing dependency (fix parallel builds).

Add missing files for javadoc.

Fix doxygen comments.

Missing XBT_LOG_CONNECTs.

Move win32_ucontext.h to private area.

Header platf_interface.h needs to be public (included from surf_routing.h).

Don't include private header from public ones.

Disable mmalloc when !HAVE_MC.

Avoid useless dependencies on libdw.
Mmalloc is not needed without MC.

move unused variable

protect against not mmap-enabled systems

Fix dist.

Have some mpich3 tests use the automatic privatization instead of manual one.
Add some fortran tests which were buggy and needed privatization as well.

Add a first draft for automatic privatization of global variables for smpi.
Activated with --cfg="smpi/privatize_global_variables":yes
This will read executable (using objdump for now), find addresses of .data and .bss segments and for each process (even 0 for now) copy all this data inside an mmaped zone
Each time the simulated process executes some code, or each time we copy data from these zones, the data segment is mmaped from the one of the corresponding process.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Fix leaks and invalid read

[mc] Avoid heap collisions by using a bigger gap bewteen the two heaps

[mc] Flag state hashing (model-check/hash) as experimental

Merge branch 'mc++'

Conflicts:
src/simgrid/sg_config.c
src/xbt/mmalloc/mm_diff.c

Increase the MC heap size as a quickfix for the heap overflow bug

When the model-checker is used, two heaps are used:

  * one for the application and the simulator;
  * one for the model-checker.

The heaps are initially of size STD_HEAP_SIZE (currently about
19-10MiB) and are next to each other.

In some cases, the first heap overflows into the second one leading to
curruption of the second heap. One possible symptom of this is a
freeze in malloc/sem_wait:

In strace:

    futex(0x998c000, FUTEX_WAIT, 0, NULL <unfinished ...>

The application heap overflows into the model-checker heap and memset0
the semaphore/futex at the beginning of the second heap.

In gdb (with "watch 0x998c000"):

    Old value = 1
    New value = 0
    memset () at ../sysdeps/x86_64/memset.S:98
    98     ../sysdeps/x86_64/memset.S: Aucun fichier ou dossier de ce type.
    (gdb) bt
    #0  memset () at ../sysdeps/x86_64/memset.S:98
    #1  0x00007ffff7a5419b in mmalloc (mdp=0x8603000, size=8389608) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mmalloc.c:140
    #2  0x00007ffff7a55d4f in malloc (n=8389608) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mm_legacy.c:71
    #3  0x00007ffff7a55e3a in calloc (nmemb=8389608, size=1) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mm_legacy.c:110
    #4  0x00007ffff7948224 in xbt_malloc0 (n=8389608) at /home/corona/workspace/simgrid/include/xbt/sysdep.h:119
    #5  smx_ctx_base_factory_create_context_sized (size=8389608, code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_context_base.c:46
    #6  0x00007ffff7a1b64d in smx_ctx_sysv_create_context_sized (size=8389608, code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>,
        process=0x865e400) at /home/corona/workspace/simgrid/src/simix/smx_context_sysv.c:127
    #7  0x00007ffff7a1b80a in smx_ctx_sysv_create_context (code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_context_sysv.c:186
    #8  0x00007ffff795749d in SIMIX_context_new (code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, simix_process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_private.h:249
    #9  0x00007ffff7958787 in SIMIX_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0, parent_process=0x865e200) at /home/corona/workspace/simgrid/src/simix/smx_process.c:272
    #10 0x00007ffff79580db in SIMIX_pre_process_create (simcall=0x865e298, process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000,
        hostname=0x906ec00 "Tremblay", kill_time=-1, argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/smx_process.c:208
    #11 0x00007ffff795c1d2 in SIMIX_simcall_pre (simcall=0x865e298, value=0) at /home/corona/workspace/simgrid/src/simix/simcalls_generated_case.c:218
    #12 0x00007ffff7965842 in simcall_BODY_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay",
        kill_time=-1, argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/simcalls_generated_body.c:682
    #13 0x00007ffff796f758 in simcall_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/smx_user.c:581
    #14 0x00007ffff7927fff in MSG_process_create_with_environment (name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x0, host=0x906eb00, argc=1, argv=0x8604900, properties=0x0)
        at /home/corona/workspace/simgrid/src/msg/msg_process.c:171
    #15 0x00007ffff7927c8c in MSG_process_create_from_SIMIX (process=0x7fffffffdf00, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x0, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0, parent_process=0x0) at /home/corona/workspace/simgrid/src/msg/msg_process.c:66
    #16 0x00007ffff7949fd8 in parse_process (process=0x7fffffffe000) at /home/corona/workspace/simgrid/src/simix/smx_deployment.c:74
    #17 0x00007ffff79bb589 in sg_platf_new_process (process=0x7fffffffe000) at /home/corona/workspace/simgrid/src/surf/sg_platf.c:265
    #18 0x00007ffff79fa331 in ETag_surfxml_process () at /home/corona/workspace/simgrid/src/surf/surfxml_parse.c:946
    #19 0x00007ffff79f2fcc in surf_parse_lex () at src/surf/simgrid_dtd.c:9166
    #20 0x00007ffff79fac4e in _surf_parse () at /home/corona/workspace/simgrid/src/surf/surfxml_parse.c:1045
    #21 0x00007ffff794a220 in SIMIX_launch_application (file=0x7fffffffe63b "deploy_bugged1_liveness.xml") at /home/corona/workspace/simgrid/src/simix/smx_deployment.c:125
    #22 0x00007ffff7921cb1 in MSG_launch_application (file=0x7fffffffe63b "deploy_bugged1_liveness.xml") at /home/corona/workspace/simgrid/src/msg/msg_deployment.c:32
    #23 0x0000000000401cf2 in main (argc=3, argv=0x7fffffffe348) at /home/corona/workspace/simgrid/examples/msg/mc/bugged1_liveness.c:150

The bug is triggered by commit 5a37cda with increases the default
stack size (the stacks are allocated in the application heap).

Things to change:

  Solution a:

    1) add an (optional) "hard address" to a given heap in order to
       a heap to overflow on something else;

    2) and do not place the heaps next to each other.

    The problem is that someone might mmap something in the area of
    the heaps.

  Solution b:

    mmap a very big area of memory (say 1TiB) for eac heaps and never
    grow again. Let the system allocate memory lazily.

    It might be necessary, to add a parameter fo choose this value in
    order to be able to handle very large problems.

  Solution c:

    Use segmented heaps.

    But we would need to change both the model-checker and the malloc
    implementation to do this (i.e. We don't want to do this).

Temporary workarounds:

  * either increase STD_HEAP_SIZE (in the source code);

  * or use a smaller value for the stack size
    (--cfg:contexts/stack_size=128).

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Workstation::open() improvement

Fix issues for destroy callbacks

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Leak --

Fix cfg=path for test sorage_basic.

Don't use xbt_assert for error checking.

It's deactivated when building with enable_debug=OFF.

Typo.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Fix bug and leak for msg_file_open
Repare tesh tests

[mc] Fix cleanup of info->types

[mc] Fix free callback for type->members

Missing one indirection.

[mc] Efficient lookup of subprogram by offset

info->subprograms is now a dict and not an array.

[mc] Store abstract subprograms in info->subprograms

We will use them in order to resolve DW_AT_specification references.

Fix swig compile error

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Update storage_basic tesh file

Remove debug info

Fix cmake for swig

Fix cmake for swig

[mc] Add support for inheritance

DW_TAG_inheritance relations are stored with DW_TAG_member and handled
by the same logic but are flaged as DW_TAG_inheritance.

small fix to benchmarking code

[mc] Fix documentation of the field 'full_type'

The field 'other_object_same_type' was changed into 'full_type' but
the description of the field was not changed accordingly.

Improving benchmarking code

Add java surf plugin

fix Java_org_simgrid_msg_File_open one more time

Fix Java_org_simgrid_msg_File_open() again

Fix MSG_file_open java banding

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Modify MSG_file_open() implementation

Add explicit initialization for the f77 field.

Always link with libstdc++ when not compiling with Clang on FreeBSD >= 10.0.

Avoid to compare addr with random value with gfortran.

Yet another BSD patch from M. Volat, anticipating changes in c++ stack
(shame on me for not citing him for the other ones)

No, it's not ...
Revert "let's try and say that freebsd is mmap compatible (and then mc-compatible ?)"

This reverts commit e1cb58790f4d457c8dd14d0651c2564d2d1090a6.

[mc] Fix compile_warnings