Cosmetics: move SimGrid copyright on top.

Rename msg_storage_priv->host by msg_storage_priv->hostname
Improve MSG_file_read() and MSG_file_write()

Change MSG_file_unlink() return type

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

remove  MSG_file_ls()

Remove binary file.

Remove XBT_INFO call

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Add bug-17132 tesh suite

Revert "Remove XBT_INFO call"

This commit changes much much more than wanted. In particular, it
reverts several changes done in the tree recently. I assume that the
merge that occured just before this commit went awfully wrong,
actually.

That's ok, shit happens, don't worry.

Nevertheless, I revert this commit when it's still possible, before
the first unrelated commit on top of it. Pierre, please, pick your
changes back from the diff, and resubmit them.

This reverts commit f9e6853d2c5b7b867211700bc12f0ee57f640b30.

Remove XBT_INFO call

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Improve MSG_file_read() and MSG_file_write()

Improve error message.

Fix bug with Java bindings on 32-bit systems.

On 32-bit systems, sizeof(NetworkLink*) < sizeof(jlong), and the elements must
be copied one by one.

[mc] Reduce stack_size for tests mc-bugged*.

Default stack size was recently increased from 128KiB to 8MiB,
which is a bit too much on small machines (e.g. on CI).

Reduce it to 256KiB (2 times the old size) for tests mc-bugged*.

[mc] Better fix for compatibility with old/broken version of dwarf.h.

Avoids to use a hardcoded value.

Remove benchmarking calls in MPI functions that don't actually perform comms and are not traced,
We don't need to halt processes and trigger context switches for them (and privatization switches).
This should improve SMPI performance a little.

forgotten useless line (should not do anything with our sets of flags for mmapped pages)

[mc] Fix type conversion in unit test

[mc] Fix type conversion (once again)

[mc] Fix type conversion

[mc] Fix type conversions

privatization : perform the initialization at process launch, not at MPI_Init time
Also switch at destroy time, to avoid deallocation problems in user code

replace warnings by debug messages

[mc] Change type for type->id

model-checker : smpi mutual exclusion example

[mc] Fix type of expression resolution methods (uintpt_t and not Dwarf_Off)

[mc] Fix compatibility with old/broken version of dwarf.h

[mc] Kernel Samepage Merging support (Linux)

Add MADV_MERGEABLE advice (madvise) for KSM in the heaps and
read/write segments: mark these regions of memory as candidate for
KSM. As the stacks are stored on the heap, they are candidate for KSM
as well.

In order to work, KSM must be enabled on the system (by root):

    # Enable:
    echo 1 > /sys/kernel/mm/ksm/run
    # Do some real work:
    echo 10000 > /sys/kernel/mm/ksm/pages_to_scan

See Documentation/vm/ksm.txt:

  https://www.kernel.org/doc/Documentation/vm/ksm.txt

We would like to only mark the .data+.bss and not the other sections
of the segment.

[mc] Comment unhandled rangelistptr class in DW_AT_start_scope

[mc] Correctly handle the end of the stack unwinding

unw_step returns 0 when reaching the bottom of the stack: this return
code was not handled correctly leading to infinite loops in some
cases.

[mc] Really fix DW_AT_high_pc for DWARF4

In DWARF4, DW_AT_high_pc can be an offset from DW_AT_low_pc instead of
a relocatable address.

MC works with DWARF4!

Fix parameter names.

Fix directories for bug-17312.

Also add --cfg=smpi/cpu_threshold:-1 and --log=smpi_kernel.thres:warning
to the command line.

fix 'make dist', stupid me

integrate the testcase of #17132 into our testsuite

Finalize reservation surf plugin

Add networkCommunicateCallback, NetworkLink::updateLatency and NetworkLink::updateBandwidth methods

Change StateChanged callback signatures

Fix Workstation::fileRcopy

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Finalises MSG_file_rcopy() and MSG_file_rmove()

Merge branch 'mc++'

[mc] Fix warning on pointer/integer/address conversion

[mc] Handle DW_AT_high_pc as offset for DWARF4

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

prepare MSG_file_rcopy()

prepare Workstation::fileRcopy()

[mc] Fix DW_OP_addr to translate address into virtual address space

For shared objects, the address is in fact an offset from the base
address of the mapped shared object:

    real_address = shared_object_address + address

mpich tests : Use the manually privatized version of mtest.c file if mmap is not available

[mc] Fix DW_OP_call_frame_cfa

UNW_X86_64_CFA does not work as expected

[mc] Fix broken DW_OP_call_frame_cfa

For some reason, it seems the value of CFA is still wrong but it might
come from somewhere else.

Add java surf plugin to reserve bandwidth

Avoid to fill up the disks of build daemons with core files.

Fix doxygen comment: parameter does not exist.

[mc] Fix handling of inlined subroutines in MC_ignore_local_variable

The matching of function name was incorrecy in
MC_ignore_local_variable(): when the variable is in an inlined
subroutine, the function name was compared against the name of its
containing non-inlined subprogram (DW_TAG_subprogram) instead of the
name of the inlined subroutine (DW_TAG_inlined_subroutine).

[mc] Attach correct namespaced name in inlined subroutine (DW_TAG_inlined_subroutine)

[mc] Replace frame->frame (frame *name*) by frame->subprogram (dw_type_t)

[mc] Process nested-scopes

[mc] Remove MC_dwarf_get_variable_by_name (unused)

[mc] Fix handling of DW_AT_high_pc

DW_AT_high_pc is the first address which is not in the range and not
the last address in the range.

[mc] Rename frame->start into frame->id

[mc] Remove frame->end field which was not used anymore

Removes MSG_storage_file_rename()
Implements MSG_file_move()

[mc] Process nested scopes DWARF informations

Subprograms contains scopes (with variables) and scope contains other
scopes as well. They are represented by the same data structure
dw_frame_t. Scopes might be :

  * DW_TAG_lexical_scope;
  * DW_try_block;
  * DW_catch_block;
  * DW_with_stmt (partial support);
  * DW_inlined_subroutine.

The scopes informations are stored but they are not used yet.

[mc] Fix memory leaks

[mc] Documentation

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

fix the dist target after my last header move

move back the protected interface of platforms to the non-public area

And have the public surf_routing.h use the public interface of
platforms instead of the protected one.

Have smpi_bench.c see HAVE_MMAP flag
The way internal_config.h is not included in lots of files may cause bugs..
Shouldn't we pass flags through CFLAGS instead ?

Missing dependency (fix parallel builds).

Add missing files for javadoc.

Fix doxygen comments.

Missing XBT_LOG_CONNECTs.

Move win32_ucontext.h to private area.

Header platf_interface.h needs to be public (included from surf_routing.h).

Don't include private header from public ones.

Disable mmalloc when !HAVE_MC.

Avoid useless dependencies on libdw.
Mmalloc is not needed without MC.

move unused variable

protect against not mmap-enabled systems

Fix dist.

Have some mpich3 tests use the automatic privatization instead of manual one.
Add some fortran tests which were buggy and needed privatization as well.

Add a first draft for automatic privatization of global variables for smpi.
Activated with --cfg="smpi/privatize_global_variables":yes
This will read executable (using objdump for now), find addresses of .data and .bss segments and for each process (even 0 for now) copy all this data inside an mmaped zone
Each time the simulated process executes some code, or each time we copy data from these zones, the data segment is mmaped from the one of the corresponding process.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Fix leaks and invalid read

[mc] Avoid heap collisions by using a bigger gap bewteen the two heaps

[mc] Flag state hashing (model-check/hash) as experimental

Merge branch 'mc++'

Conflicts:
src/simgrid/sg_config.c
src/xbt/mmalloc/mm_diff.c

Increase the MC heap size as a quickfix for the heap overflow bug

When the model-checker is used, two heaps are used:

  * one for the application and the simulator;
  * one for the model-checker.

The heaps are initially of size STD_HEAP_SIZE (currently about
19-10MiB) and are next to each other.

In some cases, the first heap overflows into the second one leading to
curruption of the second heap. One possible symptom of this is a
freeze in malloc/sem_wait:

In strace:

    futex(0x998c000, FUTEX_WAIT, 0, NULL <unfinished ...>

The application heap overflows into the model-checker heap and memset0
the semaphore/futex at the beginning of the second heap.

In gdb (with "watch 0x998c000"):

    Old value = 1
    New value = 0
    memset () at ../sysdeps/x86_64/memset.S:98
    98     ../sysdeps/x86_64/memset.S: Aucun fichier ou dossier de ce type.
    (gdb) bt
    #0  memset () at ../sysdeps/x86_64/memset.S:98
    #1  0x00007ffff7a5419b in mmalloc (mdp=0x8603000, size=8389608) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mmalloc.c:140
    #2  0x00007ffff7a55d4f in malloc (n=8389608) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mm_legacy.c:71
    #3  0x00007ffff7a55e3a in calloc (nmemb=8389608, size=1) at /home/corona/workspace/simgrid/src/xbt/mmalloc/mm_legacy.c:110
    #4  0x00007ffff7948224 in xbt_malloc0 (n=8389608) at /home/corona/workspace/simgrid/include/xbt/sysdep.h:119
    #5  smx_ctx_base_factory_create_context_sized (size=8389608, code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_context_base.c:46
    #6  0x00007ffff7a1b64d in smx_ctx_sysv_create_context_sized (size=8389608, code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>,
        process=0x865e400) at /home/corona/workspace/simgrid/src/simix/smx_context_sysv.c:127
    #7  0x00007ffff7a1b80a in smx_ctx_sysv_create_context (code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_context_sysv.c:186
    #8  0x00007ffff795749d in SIMIX_context_new (code=0x401299 <coordinator>, argc=1, argv=0x8604900, cleanup_func=0x7ffff7927b78 <MSG_process_cleanup_from_SIMIX>, simix_process=0x865e400)
        at /home/corona/workspace/simgrid/src/simix/smx_private.h:249
    #9  0x00007ffff7958787 in SIMIX_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0, parent_process=0x865e200) at /home/corona/workspace/simgrid/src/simix/smx_process.c:272
    #10 0x00007ffff79580db in SIMIX_pre_process_create (simcall=0x865e298, process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000,
        hostname=0x906ec00 "Tremblay", kill_time=-1, argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/smx_process.c:208
    #11 0x00007ffff795c1d2 in SIMIX_simcall_pre (simcall=0x865e298, value=0) at /home/corona/workspace/simgrid/src/simix/simcalls_generated_case.c:218
    #12 0x00007ffff7965842 in simcall_BODY_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay",
        kill_time=-1, argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/simcalls_generated_body.c:682
    #13 0x00007ffff796f758 in simcall_process_create (process=0x7fffffffddc0, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x8605000, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0) at /home/corona/workspace/simgrid/src/simix/smx_user.c:581
    #14 0x00007ffff7927fff in MSG_process_create_with_environment (name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x0, host=0x906eb00, argc=1, argv=0x8604900, properties=0x0)
        at /home/corona/workspace/simgrid/src/msg/msg_process.c:171
    #15 0x00007ffff7927c8c in MSG_process_create_from_SIMIX (process=0x7fffffffdf00, name=0x8604a00 "coordinator", code=0x401299 <coordinator>, data=0x0, hostname=0x906ec00 "Tremblay", kill_time=-1,
        argc=1, argv=0x8604900, properties=0x0, auto_restart=0, parent_process=0x0) at /home/corona/workspace/simgrid/src/msg/msg_process.c:66
    #16 0x00007ffff7949fd8 in parse_process (process=0x7fffffffe000) at /home/corona/workspace/simgrid/src/simix/smx_deployment.c:74
    #17 0x00007ffff79bb589 in sg_platf_new_process (process=0x7fffffffe000) at /home/corona/workspace/simgrid/src/surf/sg_platf.c:265
    #18 0x00007ffff79fa331 in ETag_surfxml_process () at /home/corona/workspace/simgrid/src/surf/surfxml_parse.c:946
    #19 0x00007ffff79f2fcc in surf_parse_lex () at src/surf/simgrid_dtd.c:9166
    #20 0x00007ffff79fac4e in _surf_parse () at /home/corona/workspace/simgrid/src/surf/surfxml_parse.c:1045
    #21 0x00007ffff794a220 in SIMIX_launch_application (file=0x7fffffffe63b "deploy_bugged1_liveness.xml") at /home/corona/workspace/simgrid/src/simix/smx_deployment.c:125
    #22 0x00007ffff7921cb1 in MSG_launch_application (file=0x7fffffffe63b "deploy_bugged1_liveness.xml") at /home/corona/workspace/simgrid/src/msg/msg_deployment.c:32
    #23 0x0000000000401cf2 in main (argc=3, argv=0x7fffffffe348) at /home/corona/workspace/simgrid/examples/msg/mc/bugged1_liveness.c:150

The bug is triggered by commit 5a37cda with increases the default
stack size (the stacks are allocated in the application heap).

Things to change:

  Solution a:

    1) add an (optional) "hard address" to a given heap in order to
       a heap to overflow on something else;

    2) and do not place the heaps next to each other.

    The problem is that someone might mmap something in the area of
    the heaps.

  Solution b:

    mmap a very big area of memory (say 1TiB) for eac heaps and never
    grow again. Let the system allocate memory lazily.

    It might be necessary, to add a parameter fo choose this value in
    order to be able to handle very large problems.

  Solution c:

    Use segmented heaps.

    But we would need to change both the model-checker and the malloc
    implementation to do this (i.e. We don't want to do this).

Temporary workarounds:

  * either increase STD_HEAP_SIZE (in the source code);

  * or use a smaller value for the stack size
    (--cfg:contexts/stack_size=128).

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Workstation::open() improvement

Fix issues for destroy callbacks

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Leak --

Fix cfg=path for test sorage_basic.

Don't use xbt_assert for error checking.

It's deactivated when building with enable_debug=OFF.

Typo.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid