Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Found a bug/feature regarding the cancellation of a sleep (see comments directly in the code) + add a temporary patch directly at the java level in order to force a hostFailureException - Adrien

fix dist

these assertions were a bit strong

make some algorithms return when using bad datatypes

Add Intel MPI (impi) selector.

Thresholds were obtained on Stampede cluster, by activating debug output for 1 process/node.
Algorithm list is available in the documentation of Intel MPI, available on their site

problems:
- doesn't take into account SMP for now (selection logic evolves, and thresholds change)
- some algorithms are unavailable (proprietary/undocumented) such as Shumilin's or Plum's. So others are used in these cases... And that's bad.

some algos have bad behavior with some inputs, try to avoid that.

activate a previously commented pairwise alltoall algo with rma comms

Add Rabenseifner Reduce/Allreduce algorithms
See https://fs.hlrs.de/projects/par/mpi//myreduce.html for details

Fix host_on_off_process tesh

Fix tesh host_on_off_processes 4

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

fix tesh (add the sleep test output) - adrien

Shell script to generate a simple tesh file

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Add test sleep for host_on_off + minor changes - Adrien

[mc] Disable sparse snpashot tests

It seems sparse snapshots are not stable yet.

[mc] Remove unused variables

Stop the continuous integration server from complaining.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Rollback - the java code should make a THROWF call - adrien

[mc] Make state/snapshot comparison work with SMPI variable privatisation

Changes :

  * a snapshot region now has a standard address (address in the
    virtual process) and permanent address (address of the
    privatisation region, where the memory is always mapped event when
    another process is active);

  * handle privatised memory regions on snapshot and snapshot restore;

  * compare global vaiable separately for each simulated process;

  * the ID of the simulated must be passed everywhere;

  * mc_snapshot_read() and friends as well as DWARF expression can be
    evaluated in the context of a given simulated process and fetch
    the data in the corresponding privatisation region.

Merge branch 'mc'

Conflicts:
src/mc/mc_compare.cpp

[mc] Change the signature of mc_restore_page_snapshot_region

Better separation of the different snapshot layers.

[mc] Split mc_region_new_dense out of MC_region_new

MC_region_new uses the global SimGrid setting.
mc_region_new_dense uses dense snapshot.

[mc] Expand unit test of mc_snapshot.c

[mc] Remove page_store.tesh (has been changed into a unit test)

(stupid) warning --

Fix msg-host-on-off tesh

Add and use knomial reduce algorithm from mvapich

Add and use mvapich's scatter_dest alltoall algorithm

Merge remote-tracking branch 'origin/mc-fastsnapshot' into mc

Conflicts:
buildtools/Cmake/Flags.cmake

[mc] Remove irrelevant comment

fix daemon typos

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

fix minor issues in the management of Java Exceptions + comment process cancelled exception call

fix dist

indent

protect these calls against MPI_DATATYPE_NULL errors

cleanup a bit the code, ensure tests do pass

add mvapich allreduce rs algorithm

manually privatize allred test, to have it work on non-mmap systems also

Add last collectives from mvapich selector : bcast reduce reduce_scatter scatter

bcast stilll defaults to mpich one, as they need smp support

New collectives for mvapich2 selector : allgatherv, allreduce, alltoallv, barrier

Begin to add a MVAPICH2 collectives selector. Alltoall, Allgather and gather done.

Problems :
- code is (for now) quite a mess, with several versions of tuning available at the same time (coll folder from mvapich has currently 145k cloc).
- code is copy-pasted directly ... So, no comments
- only Stampede calibration is imported for now. Some others are available, we should provide a mechanism to switch to another calibration.
- MVAPICH collectives are SMP aware. SMPI is not really ... A mechanism to automatically generate an "internal" communicator for processes sharing a physical node will be needed. Gather actually defaults to mpich one as a result of this.

Fix mallocator tesh

[mc] Use mc_region_contain where it could be used

[mc] Udpate doxygen comments

Add test for host on off and some fixes

Set 4 tests that fail on Windows and won't ever pass as "expected to fail"

This will allow to better discriminate between bugs and wontfix non-issues.

One of them fails because random returns differently on win and generates different colors in the resulting trace. Duh.
The three others are expected to crash, and do crash correctly on Windows, but the return code is different from the one expected (SIGABRT). Meh

[mc] Add tests for sparse snapshot

[mc] Disable soft-dirty page tracking by default

In all tests I ran, it has a negative impact on performance.

sanitize get/set_name functions for fortran use

[mc] Disable optimisation for xbt when using MC

In some cases, it breaks the state comparison for some reason. This
was observed with mm.c and dynar.c.

[mc] Do not handle mc_model_checker->parent_snapshot unless it is necessary

Add MPI_Win_get_name and MPI_Win_set_name support

reactivate allred test

But have its compilation flags set to O0 to avoid issues with ci slaves (too long time to compile with optims all the macros used, and too much memory used)

[mmalloc] Force metadata update in mmalloc/mrealloc

[mmalloc] Add mmcheck() which checks mmalloc heap consistency

[mmalloc] Add new block type for heapinfo blocks

revert changes on allgatherv4, which needed manual privatization to run on freebsd

remove warning with mc

remove warning

Finish pulling changes from mpich trunk testsuite

Update comm, datatype from mpich trunk

enforce a scatter error in some cases

update collectives teshsuite from mpich git (only minor changes)

tesh update for fabien's work on surf

fabien's work on surf

Push Takahiro Patch and fix cloud.tesh - Adrien

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Fix a typo in the java-cloud example and add one TODO related to the migration invocation in VM.java - adrien

fix dist

rename function

requalify tesh

use global variables to store values that may be used millions of times..

add time injection in MPI_Wtime and MPI_Test, to match what was done in iprobe

add comment for magic value

add F90 rma tests

migration: minor cleanup and update TODO

Use MSG_process_create() instead of that of _with_arguments().

migration: fix status check of migration

When a migration of a VM is already ongoing, do not allow
MSG_vm_migrate() for the VM.

remove the allred test
ci slaves have trouble building it (not enough memory probably)

allred test needed unsigned char support, which was forgotten.
TODO : This part of the code is ugly and should be replaced by macros asap, as it may lead to nasty bugs

Add MPI_Type_set_name and MPI_Type_get_name and activate tests

activate scatterv test, which needed Carts and Dim

add definitions

fix dist

set default size of Aint to integer*8 ... not ideal, though.
Real mpich testsuite uses autoconf to configure the size

adapt mpif.h for rma

Add f77 RMA tests

mpich testsuite: add f77 topo test

mpich testsuite: activate now working datatype test

[mmalloc] Add documentation

[mmalloc] Avoid useless memset0

[mc] Remove 'previous' variable ind mmalloc_compare_heap()

It was not used.

[mc] Fix test on type in mc_diff

[mc] Fix name of mc_snapshot_memcmp()

[mc] Add unit tests for reading/comparing the whole region in mc_snapshot

[mc] Test flat snapshots as well

[mc] Add unit test for mc_snapshot

Fix distcheck