[mc] Split mc_region_new_dense out of MC_region_new

MC_region_new uses the global SimGrid setting.
mc_region_new_dense uses dense snapshot.

[mc] Expand unit test of mc_snapshot.c

[mc] Remove page_store.tesh (has been changed into a unit test)

(stupid) warning --

Fix msg-host-on-off tesh

Add and use knomial reduce algorithm from mvapich

Add and use mvapich's scatter_dest alltoall algorithm

Merge remote-tracking branch 'origin/mc-fastsnapshot' into mc

Conflicts:
buildtools/Cmake/Flags.cmake

[mc] Remove irrelevant comment

fix daemon typos

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

fix minor issues in the management of Java Exceptions + comment process cancelled exception call

fix dist

indent

protect these calls against MPI_DATATYPE_NULL errors

cleanup a bit the code, ensure tests do pass

add mvapich allreduce rs algorithm

manually privatize allred test, to have it work on non-mmap systems also

Add last collectives from mvapich selector : bcast reduce reduce_scatter scatter

bcast stilll defaults to mpich one, as they need smp support

New collectives for mvapich2 selector : allgatherv, allreduce, alltoallv, barrier

Begin to add a MVAPICH2 collectives selector. Alltoall, Allgather and gather done.

Problems :
- code is (for now) quite a mess, with several versions of tuning available at the same time (coll folder from mvapich has currently 145k cloc).
- code is copy-pasted directly ... So, no comments
- only Stampede calibration is imported for now. Some others are available, we should provide a mechanism to switch to another calibration.
- MVAPICH collectives are SMP aware. SMPI is not really ... A mechanism to automatically generate an "internal" communicator for processes sharing a physical node will be needed. Gather actually defaults to mpich one as a result of this.

Fix mallocator tesh

[mc] Use mc_region_contain where it could be used

[mc] Udpate doxygen comments

Add test for host on off and some fixes

Set 4 tests that fail on Windows and won't ever pass as "expected to fail"

This will allow to better discriminate between bugs and wontfix non-issues.

One of them fails because random returns differently on win and generates different colors in the resulting trace. Duh.
The three others are expected to crash, and do crash correctly on Windows, but the return code is different from the one expected (SIGABRT). Meh

[mc] Add tests for sparse snapshot

[mc] Disable soft-dirty page tracking by default

In all tests I ran, it has a negative impact on performance.

sanitize get/set_name functions for fortran use

[mc] Disable optimisation for xbt when using MC

In some cases, it breaks the state comparison for some reason. This
was observed with mm.c and dynar.c.

[mc] Do not handle mc_model_checker->parent_snapshot unless it is necessary

Add MPI_Win_get_name and MPI_Win_set_name support

reactivate allred test

But have its compilation flags set to O0 to avoid issues with ci slaves (too long time to compile with optims all the macros used, and too much memory used)

[mmalloc] Force metadata update in mmalloc/mrealloc

[mmalloc] Add mmcheck() which checks mmalloc heap consistency

[mmalloc] Add new block type for heapinfo blocks

revert changes on allgatherv4, which needed manual privatization to run on freebsd

remove warning with mc

remove warning

Finish pulling changes from mpich trunk testsuite

Update comm, datatype from mpich trunk

enforce a scatter error in some cases

update collectives teshsuite from mpich git (only minor changes)

tesh update for fabien's work on surf

fabien's work on surf

Push Takahiro Patch and fix cloud.tesh - Adrien

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Fix a typo in the java-cloud example and add one TODO related to the migration invocation in VM.java - adrien

fix dist

rename function

requalify tesh

use global variables to store values that may be used millions of times..

add time injection in MPI_Wtime and MPI_Test, to match what was done in iprobe

add comment for magic value

add F90 rma tests

migration: minor cleanup and update TODO

Use MSG_process_create() instead of that of _with_arguments().

migration: fix status check of migration

When a migration of a VM is already ongoing, do not allow
MSG_vm_migrate() for the VM.

remove the allred test
ci slaves have trouble building it (not enough memory probably)

allred test needed unsigned char support, which was forgotten.
TODO : This part of the code is ugly and should be replaced by macros asap, as it may lead to nasty bugs

Add MPI_Type_set_name and MPI_Type_get_name and activate tests

activate scatterv test, which needed Carts and Dim

add definitions

fix dist

set default size of Aint to integer*8 ... not ideal, though.
Real mpich testsuite uses autoconf to configure the size

adapt mpif.h for rma

Add f77 RMA tests

mpich testsuite: add f77 topo test

mpich testsuite: activate now working datatype test

[mmalloc] Add documentation

[mmalloc] Avoid useless memset0

[mc] Remove 'previous' variable ind mmalloc_compare_heap()

It was not used.

[mc] Fix test on type in mc_diff

[mc] Fix name of mc_snapshot_memcmp()

[mc] Add unit tests for reading/comparing the whole region in mc_snapshot

[mc] Test flat snapshots as well

[mc] Add unit test for mc_snapshot

Fix distcheck

file was not in the dist

activate working test

Add perf mpich3 tests

reduce size of recently added tests, to avoid them taking so long to complete

Previous commit exposes a bug in OpenMPI, switch algorithm for bcast to avoid it
The bug is that OpenMPI performs selection of algorithm based on the count on messages.
Or this count can be different from one process to another for bcast.
For example this test has a sender sending one element of 4096 bytes, and receivers receiving 1024 elements of 4 bytes
Yes, this is legal in MPI (but stupid ... but legal).
OpenMPI collective algorithm selector selects a different algorithm for these processes, thus deadlocking

activate two tests in collective communications

[mc] Move page store test from the integration test into the unit test infrastructure

Add support for C++ in tools/sg_unit_extractor.pl

leak --

[mc] Use mc_snapshot_region_memcmp() in compare_areas_with_type()

[mc] Avoid memory allocation for flat snapshots in mc_snapshot_region_memcmp()

[mc] Fix name of mc_snapshot_region_memcmp

Merge branch 'mc-fix' into mc-fastsnapshot

Conflicts:
src/mc/mc_diff.c

[mc] Fix check on type name

The name was changed to include 'struct/class'.

[mc] Fix bad parameter passed in mc_diff

In the following calls:

    compare_heap_area_with_type(state,
      area1, area2,
      area1_to_compare, area2_to_compare,
      snapshot1, snapshot2,
      previous, type, size, check_ignore,
      pointer_level);

    compare_heap_area_without_type(state,
      area1, area2,
      area1_to_compare, area2_to_compare,
      snapshot1, snapshot2,
      previous, size, check_ignore);

areaX and real_areaX_to_compare do not point the same data in different
address spaces in some cases.

Sometimes real_areaX_to_compare is adjusted to point to the beginning
of the block or fragment:

    area1_to_compare = addr_block1;
    // or
    area1_to_compare = (char *) addr_frag1 + offset1;
      // (when offset1==0)

but areaX is not adjusted accordingly and still point to the original
data: in the called compare_heap_area_with[out]_type(), the two values
are inconsistent.

Moreover in some cases, the type does not correspond:

  * areaX_to_compareX is the beginning of the fragment ;
  * type is the type of areaX,  not the type of the fragment.

add minloc and maxloc for long_long

this should be err_rank, not err_comm

add a non-existing MPI_2LONG datatype to handle some corner cases in fortran

Xml platform cleaning teshsuite/msg

[mc] Fix lookup of malloc fragment type

In some cases, the type was looked up in the current heapinfo and not
in the snapshot one:

 * in some cases this is not an issue as state->heapinfo2 is currently
   the same as the current heapinfo but this solution is more robust;

 * if we were supposed to look it from state->heapinfo1 this is wrong.

activate working tests
Lower sizes and number of messages for pingping to avoid taking too long

use the right types in fortran for some platforms (based on f2c matching, hopefully correct)

define types used by fortran even when only C code is used (needed sometimes)

Conflicts:
include/smpi/smpi.h