[smpi] Change parallel arrays into array of structs

[smpi] Simplify code for SMPI privatisation

[smpi] Use SMPI namespace for some public variables/functions

Avoid tautological-compare

Clang complains about tautological compare: it seems an unsigned
integer is always non-negative.

[smpi] Allow zero-sized custom datatypes with MPI_Type_contiguous()

MPI_Type_contiguous(0, oldtype, newtype) is valid in MPI but SMPI does
not accept it as the resulting datatype is considered invalid: SMPI
does not accept datatypes with size of 0. Fix the datatype validation
function in order to accept this.

This type of datatype is used in bcastzerotype.

bcast-NTSL is fixed as well (division by zero).

Merge branch 'mc'

[mc] Fix smpi_process_index_of_smx_process()

The SMPI process ID is simply the SIMIX PID - 1. The previous solution
(getting the data field of the SIMIX process) was mostly correct but
the 'data' field was not initally set to the SMPI process data
structure (but was NULL).

Make the cast explicit in smpi_process_index_of_smx_process()

When getting the SMPI process data from a SIMIX process a cast is done
from void* to smpi_process_data_t. Make it explicit.

[mc] Initalize the SMPI options before creating the processes

This is necessary because the MC code handling the creation of
processes needs to be aware of the SMPI options. This look like a huge
mix of the different layers (SMPI, MC, SIMIX).

Add a xbt wrapper for simcall_mutex_trylock (asked in [#17878])

remove outdated paragraph in faq

add mention of valgrind and gdb in documentation of context factories

warning --

bring back network model updateActionsStateFull function. network/optim:Full option should work again
It was previously returning an unimplemented exception

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Throw a host failure exception instead of a jni one - adrien

[mc] Revert to previous heap scanning method

There are issues with the current version.

[mc] Fix bug in mmalloc_compare_heap() when a ungragmented block is handled as a fragmented one

This bug was introduced by the commit of MMALLOC_TYPE_HEAPINFO.

[mc] Better condition for switching privatized data segment in MC_restore_snapshot()

[mc] Fix MC_snapshot_add_region() to forward correctly its arguments

As start_addr==permanent_addr for every call of
MC_snapshot_add_region() there is no impact on the current behaviour.

[mc] Fix broken MC_region_destroy()

The current implementation either segfaults or does nothing.

[mc] ISP tests integration

avoid warning by checking index in the right order

Add settings for Intel MPI with 2,4,8,16 processes/node on Stampede

switch way old SMP aware algos work, to be closer to the ones from mvapich

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

get back cleanup erased in 4cebfd8

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

added option to bind threads to physical cores

Loopback was not correctly used in fat tree clusters.

Fix [#17799] : have mpi_group_range_incl and mpi_group_range_excl better test some corner cases.
Two tests added : that the rank is in the right range at all times, and that we don't go after the last one wanted.
Hopefully this will be enough to cover all cases.
Test commcreate1 from mpich 3 testsuite has been confirmed to pass with one process
The test with 1 process has been added to the test suite (it was with 8 processes before)

Add vm tesh

Add java teshsuite for sleep_host_off

leak --

Attempt for a macos version of the threadtimer

Do not have cputime and threadtime return a no-op when only gettimeofday is available.

Behavior may be different than expected, but still better than nothing

silence (stupid) warnings from clang

didn't know hat having too many parenthesis around a test could trigger a warning ...

Add Bcast SMP Collectives from MVAPICH2

Still a few problems with pipelined algo from openmpi .. for now default to another one for these pipelined algos

fix build

Disable faulty mallocator test
Checking relative addresses of newly allocated memory (one call to new per element) is not really possible.
All systems on ci answer differently to this test, that should be revamped

move platform file

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Temporary patch to handle host failure exception during live migration of VM (a cleaner patch will be pushed in few days) - adrien

stupid old gcc. That's initialized.

add an example about the remote exception throwing (still not working entierely)

New: SIMIX_process_throw() allows to raise exceptions in remote processes

correct initializer

react correctly if an exception does not originates the current process

ensure that the process initializer actually works by using it

make public the function that can display an exception

useless cleanups

- one letter variables are harder to read
- remove a useless assert (the system will complain if it's null)
- improve some debug messages and comments

ignore more generated files

[mc] Remove useless code & comment in mc_region_restore_sparse()

This is not supposed to happen.

[mc] DRY in MC_replay_liveness()

begin to add bcast MVAPICH collectives selector..
still defaults to mpich one for now

warning --

remove uninitialized warning

remove useless (as for now) code

fix dist

Add Scatter SMP collective from MVAPICH2

Add Reduce SMP collective from MVAPICH2

add Allreduce SMP collective from MVAPICH2

Add Allgather SMP collective from MVAPICH2

Add Gather SMP collective from MVAPICH2

provide support for SMP in MPI communicators.
smpi_comm_init_smp(comm) will create subcommunicators for intra and inter ndoes communications.
This is based on what MVAPICH2 does

change hostfile used for mpich testsuite.
Deactivate a fortran part of a test, that made very strong assertions on order of completing calls..

Move group_incl code, to allow use by collective algos or internal calls

change SMPI collectives hostfile, to use 4 contiguous processes/node

Fix annoying typo in help message.

SR experiment now working

Add ignored files to .gitignore

[mc] Renable the sparse snpashot tests (after fixing them)

This reverts commit 331c666b6237387356618583cf6708f2f981ea45.

missing spaces between flags

Some old compilers seem to emit bogus warnings on ci
See https://gcc.gnu.org/bugzilla/show_bug.cgi?id=45978 .
Avoid failing the build in this case

remove warnings

missing files - adrien

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Found a bug/feature regarding the cancellation of a sleep (see comments directly in the code) + add a temporary patch directly at the java level in order to force a hostFailureException - Adrien

fix dist

these assertions were a bit strong

make some algorithms return when using bad datatypes

Add Intel MPI (impi) selector.

Thresholds were obtained on Stampede cluster, by activating debug output for 1 process/node.
Algorithm list is available in the documentation of Intel MPI, available on their site

problems:
- doesn't take into account SMP for now (selection logic evolves, and thresholds change)
- some algorithms are unavailable (proprietary/undocumented) such as Shumilin's or Plum's. So others are used in these cases... And that's bad.

some algos have bad behavior with some inputs, try to avoid that.

activate a previously commented pairwise alltoall algo with rma comms

Add Rabenseifner Reduce/Allreduce algorithms
See https://fs.hlrs.de/projects/par/mpi//myreduce.html for details

Fix host_on_off_process tesh

Fix tesh host_on_off_processes 4

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

fix tesh (add the sleep test output) - adrien

Shell script to generate a simple tesh file

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Add test sleep for host_on_off + minor changes - Adrien

[mc] Disable sparse snpashot tests

It seems sparse snapshots are not stable yet.

[mc] Remove unused variables

Stop the continuous integration server from complaining.

Merge branch 'master' of git+ssh://scm.gforge.inria.fr//gitroot/simgrid/simgrid

Rollback - the java code should make a THROWF call - adrien

[mc] Make state/snapshot comparison work with SMPI variable privatisation

Changes :

  * a snapshot region now has a standard address (address in the
    virtual process) and permanent address (address of the
    privatisation region, where the memory is always mapped event when
    another process is active);

  * handle privatised memory regions on snapshot and snapshot restore;

  * compare global vaiable separately for each simulated process;

  * the ID of the simulated must be passed everywhere;

  * mc_snapshot_read() and friends as well as DWARF expression can be
    evaluated in the context of a given simulated process and fetch
    the data in the corresponding privatisation region.

Merge branch 'mc'

Conflicts:
src/mc/mc_compare.cpp

[mc] Change the signature of mc_restore_page_snapshot_region

Better separation of the different snapshot layers.