[mc] Move page store test from the integration test into the unit test infrastructure

Add support for C++ in tools/sg_unit_extractor.pl

[mc] Use mc_snapshot_region_memcmp() in compare_areas_with_type()

[mc] Avoid memory allocation for flat snapshots in mc_snapshot_region_memcmp()

[mc] Fix name of mc_snapshot_region_memcmp

Merge branch 'mc-fix' into mc-fastsnapshot

Conflicts:
src/mc/mc_diff.c

[mc] Fix check on type name

The name was changed to include 'struct/class'.

[mc] Fix bad parameter passed in mc_diff

In the following calls:

    compare_heap_area_with_type(state,
      area1, area2,
      area1_to_compare, area2_to_compare,
      snapshot1, snapshot2,
      previous, type, size, check_ignore,
      pointer_level);

    compare_heap_area_without_type(state,
      area1, area2,
      area1_to_compare, area2_to_compare,
      snapshot1, snapshot2,
      previous, size, check_ignore);

areaX and real_areaX_to_compare do not point the same data in different
address spaces in some cases.

Sometimes real_areaX_to_compare is adjusted to point to the beginning
of the block or fragment:

    area1_to_compare = addr_block1;
    // or
    area1_to_compare = (char *) addr_frag1 + offset1;
      // (when offset1==0)

but areaX is not adjusted accordingly and still point to the original
data: in the called compare_heap_area_with[out]_type(), the two values
are inconsistent.

Moreover in some cases, the type does not correspond:

  * areaX_to_compareX is the beginning of the fragment ;
  * type is the type of areaX,  not the type of the fragment.

[mc] Fix lookup of malloc fragment type

In some cases, the type was looked up in the current heapinfo and not
in the snapshot one:

 * in some cases this is not an issue as state->heapinfo2 is currently
   the same as the current heapinfo but this solution is more robust;

 * if we were supposed to look it from state->heapinfo1 this is wrong.

[mc] Fix bound check in mc_snapshot_read_region

[mc] Add mc_snapshot_read_pointer()

[mc] Bug: MC was reading from the wrong region

[mc] Inline mc_snapshot_read_region()

[mc] Inline mc_translate_address() and mc_translate_address_region()

[mc] Forgot to decrease the page refcounts when freeing a snapshot

[mc] Add support of privatized global variables in per-page snapshot

Not very useful because state comparison does not work with SMPI
privatisation yet.

[mc] Avoid loosing meaningful bits ot pair.p2 when hashing pointer pair

[mc] Use an unordered_set for compared_pointers instead of a dynarr

It has a better algorithmic complexity.

At the same time, avoid using TLS which is not implemented with
destructor-enabled data structures before C++11.

[mc] Remove declaration of mc_read_pagemap() in mc_page_store.cpp

It is now in mc_page_snapshot.cpp.

[mc] Optimise more files

[mc] Always inline mc_page_store_get_page (C version of page_store->get_page())

[mc] Move method definition out of class declaratio and force inline

[mc] Reset the softdirty bits *before* restoring the ignored bytes (not after)

We want to know what has changed since the last per-page snapshot: we
have to reset the soft dirty bits just after the per-page restoration.

[mc] Try to use optimisation with some part of the MC

[mc] Always inline 'inline' functions

The MC is usually compiled without optimisation as they tend to
confuse the state comparison. But we *really* want to inline functions
declared 'inline'.

[mc] Fix compilation warnings/errors when optimizing

[mc] Documentation of mc_page_snapshot

[mc] Config to disable soft-dirty page tracking --cfg=model-check/soft-dirty:yes

It is here mostly to test the effect on soft-dirty page tracking on
the performance of the simulator. It might be removed in the future
once we will be certain that soft-dirty page tracking does not have a
significant negative impact on some workloads.

[mc] Avoid big alloca in mc_snapshot_region_memcp and mc_snapshot_memcp

Be more stack friendly.

[mc] Poor man's TCO in compare_heap_area_with_type()

This is slightly more friendly for the stack.

[mc] Do not allocate pagemap buffer on the heap

This won't work very well with small stacks.

[mc] pread_whole must restart in cas of EINTR, not EAGAIN

This probably won't happen with this file anyway.

[mc] Documentation about per-page snapshots

[mc] Add some documentation

[mc] Avoid region lookup when we know we are in the heap

[mc] Fix bug mc_snapshot_read_fragmented

Return the correct address.

[mc] Replace test-and-die with assert

[mc] Avoid looking up region in mc_diff (we are in the heap)

[mc] Fix mc_snapshot_read_fragmented

[mc] Remove heap{base,info}{1,2} field in struct s_mc_diff (not meaningful in per-page snapashots)

[mc] Fix inverted test on page soft-dirtiness

[mc] Do not use offsetof() in mc_snapshot_get_heap_end

We don't need this. It's much clearer like this.

[mc] Fix mc_snapshot_get_heap_end() for per-page snapshots

[mc] Fix mc_translate_address_region() for per-page snapshots

It was completely broken :/

[mc] Remove mc_untranslate_address() and mc_member_snapshot_resolve()

Those were working in the snapshot address space so we do not use them
anymore (it is not very useful to work in the snapshot space when the
snapshot space is broken in pages).

We work in the process address space instead (mc_member_resolve).

[mc] Use mc_snapshot_read in snapshot_compare (compatibility with per-page snapshots)

[mc] mremap does not like MAP_PRIVATE|MAP_ANONYMOUS regions

Use a MAP_PRIVATE one instead.

[mc] Add option --cfg=model-check/sparse-checkpoint:yes to enable per page snapshot

[mc] Fix bugs in mc_page_snapshot

[mc] Use mc_snapshot_read in mc_diff (compatibility with per-page snapshots)

[mc] Use mc_snapshot_read in dwarf expression evaluation (compatibility with per-page snapshots)

[mc] Fix bug in mc_snapshot_read

It was broken when no snapshot was used.

[mc] Remove useless bits

[mc] Remove useless parameters in compare_local_variables

[mc] Group MC_ignore_global_variable("mc_diff_info"); its fiends

[mc] Remove useless parts in mmalloc_compare_heap, MC_take_snapshot_stacks, snapshot_compare

[mc] Use process addresses in mc_compare

This is necessary in order to work work with per-page snapshots.

[mc] Partial integration of per-page snapshot address translation (wip)

[mc] Simplify s_mc_snapshot_stack

Some fields were not used and have been removed:

  * stack_pointer (SP in the snapshot)
  * real_address  (address of the stack)

The first one does not make sense with page-fragmented snapshot.

Simplify the computation of snapshot->stack_sizes[cursor].  The old
computation did not make sense with page fragmented snapshots.

[mc] Update doc for page_store

[mc] Page-level sparse snapshot: work-in-progress, working page_store

Implement page_store which stores immutables/shared/refcounted copies
of memory pages.

[mc] In MC_ignore, keep the zeroed data out of the main snapshot

The previous implementation was zeroing out the snapshot data

   * so that it will be automatically ignored by the state comparator;

   * but not for the first snapshot in order to be able to backtrack
     to the initial state;

In preparation for the per-page snapshoting code, we

  1. zero out on the main memory;
  2. keep the zero-ed bytes out of the main snapshot regions;
  3. restore the zero-ed bytes.

This way the state comparison code and the per-page snapshoting code
do not have to worry about this. Moreover by normalizing, the
"ignored" bytes, we increase the possibility of sharing memory pages
in per-page snapshots.

Remove comment which has not been accurate for a long long time

model-checker : use new variable _sg_mc_liveness instead of _sg_mc_property_file

model-checker : remove useless debug message and add another one

model-checker : compare the pid of enabled processes before memory introspection

model-checker : fix backtracking with comm determinism verification

model-checker : comment erroneous ignore (not completely sure ...)

model-checker : use the right heap

model-checker : reword debug message

model-checker : mc_dpor.c -> mc_safety.c

model-checker : remove useless ignore

model-checker : new tesh examples about communications determinism verification

model-checker : fix comm determinism detection mechanisms

model-checker : forget file

model-checker : cleanups, refactoring and apply indent script

model-checker : cosmetics in log message

model-checker : improve error message

[mc] Temporary fix for smpi_process_finalize leading to graph explosion in MC

Merge branch 'master' into mc

Fix a compilation error regarding logging and strings in fat trees

Lots of bugfixes for the fat trees, it should at least not crash when using it

small cosmetics to AsClusterFatTree::generateDotFile()

Fix some bugs in fat trees

make the xbt_os_time module public

update the comments of that file

listing new files

start testing remote I/Os

leak--

allow several hosts to open the same file simultaneously

Throw an exception only when it's really not implemented

Move unachieved release goals from ChangeLog to TODO file.

Cosmetics: keep alphabetical order.

Update doc for surf++

Revert "[mmalloc] Use mremap to expand heaps (heap collision prevention)"

This is really how is should be handled. However, this does not work
if someone has split the VMA in parts: this is done when creating
stacks on the heap without MC, mprotect() is used to create a guard
page for the stack.

This reverts commit ba3185d8a4f0a56804d3b1ff24e596096f06a37c.

Documentation for stack size, stack guard and context factory

Add some words about %e fore spaces in logs.

When the parameter parser is jammed, display the full parsed string

add some doc about the trap I just felt into

Free previously set process data.