MC: Start implementing the dependency functions on the AppSide (TBC)

(code committed to gather feedback: it's not used yet)

Instead of one big function handling the dependencies for every kind
of transition on the CheckerSide, we will split that logic between the
observer subclasses and execute it on the AppSide. This will induce
more latencies, but hopefully this will make the code more managable.

This commit introduces a MutexSimcall observer, as we want to group
MutexLock and MutexUnlock together when computing the dependencies.

But we cannot use it yet, as we need to have asynchronous locks for
the existing independence theorems to be usable.

Some sonar stuff...

Don't take default smpi compiler flags from the environment.

The user must explicitly define them through cmake parameters
SMPI_C_FLAGS, SMPI_CXX_FLAGS, or SMPI_Fortran_FLAGS.

Cosmetics.

Put stdout in line buffer mode for MCed apps.

The call to fflush before backtrack/exit is certainly superfluous now,
but it doesn't harm.

fix my recent commit: build the binaries in the right directory

distcheck, but in a new and shiny way with a lot of cmake stars in the sky

factorize some code in examples/smpi/CMakeLists.txt

Because factorizing cmake code is what you need today.

Warn the user if the sleep time is smaller than the numerical precision

cmake: Ensure that the users don't activate minimal-bindings and model-checking together

MC: add a clone() method to all Observers

This will be useful for the AppSide to maintain a vector of all
observers on the stack, to move the independency tracking to that side.

Fix tesh file now that MC flushes the output on backtrack

That's weird, it seems that we don't flush it when the application
ends, as one of the outputs arrives after the end of MC. But I fail to
see in the code where that would come from.

MC: also flush application's stdout on backtrack

Document the fact that we have more documentation

Work around a bug in vscode

Tuto MC: Add a word about the missing pieces

DragonflyZone: Add limiters for switches

Final change to make uniform the behavior of limiters in the clusters:
Fat-Tree, Torus and Dragonfly.

Changes in tests flatifier and cluster-multicpu

FatTreeZone: Add limiters for switches

Users can set limiters for switches (elements whose level > 0) in Fat-Tree.

Coordinates in Fat-tree are now characterized by: <level, id>, level 0
elements are the leaves (processing nodes).

Uniform limiter behavior in routes: src, destination and middle nodes.

Changes in tests:
1) cluster-multicpu: adjust timing due to new limiters.

2) flatifier tests must be adapted for these reasons:
  - Changed callback to create limiters from XML. Radicals in XML are valid for leaves in the tree. Use internal ID instead.
  - Changed order of links in the route from get_local_route of Fat-trees.

TorusZone: Add limiter for destination node

Uniform the behavior of limiters for clusters: Torus, Dragonfly and
Fat-tree.

Limiters are added in source, destination and middle nodes.
Example: Route from A to C, passing through B (A -> B -> C)
A-> limiter(A) -> link(A-B) -> limiter(B) -> link(B-C) -> limiter(C) ->
C

Adjust test timing because of the new limiter. Also, fix flatifier test,
adding new limiter link at destination.

Fix leak on test.

More files to cleanup (windows-wsl).

Fix another Asan false alarm (with clang 12).

Distcheck.

Fix cmake 3.20 warning.

Policy CMP0115 is not set: Source file extensions must be explicit.

missing override

add Profile support for Disk

cosmetics and typos

do not store name in s4u::Disk

Kill EngineWrapper hack and reduce code duplication.

Define an Engine constructor taking only a name parameter.

It will by useful for unit tests.

Kill unused parameters.

Const pointer/reference.

Hide Asan error.

Certainly a false positive seen with s4u-exec-ptask and swapped contexts:

==3408837==ERROR: AddressSanitizer: stack-use-after-scope on address 0x7fbcf3ffe0f0 at pc 0x7fbcf83efc32 bp 0x7fbcf3ffe040 sp 0x7fbcf3ffe038
WRITE of size 8 at 0x7fbcf3ffe0f0 thread T0
    #0 0x7fbcf83efc31 in _M_init_functor ../src/s4u/s4u_Activity.cpp:63
    #1 0x7fbcf83efc31 in _M_init_functor /usr/include/c++/10/bits/std_function.h:208
    #2 0x7fbcf83efc31 in function<simgrid::kernel::actor::simcall<simgrid::s4u::Activity::cancel()::<lambda()> >::<lambda()> > /usr/include/c++/10/bits/std_function.h:609
    #3 0x7fbcf83efc31 in simcall<simgrid::s4u::Activity::cancel()::<lambda()> > ../include/simgrid/simix.hpp:60
    #4 0x7fbcf83efc31 in simgrid::s4u::Activity::cancel() ../src/s4u/s4u_Activity.cpp:63
    #5 0x55e051d23c53 in simgrid::s4u::Activity_T<simgrid::s4u::Exec>::cancel() ../include/simgrid/s4u/Activity.hpp:223
    #6 0x55e051d23c53 in runner ../examples/cpp/exec-ptask/s4u-exec-ptask.cpp:61
    #7 0x7fbcf84d9d51 in std::function<void ()>::operator()() const /usr/include/c++/10/bits/std_function.h:622
    #8 0x7fbcf84d9d51 in simgrid::kernel::context::Context::operator()() const ../src/kernel/context/Context.hpp:65
    #9 0x7fbcf84d9d51 in smx_ctx_wrapper ../src/kernel/context/ContextSwapped.cpp:51

Workaround false alarm stack-use-after-scope from Asan with operator<<.

Seen with tesh-s4u-activity-lifecycle:

==3411378==ERROR: AddressSanitizer: stack-use-after-scope on address 0x7fd4787b5f60 at pc 0x7fd4869e2acb bp 0x7fd4787b5530 sp 0x7fd4787b4ce0
READ of size 5 at 0x7fd4787b5f60 thread T0
    #0 0x7fd4869e2aca in printf_common ../../../../src/libsanitizer/sanitizer_common/sanitizer_common_interceptors_format.inc:490
    #1 0x7fd4869e4115 in __interceptor_vsnprintf ../../../../src/libsanitizer/sanitizer_common/sanitizer_common_interceptors.inc:1647
    #2 0x7fd4858f932e  (/usr/lib/x86_64-linux-gnu/libstdc++.so.6+0xea32e)
    #3 0x7fd4859272eb in std::ostreambuf_iterator<char, std::char_traits<char> > std::num_put<char, std::ostreambuf_iterator<char, std::char_traits<char> > >::_M_insert_float<double>(std::ostreambuf_iterator<char, std::char_traits<char> >, std::ios_base&, char, char, double) const (/usr/lib/x86_64-linux-gnu/libstdc++.so.6+0x1182eb)
    #4 0x7fd4859347b9 in std::ostream& std::ostream::_M_insert<double>(double) (/usr/lib/x86_64-linux-gnu/libstdc++.so.6+0x1257b9)
    #5 0x55a66a474e0a in std::ostream::operator<<(double) /usr/include/c++/10/ostream:221
    #6 0x55a66a474e0a in Catch::ReusableStringStream& Catch::ReusableStringStream::operator<< <double>(double const&) ../src/include/catch.hpp:1449
    #7 0x55a66a474e0a in Catch::MessageBuilder& Catch::MessageBuilder::operator<< <double>(double const&) ../src/include/catch.hpp:2632
    #8 0x55a66a474e0a in bool tester_wait<0, boost::intrusive_ptr<simgrid::s4u::Exec> >(boost::intrusive_ptr<simgrid::s4u::Exec> const&) ../teshsuite/s4u/activity-lifecycle/testing_test-wait.cpp:44
    #9 0x55a66a63f0af in operator() ../teshsuite/s4u/activity-lifecycle/testing_test-wait.cpp:129
    #10 0x7fd485d7bd51 in std::function<void ()>::operator()() const /usr/include/c++/10/bits/std_function.h:622
    #11 0x7fd485d7bd51 in simgrid::kernel::context::Context::operator()() const ../src/kernel/context/Context.hpp:65
    #12 0x7fd485d7bd51 in smx_ctx_wrapper ../src/kernel/context/ContextSwapped.cpp:51
    #13 0x7fd485e09e48 in simgrid::kernel::context::BoostContext::wrapper(boost::context::detail::transfer_t) ../src/kernel/context/ContextBoost.cpp:49
    #14 0x7fd4854be19e in make_fcontext (/usr/lib/x86_64-linux-gnu/libboost_context.so.1.74.0+0x119e)

Mix create_host and add_route during platf creation.

Allow creating hosts and adding CPUs during platform description.

With the C++ interface, it's easy to mix the creation of hosts and
routes in the same for loop. However, the old code had the assumption
that all hosts were created when we added new routes. This info was used
to initialize the routing_table.

Change code to resize the routing table when necessary (number of
elements in the zone has changed).

Zones with the error: Full and Floyd

Added UTs for this case.

Make sonar green again.

Fix test tesh-s4u-trace-integration.

Overriding CpuTiAction::set_max_duration() was wrongly inserting an action with min_finish = -1.0.
Simply use the parent Action::set_max_duration() instead.

The action will be inserted in action_heap by update_action_finish_time() when needed.

NO_MAX_DURATION is a double.

Keep execution alive after timeout in sg_exec_wait_for.

Fixed tests in activity-lifecycle/testing_test-wait.

Close simgrid/simgrid#47

Fix test s4u-exec-ptask: task needs to be canceled after timeout.

Fix ActivityImpl::wait_for to not cancel the activity on timeout.

This should improve issue simgrid/simgrid#47.

Some tests are broken by this commit, and should be fixed soon.

Kill dead code.

It's never used, and I doubt that it's entirely correct.

Use observer ActivityWaitSimcall in s4u::Activity::wait_for().

Define observer ActivityWaitSimcall.

Reduce code duplication.

Cancel any activity on actor exit.

Move fields from Exec to ExecImpl.

The Exec may be released before the end of the execution, bringing a
null dereference when finish_time is set.

Improve messages: timeout is for the 'wait', not for the execution.

Fix tesh file.

Measured energy consumption has changed.  The new value seems more correct (2s on host2 at 4W gives 8J).

Suspend all the associated activities on actor suspend.

Migrate all the associated exec activities on actor migration.

yet another revision of the disk internals

cosmetics (before move to src/kernel/resource ??)

not needed anymore

do not use RouteCreationArgs outside of XML parsing

Resize(0) is redundant.

Missing includes.

Cleanup some unused and/or useless build config variables.

do not need ClusterCreationArgs anymore

refactor link characteristics management across Clustered Zones

Torus/Fat-Tree/Dragonfly: Aggregate callbacks

Put set callbacks in an object.
Less (or encapsulated) arguments for create_zones.
Remove create_cluster_zone (create_star_zone does its job for C++
interfaces).

Asan sometimes chokes on RUNNING_ON_VALGRIND. Workaround by changing the test.

Libunwind is useless for non-MC builds.

Moreover its presence causes unwanted false-positives with Asan.

Fix 32 bits now...

Ooops.. Fix CmakeFiles and MANIFEST

Cluster: use radicals from XML when creating resources

Use radicals from XML when creating hosts in sg_platf.xml.
Fix bug with limiter.
Add test.

do not throw signal from sg_platf

Use new API to create Torus/Dragonfly/Fat-Tree clusters from XML.

Get rid of ClusterCreationArgs in Torus/Dragonfly/Fat-tree.

NOTE: Routers aren't created anymore for Torus/Dragonfly/Fat-tree zones.
- This router was lost in the middle of topology connected through empty
routes (no links)
- In the past, the sg_platf created a router automatically for these
netzones since they shared the same sg_platf_new_cluster function.
- Impact on flatfier test: cluster_torus.xml.

FatTreeZone: Do the checks earlier

New: s4u::create_dragonfly_zone

Implements the builder method for Dragonfly zones.

New example: Dragonfly cluster of multi-cpu hosts(Star Zones)

Cosmetics

MC tuto: Review by Emma

Attribute noreturn for terminate handler.

We don't want to survive a ForcefulKillException!

The header <typeinfo> must be included before using typeid.

New example: Fat Tree cluster of multi-cpu hosts(Star Zones)

Adapt existing Torus example for different platforms.
Same idea: each leaf is a new StarZone netzone, emulating a multi-cpu
node.

New: s4u::create_fatTree_zone

Implements the builder method for Fat Tree zones.

Similar signature and behavior of create_torus_zone.

Fix FatTreeZone with limiter links

Are we sure we want this "feature" in complex clusters?
As for Torus, no test using it.

Segfault when communicating with limiter links.
Routers inside the FatTreeZone don't have limiters, even when user sets
the limiter on the XML.

Code was adding nullptr to the list of links in this case, generating a
segfault in communicate function.

Example:
  <zone id="world" routing="Full">
    <cluster id="bob_cluster"
     prefix="node-" radical="0-15" suffix=".simgrid.org"
     speed="1Gf" bw="125MBps" lat="50us"
             topology="FAT_TREE" topo_parameters="2;4,4;1,2;1,2"
     loopback_bw="100MBps" loopback_lat="0" limiter_link="100MBps" />

First version of a tutorial on Mc SimGrid

cosmetics

Add a pointer from the doc sources to the online one

add a (modern) wait_any for Io activities. Thx agier!

throw signal from seal() directly

Try to please sonar

Improvements in torus test

Use 2 links in Star Zone to simulate full-duplex communications.
Improv doc.

Initialize models together with netzone root

Remove static to initialize models once, anyway we have only one engine
in a simulation by now. Hope someday we'll be able to initialize the
models properly.

Remove workaround in UTs

New example: Torus cluster of multi-cpu hosts(Star Zones)

Add a new example showing how to build a torus cluster composed of
netzones instead of single hosts.

Each leaf is a StarZone, representing a host with 8 CPUs connected in a
star. CPU-0 is the gateway for each StarZone.

Runs a simple broadcast application where each CPU runs a specific
actor.

NetZone::get_netpoint: gets the netzone's netpoint

New method to get the netpoint used by netzones.
Usefull when describing routes using the netzones (add_route method)

Add some UT for TorusZone

Improve some checks.

New: s4u::create_torus_zone

Implements the builder method for Torus zones

NetZone* create_torus_zone(const std::string& name, const NetZone* parent, const std::vector<unsigned int>& dimensions,
                           double bandwidth, double latency, Link::SharingPolicy sharing_policy,
                           const std::function<TorusNetPointCb>& set_netpoint,
                           const std::function<TorusLinkCb>& set_loopback = {},
                           const std::function<TorusLinkCb>& set_limiter  = {});

This builder method allow us to keep hiding the internals of our
NetZones, exporting only a NetZone* to the end-user.

It uses callbacks functions to populate the leaves in the Torus, 3
callbacks can be used:
- set_netpoint: must return a pair NetPoint,Gateway. This allows us to
have complex netzones under each leaf
- set_loopback: The link used to loopback communications
- set_limiter: A limiter link for each leaf

The links inside the Torus are homogeneous and described by the
bandwidth, latency and sharing policy parameters.

As the creation of resources are linked to the netzones (create_host,
create_link functions), we have to add the parent parameter to the
builder function. Otherwise, the user cannot create the resources
associated with the leaves in the callbacks.

Obs.: By now, the sg_platf.cpp isn't using this new builder method.
It will be changed once we have implemented the builder for every
cluster type (fatree, dragonfly).

Rename VirtualMachine::get_impl() to not hide Host::get_impl().

Make SIMIX_simcall_name() use the type of observer_ if it exists.

It gives more information about the kind of simcall being involved,
since most simcalls are nowadays of type RUN_KERNEL or RUN_BLOCKING.

Use std::string::rfind to match string prefix.

Unused #include.

Raise exception for invalid parameters in StarZone

We've talked about using exceptions for invalid parameters in user'
calls.
Adjust for StarZone.
Bonus: We can test it in UT with catch

[sonar] Implicit casts should not lower precision.

Use type aid_t for actor ids.

Factor code for simcall observers with a result.

Cosmetics: make parameter name match with .hpp.