Merge branch 'simgrid-udpor-integration' into 'master'

Phase 1 of Integration of UDPOR: Adding UDPOR Constructs

See merge request simgrid/simgrid!132

Useless casts to (void*).

Comment is not relevant anymore.

[ci-skip]

Use type aid_t for an actor's PID.

More Sonar issues.

Use normal strings instead of f-strings (Sonar).

Use C++17's std::scoped_lock where appropriate.

Stick to C++14's std::lock_guard in public headers.

Don't access variable ouside of the critical section.

TSan warned about a data race there.
Also use a std::scoped_lock to handle the mutexi (Sonar).

Various cleanups.

Includes:
* prefer simpler overload for channel send/receive
* use direct-initialization for variables
* rename variable and avoid it to be shadowed later
* remove unnecessary casts

Partially revert 2ad536e710c5936ff8e525e4bbb5e7046f292aac (Simplify the library initialization) to fix a memleak

Implement the semaphore functions in sthread

Add tests for adding events to configurations

Add preliminary tests for Configuration

protect the dict initialization against multithreading

Implement adding events to configurations

When adding an event to a configuration, we
assert that the configuration actually contains
all of the dependencies of that event within it;
otherwise, we would violate the property that a
configuration contains all of its dependencies.

Note that we do not assert whether or not the
configuration is actually conflict-free: we leave
that to the correctness of UDPOR and other tests which
will assert UDPOR is doing the right thing. But having
this assertion will certainly help catch bugs with the
UDPOR implementation more quickly (termination would
happen at the moment that the algorithm encounters
a spot where it chose an event incorrectly).

Add extensive tests for checking valid configurations

An example event structure was given and all
possible subsets of its events were tested for
completeness. Each subset was tested for whether
it was a maximal subset of events (i.e. one for
which no element causes any of the others) and
for whether the set of events qualified for being
a configuration.

An additional observation was made concerning the determination of
whether or not a set of events is maximal. To compute
the maximal events of a given set of events, it suffices
to search the entire history of the events and eliminate
events from the original set as they appear. Note that only
events in the set itself can ever be maximal, as all other
events discovered in the search must have come from one
of these event's dependencies, or one of their dependencies'
dependencies, and so on.

Cosmetics

- Rename xbt_main.cpp -> xbt_misc.cpp to reflect its content
- Stick to our naming schema (Engine::pimpl -> Engine::pimpl_)
- Don't say the loop iterator is const to then const_cast it
- Kill the leftover xbt::binary_name and xbt::cmdline local vars

logs: protect finalization against multiple calls

Let the xbt_log module register its finalizer itself

And kill an internal header file that is now empty

Add method to check if an EventSet is a config

A method was added that determines whether or not
some set of events (i.e. an `EventSet`) are actually
a valid configuration or not. The question of choosing
valid configurations is up to UDPOR, so while enforcing
that each and every event added to a configuration
be checked to ensure that the configuration remains
as such, it is not strictly necessary. However, it
will help us identify bugs with configurations if
and when they arise.

The key idea behind checking whether a set of events
forms a configuration is to again leverage the power
of History. If while searching through the history
of a set of events you stumble upon an event that is
not part of the original group, then you know that
said group cannot be a configuration since at least
one of the member's dependencies are not part of the
group.

Kill simgrid::xbt::cmdline and simgrid::xbt::binary_name

Simplify the library initialization + deprecate 2 XBT functions

Work toward making EngineImpl::initialize() the only entry point of
the library initialization. It's now impossible to initialize xbt
separately of EngineImpl.

It should help reducing the mess in that code, which results from the
many ways of initializing the library. simgrid-mc, unit-tests, smpi
and others each have their own way of initializing everything,
resulting in a spagetthi and fragile code. It's a bit of a waste to
initialize an EngineImpl even when you don't want to actually run a
simulation, but easier code is always better.

This commit also includes another one because I git amended locally by
error, sorry for the mess. The other commit was about the deprecation
of xbt_procname and xbt_getpid that were xbt functions relying on S4U.

Remove a useless lib constructor (simpler is better)

Initialize the dict module on need, w/o relying on lib constructors

Add first batch of tests for History class

Add first implementations of History class

Introduce extrinsic equivalence between events

Extrinsic equivalence between two UnfoldingEvents
simply means that we consider to events to be
"the same". This equivalence is used when UDPOR
creates a new event to determine if in fact that
event has already been created. This requires determining
the equivalence between the transitions associated with
those events as well as the dependencies of each of
the events.

Add tests for the Unfolding object

The Unfolding object currently doesn't have much functionality,
so there is not much that needs to be tested with it. It is
effectively a wrapper around a collection of std::unique_ptr.
Eventually, more functionality may be added when more of the
implementation of UDPOR is added, although its use will still
be quite limited even later

Add set operator tests for EventSet

This commit introduces test cases for the
common set operators, viz. set union, set
difference, and testing subsets.

Add tests for EventSet equality

Add History object skeleton

The History class represents the entire
history of a collection of events "lazily",
i.e. without needing to compute the entire
history if it is not actually needed

Remove StateManager

The StateManager class was created to wrap
some of the functionality used in tiny_simgrid,
but it turns out that this functionality isn't
actually needed. States are managed entirely
by the UdporChecker/UDPOR in what is
effectively a stack, and it doesn't make sense
for events to talk about states when states
are associated with configurations

Add first batch of tests for UDPOR

This commit adds tests for the UDPOR constructs
that will be used when UDPOR is finally implemented.
UDPOR will rely heavily on the correctness of
the methods herein and hereafter (in subsequent
commits) tested, so it is important that each function
be tested to the maximum extent possible

"Finalize" interface to UnfoldingEvent

The interface to the UnfoldingEvent was carried over
from the previous implementation of UDPOR in the
"tiny_simgrid" repository. However, the implementation
needed to be adjusted to better suit how SimGrid is
going to implement UDPOR. Instead of holding a string
tag identifying a transition, each UnfoldingEvent now
directly holds a reference to the transition from the
state prior.

This caused some changes to need to be made in the
UdporChecker.cpp. These changes have moved the pseudocode
of UDPOR one large step closer to the actual implementation
that will be brought to life over the next few weeks

Allow actor transitions to be shared

Transitions that were stored in `ActorState`
prior to this commit were stored as `std::unique_ptr`
instances. But UDPOR events need to hold
references to the transitions that they are
"associated with". While UDPOR will discard events
at the appropriate time, we want to make sure the
reference to the transition in some `ActorState`
(ultimately in some `State` instance) remains
valid event after UDPOR discard the State object.
This could e.g. be helpful while debugging

Add Unfolding data structure

The Unfolding data structure is used to
house all of the events UDPOR needs to maintain
as it searches through the unfolding. The
Unfolding may eventually also be used to store
and maintain state, although this technically
only needs to be delegated to the checker itself
as it performs its exploration

Add implementations for EventSet + Configurations

Add xbt_assert() for state handle overflow

With the StateManager, the current implementation
vends out integer handles that are referred to by
each UnfoldingEvent to map it to the appropriate
State.

A better API, however, may be to have a each event
manage its own state. We should verify first that
each UnfoldingEvent object corresponds to a unique
State object, but this may be the best option

Use std::unordered_set instead of std::set for EventSet

The ordering of the events in the set does not
matter in an EventSet. The std::unordered_set construct
is thus a better fit (std::set orders its elements).
While this disallows the use of the nice functions
in the standard library for forming unions etc.,
it is trivial to implement the functions `make_union()`
etc.

Move UDPOR constructs out of udpor_global.cpp

The udpor_global.hpp/cpp have been removed in
favor of seperate files for the primary
constructs that will be used in UDPOR. The source
files have been adjusted as necessary to allow
for a complete compilation

Add `udpor` directory under `mc/explo`

The `udpor` directory was created to better
house/separate all of the functionality that will
eventually be required by the UDPOR algorithm.
Currently, the files are not used as part of the
compilation process. Subsequent commits will remove
the `udpor_global.cpp` file and adjust the compilation
as necessary

Remove currently unused methods from udpor_globals

The udpor_globals.cpp file contained many currently
unused functions that were remove with this commit.
Subsequent commits will move the globals into more
relevant files under `explo`

Add minor clean ups

Add implementation for state management

Add incomplete implementations of udpor_globals.cpp

The classes EventSet, Configuration, and StateManager
have implementations added in order to allow SimGrid
to link properly. Future commits will provide actual
implementations for many of the TODOs that remain

Add `udpor` namespace

Begin porting implementation from tiny_simgrid

More of the structure of the current implementation
of the UDPOR algorithm was imported into SimGrid
with minor alterations to better fit the EventSet
class paradigm, along with some other cleaning up.

The next phase will be two-fold:

1. Importantly, state management will need to be
added into SimGrid. This shouldn't be too difficult,
assuming that we can follow a similar strategy as
The Pham had in tiny_simgrid of mapping State
objects to state id's and using those ids to later
manipulate the state. In SimGrid, the state will be
be used to manipulate the remote process to which
the Exploration has access, instead of manipulating
what's effectively a dummy object

2. Implementing most of the TODO functions
in EventSet etc. This functionality will come
in future commits.

Eventually, we'll want to make an iterative version
of UDPOR to prevent stack overflows, as it is likely
that the unfoldings of programs of any significant size
can get quite deep. For now, though, this is not
strictly necessary to get a first draft implemented

Add methods between EventSet and Configuration

The distinction between a Configuration and an
EventSet is a subtle one. Indeed, a configuration
in UDPOR is merely a set. There may be the opportunity
perhaps even to replace the Configuration class
with a typedef, although this may not be possible or
improve readability.

Convert EventSet into class from typedef

The EventSet object was simply typedef-ed to
a std::deque<UnfoldingEvent *>. While this
worked, it caused a lot of the code in tiny-simgrid
to be a bit more difficult to read since it
required the use of a more C-like idiom of passing
`this` as an explicit argument in EvtSetTools.

Effectively, the idea to absorb all of the EvtSetTools
methods into the EventSet class directly. This will
give a more natural C++ (instead of C) look to the
resulting code in the UDPOR algorithm

Revert "Upgrade embedded xxhash (-> v0.8.1)."

It doesn't compile on arm64

This reverts commit 4127fe802ff334591a6ba5b315190523fc2a660e.

Merge branch 'fix-probe' into 'master'

Send actor action probes one at a time

See merge request simgrid/simgrid!131

Send actor action probes one at a time

To avoid the scenario whereby the AppSide
delivers a message larger than the maximum
datagram side allowed by the application,
we instead send a single message for each actor.
This prevents us from needing to complicate the
sending logic in Channel.cpp, which would have
been made more complicated should we have wanted
to send variable-sized messages between the
checker and the application side

Remove more occurences of 'surf' with uppercases

Document that surf is gone

Upgrade embedded xxhash (-> v0.8.1).

Taken from
https://github.com/RedSpah/xxhash_cpp/commit/d21e37c34c4ad4ad562e4ec01ec036e342c422e3

Upgrade embedded catch2 (-> v2.13.10).

Taken from
https://github.com/catchorg/Catch2/releases/tag/v2.13.10

Finally kill surf_interface.hpp watched_host was actually useless

rename another file with had 'surf' in its name

Kill a file with 'surf' in its name, and further empty surf_interface.cpp

Rework a comment (to remove 'surf')

Rework compile optimizations for MC.

Missing includes.

Move -Wno-unused-local-typedefs to common flags.

It's supported by Clang too, and needed with at least ns-3.31.

kill src/simix

Move the non-deprecated bits of simix to kernel::actor::Simcall

Kill src/include

The -Isrc/include makes it difficult to recognize in the source which
\#include takes a public header and which one is a private header.

Plus, move the third-party headers to a specific directory.

reduce the amount of header includes in headers, to speedup recompilation

Merge branch 'master' of framagit.org:simgrid/simgrid

Remove an obsolete cmake warning

Move some content of surf_interface to a new math_utils.h

Update path.

Error also seen with clang 11 and ns3.31.

Move the files related to the platform parsing to kernel/xml

move a symbol declaration out of surf_interface.hpp

CMake requires ns3 v3.28+, so don't work around a bug in v3.27

Move the ns3 helper files to kernel/models/ns3

Move the surf tesh tests with the other models' ones

Remove some more occurence of 'surf' in comments and such

Misc Sonar issues.

Various cleanups.

Further rename the identifiers of flexml to simgrid_parse_*

Change the namespace of flexml-generated parser from surfxml to simgrid_parse

Two more references of the surf/precision option name

Remove surf from the content from the examples of simulated filesystems

Rename ActivityImpl::surf_action_ to ActivityImpl::model_action_

Move HostImpl to kernel/resource with its friends

move the models to the right directory (empty src/surf a bit)

The remaining parts of src/surf need to be cleaned before being moved

Also, remove almost all #include "surf_interface.hpp"

Allow precision/bmf as a synonym to bmf/precision

Rename option maxmin/precision to precision/work-amount for clarity

Rename option "surf/precision" to "precision/timing" for clarity.

Rename sg_surf_precision to sg_precision_timing for clarity

Use surf_precision as a value for PMPI_Wtick

the unit of maxmin_precision is in flops or bytes (that's an amount of
work) while the unit of surf_precision is in seconds (that's a time).

doc: add a little graph about the host energy plugin

Merge branch 'fix-mc-tests' into 'master'

Fix root node edge case for `State` instance

See merge request simgrid/simgrid!129

Initialize uninitialized transition for root state

The transition in the root state was uninitialized
and this appears to have caused the last of the remaining
issues with the test suite. Of course, reading from the
uninitialized pointer `transition_` is bound to cause
a bunch of problems...

Fix root-node edge cases for states

fix MC+gcc builds

CI: build the model-checker on framagit, to test the MRs

fix the build (but not all tests) of MC

Merge branch 'actor-comms' into 'master'

Serialize pending transitions when responding to `ACTOR_STATUS` messages on the application side

See merge request simgrid/simgrid!127

properly deal with network/optim (end of the ModuleGroup cleanup)

The network/optim was abusing the model description mechanism, because
it was introduced before the options could be restricted to a list of
values. That's a pretty old cruft :)

Moreover, the config mechanism (probably) allowed network/optim:TI but then
ignored it silently. Not nice for the users.