Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
python3-dev is another dependency of the Python bindings
[simgrid.git] / docs / source / Installing_SimGrid.rst
index d4691fc..adfb90e 100644 (file)
@@ -1,4 +1,4 @@
-.. Copyright 2005-2019
+.. Copyright 2005-2023
 
 .. _install:
 
@@ -7,8 +7,7 @@ Installing SimGrid
 
 
 SimGrid should work out of the box on Linux, macOS, FreeBSD, and
-Windows (under Windows, you need to install the Windows Subsystem
-Linux to get more than the Java bindings).
+Windows (with WSL).
 
 Pre-compiled Packages
 ---------------------
@@ -19,61 +18,71 @@ Binaries for Linux
 To get all of SimGrid on Debian or Ubuntu, simply type one of the
 following lines, or several lines if you need several languages.
 
-.. code-block:: shell
+.. code-block:: console
 
-   apt install libsimgrid-dev  # if you want to develop in C or C++
-   apt install simgrid-java    # if you want to develop in Java
-   apt install python3-simgrid # if you want to develop in Python
+   $ apt install libsimgrid-dev  # if you want to develop in C or C++
+   $ apt install python3-simgrid # if you want to develop in Python
 
-If you build pre-compiled packages for other distributions, drop us an
-email.
-
-.. _install_java_precompiled:
-
-Stable Java Package
-^^^^^^^^^^^^^^^^^^^
-
-The jar file can be retrieved from the `Release page
-<https://framagit.org/simgrid/simgrid/releases>`_. This file is
-self-contained, including the native components for Linux, macOS and
-Windows. Copy it to your project's classpath and you're set.
+If you use the Nix_ package manager, the latest SimGrid release is packaged as ``simgrid`` in Nixpkgs_.
+Previous SimGrid versions are maintained in `NUR-Kapack`_ and are available
+pre-compiled in release and debug modes on the `capack cachix binary cache`_
+— refer to `NUR-Kapack's documentation`_ for usage instructions.
 
-Nightly built Java Package
-^^^^^^^^^^^^^^^^^^^^^^^^^^
+If you use a pacman-based system (*e.g.*, Arch Linux and derived distributions),
+the latest SimGrid is available in the `simgrid AUR package`_
+— refer to `AUR official documentation`_ for installation instructions.
 
-For non-Windows systems (Linux, macOS, or FreeBSD), head to `Jenkins <https://ci.inria.fr/simgrid/job/SimGrid>`_.
-In the build history, pick the last green (or at least yellow) build that is not blinking (i.e., not currently under
-build). In the list, pick a system that is close to yours, and click on the ball in the Debug row. The build artifact
-will appear at the top of the resulting page.
-
-For Windows, head to `AppVeyor <https://ci.appveyor.com/project/simgrid/simgrid>`_.
-Click on the artifact link on the right, and grab your file. If the latest build failed, there will be no artifact. Then
-you will need to first click on "History" at the top and look for the last successful build.
-
-Binary Java Troubleshooting
-^^^^^^^^^^^^^^^^^^^^^^^^^^^
-
-Here are some error messages that you may get when trying to use the
-binary Java package.
+If you build pre-compiled packages for other distributions, drop us an
+email.
 
-Your architecture is not supported by this jarfile
-   If your system is not supported, you should compile your
-   own jarfile :ref:`by compiling SimGrid <install_src>` from the source.
-Library not found: boost-context
-   You should obviously install the ``boost-context`` library on your
-   machine, for example with ``apt``.
+.. _Nix: https://nixos.org/
+.. _Nixpkgs: https://github.com/NixOS/nixpkgs
+.. _NUR-Kapack: https://github.com/oar-team/nur-kapack
+.. _capack cachix binary cache: https://app.cachix.org/cache/capack
+.. _NUR-Kapack's documentation: https://github.com/oar-team/nur-kapack
+.. _simgrid AUR package: https://aur.archlinux.org/packages/simgrid/
+.. _AUR official documentation: https://wiki.archlinux.org/title/Arch_User_Repository
+
+.. _deprecation_policy:
+
+Version numbering and deprecation
+---------------------------------
+
+SimGrid tries to be both a research instrument that you can trust, and
+a vivid project targeting the future issues. We have 4 stable versions
+per year, numbered 3.24 or 3.25. Backward compatibility is ensured for
+one year: Code compiling without warning on 3.24 will still compile
+with 3.28, but maybe with some deprecation warnings. You should update
+your SimGrid installation at least once a year and fix those
+deprecation warnings: the compatibility wrappers are usually removed
+after 4 versions. Another approach is to never update your SimGrid
+installation, but we don't provide any support to old versions.
+
+Interim versions (also called pre-versions) may be released between
+stable releases. They are numbered 3.X.Y, with even Y (for example,
+3.23.2 was released on July 8. 2019 as a pre-version of 3.24). These
+versions should be as usable as regular stable releases, even if they
+may be somewhat less tested and documented. They play no role in our
+deprecation handling, and they are not really announced to not spam
+our users.
+
+Version numbered 3.X.Y with odd Y are git versions. They often work,
+but no guarantee is given whatsoever (all releases are given "as is",
+but that's even more so for these unreleased versions).
 
 .. _install_src:
 
 Installing from the Source
 --------------------------
 
+.. _install_src_deps:
+
 Getting the Dependencies
 ^^^^^^^^^^^^^^^^^^^^^^^^
 
 C++ compiler (either g++, clang, or icc).
-  We use the C++11 standard, and older compilers tend to fail on
-  us. It seems that g++ 5.0 or higher is required nowadays (because of
+  We use the C++17 standard, and older compilers tend to fail on
+  us. It seems that g++ 7.0 or higher is required nowadays (because of
   boost).  SimGrid compiles well with `clang` or `icc` too.
 Python 3.
   SimGrid should build without Python. That is only needed by our regression test suite.
@@ -81,23 +90,23 @@ cmake (v3.5).
   ``ccmake`` provides a nicer graphical interface compared to ``cmake``.
   Press ``t`` in ``ccmake`` if you need to see absolutely all
   configuration options (e.g., if your Python installation is not standard).
-boost (at least v1.48, v1.59 recommended)
-  - On Debian / Ubuntu: ``apt install libboost-dev libboost-context-dev``
+boost mandatory components (at least v1.48, v1.59 recommended)
+  - On Debian / Ubuntu: ``apt install libboost-dev``
+  - On CentOS / Fedora: ``dnf install boost-devel``
   - On macOS with homebrew: ``brew install boost``
-Java (optional):
-  - Debian / Ubuntu: ``apt install default-jdk libgcj18-dev`` (or
-    any version of libgcj)
-  - macOS or Windows: Grab a `full JDK <http://www.oracle.com/technetwork/java/javase/downloads>`_
-Lua (optional -- must be v5.3)
-  - SimGrid won't work with any other version of Lua.
-  - Debian / Ubuntu: ``apt install liblua5.3-dev lua5.3``
-  - Windows: ``choco install lua53``
-  - From the source
-      - You need to patch the sources to build dynamic libraries. First `download lua 5.3 <http://www.lua.org/download.html>`_
-      - Open the archive: ``tar xvfz lua-5.3.*.tar.gz``
-      - Enter the directory: ``cd lua-5.3*``
-      - Patch the sources: ``patch -p1 < /path/to/simgrid/...../tools/lualib.patch``
-      - Build and install lua: ``make linux && sudo make install``
+boost recommended components (optional).
+  - boost-context may be used instead of our own fast context switching code which only works on amd64.
+  - boost-stacktrace is used to get nice stacktraces on errors in SimGrid.
+  - On Debian / Ubuntu: ``apt install libboost-context-dev libboost-stacktrace-dev``
+python bindings (optional):
+  - On Debian / Ubuntu: ``apt install pybind11-dev python3-dev``
+Model-checking dependencies (optional)
+  - On Debian / Ubuntu: ``apt install libunwind-dev libdw-dev libelf-dev libevent-dev``
+Eigen3 (optional)
+  - On Debian / Ubuntu: ``apt install libeigen3-dev``
+  - On CentOS / Fedora: ``dnf install eigen3-devel``
+  - On macOS with homebrew: ``brew install eigen``
+  - Use EIGEN3_HINT to specify where it's installed if cmake doesn't find it automatically.
 
 For platform-specific details, please see below.
 
@@ -105,30 +114,30 @@ Getting the Sources
 ^^^^^^^^^^^^^^^^^^^
 
 Grab the last **stable release** from `FramaGit
-<https://framagit.org/simgrid/simgrid/releases>`_, and compile it as follows:
+<https://framagit.org/simgrid/simgrid/-/releases>`_, and compile it as follows:
 
-.. code-block:: shell
+.. code-block:: console
 
-   tar xf SimGrid-3-XX.tar.gz
-   cd SimGrid-*
-   cmake -DCMAKE_INSTALL_PREFIX=/opt/simgrid .
-   make
-   make install
+   $ tar xf simgrid-3-XX.tar.gz
+   $ cd simgrid-*
+   $ cmake -DCMAKE_INSTALL_PREFIX=/opt/simgrid -GNinja .
+   make
+   make install
 
 If you want to stay on the **bleeding edge**, get the current git version,
 and recompile it as with stable archives. You may need some extra
 dependencies.
 
-.. code-block:: shell
+.. code-block:: console
 
-   git clone https://framagit.org/simgrid/simgrid.git
-   cd simgrid
-   cmake -DCMAKE_INSTALL_PREFIX=/opt/simgrid .
-   make
-   make install
+   git clone https://framagit.org/simgrid/simgrid.git
+   cd simgrid
+   cmake -DCMAKE_INSTALL_PREFIX=/opt/simgrid .
+   make
+   make install
 
 .. _install_src_config:
-   
+
 Build Configuration
 ^^^^^^^^^^^^^^^^^^^
 
@@ -147,9 +156,8 @@ cmake itself.
    files, such as ``CMakeCache.txt``. Since Cmake also generates some
    files in the tree, you may need to wipe out your complete tree and
    start with a fresh one when you install new dependencies.
-   
-   Another (better) solution is to :ref:`build out of the source tree
-   <install_cmake_outsrc>`.
+
+   A better solution is to :ref:`build out of the source tree <install_cmake_outsrc>`.
 
 Generic build-time options
 """"""""""""""""""""""""""
@@ -174,17 +182,17 @@ prefer the ``-D`` flag of ``cmake``.
 For example, you can change the compilers by issuing these commands to set some
 environment variables before launching cmake:
 
-.. code-block:: shell
+.. code-block:: console
 
-   export CC=gcc-5.1
-   export CXX=g++-5.1
+   export CC=gcc-5.1
+   export CXX=g++-5.1
 
 The same can be done by passing ``-D`` parameters to cmake, as follows.
 Note that the dot at the end is mandatory (see :ref:`install_cmake_outsrc`).
 
-.. code-block:: shell
+.. code-block:: console
 
-   cmake -DCC=clang -DCXX=clang++ .
+   cmake -DCC=clang -DCXX=clang++ .
 
 SimGrid compilation options
 """""""""""""""""""""""""""
@@ -208,29 +216,16 @@ enable_compile_warnings (on/OFF)
 
 enable_debug (ON/off)
   Disabling this option discards all log messages of severity
-  debug or below at compile time (see @ref XBT_log). The resulting
-  code is faster than if you discard these messages at
-  runtime. However, it obviously becomes impossible to get any debug
-  info from SimGrid if something goes wrong.
+  debug or below at compile time (see :ref:`outcome_logs`). The resulting
+  code is marginaly faster than if you discard these messages at
+  runtime, but it obviously becomes impossible to get any debug
+  info from SimGrid when things go wrong.
 
 enable_documentation (on/OFF)
   Generates the documentation pages. Building the documentation is not
   as easy as it used to be, and you should probably use the online
   version for now.
 
-enable_java (on/OFF)
-  Generates the java bindings of SimGrid.
-
-enable_jedule (on/OFF)
-  Produces execution traces from SimDag simulations, which can then be visualized with the
-  Jedule external tool.
-
-enable_lua (on/OFF)
-  Generate the lua bindings to the SimGrid internals (requires lua-5.3).
-
-enable_lib_in_jar (ON/off)
-  Embeds the native java bindings into the produced jar file.
-
 enable_lto (ON/off)
   Enables the *Link Time Optimization* in the C++ compiler.
   This feature really speeds up the code produced, but it is fragile
@@ -244,25 +239,40 @@ enable_mallocators (ON/off)
   code, but it may fool the debuggers.
 
 enable_model-checking (on/OFF)
-  Activates the formal verification mode. This will **hinder
-  simulation speed** even when the model-checker is not activated at
-  run time.
+  Activates the formal verification mode. This will hinder simulation speed even when the model checker is not activated at run
+  time, because some optimizations such as LTO must be disabled at compile time. You need to have the :ref:`required
+  build-dependencies <install_src_deps>` to activate this option.
 
 enable_ns3 (on/OFF)
-  Activates the ns-3 bindings. See section :ref:`model_ns3`.
+  Activates the ns-3 bindings. See section :ref:`models_ns3`.
 
 enable_smpi (ON/off)
   Allows one to run MPI code on top of SimGrid.
 
-enable_smpi_ISP_testsuite (on/OFF)
-  Adds many extra tests for the model-checker module.
+enable_smpi_MBI_testsuite (on/OFF)
+  Adds many extra tests for the model checker module.
 
 enable_smpi_MPICH3_testsuite (on/OFF)
   Adds many extra tests for the MPI module.
 
 minimal-bindings (on/OFF)
   Take as few optional dependencies as possible, to get minimal
-  library bindings in Java and Python.
+  library bindings in Python.
+
+NS3_HINT (empty by default)
+  Alternative path into which ns-3 should be searched for.
+
+EIGEN3_HINT (empty by default)
+  Alternative path into which Eigen3 should be searched for.
+
+SIMGRID_PYTHON_LIBDIR (auto-detected)
+  Where to install the Python module library. By default, it is set to the cmake Python3_SITEARCH variable if installing to /usr,
+  and a modified version of that variable if installing to another path. Just force another value if the auto-detected default
+  does not fit your setup.
+
+SMPI_C_FLAGS, SMPI_CXX_FLAGS, SMPI_Fortran_FLAGS (string)
+  Default compiler options to use in smpicc, smpicxx, or smpiff.
+  This can be useful to set options like "-m32" or "-m64".
 
 Reset the build configuration
 """""""""""""""""""""""""""""
@@ -286,22 +296,22 @@ For that, go to the directory where the files should be produced, and
 invoke cmake (or ccmake) with the full path to the SimGrid source as
 last argument.
 
-.. code-block:: shell
+.. code-block:: console
 
-  mkdir build
-  cd build
-  cmake [options] ..
-  make
+  mkdir build
+  cd build
+  cmake [options] ..
+  make
 
 Existing Compilation Targets
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 
 In most cases, compiling and installing SimGrid is enough:
 
-.. code-block:: shell
+.. code-block:: console
 
-  make
-  make install # try "sudo make install" if you don't have the permission to write
+  make
+  make install # try "sudo make install" if you don't have the permission to write
 
 In addition, several compilation targets are provided in SimGrid. If
 your system is well configured, the full list of targets is available
@@ -312,11 +322,10 @@ if some do not work for you.
 - **make**: Build the core of SimGrid that gets installed, but not any example.
 - **make tests**: Build the tests and examples.
 - **make simgrid**: Build only the SimGrid library. Not any example nor the helper tools.
-- **make s4u-app-pingpong**: Build only this example (works for any example)
-- **make java-all**: Build all Java examples and their dependencies
+- **make s4u-comm-pingpong**: Build only this example (works for any example)
+- **make python-bindings**: Build the Python bindings
 - **make clean**: Clean the results of a previous compilation
 - **make install**: Install the project (doc/ bin/ lib/ include/)
-- **make uninstall**: Uninstall the project (doc/ bin/ lib/ include/)
 - **make dist**: Build a distribution archive (tar.gz)
 - **make distcheck**: Check the dist (make + make dist + tests on the distribution)
 - **make documentation**: Create SimGrid documentation
@@ -324,9 +333,9 @@ if some do not work for you.
 If you want to see what is really happening, try adding ``VERBOSE=1`` to
 your compilation requests:
 
-.. code-block:: shell
+.. code-block:: console
 
-  make VERBOSE=1
+  make VERBOSE=1
 
 .. _install_src_test:
 
@@ -335,20 +344,23 @@ Testing your build
 
 Once everything is built, you may want to test the result. SimGrid
 comes with an extensive set of regression tests (as described in the
-@ref inside_tests "insider manual"). The tests are run with ``ctest``,
-that comes with CMake.  We run them every commit and the results are
-on `our Jenkins <https://ci.inria.fr/simgrid/>`_.
+@ref inside_tests "insider manual"). The tests are not built by
+default, so you first have to build them with ``make tests``. You can
+then run them with ``ctest``, that comes with CMake.  We run them
+every commit and the results are on `our Jenkins <https://ci.inria.fr/simgrid/>`_.
 
-.. code-block:: shell
+.. code-block:: console
 
-  ctest                            # Launch all tests
-  ctest -R s4u              # Launch only the tests whose names match the string "s4u"
-  ctest -j4                 # Launch all tests in parallel, at most 4 concurrent jobs
-  ctest --verbose           # Display all details on what's going on
-  ctest --output-on-failure # Only get verbose for the tests that fail
+  $ make tests                # Build the tests
+  $ ctest                     # Launch all tests
+  $ ctest -R s4u              # Launch only the tests whose names match the string "s4u"
+  $ ctest -j4                 # Launch all tests in parallel, at most 4 concurrent jobs
+  $ ctest --verbose           # Display all details on what's going on
+  $ ctest --output-on-failure # Only get verbose for the tests that fail
 
-  ctest -R s4u -j4 --output-on-failure # You changed S4U and want to check that you didn't break anything, huh?
-                                       # That's fine, I do so all the time myself.
+  $ ctest -R s4u -j4 --output-on-failure # You changed S4U and want to check that you  \
+                                         # didn't break anything, huh?                 \
+                                         # That's fine, I do so all the time myself.
 
 .. _install_cmake_mac:
 
@@ -357,10 +369,10 @@ macOS-specific instructions
 
 SimGrid compiles like a charm with clang (version 3.0 or higher) on macOS:
 
-.. code-block:: shell
+.. code-block:: console
 
-  cmake -DCMAKE_C_COMPILER=/path/to/clang -DCMAKE_CXX_COMPILER=/path/to/clang++ .
-  make
+  cmake -DCMAKE_C_COMPILER=/path/to/clang -DCMAKE_CXX_COMPILER=/path/to/clang++ .
+  make
 
 
 Troubleshooting your macOS build.
@@ -384,97 +396,26 @@ Windows-specific instructions
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 
 The best solution to get SimGrid working on windows is to install the
-Ubuntu subsystem of Windows 10. All of SimGrid (but the model-checker)
-works in this setting.
-
-Native builds not very well supported. Have a look to our `appveypor
-configuration file
-<https://framagit.org/simgrid/simgrid/blob/master/.appveyor.yml>`_ to
-see how we manage to use mingw-64 to build the DLL that the Java file
-needs.
-
-The drawback of MinGW-64 is that the produced DLL are not compatible
-with MS Visual C. Some clang-based tools seem promising to fix this,
-but this is of rather low priority for us. It it's important for you
-and if you get it working, please @ref community_contact "tell us".
+Ubuntu subsystem of Windows 10. All of SimGrid (but the model checker)
+works in this setting. Native builds never really worked, and they are
+disabled starting with SimGrid v3.33.
 
 Python-specific instructions
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
 
-Recompiling the Python bindings from the source should be as easy as:
+Once you have the Python development headers installed as well as a
+recent version of the `pybind11 <https://pybind11.readthedocs.io/en/stable/>`_
+module (version at least 2.4), recompiling the Python bindings from
+the source should be as easy as:
 
-.. code-block:: shell
+.. code-block:: console
 
   # cd simgrid-source-tree
-  python setup.py build install
-  
+  python setup.py build install
+
 Starting with SimGrid 3.13, it should even be possible to install
 simgrid without downloading the source with pip:
 
-.. code-block:: shell
-
-  pip install simgrid
-
-Java-specific instructions
-^^^^^^^^^^^^^^^^^^^^^^^^^^
-
-Once you have the `full JDK <http://www.oracle.com/technetwork/java/javase/downloads>`_ installed,
-things should be as simple as:
-
-.. code-block:: shell
-
-   cmake -Denable_java=ON -Dminimal-bindings=ON .
-   make  simgrid-java_jar # Only build the jarfile
-
-After the compilation, the file ```simgrid.jar``` is produced in the
-root directory.
-
-**Troubleshooting Java Builds**
-
-Sometimes, the build system fails to find the JNI headers. First locate them as follows:
-
-.. code-block:: shell
-
-  $ locate jni.h
-  /usr/lib/jvm/java-8-openjdk-amd64/include/jni.h
-  /usr/lib/jvm/java-9-openjdk-amd64/include/jni.h
-  /usr/lib/jvm/java-10-openjdk-amd64/include/jni.h
-
-
-Then, set the JAVA_INCLUDE_PATH environment variable to the right
-path, and relaunch cmake. If you have several versions of JNI installed
-(as above), pick the one corresponding to the report of
-``javac -version``
-
-.. code-block:: shell
-
-  export JAVA_INCLUDE_PATH=/usr/lib/jvm/java-8-openjdk-amd64/include/
-  cmake -Denable_java=ON .
-  make
-
-Note that the filename ```jni.h``` was removed from the path.
-
-Linux Multi-Arch specific instructions
-^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
-
-On a multiarch x86_64 Linux, it should be possible to compile a 32-bit
-version of SimGrid with something like:
-
-.. code-block:: shell
-
-  CFLAGS=-m32 \
-  CXXFLAGS=-m32 \
-  PKG_CONFIG_LIBDIR=/usr/lib/i386-linux-gnu/pkgconfig/ \
-  cmake . \
-  -DCMAKE_SYSTEM_PROCESSOR=i386 \
-  -DCMAKE_Fortran_COMPILER=/some/path/to/i686-linux-gnu-gfortran \
-  -DGFORTRAN_EXE=/some/path/to/i686-linux-gnu-gfortran \
-  -DCMAKE_Fortran_FLAGS=-m32
-
-If needed, implement ``i686-linux-gnu-gfortran`` as a script:
-
-.. code-block:: shell
-
-  #!/usr/bin/env sh
-  exec gfortran -m32 "$@"
+.. code-block:: console
 
+  $ pip install simgrid