tools/jenkins/Coverage.sh

   1 #!/usr/bin/env sh
   2
   3 die() {
   4     echo "$@"
   5     exit 1
   6 }
   7
   8 [ -n "$WORKSPACE" ] || die "No WORKSPACE"
   9 [ -d "$WORKSPACE" ] || die "WORKSPACE ($WORKSPACE) does not exist"
  10
  11 echo "XXXX Cleanup previous attempts. Remaining content of /tmp:"
  12 rm -f /tmp/cc*
  13 rm -f /tmp/*.so
  14 rm -f /tmp/*.so.*
  15 rm -rf /tmp/simgrid-java*
  16 rm -rf /var/tmp/simgrid-java*
  17 rm -rf /tmp/jvm-*
  18 find "$WORKSPACE" -name "hs_err_pid*.log" -exec rm -f {} +
  19 ls /tmp
  20 df -h
  21 echo "XXXX Let's go"
  22
  23 set -e
  24
  25 BUILDFOLDER=$WORKSPACE/build
  26
  27 ### Check the node installation
  28
  29 pkg_check() {
  30   for pkg
  31   do
  32     if command -v "$pkg"
  33     then
  34        echo "$pkg is installed. Good."
  35     else
  36        die "please install $pkg before proceeding"
  37     fi
  38   done
  39 }
  40
  41 pkg_check xsltproc gcovr ant cover2cover.py
  42
  43 ### Cleanup previous runs
  44
  45 do_cleanup() {
  46   for d
  47   do
  48     if [ -d "$d" ]
  49     then
  50       rm -rf "$d" || die "Could not remove $d"
  51     fi
  52     mkdir "$d" || die "Could not create $d"
  53   done
  54 }
  55
  56 do_cleanup "$BUILDFOLDER"
  57
  58 NUMPROC="$(nproc)" || NUMPROC=1
  59
  60
  61 cd "$BUILDFOLDER"
  62 rm -rf java_cov*
  63 rm -rf jacoco_cov*
  64 rm -rf python_cov*
  65 rm -rf xml_coverage.xml
  66
  67 ctest -D ExperimentalStart || true
  68
  69 cmake -Denable_documentation=OFF \
  70       -Denable_compile_optimizations=OFF -Denable_compile_warnings=ON \
  71       -Denable_mallocators=ON \
  72       -Denable_ns3=ON \
  73       -Denable_smpi=ON -Denable_smpi_MPICH3_testsuite=ON -Denable_model-checking=ON \
  74       -Denable_smpi_papi=ON \
  75       -Denable_memcheck=OFF -Denable_memcheck_xml=OFF -Denable_smpi_MBI_testsuite=ON \
  76       -Denable_coverage=ON -DLTO_EXTRA_FLAG="auto" -DCMAKE_EXPORT_COMPILE_COMMANDS=ON "$WORKSPACE"
  77
  78 #build with sonarqube scanner wrapper
  79 /home/ci/build-wrapper-linux-x86/build-wrapper-linux-x86-64 --out-dir bw-outputs make -j$NUMPROC tests
  80 JACOCO_PATH="/usr/local/share/jacoco"
  81 export JAVA_TOOL_OPTIONS="-javaagent:${JACOCO_PATH}/lib/jacocoagent.jar"
  82
  83 export PYTHON_TOOL_OPTIONS="/usr/bin/python3-coverage run --parallel-mode --branch"
  84
  85 ctest --no-compress-output -D ExperimentalTest -j$NUMPROC || true
  86 ctest -D ExperimentalCoverage || true
  87
  88 unset JAVA_TOOL_OPTIONS
  89 if [ -f Testing/TAG ] ; then
  90
  91   files=$( find . -size +1c -name "jacoco.exec" )
  92   i=0
  93   for file in $files
  94   do
  95     sourcepath=$( dirname "$file" )
  96     #convert jacoco reports in xml ones
  97     ant -f "$WORKSPACE"/tools/jenkins/jacoco.xml -Dexamplesrcdir="$WORKSPACE" -Dbuilddir="$BUILDFOLDER"/"${sourcepath}" -Djarfile="$BUILDFOLDER"/simgrid.jar -Djacocodir=${JACOCO_PATH}/lib
  98     #convert jacoco xml reports in cobertura xml reports
  99     cover2cover.py "$BUILDFOLDER"/"${sourcepath}"/report.xml .. ../src/bindings/java src/bindings/java > "$BUILDFOLDER"/java_coverage_${i}.xml
 100     #save jacoco xml report as sonar only allows it
 101     mv "$BUILDFOLDER"/"${sourcepath}"/report.xml "$BUILDFOLDER"/jacoco_cov_${i}.xml
 102     i=$((i + 1))
 103   done
 104
 105   #convert python coverage reports in xml ones
 106   cd "$BUILDFOLDER"
 107   find .. -size +1c -name ".coverage*" -exec mv {} . \;
 108   /usr/bin/python3-coverage combine
 109   /usr/bin/python3-coverage xml -i -o ./python_coverage.xml
 110
 111   cd "$WORKSPACE"
 112   #convert all gcov reports to xml cobertura reports
 113   gcovr -r . --xml-pretty -e teshsuite -e build/MBI -e examples/smpi/NAS -e examples/smpi/mc -u -o "$BUILDFOLDER"/xml_coverage.xml
 114   xsltproc "$WORKSPACE"/tools/jenkins/ctest2junit.xsl build/Testing/"$( head -n 1 < build/Testing/TAG )"/Test.xml > CTestResults_memcheck.xml
 115
 116   #generate sloccount report
 117   sloccount --duplicates --wide --details "$WORKSPACE" | grep -v -e '.git' -e 'mpich3-test' -e 'sloccount.sc' -e 'build/' -e 'xml_coverage.xml' -e 'CTestResults_memcheck.xml' -e 'DynamicAnalysis.xml' > "$WORKSPACE"/sloccount.sc
 118
 119   #generate PVS-studio report
 120   EXCLUDEDPATH="-e $WORKSPACE/src/include/catch.hpp -e $WORKSPACE/src/include/xxhash.hpp -e $WORKSPACE/teshsuite/smpi/mpich3-test/ -e *_dtd.c -e *_dtd.h -e *.yy.c -e *.tab.cacc -e *.tab.hacc -e $WORKSPACE/src/smpi/colls/ -e $WORKSPACE/examples/smpi/NAS/ -e $WORKSPACE/examples/smpi/gemm/gemm.c -e $WORKSPACE/src/msg/ -e $WORKSPACE/include/msg/ -e $WORKSPACE/examples/deprecated/ -e $WORKSPACE/teshsuite/msg/"
 121   pvs-studio-analyzer analyze -f "$BUILDFOLDER"/compile_commands.json -o "$WORKSPACE"/pvs.log $EXCLUDEDPATH -j$NUMPROC
 122   # Disable:
 123   # V521 Such expressions using the ',' operator are dangerous. (-> commas in catch.hpp),
 124   # V576 Incorrect format. (-> gives false alarms, and already checked elsewhere)
 125   # V1042 This file is marked with copyleft license, which requires you to open the derived source code.
 126   # V1056 The predefined identifier '__func__' always contains the string 'operator()' inside function body of the overloaded 'operator()'.
 127   plog-converter -t xml -o "$WORKSPACE"/pvs.plog -d V521,V576,V1042,V1056 "$WORKSPACE"/pvs.log
 128
 129 fi || exit 42