Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
mc: privatized regions now use a vector of pointers for sake of homogeneity
[simgrid.git] / src / mc / sosp / mc_snapshot.cpp
index 0d89294..4b58752 100644 (file)
@@ -1,4 +1,4 @@
-/* Copyright (c) 2014-2018. The SimGrid Team. All rights reserved.          */
+/* Copyright (c) 2014-2019. The SimGrid Team. All rights reserved.          */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
 #include "src/mc/mc_mmu.hpp"
 #include "src/mc/mc_private.hpp"
+#include "src/mc/mc_smx.hpp"
 #include "src/mc/sosp/PageStore.hpp"
 #include "src/mc/sosp/mc_snapshot.hpp"
 
-/** @brief Find the snapshoted region from a pointer
- *
- *  @param addr     Pointer
- *  @param snapshot Snapshot
- *  @param Snapshot region in the snapshot this pointer belongs to
- *         (or nullptr if it does not belong to any snapshot region)
- * */
-mc_mem_region_t mc_get_snapshot_region(const void* addr, const simgrid::mc::Snapshot* snapshot, int process_index)
-{
-  size_t n = snapshot->snapshot_regions.size();
-  for (size_t i = 0; i != n; ++i) {
-    mc_mem_region_t region = snapshot->snapshot_regions[i].get();
-    if (not(region && region->contain(simgrid::mc::remote(addr))))
-      continue;
-
-    if (region->storage_type() == simgrid::mc::StorageType::Privatized) {
-#if HAVE_SMPI
-      // Use the current process index of the snapshot:
-      if (process_index == simgrid::mc::ProcessIndexDisabled)
-        process_index = snapshot->privatization_index;
-      if (process_index < 0)
-        xbt_die("Missing process index");
-      if (process_index >= (int)region->privatized_data().size())
-        xbt_die("Invalid process index");
-      simgrid::mc::RegionSnapshot& priv_region = region->privatized_data()[process_index];
-      xbt_assert(priv_region.contain(simgrid::mc::remote(addr)));
-      return &priv_region;
-#else
-      xbt_die("Privatized region in a non SMPI build (this should not happen)");
-#endif
-    }
-
-    return region;
-  }
-
-  return nullptr;
-}
 
 /** @brief Read memory from a snapshot region broken across fragmented pages
  *
@@ -65,7 +29,7 @@ mc_mem_region_t mc_get_snapshot_region(const void* addr, const simgrid::mc::Snap
  *  @param size    Size of the data to read in bytes
  *  @return Pointer where the data is located (target buffer of original location)
  */
-const void* MC_region_read_fragmented(mc_mem_region_t region, void* target, const void* addr, size_t size)
+const void* MC_region_read_fragmented(simgrid::mc::RegionSnapshot* region, void* target, const void* addr, size_t size)
 {
   // Last byte of the memory area:
   void* end = (char*)addr + size - 1;
@@ -102,13 +66,13 @@ const void* MC_region_read_fragmented(mc_mem_region_t region, void* target, cons
 /** Compare memory between snapshots (with known regions)
  *
  * @param addr1 Address in the first snapshot
- * @param snapshot2 Region of the address in the first snapshot
+ * @param region1 Region of the address in the first snapshot
  * @param addr2 Address in the second snapshot
- * @param snapshot2 Region of the address in the second snapshot
- * @return same as memcmp
- * */
-int MC_snapshot_region_memcmp(const void* addr1, mc_mem_region_t region1, const void* addr2, mc_mem_region_t region2,
-                              size_t size)
+ * @param region2 Region of the address in the second snapshot
+ * @return same semantic as memcmp
+ */
+int MC_snapshot_region_memcmp(const void* addr1, simgrid::mc::RegionSnapshot* region1, const void* addr2,
+                              simgrid::mc::RegionSnapshot* region2, size_t size)
 {
   // Using alloca() for large allocations may trigger stack overflow:
   // use malloc if the buffer is too big.
@@ -138,18 +102,39 @@ namespace mc {
 
 Snapshot::Snapshot(RemoteClient* process, int _num_state)
     : AddressSpace(process)
-    , num_state(_num_state)
-    , heap_bytes_used(0)
-    , enabled_processes()
-    , privatization_index(0)
-    , hash(0)
+    , num_state_(_num_state)
+    , heap_bytes_used_(0)
+    , enabled_processes_()
+    , privatization_index_(0)
+    , hash_(0)
+{
+}
+
+void Snapshot::add_region(RegionType type, ObjectInformation* object_info, void* start_addr, void* permanent_addr,
+                          std::size_t size)
 {
+  if (type == simgrid::mc::RegionType::Data)
+    xbt_assert(object_info, "Missing object info for object.");
+  else if (type == simgrid::mc::RegionType::Heap)
+    xbt_assert(not object_info, "Unexpected object info for heap region.");
+
+  simgrid::mc::RegionSnapshot region;
+#if HAVE_SMPI
+  const bool privatization_aware = object_info && mc_model_checker->process().privatized(*object_info);
+  if (privatization_aware && MC_smpi_process_count())
+    region = simgrid::mc::privatized_region(type, start_addr, permanent_addr, size);
+  else
+#endif
+    region = simgrid::mc::region(type, start_addr, permanent_addr, size);
+
+  region.object_info(object_info);
+  snapshot_regions_.push_back(std::unique_ptr<simgrid::mc::RegionSnapshot>(new RegionSnapshot(std::move(region))));
 }
 
 const void* Snapshot::read_bytes(void* buffer, std::size_t size, RemotePtr<void> address, int process_index,
                                  ReadOptions options) const
 {
-  mc_mem_region_t region = mc_get_snapshot_region((void*)address.address(), this, process_index);
+  RegionSnapshot* region = this->get_region((void*)address.address(), process_index);
   if (region) {
     const void* res = MC_region_read(region, buffer, (void*)address.address(), size);
     if (buffer == res || options & ReadOptions::lazy())
@@ -161,117 +146,49 @@ const void* Snapshot::read_bytes(void* buffer, std::size_t size, RemotePtr<void>
   } else
     return this->process()->read_bytes(buffer, size, address, process_index, options);
 }
+/** @brief Find the snapshoted region from a pointer
+ *
+ *  @param addr     Pointer
+ *  @param process_index rank requesting the region
+ * */
+RegionSnapshot* Snapshot::get_region(const void* addr, int process_index) const
+{
+  size_t n = snapshot_regions_.size();
+  for (size_t i = 0; i != n; ++i) {
+    RegionSnapshot* region = snapshot_regions_[i].get();
+    if (not(region && region->contain(simgrid::mc::remote(addr))))
+      continue;
 
-} // namespace mc
-} // namespace simgrid
-
-#ifdef SIMGRID_TEST
-
-#include <cstdlib>
-#include <cstring>
-
-#include <sys/mman.h>
-
-#include "src/mc/mc_config.hpp"
-#include "src/mc/mc_mmu.hpp"
-#include "src/mc/mc_private.hpp"
-#include "src/mc/mc_snapshot.hpp"
+    if (region->storage_type() == simgrid::mc::StorageType::Privatized) {
+#if HAVE_SMPI
+      // Use the current process index of the snapshot:
+      if (process_index == simgrid::mc::ProcessIndexDisabled)
+        process_index = privatization_index_;
+      xbt_assert(process_index >= 0, "Missing process index");
+      xbt_assert(process_index < (int)region->privatized_data().size(), "Invalid process index");
 
-XBT_TEST_SUITE("mc_snapshot", "Snapshots");
+      RegionSnapshot* priv_region = region->privatized_data()[process_index].get();
+      xbt_assert(priv_region->contain(simgrid::mc::remote(addr)));
+      return priv_region;
+#else
+      xbt_die("Privatized region in a non SMPI build (this should not happen)");
+#endif
+    }
 
-static inline void init_memory(void* mem, size_t size)
-{
-  char* dest = (char*)mem;
-  for (size_t i = 0; i < size; ++i) {
-    dest[i] = rand() & 255;
+    return region;
   }
-}
-
-static void test_snapshot(bool sparse_checkpoint);
 
-XBT_TEST_UNIT("flat_snapshot", test_flat_snapshots, "Test flat snapshots")
-{
-  test_snapshot(0);
-}
-
-XBT_TEST_UNIT("page_snapshots", test_per_snpashots, "Test per-page snapshots")
-{
-  test_snapshot(1);
+  return nullptr;
 }
 
-static void test_snapshot(bool sparse_checkpoint)
+/** @brief Find the snapshoted region from a pointer, with a hinted_region */
+RegionSnapshot* Snapshot::get_region(const void* addr, int process_index, RegionSnapshot* hinted_region) const
 {
-
-  xbt_test_add("Initialization");
-  _sg_mc_sparse_checkpoint = sparse_checkpoint;
-  xbt_assert(xbt_pagesize == getpagesize());
-  xbt_assert(1 << xbt_pagebits == xbt_pagesize);
-
-  std::unique_ptr<simgrid::mc::RemoteClient> process(new simgrid::mc::RemoteClient(getpid(), -1));
-  process->init();
-  mc_model_checker = new ::simgrid::mc::ModelChecker(std::move(process));
-
-  for (int n = 1; n != 256; ++n) {
-
-    // Store region page(s):
-    size_t byte_size = n * xbt_pagesize;
-    void* source     = mmap(nullptr, byte_size, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
-    xbt_assert(source != MAP_FAILED, "Could not allocate source memory");
-
-    // Init memory and take snapshots:
-    init_memory(source, byte_size);
-    simgrid::mc::RegionSnapshot region0 =
-        simgrid::mc::sparse_region(simgrid::mc::RegionType::Unknown, source, source, byte_size);
-    for (int i = 0; i < n; i += 2) {
-      init_memory((char*)source + i * xbt_pagesize, xbt_pagesize);
-    }
-    simgrid::mc::RegionSnapshot region =
-        simgrid::mc::sparse_region(simgrid::mc::RegionType::Unknown, source, source, byte_size);
-
-    void* destination = mmap(nullptr, byte_size, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
-    xbt_assert(source != MAP_FAILED, "Could not allocate destination memory");
-
-    xbt_test_add("Reading whole region data for %i page(s)", n);
-    const void* read = MC_region_read(&region, destination, source, byte_size);
-    xbt_test_assert(not memcmp(source, read, byte_size), "Mismatch in MC_region_read()");
-
-    xbt_test_add("Reading parts of region data for %i page(s)", n);
-    for (int j = 0; j != 100; ++j) {
-      size_t offset    = rand() % byte_size;
-      size_t size      = rand() % (byte_size - offset);
-      const void* read = MC_region_read(&region, destination, (const char*)source + offset, size);
-      xbt_test_assert(not memcmp((char*)source + offset, read, size), "Mismatch in MC_region_read()");
-    }
-
-    xbt_test_add("Compare whole region data for %i page(s)", n);
-
-    xbt_test_assert(MC_snapshot_region_memcmp(source, &region0, source, &region, byte_size),
-                    "Unexpected match in MC_snapshot_region_memcmp() with previous snapshot");
-
-    xbt_test_add("Compare parts of region data for %i page(s) with itself", n);
-    for (int j = 0; j != 100; ++j) {
-      size_t offset = rand() % byte_size;
-      size_t size   = rand() % (byte_size - offset);
-      xbt_test_assert(
-          not MC_snapshot_region_memcmp((char*)source + offset, &region, (char*)source + offset, &region, size),
-          "Mismatch in MC_snapshot_region_memcmp()");
-    }
-
-    if (n == 1) {
-      xbt_test_add("Read pointer for %i page(s)", n);
-      memcpy(source, &mc_model_checker, sizeof(void*));
-      simgrid::mc::RegionSnapshot region2 =
-          simgrid::mc::sparse_region(simgrid::mc::RegionType::Unknown, source, source, byte_size);
-      xbt_test_assert(MC_region_read_pointer(&region2, source) == mc_model_checker,
-                      "Mismtach in MC_region_read_pointer()");
-    }
-
-    munmap(destination, byte_size);
-    munmap(source, byte_size);
-  }
-
-  delete mc_model_checker;
-  mc_model_checker = nullptr;
+  if (hinted_region->contain(simgrid::mc::remote(addr)))
+    return hinted_region;
+  else
+    return get_region(addr, process_index);
 }
 
-#endif /* SIMGRID_TEST */
+} // namespace mc
+} // namespace simgrid