Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Coding style: camel case RemotePtr
[simgrid.git] / src / mc / mc_snapshot.cpp
1 /* Copyright (c) 2014-2015. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #include <cstddef>
8
9 #include <memory>
10 #include <utility>
11
12 #include <xbt/asserts.h>
13 #include <xbt/sysdep.h>
14
15 #include "src/internal_config.h"
16 #include "src/smpi/private.h"
17
18 #include "src/mc/mc_snapshot.h"
19 #include "src/mc/mc_private.h"
20 #include "src/mc/mc_mmu.h"
21 #include "src/mc/PageStore.hpp"
22
23 extern "C" {
24
25 /** @brief Find the snapshoted region from a pointer
26  *
27  *  @param addr     Pointer
28  *  @param snapshot Snapshot
29  *  @param Snapshot region in the snapshot this pointer belongs to
30  *         (or nullptr if it does not belong to any snapshot region)
31  * */
32 mc_mem_region_t mc_get_snapshot_region(
33   const void* addr, const simgrid::mc::Snapshot* snapshot, int process_index)
34 {
35   size_t n = snapshot->snapshot_regions.size();
36   for (size_t i = 0; i != n; ++i) {
37     mc_mem_region_t region = snapshot->snapshot_regions[i].get();
38     if (!(region && region->contain(simgrid::mc::remote(addr))))
39       continue;
40
41     if (region->storage_type() == simgrid::mc::StorageType::Privatized) {
42 #ifdef HAVE_SMPI
43       // Use the current process index of the snapshot:
44       if (process_index == simgrid::mc::ProcessIndexDisabled) {
45         process_index = snapshot->privatization_index;
46       }
47       if (process_index < 0) {
48         xbt_die("Missing process index");
49       }
50       if (process_index >= (int) region->privatized_data().size()) {
51         xbt_die("Invalid process index");
52       }
53       simgrid::mc::RegionSnapshot& priv_region = region->privatized_data()[process_index];
54       xbt_assert(priv_region.contain(simgrid::mc::remote(addr)));
55       return &priv_region;
56 #else
57       xbt_die("Privatized region in a non SMPI build (this should not happen)");
58 #endif
59     }
60
61     return region;
62   }
63
64   return nullptr;
65 }
66
67 /** @brief Read memory from a snapshot region broken across fragmented pages
68  *
69  *  @param addr    Process (non-snapshot) address of the data
70  *  @param region  Snapshot memory region where the data is located
71  *  @param target  Buffer to store the value
72  *  @param size    Size of the data to read in bytes
73  *  @return Pointer where the data is located (target buffer of original location)
74  */
75 const void* MC_region_read_fragmented(mc_mem_region_t region, void* target, const void* addr, size_t size)
76 {
77   // Last byte of the memory area:
78   void* end = (char*) addr + size - 1;
79
80   // Page of the last byte of the memory area:
81   size_t page_end = mc_page_number(nullptr, end);
82
83   void* dest = target;
84
85   if (dest==nullptr) {
86     xbt_die("Missing destination buffer for fragmented memory access");
87   }
88
89   // Read each page:
90   while (mc_page_number(nullptr, addr) != page_end) {
91     void* snapshot_addr = mc_translate_address_region_chunked((uintptr_t) addr, region);
92     void* next_page = mc_page_from_number(nullptr, mc_page_number(NULL, addr) + 1);
93     size_t readable = (char*) next_page - (char*) addr;
94     memcpy(dest, snapshot_addr, readable);
95     addr = (char*) addr + readable;
96     dest = (char*) dest + readable;
97     size -= readable;
98   }
99
100   // Read the end:
101   void* snapshot_addr = mc_translate_address_region_chunked((uintptr_t)addr, region);
102   memcpy(dest, snapshot_addr, size);
103
104   return target;
105 }
106
107 /** Compare memory between snapshots (with known regions)
108  *
109  * @param addr1 Address in the first snapshot
110  * @param snapshot2 Region of the address in the first snapshot
111  * @param addr2 Address in the second snapshot
112  * @param snapshot2 Region of the address in the second snapshot
113  * @return same as memcmp
114  * */
115 int MC_snapshot_region_memcmp(
116   const void* addr1, mc_mem_region_t region1,
117   const void* addr2, mc_mem_region_t region2,
118   size_t size)
119 {
120   // Using alloca() for large allocations may trigger stack overflow:
121   // use malloc if the buffer is too big.
122   bool stack_alloc = size < 64;
123   const bool region1_need_buffer = region1==nullptr || region1->storage_type()==simgrid::mc::StorageType::Flat;
124   const bool region2_need_buffer = region2==nullptr || region2->storage_type()==simgrid::mc::StorageType::Flat;
125   void* buffer1a = region1_need_buffer ? nullptr : stack_alloc ? alloca(size) : malloc(size);
126   void* buffer2a = region2_need_buffer ? nullptr : stack_alloc ? alloca(size) : malloc(size);
127   const void* buffer1 = MC_region_read(region1, buffer1a, addr1, size);
128   const void* buffer2 = MC_region_read(region2, buffer2a, addr2, size);
129   int res;
130   if (buffer1 == buffer2) {
131     res = 0;
132   } else {
133     res = memcmp(buffer1, buffer2, size);
134   }
135   if (!stack_alloc) {
136     free(buffer1a);
137     free(buffer2a);
138   }
139   return res;
140 }
141
142 /** Compare memory between snapshots
143  *
144  * @param addr1 Address in the first snapshot
145  * @param snapshot1 First snapshot
146  * @param addr2 Address in the second snapshot
147  * @param snapshot2 Second snapshot
148  * @return same as memcmp
149  * */
150 int MC_snapshot_memcmp(
151   const void* addr1, mc_snapshot_t snapshot1,
152   const void* addr2, mc_snapshot_t snapshot2, int process_index, size_t size)
153 {
154   mc_mem_region_t region1 = mc_get_snapshot_region(addr1, snapshot1, process_index);
155   mc_mem_region_t region2 = mc_get_snapshot_region(addr2, snapshot2, process_index);
156   return MC_snapshot_region_memcmp(addr1, region1, addr2, region2, size);
157 }
158
159 namespace simgrid {
160 namespace mc {
161
162 Snapshot::Snapshot(Process* process) :
163   AddressSpace(process),
164   num_state(0),
165   heap_bytes_used(0),
166   enabled_processes(),
167   privatization_index(0),
168   hash(0)
169 {
170
171 }
172
173 Snapshot::~Snapshot()
174 {
175
176 }
177
178 const void* Snapshot::read_bytes(void* buffer, std::size_t size,
179   RemotePtr<void> address, int process_index,
180   ReadOptions options) const
181 {
182   mc_mem_region_t region = mc_get_snapshot_region((void*)address.address(), this, process_index);
183   if (region) {
184     const void* res = MC_region_read(region, buffer, (void*)address.address(), size);
185     if (buffer == res || options & ReadOptions::lazy())
186       return res;
187     else {
188       memcpy(buffer, res, size);
189       return buffer;
190     }
191   }
192   else
193     return this->process()->read_bytes(
194       buffer, size, address, process_index, options);
195 }
196
197 }
198 }
199
200 }
201
202 #ifdef SIMGRID_TEST
203
204 #include <string.h>
205 #include <stdlib.h>
206
207 #include <sys/mman.h>
208
209 #include "src/mc/mc_private.h"
210 #include "src/mc/mc_snapshot.h"
211 #include "src/mc/mc_mmu.h"
212
213 XBT_TEST_SUITE("mc_snapshot", "Snapshots");
214
215 static inline void init_memory(void* mem, size_t size)
216 {
217   char* dest = (char*) mem;
218   for (size_t i = 0; i < size; ++i) {
219     dest[i] = rand() & 255;
220   }
221 }
222
223 static void test_snapshot(bool sparse_checkpoint);
224
225 XBT_TEST_UNIT("flat_snapshot", test_flat_snapshots, "Test flat snapshots")
226 {
227   test_snapshot(0);
228 }
229
230 XBT_TEST_UNIT("page_snapshots", test_per_snpashots, "Test per-page snapshots")
231 {
232   test_snapshot(1);
233 }
234
235 static void test_snapshot(bool sparse_checkpoint) {
236
237   xbt_test_add("Initialisation");
238   _sg_mc_sparse_checkpoint = sparse_checkpoint;
239   xbt_assert(xbt_pagesize == getpagesize());
240   xbt_assert(1 << xbt_pagebits == xbt_pagesize);
241
242   std::unique_ptr<simgrid::mc::Process> process(new simgrid::mc::Process(getpid(), -1));
243   process->init();
244   mc_model_checker = new ::simgrid::mc::ModelChecker(std::move(process));
245
246   for(int n=1; n!=256; ++n) {
247
248     // Store region page(s):
249     size_t byte_size = n * xbt_pagesize;
250     void* source = mmap(nullptr, byte_size, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);
251     xbt_assert(source!=MAP_FAILED, "Could not allocate source memory");
252
253     // Init memory and take snapshots:
254     init_memory(source, byte_size);
255     simgrid::mc::RegionSnapshot region0 = simgrid::mc::sparse_region(
256       simgrid::mc::RegionType::Unknown, source, source, byte_size, nullptr);
257     for(int i=0; i<n; i+=2) {
258       init_memory((char*) source + i*xbt_pagesize, xbt_pagesize);
259     }
260     simgrid::mc::RegionSnapshot region = simgrid::mc::sparse_region(
261       simgrid::mc::RegionType::Unknown, source, source, byte_size, nullptr);
262
263     void* destination = mmap(nullptr, byte_size, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);
264     xbt_assert(source!=MAP_FAILED, "Could not allocate destination memory");
265
266     xbt_test_add("Reading whole region data for %i page(s)", n);
267     const void* read = MC_region_read(&region, destination, source, byte_size);
268     xbt_test_assert(!memcmp(source, read, byte_size), "Mismatch in MC_region_read()");
269
270     xbt_test_add("Reading parts of region data for %i page(s)", n);
271     for(int j=0; j!=100; ++j) {
272       size_t offset = rand() % byte_size;
273       size_t size = rand() % (byte_size - offset);
274       const void* read = MC_region_read(&region, destination, (const char*) source+offset, size);
275       xbt_test_assert(!memcmp((char*) source+offset, read, size),
276         "Mismatch in MC_region_read()");
277     }
278
279     xbt_test_add("Compare whole region data for %i page(s)", n);
280
281     xbt_test_assert(MC_snapshot_region_memcmp(source, &region0, source, &region, byte_size),
282       "Unexpected match in MC_snapshot_region_memcmp() with previous snapshot");
283
284     xbt_test_add("Compare parts of region data for %i page(s) with itself", n);
285     for(int j=0; j!=100; ++j) {
286       size_t offset = rand() % byte_size;
287       size_t size = rand() % (byte_size - offset);
288       xbt_test_assert(!MC_snapshot_region_memcmp((char*) source+offset, &region, (char*) source+offset, &region, size),
289         "Mismatch in MC_snapshot_region_memcmp()");
290     }
291
292     if (n==1) {
293       xbt_test_add("Read pointer for %i page(s)", n);
294       memcpy(source, &mc_model_checker, sizeof(void*));
295       simgrid::mc::RegionSnapshot region2 = simgrid::mc::sparse_region(
296         simgrid::mc::RegionType::Unknown, source, source, byte_size, nullptr);
297       xbt_test_assert(MC_region_read_pointer(&region2, source) == mc_model_checker,
298         "Mismtach in MC_region_read_pointer()");
299     }
300
301     munmap(destination, byte_size);
302     munmap(source, byte_size);
303   }
304
305   delete mc_model_checker;
306   mc_model_checker = nullptr;
307 }
308
309 #endif /* SIMGRID_TEST */
310