Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
[mc] Fix mc_translate_address() for MC_REGION_STORAGE_TYPE_PRIVATIZED:
[simgrid.git] / src / mc / mc_snapshot.h
1 /* Copyright (c) 2007-2014. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #ifndef MC_SNAPSHOT_H
8 #define MC_SNAPSHOT_H
9
10 #include <sys/types.h> // off_t
11 #include <stdint.h> // size_t
12
13 #include <simgrid_config.h>
14 #include "../xbt/mmalloc/mmprivate.h"
15 #include <xbt/asserts.h>
16 #include <xbt/dynar.h>
17
18 #include "mc_forward.h"
19 #include "ModelChecker.hpp"
20 #include "PageStore.hpp"
21 #include "mc_mmalloc.h"
22 #include "mc/AddressSpace.hpp"
23 #include "mc_unw.h"
24
25 SG_BEGIN_DECL()
26
27 // ***** Snapshot region
28
29 typedef enum e_mc_region_type_t {
30   MC_REGION_TYPE_UNKNOWN = 0,
31   MC_REGION_TYPE_HEAP = 1,
32   MC_REGION_TYPE_DATA = 2
33 } mc_region_type_t;
34
35 // TODO, use OO instead of this
36 typedef enum e_mc_region_storeage_type_t {
37   MC_REGION_STORAGE_TYPE_NONE = 0,
38   MC_REGION_STORAGE_TYPE_FLAT = 1,
39   MC_REGION_STORAGE_TYPE_CHUNKED = 2,
40   MC_REGION_STORAGE_TYPE_PRIVATIZED = 3
41 } mc_region_storage_type_t;
42
43 /** @brief Copy/snapshot of a given memory region
44  *
45  *  Different types of region snapshot storage types exist:
46  *  <ul>
47  *    <li>flat/dense snapshots are a simple copy of the region;</li>
48  *    <li>sparse/per-page snapshots are snaapshots which shared
49  *    identical pages.</li>
50  *    <li>privatized (SMPI global variable privatisation).
51  *  </ul>
52  *
53  *  This is handled with a variant based approch:
54  *
55  *    * `storage_type` identified the type of storage;
56  *    * an anonymous enum is used to distinguish the relevant types for
57  *      each type.
58  */
59 typedef struct s_mc_mem_region s_mc_mem_region_t, *mc_mem_region_t;
60
61 struct s_mc_mem_region {
62   mc_region_type_t region_type;
63   mc_region_storage_type_t storage_type;
64   mc_object_info_t object_info;
65
66   /** @brief  Virtual address of the region in the simulated process */
67   void *start_addr;
68
69   /** @brief Size of the data region in bytes */
70   size_t size;
71
72   /** @brief Permanent virtual address of the region
73    *
74    * This is usually the same address as the simuilated process address.
75    * However, when using SMPI privatization of global variables,
76    * each SMPI process has its own set of global variables stored
77    * at a different virtual address. The scheduler maps those region
78    * on the region of the global variables.
79    *
80    * */
81   void *permanent_addr;
82
83   union {
84     struct {
85       /** @brief Copy of the snapshot for flat snapshots regions (NULL otherwise) */
86       void *data;
87     } flat;
88     struct {
89       /** @brief Pages indices in the page store for per-page snapshots (NULL otherwise) */
90       size_t* page_numbers;
91     } chunked;
92     struct {
93       size_t regions_count;
94       mc_mem_region_t* regions;
95     } privatized;
96   };
97
98 };
99
100 MC_SHOULD_BE_INTERNAL mc_mem_region_t mc_region_new_sparse(
101   mc_region_type_t type, void *start_addr, void* data_addr, size_t size);
102 MC_SHOULD_BE_INTERNAL void MC_region_destroy(mc_mem_region_t reg);
103 XBT_INTERNAL void mc_region_restore_sparse(mc_process_t process, mc_mem_region_t reg);
104
105 static inline  __attribute__ ((always_inline))
106 bool mc_region_contain(mc_mem_region_t region, const void* p)
107 {
108   return p >= region->start_addr &&
109     p < (void*)((char*) region->start_addr + region->size);
110 }
111
112 static inline __attribute__((always_inline))
113 void* mc_translate_address_region_chunked(uintptr_t addr, mc_mem_region_t region)
114 {
115   size_t pageno = mc_page_number(region->start_addr, (void*) addr);
116   size_t snapshot_pageno = region->chunked.page_numbers[pageno];
117   const void* snapshot_page =
118     mc_model_checker->page_store().get_page(snapshot_pageno);
119   return (char*) snapshot_page + mc_page_offset((void*) addr);
120 }
121
122 static inline __attribute__((always_inline))
123 void* mc_translate_address_region(uintptr_t addr, mc_mem_region_t region, int process_index)
124 {
125   switch (region->storage_type) {
126   case MC_REGION_STORAGE_TYPE_NONE:
127   default:
128     xbt_die("Storage type not supported");
129
130   case MC_REGION_STORAGE_TYPE_FLAT:
131     {
132       uintptr_t offset = addr - (uintptr_t) region->start_addr;
133       return (void *) ((uintptr_t) region->flat.data + offset);
134     }
135
136   case MC_REGION_STORAGE_TYPE_CHUNKED:
137     return mc_translate_address_region_chunked(addr, region);
138
139   case MC_REGION_STORAGE_TYPE_PRIVATIZED:
140     {
141       xbt_assert(process_index >=0,
142         "Missing process index for privatized region");
143       xbt_assert((size_t) process_index < region->privatized.regions_count,
144         "Out of range process index");
145       mc_mem_region_t subregion = region->privatized.regions[process_index];
146       xbt_assert(subregion, "Missing memory region for process %i", process_index);
147       return mc_translate_address_region(addr, subregion, process_index);
148     }
149   }
150 }
151
152 XBT_INTERNAL mc_mem_region_t mc_get_snapshot_region(
153   const void* addr, const s_mc_snapshot_t *snapshot, int process_index);
154
155 /** \brief Translate a pointer from process address space to snapshot address space
156  *
157  *  The address space contains snapshot of the main/application memory:
158  *  this function finds the address in a given snaphot for a given
159  *  real/application address.
160  *
161  *  For read only memory regions and other regions which are not int the
162  *  snapshot, the address is not changed.
163  *
164  *  \param addr     Application address
165  *  \param snapshot The snapshot of interest (if NULL no translation is done)
166  *  \return         Translated address in the snapshot address space
167  * */
168 static inline __attribute__((always_inline))
169 void* mc_translate_address(uintptr_t addr, mc_snapshot_t snapshot, int process_index)
170 {
171
172   // If not in a process state/clone:
173   if (!snapshot) {
174     return (uintptr_t *) addr;
175   }
176
177   mc_mem_region_t region = mc_get_snapshot_region((void*) addr, snapshot, process_index);
178
179   xbt_assert(mc_region_contain(region, (void*) addr), "Trying to read out of the region boundary.");
180
181   if (!region)
182     // TODO, This is not correct anymore in the cross process model?
183     return (void *) addr;
184   else
185     return mc_translate_address_region(addr, region, process_index);
186 }
187
188 // ***** MC Snapshot
189
190 /** Ignored data
191  *
192  *  Some parts of the snapshot are ignored by zeroing them out: the real
193  *  values is stored here.
194  * */
195 typedef struct s_mc_snapshot_ignored_data {
196   void* start;
197   size_t size;
198   void* data;
199 } s_mc_snapshot_ignored_data_t, *mc_snapshot_ignored_data_t;
200
201 typedef struct s_fd_infos{
202   char *filename;
203   int number;
204   off_t current_position;
205   int flags;
206 }s_fd_infos_t, *fd_infos_t;
207
208 }
209
210 namespace simgrid {
211 namespace mc {
212
213 class Snapshot : public AddressSpace {
214 public:
215   Snapshot();
216   ~Snapshot();
217   const void* read_bytes(void* buffer, std::size_t size,
218     remote_ptr<void> address, int process_index = ProcessIndexAny,
219     ReadMode mode = Normal) const MC_OVERRIDE;
220 public: // To be private
221   mc_process_t process;
222   int num_state;
223   size_t heap_bytes_used;
224   mc_mem_region_t* snapshot_regions;
225   size_t snapshot_regions_count;
226   xbt_dynar_t enabled_processes;
227   int privatization_index;
228   size_t *stack_sizes;
229   xbt_dynar_t stacks;
230   xbt_dynar_t to_ignore;
231   uint64_t hash;
232   xbt_dynar_t ignored_data;
233   int total_fd;
234   fd_infos_t *current_fd;
235 };
236
237 }
238 }
239
240 extern "C" {
241
242 static inline __attribute__ ((always_inline))
243 mc_mem_region_t mc_get_region_hinted(void* addr, mc_snapshot_t snapshot, int process_index, mc_mem_region_t region)
244 {
245   if (mc_region_contain(region, addr))
246     return region;
247   else
248     return mc_get_snapshot_region(addr, snapshot, process_index);
249 }
250
251 /** Information about a given stack frame
252  *
253  */
254 typedef struct s_mc_stack_frame {
255   /** Instruction pointer */
256   unw_word_t ip;
257   /** Stack pointer */
258   unw_word_t sp;
259   unw_word_t frame_base;
260   dw_frame_t frame;
261   char* frame_name;
262   unw_cursor_t unw_cursor;
263 } s_mc_stack_frame_t, *mc_stack_frame_t;
264
265 typedef struct s_mc_snapshot_stack{
266   xbt_dynar_t local_variables;
267   mc_unw_context_t context;
268   xbt_dynar_t stack_frames; // mc_stack_frame_t
269   int process_index;
270 }s_mc_snapshot_stack_t, *mc_snapshot_stack_t;
271
272 typedef struct s_mc_global_t {
273   mc_snapshot_t snapshot;
274   int prev_pair;
275   char *prev_req;
276   int initial_communications_pattern_done;
277   int recv_deterministic;
278   int send_deterministic;
279   char *send_diff;
280   char *recv_diff;
281 }s_mc_global_t, *mc_global_t;
282
283 static const void* mc_snapshot_get_heap_end(mc_snapshot_t snapshot);
284
285 XBT_INTERNAL mc_snapshot_t MC_take_snapshot(int num_state);
286 XBT_INTERNAL void MC_restore_snapshot(mc_snapshot_t);
287
288 XBT_INTERNAL size_t* mc_take_page_snapshot_region(mc_process_t process,
289   void* data, size_t page_count);
290 XBT_INTERNAL void mc_free_page_snapshot_region(size_t* pagenos, size_t page_count);
291 XBT_INTERNAL void mc_restore_page_snapshot_region(
292   mc_process_t process,
293   void* start_addr, size_t page_count, size_t* pagenos);
294
295 MC_SHOULD_BE_INTERNAL const void* MC_region_read_fragmented(
296   mc_mem_region_t region, void* target, const void* addr, size_t size);
297
298 // Deprecated compatibility wrapper
299 static inline
300 const void* MC_snapshot_read(mc_snapshot_t snapshot,
301   simgrid::mc::AddressSpace::ReadMode mode,
302   void* target, const void* addr, size_t size, int process_index)
303 {
304   return snapshot->read_bytes(target, size, simgrid::mc::remote(addr),
305     process_index, mode);
306 }
307
308 MC_SHOULD_BE_INTERNAL int MC_snapshot_region_memcmp(
309   const void* addr1, mc_mem_region_t region1,
310   const void* addr2, mc_mem_region_t region2, size_t size);
311 XBT_INTERNAL int MC_snapshot_memcmp(
312   const void* addr1, mc_snapshot_t snapshot1,
313   const void* addr2, mc_snapshot_t snapshot2, int process_index, size_t size);
314
315 static inline __attribute__ ((always_inline))
316 const void* mc_snapshot_get_heap_end(mc_snapshot_t snapshot)
317 {
318   if(snapshot==NULL)
319       xbt_die("snapshot is NULL");
320   return mc_model_checker->process().get_heap()->breakval;
321 }
322
323 /** @brief Read memory from a snapshot region
324  *
325  *  @param addr    Process (non-snapshot) address of the data
326  *  @param region  Snapshot memory region where the data is located
327  *  @param target  Buffer to store the value
328  *  @param size    Size of the data to read in bytes
329  *  @return Pointer where the data is located (target buffer of original location)
330  */
331 static inline __attribute__((always_inline))
332 const void* MC_region_read(mc_mem_region_t region, void* target, const void* addr, size_t size)
333 {
334   xbt_assert(region);
335
336   uintptr_t offset = (char*) addr - (char*) region->start_addr;
337
338   xbt_assert(mc_region_contain(region, addr),
339     "Trying to read out of the region boundary.");
340
341   switch (region->storage_type) {
342   case MC_REGION_STORAGE_TYPE_NONE:
343   default:
344     xbt_die("Storage type not supported");
345
346   case MC_REGION_STORAGE_TYPE_FLAT:
347     return (char*) region->flat.data + offset;
348
349   case MC_REGION_STORAGE_TYPE_CHUNKED:
350     {
351       // Last byte of the region:
352       void* end = (char*) addr + size - 1;
353       if (mc_same_page(addr, end) ) {
354         // The memory is contained in a single page:
355         return mc_translate_address_region_chunked((uintptr_t) addr, region);
356       } else {
357         // The memory spans several pages:
358         return MC_region_read_fragmented(region, target, addr, size);
359       }
360     }
361
362   // We currently do not pass the process_index to this function so we assume
363   // that the privatized region has been resolved in the callers:
364   case MC_REGION_STORAGE_TYPE_PRIVATIZED:
365     xbt_die("Storage type not supported");
366   }
367 }
368
369 static inline __attribute__ ((always_inline))
370 void* MC_region_read_pointer(mc_mem_region_t region, const void* addr)
371 {
372   void* res;
373   return *(void**) MC_region_read(region, &res, addr, sizeof(void*));
374 }
375
376 SG_END_DECL()
377
378 #endif