src/mc/mc_page_snapshot.cpp

   1 #include "mc_page_store.h"
   2 #include "mc_mmu.h"
   3
   4 #include <xbt/mmalloc.h>
   5
   6 #define SOFT_DIRTY_BIT_NUMBER 55
   7 #define SOFT_DIRTY (((uint64_t)1) << SOFT_DIRTY_BIT_NUMBER)
   8
   9 extern "C" {
  10
  11 // ***** Region management:
  12
  13 size_t* mc_take_page_snapshot_region(void* data, size_t page_count, uint64_t* pagemap, size_t* reference_pages)
  14 {
  15   size_t* pagenos = (size_t*) malloc(page_count * sizeof(size_t));
  16
  17   for (size_t i=0; i!=page_count; ++i) {
  18     bool softclean = pagemap && !(pagemap[i] & SOFT_DIRTY);
  19     if (softclean) {
  20       // The page is softclean, it is the same page as the reference page:
  21       pagenos[i] = reference_pages[i];
  22       mc_model_checker->pages->ref_page(reference_pages[i]);
  23     } else {
  24       // Otherwise, we need to store the page the hard hard
  25       // (by reading its content):
  26       void* page = (char*) data + (i << xbt_pagebits);
  27       pagenos[i] = mc_model_checker->pages->store_page(page);
  28     }
  29   }
  30
  31   return pagenos;
  32 }
  33
  34 void mc_free_page_snapshot_region(size_t* pagenos, size_t page_count)
  35 {
  36   for (size_t i=0; i!=page_count; ++i) {
  37     mc_model_checker->pages->unref_page(pagenos[i]);
  38   }
  39 }
  40
  41 void mc_restore_page_snapshot_region(mc_mem_region_t region, size_t page_count, uint64_t* pagemap, mc_mem_region_t reference_region)
  42 {
  43   for (size_t i=0; i!=page_count; ++i) {
  44
  45     bool softclean = pagemap && !(pagemap[i] & SOFT_DIRTY);
  46     if (softclean && reference_region && reference_region->page_numbers[i] == region->page_numbers[i]) {
  47       // The page is softclean and is the same as the reference one:
  48       // the page is already in the target state.
  49       continue;
  50     }
  51
  52     // Otherwise, copy the page:
  53     void* target_page = mc_page_from_number(region->start_addr, i);
  54     const void* source_page = mc_model_checker->pages->get_page(region->page_numbers[i]);
  55     memcpy(target_page, source_page, xbt_pagesize);
  56   }
  57 }
  58
  59 // ***** Soft dirty tracking
  60
  61 /** @brief Like pread() but without partial reads */
  62 static size_t pread_whole(int fd, void* buf, size_t count, off_t offset) {
  63   size_t res = 0;
  64
  65   char* data = (char*) buf;
  66   while(count) {
  67     ssize_t n = pread(fd, buf, count, offset);
  68     // EOF
  69     if (n==0)
  70       return res;
  71
  72     // Error (or EINTR):
  73     if (n==-1) {
  74       if (errno == EINTR)
  75         continue;
  76       else
  77         return -1;
  78     }
  79
  80     // It might be a partial read:
  81     count -= n;
  82     data += n;
  83     offset += n;
  84     res += n;
  85   }
  86
  87   return res;
  88 }
  89
  90 static inline void mc_ensure_fd(int* fd, const char* path, int flags) {
  91   if (*fd != -1)
  92     return;
  93   *fd = open(path, flags);
  94   if (*fd == -1) {
  95     xbt_die("Could not open file %s", path);
  96   }
  97 }
  98
  99 /** @brief Reset the soft-dirty bits
 100  *
 101  *  This is done after checkpointing and after checkpoint restoration
 102  *  (if per page checkpoiting is used) in order to know which pages were
 103  *  modified.
 104  *
 105  *  See https://www.kernel.org/doc/Documentation/vm/soft-dirty.txt
 106  * */
 107 void mc_softdirty_reset() {
 108   mc_ensure_fd(&mc_model_checker->fd_clear_refs, "/proc/self/clear_refs", O_WRONLY|O_CLOEXEC);
 109   if( ::write(mc_model_checker->fd_clear_refs, "4\n", 2) != 2) {
 110     xbt_die("Could not reset softdirty bits");
 111   }
 112 }
 113
 114 /** @brief Read memory page informations
 115  *
 116  *  For each virtual memory page of the process,
 117  *  /proc/self/pagemap provides a 64 bit field of information.
 118  *  We are interested in the soft-dirty bit: with this we can track which
 119  *  pages were modified between snapshots/restorations and avoid
 120  *  copying data which was not modified.
 121  *
 122  *  See https://www.kernel.org/doc/Documentation/vm/pagemap.txt
 123  *
 124  *  @param pagemap    Output buffer for pagemap informations
 125  *  @param start_addr Address of the first page
 126  *  @param page_count Number of pages
 127  */
 128 static void mc_read_pagemap(uint64_t* pagemap, size_t page_start, size_t page_count)
 129 {
 130   mc_ensure_fd(&mc_model_checker->fd_pagemap, "/proc/self/pagemap", O_RDONLY|O_CLOEXEC);
 131   size_t bytesize = sizeof(uint64_t) * page_count;
 132   off_t offset = sizeof(uint64_t) * page_start;
 133   if (pread_whole(mc_model_checker->fd_pagemap, pagemap, bytesize, offset) != bytesize) {
 134     xbt_die("Could not read pagemap");
 135   }
 136 }
 137
 138 // ***** High level API
 139
 140 mc_mem_region_t mc_region_new_sparse(int type, void *start_addr, size_t size, mc_mem_region_t ref_reg)
 141 {
 142   mc_mem_region_t new_reg = xbt_new(s_mc_mem_region_t, 1);
 143
 144   new_reg->start_addr = start_addr;
 145   new_reg->data = NULL;
 146   new_reg->size = size;
 147   new_reg->page_numbers = NULL;
 148
 149   xbt_assert((((uintptr_t)start_addr) & (xbt_pagesize-1)) == 0,
 150     "Not at the beginning of a page");
 151   size_t page_count = mc_page_count(size);
 152
 153   uint64_t* pagemap = NULL;
 154   if (_sg_mc_soft_dirty && mc_model_checker->parent_snapshot) {
 155       pagemap = (uint64_t*) mmalloc_no_memset((xbt_mheap_t) mc_heap, sizeof(uint64_t) * page_count);
 156       mc_read_pagemap(pagemap, mc_page_number(NULL, start_addr), page_count);
 157   }
 158
 159   // Take incremental snapshot:
 160   new_reg->page_numbers = mc_take_page_snapshot_region(start_addr, page_count, pagemap,
 161     ref_reg==NULL ? NULL : ref_reg->page_numbers);
 162
 163   if(pagemap) {
 164     mfree((xbt_mheap_t) mc_heap, pagemap);
 165   }
 166   return new_reg;
 167 }
 168
 169 void mc_region_restore_sparse(mc_mem_region_t reg, mc_mem_region_t ref_reg)
 170 {
 171   xbt_assert((((uintptr_t)reg->start_addr) & (xbt_pagesize-1)) == 0,
 172     "Not at the beginning of a page");
 173   size_t page_count = mc_page_count(reg->size);
 174
 175   uint64_t* pagemap = NULL;
 176
 177   // Read soft-dirty bits if necessary in order to know which pages have changed:
 178   if (_sg_mc_soft_dirty && mc_model_checker->parent_snapshot) {
 179     pagemap = (uint64_t*) mmalloc_no_memset((xbt_mheap_t) mc_heap, sizeof(uint64_t) * page_count);
 180     mc_read_pagemap(pagemap, mc_page_number(NULL, reg->start_addr), page_count);
 181   }
 182
 183   // Incremental per-page snapshot restoration:
 184   mc_restore_page_snapshot_region(reg, page_count, pagemap, ref_reg);
 185
 186   // This is funny, the restoration can restore the state of the current heap,
 187   // if this happen free(pagemap) would free from the wrong heap:
 188   if(pagemap) {
 189     mfree((xbt_mheap_t) mc_heap, pagemap);
 190   }
 191 }
 192
 193 }