src/mc/mc_page_snapshot.cpp

   1 #include "mc_page_store.h"
   2 #include "mc_mmu.h"
   3
   4 #define SOFT_DIRTY_BIT_NUMBER 55
   5 #define SOFT_DIRTY (((uint64_t)1) << SOFT_DIRTY_BIT_NUMBER)
   6
   7 extern "C" {
   8
   9 // ***** Region management:
  10
  11 size_t* mc_take_page_snapshot_region(void* data, size_t page_count, uint64_t* pagemap, size_t* reference_pages)
  12 {
  13   size_t* pagenos = (size_t*) malloc(page_count * sizeof(size_t));
  14
  15   for (size_t i=0; i!=page_count; ++i) {
  16     bool softclean = pagemap && !(pagemap[i] & SOFT_DIRTY);
  17     if (softclean) {
  18       // The page is softclean, it is the same page as the reference page:
  19       pagenos[i] = reference_pages[i];
  20       mc_model_checker->pages->ref_page(reference_pages[i]);
  21     } else {
  22       // Otherwise, we need to store the page the hard hard
  23       // (by reading its content):
  24       void* page = (char*) data + (i << xbt_pagebits);
  25       pagenos[i] = mc_model_checker->pages->store_page(page);
  26     }
  27   }
  28
  29   return pagenos;
  30 }
  31
  32 void mc_free_page_snapshot_region(size_t* pagenos, size_t page_count)
  33 {
  34   for (size_t i=0; i!=page_count; ++i) {
  35     mc_model_checker->pages->unref_page(pagenos[i]);
  36   }
  37 }
  38
  39 void mc_restore_page_snapshot_region(mc_mem_region_t region, size_t page_count, uint64_t* pagemap, mc_mem_region_t reference_region)
  40 {
  41   for (size_t i=0; i!=page_count; ++i) {
  42
  43     bool softclean = pagemap && !(pagemap[i] & SOFT_DIRTY);
  44     if (softclean && reference_region && reference_region->page_numbers[i] == region->page_numbers[i]) {
  45       // The page is softclean and is the same as the reference one:
  46       // the page is already in the target state.
  47       continue;
  48     }
  49
  50     // Otherwise, copy the page:
  51     void* target_page = mc_page_from_number(region->start_addr, i);
  52     const void* source_page = mc_model_checker->pages->get_page(region->page_numbers[i]);
  53     memcpy(target_page, source_page, xbt_pagesize);
  54   }
  55 }
  56
  57 // ***** Soft dirty tracking
  58
  59 /** @brief Like pread() but without partial reads */
  60 static size_t pread_whole(int fd, void* buf, size_t count, off_t offset) {
  61   size_t res = 0;
  62
  63   char* data = (char*) buf;
  64   while(count) {
  65     ssize_t n = pread(fd, buf, count, offset);
  66     // EOF
  67     if (n==0)
  68       return res;
  69
  70     // Error (or EAGAIN):
  71     if (n==-1) {
  72       if (errno == EAGAIN)
  73         continue;
  74       else
  75         return -1;
  76     }
  77
  78     count -= n;
  79     data += n;
  80     offset += n;
  81     res += n;
  82   }
  83
  84   return res;
  85 }
  86
  87 static inline void mc_ensure_fd(int* fd, const char* path, int flags) {
  88   if (*fd != -1)
  89     return;
  90   *fd = open(path, flags);
  91   if (*fd == -1) {
  92     xbt_die("Could not open file %s", path);
  93   }
  94 }
  95
  96 /** @brief Reset the softdirty bits
  97  *
  98  *  This is done after checkpointing and after checkpoint restoration
  99  *  (if per page checkpoiting is used) in order to know which pages were
 100  *  modified.
 101  * */
 102 void mc_softdirty_reset() {
 103   mc_ensure_fd(&mc_model_checker->fd_clear_refs, "/proc/self/clear_refs", O_WRONLY|O_CLOEXEC);
 104   if( ::write(mc_model_checker->fd_clear_refs, "4\n", 2) != 2) {
 105     xbt_die("Could not reset softdirty bits");
 106   }
 107 }
 108
 109 /** @brief Read /proc/self/pagemap informations in order to find properties on the pages
 110  *
 111  *  For each virtual memory page, this file provides informations.
 112  *  We are interested in the soft-dirty bit: with this we can track which
 113  *  pages were modified between snapshots/restorations and avoid
 114  *  copying data which was not modified.
 115  *
 116  *  @param pagemap    Output buffer for pagemap informations
 117  *  @param start_addr Address of the first page
 118  *  @param page_count Number of pages
 119  */
 120 static void mc_read_pagemap(uint64_t* pagemap, size_t page_start, size_t page_count)
 121 {
 122   mc_ensure_fd(&mc_model_checker->fd_pagemap, "/proc/self/pagemap", O_RDONLY|O_CLOEXEC);
 123   size_t bytesize = sizeof(uint64_t) * page_count;
 124   off_t offset = sizeof(uint64_t) * page_start;
 125   if (pread_whole(mc_model_checker->fd_pagemap, pagemap, bytesize, offset) != bytesize) {
 126     xbt_die("Could not read pagemap");
 127   }
 128 }
 129
 130 // ***** High level API
 131
 132 mc_mem_region_t mc_region_new_sparse(int type, void *start_addr, size_t size, mc_mem_region_t ref_reg)
 133 {
 134   mc_mem_region_t new_reg = xbt_new(s_mc_mem_region_t, 1);
 135
 136   new_reg->start_addr = start_addr;
 137   new_reg->data = NULL;
 138   new_reg->size = size;
 139   new_reg->page_numbers = NULL;
 140
 141   xbt_assert((((uintptr_t)start_addr) & (xbt_pagesize-1)) == 0,
 142     "Not at the beginning of a page");
 143   size_t page_count = mc_page_count(size);
 144
 145   uint64_t* pagemap = NULL;
 146   if (mc_model_checker->parent_snapshot) {
 147       pagemap = (uint64_t*) alloca(sizeof(uint64_t) * page_count);
 148       mc_read_pagemap(pagemap, mc_page_number(NULL, start_addr), page_count);
 149   }
 150
 151   // Take incremental snapshot:
 152   new_reg->page_numbers = mc_take_page_snapshot_region(start_addr, page_count, pagemap,
 153     ref_reg==NULL ? NULL : ref_reg->page_numbers);
 154
 155   return new_reg;
 156 }
 157
 158 void mc_region_restore_sparse(mc_mem_region_t reg, mc_mem_region_t ref_reg)
 159 {
 160   xbt_assert((((uintptr_t)reg->start_addr) & (xbt_pagesize-1)) == 0,
 161     "Not at the beginning of a page");
 162   size_t page_count = mc_page_count(reg->size);
 163
 164   uint64_t* pagemap = NULL;
 165
 166   // Read soft-dirty bits if necessary in order to know which pages have changed:
 167   if (mc_model_checker->parent_snapshot) {
 168     pagemap = (uint64_t*) alloca(sizeof(uint64_t) * page_count);
 169     mc_read_pagemap(pagemap, mc_page_number(NULL, reg->start_addr), page_count);
 170   }
 171
 172   // Incremental per-page snapshot restoration:
 173   mc_restore_page_snapshot_region(reg, page_count, pagemap, ref_reg);
 174 }
 175
 176 }