src/mc/sosp/Snapshot.cpp

   1 /* Copyright (c) 2014-2022. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "src/mc/sosp/Snapshot.hpp"
   7 #include "src/mc/mc_config.hpp"
   8
   9 #include <cstddef> /* std::size_t */
  10
  11 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_snapshot, mc, "Taking and restoring snapshots");
  12 namespace simgrid::mc {
  13 /************************************* Take Snapshot ************************************/
  14 /****************************************************************************************/
  15
  16 void Snapshot::snapshot_regions(RemoteProcess* process)
  17 {
  18   snapshot_regions_.clear();
  19
  20   for (auto const& object_info : process->object_infos)
  21     add_region(RegionType::Data, object_info.get(), object_info->start_rw, object_info->end_rw - object_info->start_rw);
  22
  23   const s_xbt_mheap_t* heap = process->get_heap();
  24   void* start_heap = heap->base;
  25   void* end_heap   = heap->breakval;
  26
  27   add_region(RegionType::Heap, nullptr, start_heap, (char*)end_heap - (char*)start_heap);
  28   heap_bytes_used_ = mmalloc_get_bytes_used_remote(heap->heaplimit, process->get_malloc_info());
  29 }
  30
  31 /** @brief Checks whether the variable is in scope for a given IP.
  32  *
  33  *  A variable may be defined only from a given value of IP.
  34  *
  35  *  @param var   Variable description
  36  *  @param scope Scope description
  37  *  @param ip    Instruction pointer
  38  *  @return      true if the variable is valid
  39  * */
  40 static bool valid_variable(const simgrid::mc::Variable* var, simgrid::mc::Frame* scope, const void* ip)
  41 {
  42   // The variable is not yet valid:
  43   if (scope->range.begin() + var->start_scope > (std::uint64_t)ip)
  44     return false;
  45   else
  46     return true;
  47 }
  48
  49 static void fill_local_variables_values(mc_stack_frame_t stack_frame, Frame* scope,
  50                                         std::vector<s_local_variable_t>& result)
  51 {
  52   if (not scope || not scope->range.contain(stack_frame->ip))
  53     return;
  54
  55   for (const Variable& current_variable : scope->variables) {
  56     if (not valid_variable(&current_variable, scope, (void*)stack_frame->ip))
  57       continue;
  58
  59     if (not current_variable.type) {
  60       XBT_VERB("Ignore local variable without type: '%s' [%s]", current_variable.name.c_str(),
  61                stack_frame->frame->name.c_str());
  62       continue;
  63     }
  64
  65     s_local_variable_t new_var;
  66     new_var.subprogram = stack_frame->frame;
  67     new_var.ip         = stack_frame->ip;
  68     new_var.name       = current_variable.name;
  69     new_var.type       = current_variable.type;
  70     new_var.address    = nullptr;
  71
  72     if (current_variable.address != nullptr)
  73       new_var.address = current_variable.address;
  74     else if (not current_variable.location_list.empty()) {
  75       dwarf::Location location = simgrid::dwarf::resolve(current_variable.location_list, current_variable.object_info,
  76                                                          &(stack_frame->unw_cursor), (void*)stack_frame->frame_base,
  77                                                          &mc_model_checker->get_remote_process());
  78
  79       xbt_assert(location.in_memory(), "Cannot handle non-address variable");
  80       new_var.address = location.address();
  81     } else
  82       xbt_die("No address");
  83
  84     result.push_back(std::move(new_var));
  85   }
  86
  87   // Recursive processing of nested scopes:
  88   for (Frame& nested_scope : scope->scopes)
  89     fill_local_variables_values(stack_frame, &nested_scope, result);
  90 }
  91
  92 static std::vector<s_local_variable_t> get_local_variables_values(std::vector<s_mc_stack_frame_t>& stack_frames)
  93 {
  94   std::vector<s_local_variable_t> variables;
  95   for (s_mc_stack_frame_t& stack_frame : stack_frames)
  96     fill_local_variables_values(&stack_frame, stack_frame.frame, variables);
  97   return variables;
  98 }
  99
 100 static std::vector<s_mc_stack_frame_t> unwind_stack_frames(UnwindContext* stack_context)
 101 {
 102   const RemoteProcess* process = &mc_model_checker->get_remote_process();
 103   std::vector<s_mc_stack_frame_t> result;
 104
 105   unw_cursor_t c = stack_context->cursor();
 106
 107   // TODO, check condition check (unw_init_local==0 means end of frame)
 108
 109   while (true) {
 110     s_mc_stack_frame_t stack_frame;
 111
 112     stack_frame.unw_cursor = c;
 113
 114     unw_word_t ip;
 115     unw_word_t sp;
 116
 117     unw_get_reg(&c, UNW_REG_IP, &ip);
 118     unw_get_reg(&c, UNW_REG_SP, &sp);
 119
 120     stack_frame.ip = ip;
 121     stack_frame.sp = sp;
 122
 123     // TODO, use real addresses in frame_t instead of fixing it here
 124
 125     Frame* frame              = process->find_function(remote(ip));
 126     stack_frame.frame         = frame;
 127
 128     if (frame) {
 129       stack_frame.frame_name = frame->name;
 130       stack_frame.frame_base = (unw_word_t)frame->frame_base(c);
 131     } else {
 132       stack_frame.frame_base = 0;
 133       stack_frame.frame_name = "";
 134     }
 135
 136     result.push_back(std::move(stack_frame));
 137
 138     /* Stop before context switch with maestro */
 139     if (frame != nullptr && frame->name == "smx_ctx_wrapper")
 140       break;
 141
 142     int ret = unw_step(&c);
 143     xbt_assert(ret >= 0, "Error while unwinding stack");
 144     xbt_assert(ret != 0, "Unexpected end of stack.");
 145   }
 146
 147   xbt_assert(not result.empty(), "unw_init_local failed");
 148
 149   return result;
 150 }
 151
 152 void Snapshot::snapshot_stacks(RemoteProcess* process)
 153 {
 154   for (auto const& stack : process->stack_areas()) {
 155     s_mc_snapshot_stack_t st;
 156
 157     // Read the context from remote process:
 158     unw_context_t context;
 159     process->read_bytes(&context, sizeof(context), remote(stack.context));
 160
 161     st.context.initialize(process, &context);
 162
 163     st.stack_frames    = unwind_stack_frames(&st.context);
 164     st.local_variables = get_local_variables_values(st.stack_frames);
 165
 166     unw_word_t sp = st.stack_frames[0].sp;
 167
 168     stacks_.push_back(std::move(st));
 169
 170     size_t stack_size = (char*)stack.address + stack.size - (char*)sp;
 171     stack_sizes_.push_back(stack_size);
 172   }
 173 }
 174
 175 void Snapshot::handle_ignore()
 176 {
 177   xbt_assert(get_remote_process());
 178
 179   // Copy the memory:
 180   for (auto const& region : get_remote_process()->ignored_regions()) {
 181     s_mc_snapshot_ignored_data_t ignored_data;
 182     ignored_data.start = (void*)region.addr;
 183     ignored_data.data.resize(region.size);
 184     // TODO, we should do this once per privatization segment:
 185     get_remote_process()->read_bytes(ignored_data.data.data(), region.size, remote(region.addr));
 186     ignored_data_.push_back(std::move(ignored_data));
 187   }
 188
 189   // Zero the memory:
 190   for (auto const& region : get_remote_process()->ignored_regions())
 191     get_remote_process()->clear_bytes(remote(region.addr), region.size);
 192 }
 193
 194 void Snapshot::ignore_restore() const
 195 {
 196   for (auto const& ignored_data : ignored_data_)
 197     get_remote_process()->write_bytes(ignored_data.data.data(), ignored_data.data.size(), remote(ignored_data.start));
 198 }
 199
 200 Snapshot::Snapshot(long num_state, RemoteProcess* process) : AddressSpace(process), num_state_(num_state)
 201 {
 202   XBT_DEBUG("Taking snapshot %ld", num_state);
 203
 204   handle_ignore();
 205
 206   /* Save the std heap and the writable mapped pages of libsimgrid and binary */
 207   snapshot_regions(process);
 208
 209   to_ignore_ = process->ignored_heap();
 210
 211   if (_sg_mc_max_visited_states > 0 || not _sg_mc_property_file.get().empty()) {
 212     snapshot_stacks(process);
 213     hash_ = this->do_hash();
 214   }
 215
 216   ignore_restore();
 217 }
 218
 219 void Snapshot::add_region(RegionType type, ObjectInformation* object_info, void* start_addr, std::size_t size)
 220 {
 221   if (type == RegionType::Data)
 222     xbt_assert(object_info, "Missing object info for object.");
 223   else if (type == RegionType::Heap)
 224     xbt_assert(not object_info, "Unexpected object info for heap region.");
 225
 226   auto* region = new Region(type, start_addr, size);
 227   region->object_info(object_info);
 228   snapshot_regions_.push_back(std::unique_ptr<Region>(region));
 229 }
 230
 231 void* Snapshot::read_bytes(void* buffer, std::size_t size, RemotePtr<void> address, ReadOptions options) const
 232 {
 233   const Region* region = this->get_region((void*)address.address());
 234   if (region) {
 235     void* res = region->read(buffer, (void*)address.address(), size);
 236     if (buffer == res || options & ReadOptions::lazy())
 237       return res;
 238     else {
 239       memcpy(buffer, res, size);
 240       return buffer;
 241     }
 242   } else
 243     return this->get_remote_process()->read_bytes(buffer, size, address, options);
 244 }
 245 /** @brief Find the snapshotted region from a pointer
 246  *
 247  *  @param addr     Pointer
 248  * */
 249 Region* Snapshot::get_region(const void* addr) const
 250 {
 251   size_t n = snapshot_regions_.size();
 252   for (size_t i = 0; i != n; ++i) {
 253     Region* region = snapshot_regions_[i].get();
 254     if (not(region && region->contain(simgrid::mc::remote(addr))))
 255       continue;
 256
 257     return region;
 258   }
 259
 260   return nullptr;
 261 }
 262
 263 /** @brief Find the snapshotted region from a pointer, with a hinted_region */
 264 Region* Snapshot::get_region(const void* addr, Region* hinted_region) const
 265 {
 266   if (hinted_region->contain(simgrid::mc::remote(addr)))
 267     return hinted_region;
 268   else
 269     return get_region(addr);
 270 }
 271
 272 void Snapshot::restore(RemoteProcess* process) const
 273 {
 274   XBT_DEBUG("Restore snapshot %ld", num_state_);
 275
 276   // Restore regions
 277   for (std::unique_ptr<Region> const& region : snapshot_regions_) {
 278     if (region) // privatized variables are not snapshotted
 279       region.get()->restore();
 280   }
 281
 282   ignore_restore();
 283   process->clear_cache();
 284 }
 285
 286 /* ----------- Hashing logic -------------- */
 287 class djb_hash {
 288   hash_type state_ = 5381LL;
 289
 290 public:
 291   template <class T> void update(T& x) { state_ = (state_ << 5) + state_ + x; }
 292   hash_type value() const { return state_; }
 293 };
 294 hash_type Snapshot::do_hash() const
 295 {
 296   XBT_DEBUG("START hash %ld", num_state_);
 297   djb_hash hash;
 298   // TODO:
 299   // * nb_processes
 300   // * heap_bytes_used
 301   // * root variables
 302   // * basic stack frame information
 303   // * stack frame local variables
 304   XBT_DEBUG("END hash %ld", num_state_);
 305   return hash.value();
 306 }
 307
 308 } // namespace simgrid::mc