Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
[mc] Fix the hash computation
[simgrid.git] / src / mc / mc_checkpoint.cpp
1 /* Copyright (c) 2008-2015. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #include <unistd.h>
8
9 #include <string.h>
10 #include <link.h>
11 #include <dirent.h>
12
13 #include "src/internal_config.h"
14 #include "src/mc/mc_private.h"
15 #include "xbt/module.h"
16 #include <xbt/mmalloc.h>
17 #include "src/smpi/private.h"
18 #include <alloca.h>
19
20 #include "src/xbt/mmalloc/mmprivate.h"
21
22 #include "src/simix/smx_private.h"
23
24 #include <libunwind.h>
25 #include <libelf.h>
26
27 #include "src/mc/mc_private.h"
28 #include <mc/mc.h>
29
30 #include "src/mc/mc_snapshot.h"
31 #include "src/mc/mc_object_info.h"
32 #include "src/mc/mc_mmu.h"
33 #include "src/mc/mc_unw.h"
34 #include "src/mc/mc_protocol.h"
35 #include "src/mc/mc_smx.h"
36 #include "mc_hash.hpp"
37
38 #include "src/mc/RegionSnapshot.hpp"
39 #include "src/mc/ObjectInformation.hpp"
40 #include "src/mc/Frame.hpp"
41 #include "src/mc/Variable.hpp"
42
43 using simgrid::mc::remote;
44
45 extern "C" {
46
47 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_checkpoint, mc,
48                                 "Logging specific to mc_checkpoint");
49
50 /************************************  Free functions **************************************/
51 /*****************************************************************************************/
52
53 /** @brief Restore a region from a snapshot
54  *
55  *  @param reg     Target region
56  */
57 static void MC_region_restore(mc_mem_region_t region)
58 {
59   switch(region->storage_type()) {
60   case simgrid::mc::StorageType::NoData:
61   default:
62     xbt_die("Storage type not supported");
63     break;
64
65   case simgrid::mc::StorageType::Flat:
66     mc_model_checker->process().write_bytes(region->flat_data(),
67       region->size(), region->permanent_address());
68     break;
69
70   case simgrid::mc::StorageType::Chunked:
71     mc_region_restore_sparse(&mc_model_checker->process(), region);
72     break;
73
74   case simgrid::mc::StorageType::Privatized:
75     for (auto& p : region->privatized_data())
76       MC_region_restore(&p);
77     break;
78   }
79 }
80
81 }
82
83 namespace simgrid {
84 namespace mc {
85
86 #ifdef HAVE_SMPI
87 RegionSnapshot privatized_region(
88     RegionType region_type, void *start_addr, void* permanent_addr,
89     std::size_t size, const RegionSnapshot* ref_region
90     )
91 {
92   size_t process_count = MC_smpi_process_count();
93
94   // Read smpi_privatisation_regions from MCed:
95   smpi_privatisation_region_t remote_smpi_privatisation_regions;
96   mc_model_checker->process().read_variable(
97     "smpi_privatisation_regions",
98     &remote_smpi_privatisation_regions, sizeof(remote_smpi_privatisation_regions));
99   s_smpi_privatisation_region_t privatisation_regions[process_count];
100   mc_model_checker->process().read_bytes(
101     &privatisation_regions, sizeof(privatisation_regions),
102     remote(remote_smpi_privatisation_regions));
103
104   std::vector<simgrid::mc::RegionSnapshot> data;
105   data.reserve(process_count);
106   for (size_t i = 0; i < process_count; i++) {
107     const simgrid::mc::RegionSnapshot* ref_privatized_region = nullptr;
108     if (ref_region && ref_region->storage_type() == StorageType::Privatized)
109       ref_privatized_region = &ref_region->privatized_data()[i];
110     data.push_back(simgrid::mc::region(region_type, start_addr,
111       privatisation_regions[i].address, size, ref_privatized_region));
112   }
113
114   simgrid::mc::RegionSnapshot region = simgrid::mc::RegionSnapshot(
115     region_type, start_addr, permanent_addr, size);
116   region.privatized_data(std::move(data));
117   return std::move(region);
118 }
119 #endif
120
121 }
122 }
123
124 extern "C" {
125
126 static void MC_snapshot_add_region(int index, mc_snapshot_t snapshot,
127                                   simgrid::mc::RegionType type,
128                                   simgrid::mc::ObjectInformation* object_info,
129                                   void *start_addr, void* permanent_addr,
130                                   std::size_t size)
131 {
132   if (type == simgrid::mc::RegionType::Data)
133     xbt_assert(object_info, "Missing object info for object.");
134   else if (type == simgrid::mc::RegionType::Heap)
135     xbt_assert(!object_info, "Unexpected object info for heap region.");
136
137   simgrid::mc::RegionSnapshot const* ref_region = nullptr;
138   if (mc_model_checker->parent_snapshot_)
139     ref_region = mc_model_checker->parent_snapshot_->snapshot_regions[index].get();
140
141   simgrid::mc::RegionSnapshot region;
142 #ifdef HAVE_SMPI
143   const bool privatization_aware = object_info
144     && mc_model_checker->process().privatized(*object_info);
145   if (privatization_aware && MC_smpi_process_count())
146     region = simgrid::mc::privatized_region(
147       type, start_addr, permanent_addr, size, ref_region);
148   else
149 #endif
150     region = simgrid::mc::region(type, start_addr, permanent_addr, size, ref_region);
151
152   region.object_info(object_info);
153   snapshot->snapshot_regions[index]
154     = std::unique_ptr<simgrid::mc::RegionSnapshot>(
155       new simgrid::mc::RegionSnapshot(std::move(region)));
156   return;
157 }
158
159 static void MC_get_memory_regions(simgrid::mc::Process* process, mc_snapshot_t snapshot)
160 {
161   const size_t n = process->object_infos.size();
162   snapshot->snapshot_regions.resize(n + 1);
163   int i = 0;
164   for (auto const& object_info : process->object_infos) {
165     MC_snapshot_add_region(i, snapshot, simgrid::mc::RegionType::Data,
166       object_info.get(),
167       object_info->start_rw, object_info->start_rw,
168       object_info->end_rw - object_info->start_rw);
169     ++i;
170   }
171
172   xbt_mheap_t heap = process->get_heap();
173   void *start_heap = heap->base;
174   void *end_heap = heap->breakval;
175
176   MC_snapshot_add_region(n, snapshot, simgrid::mc::RegionType::Heap, NULL,
177                         start_heap, start_heap,
178                         (char *) end_heap - (char *) start_heap);
179   snapshot->heap_bytes_used = mmalloc_get_bytes_used_remote(
180     heap->heaplimit,
181     process->get_malloc_info());
182
183 #ifdef HAVE_SMPI
184   if (mc_model_checker->process().privatized() && MC_smpi_process_count()) {
185     // snapshot->privatization_index = smpi_loaded_page
186     mc_model_checker->process().read_variable(
187       "smpi_loaded_page", &snapshot->privatization_index,
188       sizeof(snapshot->privatization_index));
189   } else
190 #endif
191   {
192     snapshot->privatization_index = simgrid::mc::ProcessIndexMissing;
193   }
194 }
195
196 /** \brief Fills the position of the segments (executable, read-only, read/write).
197  *
198  *  `dl_iterate_phdr` would be more robust but would not work in cross-process.
199  * */
200 void MC_find_object_address(
201   std::vector<simgrid::xbt::VmMap> const& maps,
202   simgrid::mc::ObjectInformation* result)
203 {
204   char* file_name = xbt_strdup(result->file_name.c_str());
205   const char *name = basename(file_name);
206   for (size_t i = 0; i < maps.size(); ++i) {
207     simgrid::xbt::VmMap const& reg = maps[i];
208     if (maps[i].pathname.empty()
209         || strcmp(basename(maps[i].pathname.c_str()), name)) {
210       // Nothing to do
211     } else if ((reg.prot & PROT_WRITE)) {
212       xbt_assert(!result->start_rw,
213                  "Multiple read-write segments for %s, not supported",
214                  maps[i].pathname.c_str());
215       result->start_rw = (char*) reg.start_addr;
216       result->end_rw = (char*) reg.end_addr;
217       // .bss is usually after the .data:
218       simgrid::xbt::VmMap const& next = maps[i + 1];
219       if (next.pathname.empty() && (next.prot & PROT_WRITE)
220           && next.start_addr == reg.end_addr) {
221         result->end_rw = (char*) maps[i + 1].end_addr;
222       }
223     } else if ((reg.prot & PROT_READ) && (reg.prot & PROT_EXEC)) {
224       xbt_assert(!result->start_exec,
225                  "Multiple executable segments for %s, not supported",
226                  maps[i].pathname.c_str());
227       result->start_exec = (char*) reg.start_addr;
228       result->end_exec = (char*) reg.end_addr;
229     } else if ((reg.prot & PROT_READ) && !(reg.prot & PROT_EXEC)) {
230       xbt_assert(!result->start_ro,
231                  "Multiple read only segments for %s, not supported",
232                  maps[i].pathname.c_str());
233       result->start_ro = (char*) reg.start_addr;
234       result->end_ro = (char*) reg.end_addr;
235     }
236   }
237
238   result->start = result->start_rw;
239   if ((const void*) result->start_ro > result->start)
240     result->start = result->start_ro;
241   if ((const void*) result->start_exec > result->start)
242     result->start = result->start_exec;
243
244   result->end = result->end_rw;
245   if (result->end_ro && (const void*) result->end_ro < result->end)
246     result->end = result->end_ro;
247   if (result->end_exec && (const void*) result->end_exec > result->end)
248     result->end = result->end_exec;
249
250   xbt_assert(result->start_rw);
251   xbt_assert(result->start_exec);
252   free(file_name);
253 }
254
255 /************************************* Take Snapshot ************************************/
256 /****************************************************************************************/
257
258 /** \brief Checks whether the variable is in scope for a given IP.
259  *
260  *  A variable may be defined only from a given value of IP.
261  *
262  *  \param var   Variable description
263  *  \param frame Scope description
264  *  \param ip    Instruction pointer
265  *  \return      true if the variable is valid
266  * */
267 static bool mc_valid_variable(simgrid::mc::Variable* var,
268                               simgrid::mc::Frame* scope,
269                               const void *ip)
270 {
271   // The variable is not yet valid:
272   if ((const void *) ((const char *) scope->low_pc + var->start_scope) > ip)
273     return false;
274   else
275     return true;
276 }
277
278 static void mc_fill_local_variables_values(mc_stack_frame_t stack_frame,
279                                            simgrid::mc::Frame* scope,
280                                            int process_index,
281                                            std::vector<s_local_variable>& result)
282 {
283   simgrid::mc::Process* process = &mc_model_checker->process();
284
285   void *ip = (void *) stack_frame->ip;
286   if (ip < scope->low_pc || ip >= scope->high_pc)
287     return;
288
289   for(simgrid::mc::Variable& current_variable :
290       scope->variables) {
291
292     if (!mc_valid_variable(&current_variable, scope, (void *) stack_frame->ip))
293       continue;
294
295     int region_type;
296     // FIXME, get rid of `region_type`
297     if ((long) stack_frame->ip > (long) process->libsimgrid_info->start_exec)
298       region_type = 1;
299     else
300       region_type = 2;
301
302     s_local_variable_t new_var;
303     new_var.subprogram = stack_frame->frame;
304     new_var.ip = stack_frame->ip;
305     new_var.name = current_variable.name;
306     new_var.type = current_variable.type;
307     new_var.region = region_type;
308     new_var.address = nullptr;
309
310     if (current_variable.address != NULL) {
311       new_var.address = current_variable.address;
312     } else if (!current_variable.location_list.empty()) {
313       simgrid::dwarf::Location location =
314         simgrid::dwarf::resolve(
315           current_variable.location_list,
316           current_variable.object_info,
317           &(stack_frame->unw_cursor),
318           (void *) stack_frame->frame_base,
319           &mc_model_checker->process(), process_index);
320
321       if (!location.in_memory())
322         xbt_die("Cannot handle non-address variable");
323       new_var.address = location.address();
324
325     } else {
326       xbt_die("No address");
327     }
328
329     result.push_back(std::move(new_var));
330   }
331
332   // Recursive processing of nested scopes:
333   for(simgrid::mc::Frame& nested_scope : scope->scopes)
334     mc_fill_local_variables_values(
335       stack_frame, &nested_scope, process_index, result);
336 }
337
338 static std::vector<s_local_variable> MC_get_local_variables_values(
339   std::vector<s_mc_stack_frame_t>& stack_frames, int process_index)
340 {
341   std::vector<s_local_variable> variables;
342   for (s_mc_stack_frame_t& stack_frame : stack_frames)
343     mc_fill_local_variables_values(&stack_frame, stack_frame.frame, process_index, variables);
344   return std::move(variables);
345 }
346
347 static void MC_stack_frame_free_voipd(void *s)
348 {
349   mc_stack_frame_t stack_frame = *(mc_stack_frame_t *) s;
350   delete(stack_frame);
351 }
352
353 static std::vector<s_mc_stack_frame_t> MC_unwind_stack_frames(mc_unw_context_t stack_context)
354 {
355   simgrid::mc::Process* process = &mc_model_checker->process();
356   std::vector<s_mc_stack_frame_t> result;
357
358   unw_cursor_t c;
359
360   // TODO, check condition check (unw_init_local==0 means end of frame)
361   if (mc_unw_init_cursor(&c, stack_context) != 0) {
362
363     xbt_die("Could not initialize stack unwinding");
364
365   } else
366     while (1) {
367
368       s_mc_stack_frame_t stack_frame;
369
370       stack_frame.unw_cursor = c;
371
372       unw_word_t ip, sp;
373
374       unw_get_reg(&c, UNW_REG_IP, &ip);
375       unw_get_reg(&c, UNW_REG_SP, &sp);
376
377       stack_frame.ip = ip;
378       stack_frame.sp = sp;
379
380       // TODO, use real addresses in frame_t instead of fixing it here
381
382       simgrid::mc::Frame* frame = process->find_function(remote(ip));
383       stack_frame.frame = frame;
384
385       if (frame) {
386         stack_frame.frame_name = frame->name;
387         stack_frame.frame_base =
388             (unw_word_t) frame->frame_base(c);
389       } else {
390         stack_frame.frame_base = 0;
391         stack_frame.frame_name = std::string();
392       }
393
394       result.push_back(std::move(stack_frame));
395
396       /* Stop before context switch with maestro */
397       if (frame != nullptr &&
398           frame->name == "smx_ctx_sysv_wrapper")
399         break;
400
401       int ret = unw_step(&c);
402       if (ret == 0) {
403         xbt_die("Unexpected end of stack.");
404       } else if (ret < 0) {
405         xbt_die("Error while unwinding stack");
406       }
407     }
408
409   if (result.empty()) {
410     XBT_INFO("unw_init_local failed");
411     xbt_abort();
412   }
413
414   return std::move(result);
415 };
416
417 static std::vector<s_mc_snapshot_stack_t> MC_take_snapshot_stacks(mc_snapshot_t * snapshot)
418 {
419   std::vector<s_mc_snapshot_stack_t> res;
420
421   for (auto const& stack : mc_model_checker->process().stack_areas()) {
422     s_mc_snapshot_stack_t st;
423
424     // Read the context from remote process:
425     unw_context_t context;
426     mc_model_checker->process().read_bytes(
427       &context, sizeof(context), remote(stack.context));
428
429     if (mc_unw_init_context(&st.context, &mc_model_checker->process(),
430       &context) < 0) {
431       xbt_die("Could not initialise the libunwind context.");
432     }
433     st.stack_frames = MC_unwind_stack_frames(&st.context);
434     st.local_variables = MC_get_local_variables_values(st.stack_frames, stack.process_index);
435     st.process_index = stack.process_index;
436
437     unw_word_t sp = st.stack_frames[0].sp;
438
439     res.push_back(std::move(st));
440
441     size_t stack_size =
442       (char*) stack.address + stack.size - (char*) sp;
443     (*snapshot)->stack_sizes.push_back(stack_size);
444   }
445
446   return std::move(res);
447
448 }
449
450 static void MC_snapshot_handle_ignore(mc_snapshot_t snapshot)
451 {
452   xbt_assert(snapshot->process());
453   
454   // Copy the memory:
455   for (auto const& region : mc_model_checker->process().ignored_regions()) {
456     s_mc_snapshot_ignored_data_t ignored_data;
457     ignored_data.start = (void*)region.addr;
458     ignored_data.data.resize(region.size);
459     // TODO, we should do this once per privatization segment:
460     snapshot->process()->read_bytes(
461       ignored_data.data.data(), region.size, remote(region.addr),
462       simgrid::mc::ProcessIndexDisabled);
463     snapshot->ignored_data.push_back(std::move(ignored_data));
464   }
465
466   // Zero the memory:
467   for(auto const& region : mc_model_checker->process().ignored_regions()) {
468     snapshot->process()->clear_bytes(remote(region.addr), region.size);
469   }
470
471 }
472
473 static void MC_snapshot_ignore_restore(mc_snapshot_t snapshot)
474 {
475   for (auto const& ignored_data : snapshot->ignored_data)
476     snapshot->process()->write_bytes(
477       ignored_data.data.data(), ignored_data.data.size(),
478       remote(ignored_data.start));
479 }
480
481 static std::vector<s_fd_infos_t> MC_get_current_fds(pid_t pid)
482 {
483   const size_t fd_dir_path_size = 20;
484   char fd_dir_path[fd_dir_path_size];
485   int res = snprintf(fd_dir_path, fd_dir_path_size,
486     "/proc/%lli/fd", (long long int) pid);
487   xbt_assert(res >= 0);
488   if ((size_t) res > fd_dir_path_size)
489     xbt_die("Unexpected buffer is too small for fd_dir_path");
490
491   DIR* fd_dir = opendir(fd_dir_path);
492   if (fd_dir == NULL)
493     xbt_die("Cannot open directory '/proc/self/fd'\n");
494
495   std::vector<s_fd_infos_t> fds;
496
497   struct dirent* fd_number;
498   while ((fd_number = readdir(fd_dir))) {
499
500     int fd_value = atoi(fd_number->d_name);
501
502     if(fd_value < 3)
503       continue;
504
505     const size_t source_size = 25;
506     char source[25];
507     int res = snprintf(source, source_size, "/proc/%lli/fd/%s",
508         (long long int) pid, fd_number->d_name);
509     xbt_assert(res >= 0);
510     if ((size_t) res > source_size)
511       xbt_die("Unexpected buffer is too small for fd %s", fd_number->d_name);
512
513     const size_t link_size = 200;
514     char link[200];
515     res = readlink(source, link, link_size);
516     if (res<0) {
517       xbt_die("Could not read link for %s", source);
518     }
519     if (res==200) {
520       xbt_die("Buffer to small for link of %s", source);
521     }
522     link[res] = '\0';
523
524 #ifdef HAVE_SMPI
525     if(smpi_is_privatisation_file(link))
526       continue;
527 #endif
528
529     // This is (probably) the DIR* we are reading:
530     // TODO, read all the file entries at once and close the DIR.*
531     if(strcmp(fd_dir_path, link) == 0)
532       continue;
533
534     // We don't handle them.
535     // It does not mean we should silently ignore them however.
536     if (strncmp(link, "pipe:", 5) == 0 || strncmp(link, "socket:", 7) == 0)
537       continue;
538
539     // If dot_output enabled, do not handle the corresponding file
540     if (dot_output !=  NULL && strcmp(basename(link), _sg_mc_dot_output_file) == 0)
541       continue;
542
543     // This is probably a shared memory used by lttng-ust:
544     if(strncmp("/dev/shm/ust-shm-tmp-", link, 21)==0)
545       continue;
546
547     // Add an entry for this FD in the snapshot:
548     s_fd_infos_t fd;
549     fd.filename = std::string(link);
550     fd.number = fd_value;
551     fd.flags = fcntl(fd_value, F_GETFL) | fcntl(fd_value, F_GETFD) ;
552     fd.current_position = lseek(fd_value, 0, SEEK_CUR);
553     fds.push_back(std::move(fd));
554   }
555
556   closedir (fd_dir);
557   return std::move(fds);
558 }
559
560 mc_snapshot_t MC_take_snapshot(int num_state)
561 {
562   XBT_DEBUG("Taking snapshot %i", num_state);
563
564   simgrid::mc::Process* mc_process = &mc_model_checker->process();
565
566   mc_snapshot_t snapshot = new simgrid::mc::Snapshot(mc_process);
567
568   snapshot->num_state = num_state;
569
570   smx_process_t process;
571   MC_EACH_SIMIX_PROCESS(process,
572     snapshot->enabled_processes.insert(process->pid));
573
574   MC_snapshot_handle_ignore(snapshot);
575
576   if (_sg_mc_snapshot_fds)
577     snapshot->current_fds = MC_get_current_fds(process->pid);
578
579   const bool use_soft_dirty = _sg_mc_sparse_checkpoint && _sg_mc_soft_dirty;
580
581   /* Save the std heap and the writable mapped pages of libsimgrid and binary */
582   MC_get_memory_regions(mc_process, snapshot);
583   if (use_soft_dirty)
584     mc_process->reset_soft_dirty();
585
586   snapshot->to_ignore = mc_model_checker->process().ignored_heap();
587
588   if (_sg_mc_visited > 0 || strcmp(_sg_mc_property_file, "")) {
589     snapshot->stacks =
590         MC_take_snapshot_stacks(&snapshot);
591     if (_sg_mc_hash) {
592       snapshot->hash = simgrid::mc::hash(*snapshot);
593     } else {
594       snapshot->hash = 0;
595     }
596   } else {
597     snapshot->hash = 0;
598   }
599
600   MC_snapshot_ignore_restore(snapshot);
601   if (use_soft_dirty)
602     mc_model_checker->parent_snapshot_ = snapshot;
603   return snapshot;
604 }
605
606 static inline
607 void MC_restore_snapshot_regions(mc_snapshot_t snapshot)
608 {
609   for(std::unique_ptr<s_mc_mem_region_t> const& region : snapshot->snapshot_regions) {
610     // For privatized, variables we decided it was not necessary to take the snapshot:
611     if (region)
612       MC_region_restore(region.get());
613   }
614
615 #ifdef HAVE_SMPI
616   // TODO, send a message to implement this in the MCed process
617   if(snapshot->privatization_index >= 0) {
618     // Fix the privatization mmap:
619     s_mc_restore_message message;
620     message.type = MC_MESSAGE_RESTORE;
621     message.index = snapshot->privatization_index;
622     mc_model_checker->process().send_message(message);
623   }
624 #endif
625 }
626
627 static inline
628 void MC_restore_snapshot_fds(mc_snapshot_t snapshot)
629 {
630   if (mc_mode == MC_MODE_SERVER)
631     xbt_die("FD snapshot not implemented in client/server mode.");
632
633   for (auto const& fd : snapshot->current_fds) {
634     
635     int new_fd = open(fd.filename.c_str(), fd.flags);
636     if (new_fd < 0) {
637       xbt_die("Could not reopen the file %s fo restoring the file descriptor",
638         fd.filename.c_str());
639     }
640     if (new_fd != fd.number) {
641       dup2(new_fd, fd.number);
642       close(new_fd);
643     };
644     lseek(fd.number, fd.current_position, SEEK_SET);
645   }
646 }
647
648 void MC_restore_snapshot(mc_snapshot_t snapshot)
649 {
650   XBT_DEBUG("Restore snapshot %i", snapshot->num_state);
651   const bool use_soft_dirty = _sg_mc_sparse_checkpoint && _sg_mc_soft_dirty;
652   MC_restore_snapshot_regions(snapshot);
653   if (_sg_mc_snapshot_fds)
654     MC_restore_snapshot_fds(snapshot);
655   if (use_soft_dirty)
656     mc_model_checker->process().reset_soft_dirty();
657   MC_snapshot_ignore_restore(snapshot);
658   mc_model_checker->process().cache_flags = 0;
659   if (use_soft_dirty)
660     mc_model_checker->parent_snapshot_ = snapshot;
661 }
662
663 mc_snapshot_t simcall_HANDLER_mc_snapshot(smx_simcall_t simcall)
664 {
665   return MC_take_snapshot(1);
666 }
667
668 }