Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Merge branch 'master' of scm.gforge.inria.fr:/gitroot/simgrid/simgrid
[simgrid.git] / src / mc / mc_checkpoint.cpp
1 /* Copyright (c) 2008-2015. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #include <unistd.h>
8
9 #include <string.h>
10 #include <link.h>
11 #include <dirent.h>
12
13 #include "src/internal_config.h"
14 #include "src/mc/mc_private.h"
15 #include "xbt/module.h"
16 #include <xbt/mmalloc.h>
17 #include "src/smpi/private.h"
18 #include <alloca.h>
19
20 #include "src/xbt/mmalloc/mmprivate.h"
21
22 #include "src/simix/smx_private.h"
23
24 #include <libunwind.h>
25 #include <libelf.h>
26
27 #include "src/mc/mc_private.h"
28 #include <mc/mc.h>
29
30 #include "src/mc/mc_snapshot.h"
31 #include "src/mc/mc_object_info.h"
32 #include "src/mc/mc_mmu.h"
33 #include "src/mc/mc_unw.h"
34 #include "src/mc/mc_protocol.h"
35 #include "src/mc/mc_smx.h"
36 #include "mc_hash.hpp"
37
38 #include "src/mc/RegionSnapshot.hpp"
39 #include "src/mc/ObjectInformation.hpp"
40 #include "src/mc/Frame.hpp"
41 #include "src/mc/Variable.hpp"
42
43 using simgrid::mc::remote;
44
45 extern "C" {
46
47 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_checkpoint, mc,
48                                 "Logging specific to mc_checkpoint");
49
50 /************************************  Free functions **************************************/
51 /*****************************************************************************************/
52
53 /** @brief Restore a region from a snapshot
54  *
55  *  @param reg     Target region
56  */
57 static void MC_region_restore(mc_mem_region_t region)
58 {
59   switch(region->storage_type()) {
60   case simgrid::mc::StorageType::NoData:
61   default:
62     xbt_die("Storage type not supported");
63     break;
64
65   case simgrid::mc::StorageType::Flat:
66     mc_model_checker->process().write_bytes(region->flat_data(),
67       region->size(), region->permanent_address());
68     break;
69
70   case simgrid::mc::StorageType::Chunked:
71     mc_region_restore_sparse(&mc_model_checker->process(), region);
72     break;
73
74   case simgrid::mc::StorageType::Privatized:
75     for (auto& p : region->privatized_data())
76       MC_region_restore(&p);
77     break;
78   }
79 }
80
81 }
82
83 namespace simgrid {
84 namespace mc {
85
86 #ifdef HAVE_SMPI
87 RegionSnapshot privatized_region(
88     RegionType region_type, void *start_addr, void* permanent_addr,
89     std::size_t size, const RegionSnapshot* ref_region
90     )
91 {
92   size_t process_count = MC_smpi_process_count();
93
94   // Read smpi_privatisation_regions from MCed:
95   smpi_privatisation_region_t remote_smpi_privatisation_regions;
96   mc_model_checker->process().read_variable(
97     "smpi_privatisation_regions",
98     &remote_smpi_privatisation_regions, sizeof(remote_smpi_privatisation_regions));
99   s_smpi_privatisation_region_t privatisation_regions[process_count];
100   mc_model_checker->process().read_bytes(
101     &privatisation_regions, sizeof(privatisation_regions),
102     remote(remote_smpi_privatisation_regions));
103
104   std::vector<simgrid::mc::RegionSnapshot> data;
105   data.reserve(process_count);
106   for (size_t i = 0; i < process_count; i++) {
107     const simgrid::mc::RegionSnapshot* ref_privatized_region = nullptr;
108     if (ref_region && ref_region->storage_type() == StorageType::Privatized)
109       ref_privatized_region = &ref_region->privatized_data()[i];
110     data.push_back(simgrid::mc::region(region_type, start_addr,
111       privatisation_regions[i].address, size, ref_privatized_region));
112   }
113
114   simgrid::mc::RegionSnapshot region = simgrid::mc::RegionSnapshot(
115     region_type, start_addr, permanent_addr, size);
116   region.privatized_data(std::move(data));
117   return std::move(region);
118 }
119 #endif
120
121 }
122 }
123
124 extern "C" {
125
126 static void MC_snapshot_add_region(int index, mc_snapshot_t snapshot,
127                                   simgrid::mc::RegionType type,
128                                   simgrid::mc::ObjectInformation* object_info,
129                                   void *start_addr, void* permanent_addr,
130                                   std::size_t size)
131 {
132   if (type == simgrid::mc::RegionType::Data)
133     xbt_assert(object_info, "Missing object info for object.");
134   else if (type == simgrid::mc::RegionType::Heap)
135     xbt_assert(!object_info, "Unexpected object info for heap region.");
136
137   simgrid::mc::RegionSnapshot const* ref_region = nullptr;
138   if (mc_model_checker->parent_snapshot_)
139     ref_region = mc_model_checker->parent_snapshot_->snapshot_regions[index].get();
140
141   simgrid::mc::RegionSnapshot region;
142 #ifdef HAVE_SMPI
143   const bool privatization_aware = object_info
144     && mc_model_checker->process().privatized(*object_info);
145   if (privatization_aware && MC_smpi_process_count())
146     region = simgrid::mc::privatized_region(
147       type, start_addr, permanent_addr, size, ref_region);
148   else
149 #endif
150     region = simgrid::mc::region(type, start_addr, permanent_addr, size, ref_region);
151
152   region.object_info(object_info);
153   snapshot->snapshot_regions[index]
154     = std::unique_ptr<simgrid::mc::RegionSnapshot>(
155       new simgrid::mc::RegionSnapshot(std::move(region)));
156   return;
157 }
158
159 static void MC_get_memory_regions(simgrid::mc::Process* process, mc_snapshot_t snapshot)
160 {
161   const size_t n = process->object_infos.size();
162   snapshot->snapshot_regions.resize(n + 1);
163   int i = 0;
164   for (auto const& object_info : process->object_infos) {
165     MC_snapshot_add_region(i, snapshot, simgrid::mc::RegionType::Data,
166       object_info.get(),
167       object_info->start_rw, object_info->start_rw,
168       object_info->end_rw - object_info->start_rw);
169     ++i;
170   }
171
172   xbt_mheap_t heap = process->get_heap();
173   void *start_heap = heap->base;
174   void *end_heap = heap->breakval;
175
176   MC_snapshot_add_region(n, snapshot, simgrid::mc::RegionType::Heap, NULL,
177                         start_heap, start_heap,
178                         (char *) end_heap - (char *) start_heap);
179   snapshot->heap_bytes_used = mmalloc_get_bytes_used_remote(
180     heap->heaplimit,
181     process->get_malloc_info());
182
183 #ifdef HAVE_SMPI
184   if (mc_model_checker->process().privatized() && MC_smpi_process_count()) {
185     // snapshot->privatization_index = smpi_loaded_page
186     mc_model_checker->process().read_variable(
187       "smpi_loaded_page", &snapshot->privatization_index,
188       sizeof(snapshot->privatization_index));
189   } else
190 #endif
191   {
192     snapshot->privatization_index = simgrid::mc::ProcessIndexMissing;
193   }
194 }
195
196 /** \brief Fills the position of the segments (executable, read-only, read/write).
197  *
198  *  `dl_iterate_phdr` would be more robust but would not work in cross-process.
199  * */
200 void MC_find_object_address(
201   std::vector<simgrid::xbt::VmMap> const& maps,
202   simgrid::mc::ObjectInformation* result)
203 {
204   char* file_name = xbt_strdup(result->file_name.c_str());
205   const char *name = xbt_basename(file_name);
206   for (size_t i = 0; i < maps.size(); ++i) {
207     simgrid::xbt::VmMap const& reg = maps[i];
208     if (maps[i].pathname.empty()
209         || strcmp(xbt_basename(maps[i].pathname.c_str()), name)) {
210       // Nothing to do
211     } else if ((reg.prot & PROT_WRITE)) {
212       xbt_assert(!result->start_rw,
213                  "Multiple read-write segments for %s, not supported",
214                  maps[i].pathname.c_str());
215       result->start_rw = (char*) reg.start_addr;
216       result->end_rw = (char*) reg.end_addr;
217       // .bss is usually after the .data:
218       simgrid::xbt::VmMap const& next = maps[i + 1];
219       if (next.pathname.empty() && (next.prot & PROT_WRITE)
220           && next.start_addr == reg.end_addr) {
221         result->end_rw = (char*) maps[i + 1].end_addr;
222       }
223     } else if ((reg.prot & PROT_READ) && (reg.prot & PROT_EXEC)) {
224       xbt_assert(!result->start_exec,
225                  "Multiple executable segments for %s, not supported",
226                  maps[i].pathname.c_str());
227       result->start_exec = (char*) reg.start_addr;
228       result->end_exec = (char*) reg.end_addr;
229     } else if ((reg.prot & PROT_READ) && !(reg.prot & PROT_EXEC)) {
230       xbt_assert(!result->start_ro,
231                  "Multiple read only segments for %s, not supported",
232                  maps[i].pathname.c_str());
233       result->start_ro = (char*) reg.start_addr;
234       result->end_ro = (char*) reg.end_addr;
235     }
236   }
237
238   result->start = result->start_rw;
239   if ((const void*) result->start_ro > result->start)
240     result->start = result->start_ro;
241   if ((const void*) result->start_exec > result->start)
242     result->start = result->start_exec;
243
244   result->end = result->end_rw;
245   if (result->end_ro && (const void*) result->end_ro < result->end)
246     result->end = result->end_ro;
247   if (result->end_exec && (const void*) result->end_exec > result->end)
248     result->end = result->end_exec;
249
250   xbt_assert(result->start_rw);
251   xbt_assert(result->start_exec);
252   free(file_name);
253 }
254
255 /************************************* Take Snapshot ************************************/
256 /****************************************************************************************/
257
258 /** \brief Checks whether the variable is in scope for a given IP.
259  *
260  *  A variable may be defined only from a given value of IP.
261  *
262  *  \param var   Variable description
263  *  \param frame Scope description
264  *  \param ip    Instruction pointer
265  *  \return      true if the variable is valid
266  * */
267 static bool mc_valid_variable(simgrid::mc::Variable* var,
268                               simgrid::mc::Frame* scope,
269                               const void *ip)
270 {
271   // The variable is not yet valid:
272   if (scope->range.begin() + var->start_scope > (std::uint64_t) ip)
273     return false;
274   else
275     return true;
276 }
277
278 static void mc_fill_local_variables_values(mc_stack_frame_t stack_frame,
279                                            simgrid::mc::Frame* scope,
280                                            int process_index,
281                                            std::vector<s_local_variable>& result)
282 {
283   simgrid::mc::Process* process = &mc_model_checker->process();
284
285   if (!scope->range.contain(stack_frame->ip))
286     return;
287
288   for(simgrid::mc::Variable& current_variable :
289       scope->variables) {
290
291     if (!mc_valid_variable(&current_variable, scope, (void *) stack_frame->ip))
292       continue;
293
294     int region_type;
295     // FIXME, get rid of `region_type`
296     if ((long) stack_frame->ip > (long) process->libsimgrid_info->start_exec)
297       region_type = 1;
298     else
299       region_type = 2;
300
301     s_local_variable_t new_var;
302     new_var.subprogram = stack_frame->frame;
303     new_var.ip = stack_frame->ip;
304     new_var.name = current_variable.name;
305     new_var.type = current_variable.type;
306     new_var.region = region_type;
307     new_var.address = nullptr;
308
309     if (current_variable.address != NULL) {
310       new_var.address = current_variable.address;
311     } else if (!current_variable.location_list.empty()) {
312       simgrid::dwarf::Location location =
313         simgrid::dwarf::resolve(
314           current_variable.location_list,
315           current_variable.object_info,
316           &(stack_frame->unw_cursor),
317           (void *) stack_frame->frame_base,
318           &mc_model_checker->process(), process_index);
319
320       if (!location.in_memory())
321         xbt_die("Cannot handle non-address variable");
322       new_var.address = location.address();
323
324     } else {
325       xbt_die("No address");
326     }
327
328     result.push_back(std::move(new_var));
329   }
330
331   // Recursive processing of nested scopes:
332   for(simgrid::mc::Frame& nested_scope : scope->scopes)
333     mc_fill_local_variables_values(
334       stack_frame, &nested_scope, process_index, result);
335 }
336
337 static std::vector<s_local_variable> MC_get_local_variables_values(
338   std::vector<s_mc_stack_frame_t>& stack_frames, int process_index)
339 {
340   std::vector<s_local_variable> variables;
341   for (s_mc_stack_frame_t& stack_frame : stack_frames)
342     mc_fill_local_variables_values(&stack_frame, stack_frame.frame, process_index, variables);
343   return std::move(variables);
344 }
345
346 static void MC_stack_frame_free_voipd(void *s)
347 {
348   mc_stack_frame_t stack_frame = *(mc_stack_frame_t *) s;
349   delete(stack_frame);
350 }
351
352 static std::vector<s_mc_stack_frame_t> MC_unwind_stack_frames(mc_unw_context_t stack_context)
353 {
354   simgrid::mc::Process* process = &mc_model_checker->process();
355   std::vector<s_mc_stack_frame_t> result;
356
357   unw_cursor_t c;
358
359   // TODO, check condition check (unw_init_local==0 means end of frame)
360   if (mc_unw_init_cursor(&c, stack_context) != 0) {
361
362     xbt_die("Could not initialize stack unwinding");
363
364   } else
365     while (1) {
366
367       s_mc_stack_frame_t stack_frame;
368
369       stack_frame.unw_cursor = c;
370
371       unw_word_t ip, sp;
372
373       unw_get_reg(&c, UNW_REG_IP, &ip);
374       unw_get_reg(&c, UNW_REG_SP, &sp);
375
376       stack_frame.ip = ip;
377       stack_frame.sp = sp;
378
379       // TODO, use real addresses in frame_t instead of fixing it here
380
381       simgrid::mc::Frame* frame = process->find_function(remote(ip));
382       stack_frame.frame = frame;
383
384       if (frame) {
385         stack_frame.frame_name = frame->name;
386         stack_frame.frame_base =
387             (unw_word_t) frame->frame_base(c);
388       } else {
389         stack_frame.frame_base = 0;
390         stack_frame.frame_name = std::string();
391       }
392
393       result.push_back(std::move(stack_frame));
394
395       /* Stop before context switch with maestro */
396       if (frame != nullptr &&
397           frame->name == "smx_ctx_sysv_wrapper")
398         break;
399
400       int ret = unw_step(&c);
401       if (ret == 0) {
402         xbt_die("Unexpected end of stack.");
403       } else if (ret < 0) {
404         xbt_die("Error while unwinding stack");
405       }
406     }
407
408   if (result.empty()) {
409     XBT_INFO("unw_init_local failed");
410     xbt_abort();
411   }
412
413   return std::move(result);
414 };
415
416 static std::vector<s_mc_snapshot_stack_t> MC_take_snapshot_stacks(mc_snapshot_t * snapshot)
417 {
418   std::vector<s_mc_snapshot_stack_t> res;
419
420   for (auto const& stack : mc_model_checker->process().stack_areas()) {
421     s_mc_snapshot_stack_t st;
422
423     // Read the context from remote process:
424     unw_context_t context;
425     mc_model_checker->process().read_bytes(
426       &context, sizeof(context), remote(stack.context));
427
428     if (mc_unw_init_context(&st.context, &mc_model_checker->process(),
429       &context) < 0) {
430       xbt_die("Could not initialise the libunwind context.");
431     }
432     st.stack_frames = MC_unwind_stack_frames(&st.context);
433     st.local_variables = MC_get_local_variables_values(st.stack_frames, stack.process_index);
434     st.process_index = stack.process_index;
435
436     unw_word_t sp = st.stack_frames[0].sp;
437
438     res.push_back(std::move(st));
439
440     size_t stack_size =
441       (char*) stack.address + stack.size - (char*) sp;
442     (*snapshot)->stack_sizes.push_back(stack_size);
443   }
444
445   return std::move(res);
446
447 }
448
449 static void MC_snapshot_handle_ignore(mc_snapshot_t snapshot)
450 {
451   xbt_assert(snapshot->process());
452   
453   // Copy the memory:
454   for (auto const& region : mc_model_checker->process().ignored_regions()) {
455     s_mc_snapshot_ignored_data_t ignored_data;
456     ignored_data.start = (void*)region.addr;
457     ignored_data.data.resize(region.size);
458     // TODO, we should do this once per privatization segment:
459     snapshot->process()->read_bytes(
460       ignored_data.data.data(), region.size, remote(region.addr),
461       simgrid::mc::ProcessIndexDisabled);
462     snapshot->ignored_data.push_back(std::move(ignored_data));
463   }
464
465   // Zero the memory:
466   for(auto const& region : mc_model_checker->process().ignored_regions()) {
467     snapshot->process()->clear_bytes(remote(region.addr), region.size);
468   }
469
470 }
471
472 static void MC_snapshot_ignore_restore(mc_snapshot_t snapshot)
473 {
474   for (auto const& ignored_data : snapshot->ignored_data)
475     snapshot->process()->write_bytes(
476       ignored_data.data.data(), ignored_data.data.size(),
477       remote(ignored_data.start));
478 }
479
480 static std::vector<s_fd_infos_t> MC_get_current_fds(pid_t pid)
481 {
482   const size_t fd_dir_path_size = 20;
483   char fd_dir_path[fd_dir_path_size];
484   int res = snprintf(fd_dir_path, fd_dir_path_size,
485     "/proc/%lli/fd", (long long int) pid);
486   xbt_assert(res >= 0);
487   if ((size_t) res > fd_dir_path_size)
488     xbt_die("Unexpected buffer is too small for fd_dir_path");
489
490   DIR* fd_dir = opendir(fd_dir_path);
491   if (fd_dir == NULL)
492     xbt_die("Cannot open directory '/proc/self/fd'\n");
493
494   std::vector<s_fd_infos_t> fds;
495
496   struct dirent* fd_number;
497   while ((fd_number = readdir(fd_dir))) {
498
499     int fd_value = xbt_str_parse_int(fd_number->d_name, "Found a non-numerical FD: %s. Freaking out!");
500
501     if(fd_value < 3)
502       continue;
503
504     const size_t source_size = 25;
505     char source[25];
506     int res = snprintf(source, source_size, "/proc/%lli/fd/%s",
507         (long long int) pid, fd_number->d_name);
508     xbt_assert(res >= 0);
509     if ((size_t) res > source_size)
510       xbt_die("Unexpected buffer is too small for fd %s", fd_number->d_name);
511
512     const size_t link_size = 200;
513     char link[200];
514     res = readlink(source, link, link_size);
515     if (res<0) {
516       xbt_die("Could not read link for %s", source);
517     }
518     if (res==200) {
519       xbt_die("Buffer to small for link of %s", source);
520     }
521     link[res] = '\0';
522
523 #ifdef HAVE_SMPI
524     if(smpi_is_privatisation_file(link))
525       continue;
526 #endif
527
528     // This is (probably) the DIR* we are reading:
529     // TODO, read all the file entries at once and close the DIR.*
530     if(strcmp(fd_dir_path, link) == 0)
531       continue;
532
533     // We don't handle them.
534     // It does not mean we should silently ignore them however.
535     if (strncmp(link, "pipe:", 5) == 0 || strncmp(link, "socket:", 7) == 0)
536       continue;
537
538     // If dot_output enabled, do not handle the corresponding file
539     if (dot_output !=  NULL && strcmp(xbt_basename(link), _sg_mc_dot_output_file) == 0)
540       continue;
541
542     // This is probably a shared memory used by lttng-ust:
543     if(strncmp("/dev/shm/ust-shm-tmp-", link, 21)==0)
544       continue;
545
546     // Add an entry for this FD in the snapshot:
547     s_fd_infos_t fd;
548     fd.filename = std::string(link);
549     fd.number = fd_value;
550     fd.flags = fcntl(fd_value, F_GETFL) | fcntl(fd_value, F_GETFD) ;
551     fd.current_position = lseek(fd_value, 0, SEEK_CUR);
552     fds.push_back(std::move(fd));
553   }
554
555   closedir (fd_dir);
556   return std::move(fds);
557 }
558
559 mc_snapshot_t MC_take_snapshot(int num_state)
560 {
561   XBT_DEBUG("Taking snapshot %i", num_state);
562
563   simgrid::mc::Process* mc_process = &mc_model_checker->process();
564
565   mc_snapshot_t snapshot = new simgrid::mc::Snapshot(mc_process);
566
567   snapshot->num_state = num_state;
568
569   smx_process_t process;
570   MC_EACH_SIMIX_PROCESS(process,
571     snapshot->enabled_processes.insert(process->pid));
572
573   MC_snapshot_handle_ignore(snapshot);
574
575   if (_sg_mc_snapshot_fds)
576     snapshot->current_fds = MC_get_current_fds(process->pid);
577
578   const bool use_soft_dirty = _sg_mc_sparse_checkpoint && _sg_mc_soft_dirty;
579
580   /* Save the std heap and the writable mapped pages of libsimgrid and binary */
581   MC_get_memory_regions(mc_process, snapshot);
582   if (use_soft_dirty)
583     mc_process->reset_soft_dirty();
584
585   snapshot->to_ignore = mc_model_checker->process().ignored_heap();
586
587   if (_sg_mc_visited > 0 || strcmp(_sg_mc_property_file, "")) {
588     snapshot->stacks =
589         MC_take_snapshot_stacks(&snapshot);
590     if (_sg_mc_hash) {
591       snapshot->hash = simgrid::mc::hash(*snapshot);
592     } else {
593       snapshot->hash = 0;
594     }
595   } else {
596     snapshot->hash = 0;
597   }
598
599   MC_snapshot_ignore_restore(snapshot);
600   if (use_soft_dirty)
601     mc_model_checker->parent_snapshot_ = snapshot;
602   return snapshot;
603 }
604
605 static inline
606 void MC_restore_snapshot_regions(mc_snapshot_t snapshot)
607 {
608   for(std::unique_ptr<s_mc_mem_region_t> const& region : snapshot->snapshot_regions) {
609     // For privatized, variables we decided it was not necessary to take the snapshot:
610     if (region)
611       MC_region_restore(region.get());
612   }
613
614 #ifdef HAVE_SMPI
615   // TODO, send a message to implement this in the MCed process
616   if(snapshot->privatization_index >= 0) {
617     // Fix the privatization mmap:
618     s_mc_restore_message message;
619     message.type = MC_MESSAGE_RESTORE;
620     message.index = snapshot->privatization_index;
621     mc_model_checker->process().send_message(message);
622   }
623 #endif
624 }
625
626 static inline
627 void MC_restore_snapshot_fds(mc_snapshot_t snapshot)
628 {
629   if (mc_mode == MC_MODE_SERVER)
630     xbt_die("FD snapshot not implemented in client/server mode.");
631
632   for (auto const& fd : snapshot->current_fds) {
633     
634     int new_fd = open(fd.filename.c_str(), fd.flags);
635     if (new_fd < 0) {
636       xbt_die("Could not reopen the file %s fo restoring the file descriptor",
637         fd.filename.c_str());
638     }
639     if (new_fd != fd.number) {
640       dup2(new_fd, fd.number);
641       close(new_fd);
642     };
643     lseek(fd.number, fd.current_position, SEEK_SET);
644   }
645 }
646
647 void MC_restore_snapshot(mc_snapshot_t snapshot)
648 {
649   XBT_DEBUG("Restore snapshot %i", snapshot->num_state);
650   const bool use_soft_dirty = _sg_mc_sparse_checkpoint && _sg_mc_soft_dirty;
651   MC_restore_snapshot_regions(snapshot);
652   if (_sg_mc_snapshot_fds)
653     MC_restore_snapshot_fds(snapshot);
654   if (use_soft_dirty)
655     mc_model_checker->process().reset_soft_dirty();
656   MC_snapshot_ignore_restore(snapshot);
657   mc_model_checker->process().cache_flags = 0;
658   if (use_soft_dirty)
659     mc_model_checker->parent_snapshot_ = snapshot;
660 }
661
662 mc_snapshot_t simcall_HANDLER_mc_snapshot(smx_simcall_t simcall)
663 {
664   return MC_take_snapshot(1);
665 }
666
667 }