Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
4c1e7df035b3f9f71ae21ebf427f23ce2594ddfd
[simgrid.git] / src / mc / mc_compare.cpp
1 /* Copyright (c) 2012-2015. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #define __STDC_FORMAT_MACROS
8 #include <cinttypes>
9
10 #include <utility>
11 #include <unordered_set>
12
13 #include <xbt/sysdep.h>
14
15 #include "src/internal_config.h"
16 #include "src/mc/mc_safety.h"
17 #include "src/mc/mc_liveness.h"
18 #include "src/mc/mc_private.h"
19 #include "src/mc/mc_smx.h"
20 #include "src/mc/mc_dwarf.hpp"
21
22 #include "src/mc/Frame.hpp"
23 #include "src/mc/ObjectInformation.hpp"
24 #include "src/mc/Variable.hpp"
25
26 #ifdef HAVE_SMPI
27 #include "src/smpi/private.h"
28 #endif
29
30 #include "xbt/mmalloc.h"
31 #include "src/xbt/mmalloc/mmprivate.h"
32
33 #include "src/xbt/probes.h"
34
35 using simgrid::mc::remote;
36
37 extern "C" {
38
39 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_compare, xbt,
40                                 "Logging specific to mc_compare in mc");
41
42 }
43
44 namespace simgrid {
45 namespace mc {
46
47 /** A hash which works with more stuff
48  *
49  *  It can hash pairs: the standard hash currently doesn't include this.
50  */
51 template<class X> struct hash : public std::hash<X> {};
52
53 template<class X, class Y>
54 struct hash<std::pair<X,Y>> {
55   std::size_t operator()(std::pair<X,Y>const& x) const
56   {
57     struct hash<X> h1;
58     struct hash<X> h2;
59     return h1(x.first) ^ h2(x.second);
60   }
61 };
62
63 struct ComparisonState {
64   std::unordered_set<std::pair<void*, void*>, hash<std::pair<void*, void*>>> compared_pointers;
65 };
66
67 }
68 }
69
70 using simgrid::mc::ComparisonState;
71
72 extern "C" {
73
74 /************************** Snapshot comparison *******************************/
75 /******************************************************************************/
76
77 static int compare_areas_with_type(ComparisonState& state,
78                                    int process_index,
79                                    void* real_area1, mc_snapshot_t snapshot1, mc_mem_region_t region1,
80                                    void* real_area2, mc_snapshot_t snapshot2, mc_mem_region_t region2,
81                                    simgrid::mc::Type* type, int pointer_level)
82 {
83   simgrid::mc::Process* process = &mc_model_checker->process();
84
85   simgrid::mc::Type* subtype;
86   simgrid::mc::Type* subsubtype;
87   int elm_size, i, res;
88
89   top:
90   switch (type->type) {
91   case DW_TAG_unspecified_type:
92     return 1;
93
94   case DW_TAG_base_type:
95   case DW_TAG_enumeration_type:
96   case DW_TAG_union_type:
97   {
98     return MC_snapshot_region_memcmp(
99       real_area1, region1, real_area2, region2,
100       type->byte_size) != 0;
101   }
102   case DW_TAG_typedef:
103   case DW_TAG_volatile_type:
104   case DW_TAG_const_type:
105     // Poor man's TCO:
106     type = type->subtype;
107     goto top;
108   case DW_TAG_array_type:
109     subtype = type->subtype;
110     switch (subtype->type) {
111     case DW_TAG_unspecified_type:
112       return 1;
113
114     case DW_TAG_base_type:
115     case DW_TAG_enumeration_type:
116     case DW_TAG_pointer_type:
117     case DW_TAG_reference_type:
118     case DW_TAG_rvalue_reference_type:
119     case DW_TAG_structure_type:
120     case DW_TAG_class_type:
121     case DW_TAG_union_type:
122       if (subtype->full_type)
123         subtype = subtype->full_type;
124       elm_size = subtype->byte_size;
125       break;
126     case DW_TAG_const_type:
127     case DW_TAG_typedef:
128     case DW_TAG_volatile_type:
129       subsubtype = subtype->subtype;
130       if (subsubtype->full_type)
131         subsubtype = subsubtype->full_type;
132       elm_size = subsubtype->byte_size;
133       break;
134     default:
135       return 0;
136       break;
137     }
138     for (i = 0; i < type->element_count; i++) {
139       size_t off = i * elm_size;
140       res = compare_areas_with_type(state, process_index,
141             (char*) real_area1 + off, snapshot1, region1,
142             (char*) real_area2 + off, snapshot2, region2,
143             type->subtype, pointer_level);
144       if (res == 1)
145         return res;
146     }
147     break;
148   case DW_TAG_pointer_type:
149   case DW_TAG_reference_type:
150   case DW_TAG_rvalue_reference_type:
151   {
152     void* addr_pointed1 = MC_region_read_pointer(region1, real_area1);
153     void* addr_pointed2 = MC_region_read_pointer(region2, real_area2);
154
155     if (type->subtype && type->subtype->type == DW_TAG_subroutine_type) {
156       return (addr_pointed1 != addr_pointed2);
157     } else {
158
159       if (addr_pointed1 == nullptr && addr_pointed2 == NULL)
160         return 0;
161       if (addr_pointed1 == nullptr || addr_pointed2 == NULL)
162         return 1;
163       if (!state.compared_pointers.insert(
164           std::make_pair(addr_pointed1, addr_pointed2)).second)
165         return 0;
166
167       pointer_level++;
168
169       // Some cases are not handled here:
170       // * the pointers lead to different areas (one to the heap, the other to the RW segment ...);
171       // * a pointer leads to the read-only segment of the current object;
172       // * a pointer lead to a different ELF object.
173
174       if (addr_pointed1 > process->heap_address
175           && addr_pointed1 < mc_snapshot_get_heap_end(snapshot1)) {
176         if (!
177             (addr_pointed2 > process->heap_address
178              && addr_pointed2 < mc_snapshot_get_heap_end(snapshot2)))
179           return 1;
180         // The pointers are both in the heap:
181         return compare_heap_area(process_index, addr_pointed1, addr_pointed2, snapshot1,
182                                  snapshot2, nullptr, type->subtype, pointer_level);
183       }
184
185       // The pointers are both in the current object R/W segment:
186       else if (region1->contain(simgrid::mc::remote(addr_pointed1))) {
187         if (!region2->contain(simgrid::mc::remote(addr_pointed2)))
188           return 1;
189         if (!type->type_id)
190           return (addr_pointed1 != addr_pointed2);
191         else {
192           return compare_areas_with_type(state, process_index,
193                                          addr_pointed1, snapshot1, region1,
194                                          addr_pointed2, snapshot2, region2,
195                                          type->subtype, pointer_level);
196         }
197       }
198
199       // TODO, We do not handle very well the case where
200       // it belongs to a different (non-heap) region from the current one.
201
202       else {
203         return (addr_pointed1 != addr_pointed2);
204       }
205     }
206     break;
207   }
208   case DW_TAG_structure_type:
209   case DW_TAG_class_type:
210     for(simgrid::mc::Member& member : type->members) {
211       void *member1 = simgrid::dwarf::resolve_member(
212         real_area1, type, &member, snapshot1, process_index);
213       void *member2 = simgrid::dwarf::resolve_member(
214         real_area2, type, &member, snapshot2, process_index);
215       mc_mem_region_t subregion1 = mc_get_region_hinted(member1, snapshot1, process_index, region1);
216       mc_mem_region_t subregion2 = mc_get_region_hinted(member2, snapshot2, process_index, region2);
217       res =
218           compare_areas_with_type(state, process_index,
219                                   member1, snapshot1, subregion1,
220                                   member2, snapshot2, subregion2,
221                                   member.type, pointer_level);
222       if (res == 1)
223         return res;
224     }
225     break;
226   case DW_TAG_subroutine_type:
227     return -1;
228     break;
229   default:
230     XBT_VERB("Unknown case : %d", type->type);
231     break;
232   }
233
234   return 0;
235 }
236
237 static int compare_global_variables(simgrid::mc::ObjectInformation* object_info,
238                                     int process_index,
239                                     mc_mem_region_t r1,
240                                     mc_mem_region_t r2, mc_snapshot_t snapshot1,
241                                     mc_snapshot_t snapshot2)
242 {
243   xbt_assert(r1 && r2, "Missing region.");
244
245 #ifdef HAVE_SMPI
246   if (r1->storage_type() == simgrid::mc::StorageType::Privatized) {
247     xbt_assert(process_index >= 0);
248     if (r2->storage_type() != simgrid::mc::StorageType::Privatized) {
249       return 1;
250     }
251
252     size_t process_count = MC_smpi_process_count();
253     xbt_assert(process_count == r1->privatized_data().size()
254       && process_count == r2->privatized_data().size());
255
256     // Compare the global variables separately for each simulates process:
257     for (size_t process_index = 0; process_index < process_count; process_index++) {
258       int is_diff = compare_global_variables(object_info, process_index,
259         &r1->privatized_data()[process_index],
260         &r2->privatized_data()[process_index],
261         snapshot1, snapshot2);
262       if (is_diff) return 1;
263     }
264     return 0;
265   }
266 #else
267   xbt_assert(r1->storage_type() != simgrid::mc::StorageType::Privatized);
268 #endif
269   xbt_assert(r2->storage_type() != simgrid::mc::StorageType::Privatized);
270
271   ComparisonState state;
272
273   std::vector<simgrid::mc::Variable>& variables = object_info->global_variables;
274
275   for (simgrid::mc::Variable& current_var : variables) {
276
277     // If the variable is not in this object, skip it:
278     // We do not expect to find a pointer to something which is not reachable
279     // by the global variables.
280     if ((char *) current_var.address < (char *) object_info->start_rw
281         || (char *) current_var.address > (char *) object_info->end_rw)
282       continue;
283
284     simgrid::mc::Type* bvariable_type = current_var.type;
285     int res =
286         compare_areas_with_type(state, process_index,
287                                 (char *) current_var.address, snapshot1, r1,
288                                 (char *) current_var.address, snapshot2, r2,
289                                 bvariable_type, 0);
290     if (res == 1) {
291       XBT_TRACE3(mc, global_diff, -1, -1, current_var->name);
292       XBT_VERB("Global variable %s (%p) is different between snapshots",
293                current_var.name.c_str(),
294                (char *) current_var.address);
295       return 1;
296     }
297
298   }
299
300   return 0;
301
302 }
303
304 static int compare_local_variables(int process_index,
305                                    mc_snapshot_t snapshot1,
306                                    mc_snapshot_t snapshot2,
307                                    mc_snapshot_stack_t stack1,
308                                    mc_snapshot_stack_t stack2)
309 {
310   ComparisonState state;
311
312   if (stack1->local_variables.size() != stack2->local_variables.size()) {
313     XBT_VERB("Different number of local variables");
314     return 1;
315   } else {
316     unsigned int cursor = 0;
317     local_variable_t current_var1, current_var2;
318     int res;
319     while (cursor < stack1->local_variables.size()) {
320       current_var1 = &stack1->local_variables[cursor];
321       current_var2 = &stack1->local_variables[cursor];
322       if (current_var1->name != current_var2->name
323           || current_var1->subprogram != current_var2->subprogram
324           || current_var1->ip != current_var2->ip) {
325         // TODO, fix current_varX->subprogram->name to include name if DW_TAG_inlined_subprogram
326         XBT_VERB
327             ("Different name of variable (%s - %s) "
328              "or frame (%s - %s) or ip (%lu - %lu)",
329              current_var1->name.c_str(),
330              current_var2->name.c_str(),
331              current_var1->subprogram->name.c_str(),
332              current_var2->subprogram->name.c_str(),
333              current_var1->ip, current_var2->ip);
334         return 1;
335       }
336       // TODO, fix current_varX->subprogram->name to include name if DW_TAG_inlined_subprogram
337
338         simgrid::mc::Type* subtype = current_var1->type;
339         res =
340             compare_areas_with_type(state, process_index,
341                                     current_var1->address, snapshot1, mc_get_snapshot_region(current_var1->address, snapshot1, process_index),
342                                     current_var2->address, snapshot2, mc_get_snapshot_region(current_var2->address, snapshot2, process_index),
343                                     subtype, 0);
344
345       if (res == 1) {
346         // TODO, fix current_varX->subprogram->name to include name if DW_TAG_inlined_subprogram
347         XBT_TRACE3(mc, local_diff, -1, -1, current_var1->name);
348         XBT_VERB
349             ("Local variable %s (%p - %p) in frame %s "
350              "is different between snapshots",
351              current_var1->name.c_str(),
352              current_var1->address,
353              current_var2->address,
354              current_var1->subprogram->name.c_str());
355         return res;
356       }
357       cursor++;
358     }
359     return 0;
360   }
361 }
362
363 int snapshot_compare(void *state1, void *state2)
364 {
365   simgrid::mc::Process* process = &mc_model_checker->process();
366
367   mc_snapshot_t s1, s2;
368   int num1, num2;
369
370   if (_sg_mc_liveness) {        /* Liveness MC */
371     s1 = ((mc_visited_pair_t) state1)->graph_state->system_state;
372     s2 = ((mc_visited_pair_t) state2)->graph_state->system_state;
373     num1 = ((mc_visited_pair_t) state1)->num;
374     num2 = ((mc_visited_pair_t) state2)->num;
375   }else if (_sg_mc_termination) { /* Non-progressive cycle MC */
376     s1 = ((mc_state_t) state1)->system_state;
377     s2 = ((mc_state_t) state2)->system_state;
378     num1 = ((mc_state_t) state1)->num;
379     num2 = ((mc_state_t) state2)->num;
380   } else {                      /* Safety or comm determinism MC */
381     s1 = ((mc_visited_state_t) state1)->system_state;
382     s2 = ((mc_visited_state_t) state2)->system_state;
383     num1 = ((mc_visited_state_t) state1)->num;
384     num2 = ((mc_visited_state_t) state2)->num;
385   }
386
387   int errors = 0;
388   int res_init;
389
390   int hash_result = 0;
391   if (_sg_mc_hash) {
392     hash_result = (s1->hash != s2->hash);
393     if (hash_result) {
394       XBT_TRACE2(mc, hash_diff, num1, num2);
395       XBT_VERB("(%d - %d) Different hash : 0x%" PRIx64 "--0x%" PRIx64, num1,
396                num2, s1->hash, s2->hash);
397 #ifndef MC_DEBUG
398       return 1;
399 #endif
400     } else {
401       XBT_VERB("(%d - %d) Same hash : 0x%" PRIx64, num1, num2, s1->hash);
402     }
403   }
404
405   /* Compare enabled processes */
406   if (s1->enabled_processes != s2->enabled_processes) {
407       //XBT_TRACE3(mc, state_diff, num1, num2, "Different enabled processes");
408       XBT_VERB("(%d - %d) Different enabled processes", num1, num2);
409       // return 1; ??
410   }
411
412   unsigned long i = 0;
413   size_t size_used1, size_used2;
414   int is_diff = 0;
415
416   /* Compare size of stacks */
417   while (i < s1->stacks.size()) {
418     size_used1 = s1->stack_sizes[i];
419     size_used2 = s2->stack_sizes[i];
420     if (size_used1 != size_used2) {
421 #ifdef MC_DEBUG
422       XBT_DEBUG("(%d - %d) Different size used in stacks : %zu - %zu", num1,
423                 num2, size_used1, size_used2);
424       errors++;
425       is_diff = 1;
426 #else
427 #ifdef MC_VERBOSE
428       XBT_VERB("(%d - %d) Different size used in stacks : %zu - %zu", num1,
429                num2, size_used1, size_used2);
430 #endif
431       XBT_TRACE3(mc, state_diff, num1, num2, "Different stack size");
432       return 1;
433 #endif
434     }
435     i++;
436   }
437
438   /* Init heap information used in heap comparison algorithm */
439   xbt_mheap_t heap1 = (xbt_mheap_t)s1->read_bytes(
440     alloca(sizeof(struct mdesc)), sizeof(struct mdesc),
441     remote(process->heap_address),
442     simgrid::mc::ProcessIndexMissing, simgrid::mc::ReadOptions::lazy());
443   xbt_mheap_t heap2 = (xbt_mheap_t)s2->read_bytes(
444     alloca(sizeof(struct mdesc)), sizeof(struct mdesc),
445     remote(process->heap_address),
446     simgrid::mc::ProcessIndexMissing, simgrid::mc::ReadOptions::lazy());
447   res_init = init_heap_information(heap1, heap2, &s1->to_ignore, &s2->to_ignore);
448   if (res_init == -1) {
449 #ifdef MC_DEBUG
450     XBT_DEBUG("(%d - %d) Different heap information", num1, num2);
451     errors++;
452 #else
453 #ifdef MC_VERBOSE
454     XBT_TRACE3(mc, state_diff, num1, num2, "Different heap information");
455     XBT_VERB("(%d - %d) Different heap information", num1, num2);
456 #endif
457
458     return 1;
459 #endif
460   }
461
462   /* Stacks comparison */
463   unsigned cursor = 0;
464   int diff_local = 0;
465 #ifdef MC_DEBUG
466   is_diff = 0;
467 #endif
468   mc_snapshot_stack_t stack1, stack2;
469   while (cursor < s1->stacks.size()) {
470     stack1 = &s1->stacks[cursor];
471     stack2 = &s2->stacks[cursor];
472
473     if (stack1->process_index != stack2->process_index) {
474       diff_local = 1;
475       XBT_DEBUG("(%d - %d) Stacks with different process index (%i vs %i)", num1, num2,
476         stack1->process_index, stack2->process_index);
477     }
478     else diff_local =
479         compare_local_variables(stack1->process_index, s1, s2, stack1, stack2);
480     if (diff_local > 0) {
481       XBT_TRACE3(mc, state_diff, num1, num2, "Different local variables");
482 #ifdef MC_DEBUG
483       XBT_DEBUG("(%d - %d) Different local variables between stacks %d", num1,
484                 num2, cursor + 1);
485       errors++;
486       is_diff = 1;
487 #else
488
489 #ifdef MC_VERBOSE
490       XBT_VERB("(%d - %d) Different local variables between stacks %d", num1,
491                num2, cursor + 1);
492 #endif
493
494       reset_heap_information();
495
496       return 1;
497 #endif
498     }
499     cursor++;
500   }
501
502   size_t regions_count = s1->snapshot_regions.size();
503   // TODO, raise a difference instead?
504   xbt_assert(regions_count == s2->snapshot_regions.size());
505
506   for (size_t k = 0; k != regions_count; ++k) {
507     mc_mem_region_t region1 = s1->snapshot_regions[k].get();
508     mc_mem_region_t region2 = s2->snapshot_regions[k].get();
509
510     // Preconditions:
511     if (region1->region_type() != simgrid::mc::RegionType::Data)
512       continue;
513
514     xbt_assert(region1->region_type() == region2->region_type());
515     xbt_assert(region1->object_info() == region2->object_info());
516     xbt_assert(region1->object_info());
517
518     std::string const& name = region1->object_info()->file_name;
519
520     /* Compare global variables */
521     is_diff =
522       compare_global_variables(region1->object_info(),
523         simgrid::mc::ProcessIndexDisabled,
524         region1, region2,
525         s1, s2);
526
527     if (is_diff != 0) {
528       XBT_TRACE3(mc, state_diff, num1, num2, "Different global variables");
529 #ifdef MC_DEBUG
530       XBT_DEBUG("(%d - %d) Different global variables in %s",
531         num1, num2, name.c_str());
532       errors++;
533 #else
534 #ifdef MC_VERBOSE
535       XBT_VERB("(%d - %d) Different global variables in %s",
536         num1, num2, name.c_str());
537 #endif
538
539       return 1;
540 #endif
541     }
542   }
543
544   /* Compare heap */
545   if (mmalloc_compare_heap(s1, s2) > 0) {
546     XBT_TRACE3(mc, state_diff, num1, num2, "Different heap");
547
548 #ifdef MC_DEBUG
549     XBT_DEBUG("(%d - %d) Different heap (mmalloc_compare)", num1, num2);
550     errors++;
551 #else
552
553 #ifdef MC_VERBOSE
554     XBT_VERB("(%d - %d) Different heap (mmalloc_compare)", num1, num2);
555 #endif
556
557     return 1;
558 #endif
559   }
560
561   reset_heap_information();
562
563 #ifdef MC_VERBOSE
564   if (errors || hash_result)
565     XBT_VERB("(%d - %d) Difference found", num1, num2);
566   else
567     XBT_VERB("(%d - %d) No difference found", num1, num2);
568 #endif
569
570 #if defined(MC_DEBUG) && defined(MC_VERBOSE)
571   if (_sg_mc_hash) {
572     // * false positive SHOULD be avoided.
573     // * There MUST not be any false negative.
574
575     XBT_VERB("(%d - %d) State equality hash test is %s %s", num1, num2,
576              (hash_result != 0) == (errors != 0) ? "true" : "false",
577              !hash_result ? "positive" : "negative");
578   }
579 #endif
580
581   return errors > 0 || hash_result;
582
583 }
584
585 }