Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
[mc] Efficient lookup of subprogram by offset
[simgrid.git] / src / mc / mc_private.h
1 /* Copyright (c) 2007-2014. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #ifndef MC_PRIVATE_H
8 #define MC_PRIVATE_H
9
10 #include "simgrid_config.h"
11 #include <stdio.h>
12 #ifndef WIN32
13 #include <sys/mman.h>
14 #endif
15 #include <elfutils/libdw.h>
16
17 #include "mc/mc.h"
18 #include "mc/datatypes.h"
19 #include "xbt/fifo.h"
20 #include "xbt/config.h"
21 #include "xbt/function_types.h"
22 #include "xbt/mmalloc.h"
23 #include "../simix/smx_private.h"
24 #include "xbt/automaton.h"
25 #include "xbt/hash.h"
26 #include "msg/msg.h"
27 #include "msg/datatypes.h"
28 #include "xbt/strbuff.h"
29 #include "xbt/parmap.h"
30
31 typedef struct s_dw_frame s_dw_frame_t, *dw_frame_t;
32 typedef struct s_mc_function_index_item s_mc_function_index_item_t, *mc_function_index_item_t;
33
34 /****************************** Snapshots ***********************************/
35
36 #define NB_REGIONS 3 /* binary data (data + BSS) (type = 2), libsimgrid data (data + BSS) (type = 1), std_heap (type = 0)*/ 
37
38 typedef struct s_mc_mem_region{
39   // Real address:
40   void *start_addr;
41   // Copy of the datra:
42   void *data;
43   // Size of the data region:
44   size_t size;
45 } s_mc_mem_region_t, *mc_mem_region_t;
46
47 typedef struct s_mc_snapshot{
48   size_t heap_bytes_used;
49   mc_mem_region_t regions[NB_REGIONS];
50   int nb_processes;
51   size_t *stack_sizes;
52   xbt_dynar_t stacks;
53   xbt_dynar_t to_ignore;
54   uint64_t hash;
55 } s_mc_snapshot_t, *mc_snapshot_t;
56
57 /** Information about a given stack frame
58  *
59  */
60 typedef struct s_mc_stack_frame {
61   /** Instruction pointer */
62   unw_word_t ip;
63   /** Stack pointer */
64   unw_word_t sp;
65   unw_word_t frame_base;
66   dw_frame_t frame;
67   char* frame_name;
68   unw_cursor_t unw_cursor;
69 } s_mc_stack_frame_t, *mc_stack_frame_t;
70
71 typedef struct s_mc_snapshot_stack{
72   xbt_dynar_t local_variables;
73   void *stack_pointer;
74   void *real_address;
75   xbt_dynar_t stack_frames; // mc_stack_frame_t
76 }s_mc_snapshot_stack_t, *mc_snapshot_stack_t;
77
78 typedef struct s_mc_global_t{
79   mc_snapshot_t snapshot;
80   int raw_mem_set;
81   int prev_pair;
82   char *prev_req;
83   int initial_communications_pattern_done;
84   int comm_deterministic;
85   int send_deterministic;
86 }s_mc_global_t, *mc_global_t;
87
88 typedef struct s_mc_checkpoint_ignore_region{
89   void *addr;
90   size_t size;
91 }s_mc_checkpoint_ignore_region_t, *mc_checkpoint_ignore_region_t;
92
93 mc_snapshot_t SIMIX_pre_mc_snapshot(smx_simcall_t simcall);
94 mc_snapshot_t MC_take_snapshot(int num_state);
95 void MC_restore_snapshot(mc_snapshot_t);
96 void MC_free_snapshot(mc_snapshot_t);
97 void* mc_translate_address(uintptr_t addr, mc_snapshot_t snapshot);
98 uintptr_t mc_untranslate_address(void* addr, mc_snapshot_t snapshot);
99
100 extern xbt_dynar_t mc_checkpoint_ignore;
101
102 /********************************* MC Global **********************************/
103
104 extern double *mc_time;
105 extern FILE *dot_output;
106 extern const char* colors[13];
107 extern xbt_parmap_t parmap;
108
109 extern int user_max_depth_reached;
110
111 int MC_deadlock_check(void);
112 void MC_replay(xbt_fifo_t stack, int start);
113 void MC_replay_liveness(xbt_fifo_t stack, int all_stack);
114 void MC_wait_for_requests(void);
115 void MC_show_deadlock(smx_simcall_t req);
116 void MC_show_stack_safety(xbt_fifo_t stack);
117 void MC_dump_stack_safety(xbt_fifo_t stack);
118 void MC_init(void);
119 int SIMIX_pre_mc_random(smx_simcall_t simcall, int min, int max);
120
121
122 /********************************* Requests ***********************************/
123
124 int MC_request_depend(smx_simcall_t req1, smx_simcall_t req2);
125 char* MC_request_to_string(smx_simcall_t req, int value);
126 unsigned int MC_request_testany_fail(smx_simcall_t req);
127 /*int MC_waitany_is_enabled_by_comm(smx_req_t req, unsigned int comm);*/
128 int MC_request_is_visible(smx_simcall_t req);
129 int MC_request_is_enabled(smx_simcall_t req);
130 int MC_request_is_enabled_by_idx(smx_simcall_t req, unsigned int idx);
131 int MC_process_is_enabled(smx_process_t process);
132 char *MC_request_get_dot_output(smx_simcall_t req, int value);
133
134
135 /******************************** States **************************************/
136
137 /* Possible exploration status of a process in a state */
138 typedef enum {
139   MC_NOT_INTERLEAVE=0,      /* Do not interleave (do not execute) */
140   MC_INTERLEAVE,            /* Interleave the process (one or more request) */
141   MC_MORE_INTERLEAVE,       /* Interleave twice the process (for mc_random simcall) */
142   MC_DONE                   /* Already interleaved */
143 } e_mc_process_state_t;
144
145 /* On every state, each process has an entry of the following type */
146 typedef struct mc_procstate{
147   e_mc_process_state_t state;       /* Exploration control information */
148   unsigned int interleave_count;    /* Number of times that the process was
149                                        interleaved */
150 } s_mc_procstate_t, *mc_procstate_t;
151
152 /* An exploration state is composed of: */
153 typedef struct mc_state {
154   unsigned long max_pid;            /* Maximum pid at state's creation time */
155   mc_procstate_t proc_status;       /* State's exploration status by process */
156   s_smx_action_t internal_comm;     /* To be referenced by the internal_req */
157   s_smx_simcall_t internal_req;         /* Internal translation of request */
158   s_smx_simcall_t executed_req;         /* The executed request of the state */
159   int req_num;                      /* The request number (in the case of a
160                                        multi-request like waitany ) */
161   mc_snapshot_t system_state;      /* Snapshot of system state */
162   int num;
163 } s_mc_state_t, *mc_state_t;
164
165 mc_state_t MC_state_new(void);
166 void MC_state_delete(mc_state_t state);
167 void MC_state_interleave_process(mc_state_t state, smx_process_t process);
168 unsigned int MC_state_interleave_size(mc_state_t state);
169 int MC_state_process_is_done(mc_state_t state, smx_process_t process);
170 void MC_state_set_executed_request(mc_state_t state, smx_simcall_t req, int value);
171 smx_simcall_t MC_state_get_executed_request(mc_state_t state, int *value);
172 smx_simcall_t MC_state_get_internal_request(mc_state_t state);
173 smx_simcall_t MC_state_get_request(mc_state_t state, int *value);
174 void MC_state_remove_interleave_process(mc_state_t state, smx_process_t process);
175
176
177 /****************************** Statistics ************************************/
178
179 typedef struct mc_stats {
180   unsigned long state_size;
181   unsigned long visited_states;
182   unsigned long visited_pairs;
183   unsigned long expanded_states;
184   unsigned long expanded_pairs;
185   unsigned long executed_transitions;
186 } s_mc_stats_t, *mc_stats_t;
187
188 extern mc_stats_t mc_stats;
189
190 void MC_print_statistics(mc_stats_t);
191
192
193 /********************************** MEMORY ******************************/
194 /* The possible memory modes for the modelchecker are standard and raw. */
195 /* Normally the system should operate in std, for switching to raw mode */
196 /* you must wrap the code between MC_SET_RAW_MODE and MC_UNSET_RAW_MODE */
197
198 extern void *std_heap;
199 extern void *raw_heap;
200
201
202 /* FIXME: Horrible hack! because the mmalloc library doesn't provide yet of */
203 /* an API to query about the status of a heap, we simply call mmstats and */
204 /* because I now how does structure looks like, then I redefine it here */
205
206 /* struct mstats { */
207 /*   size_t bytes_total;           /\* Total size of the heap. *\/ */
208 /*   size_t chunks_used;           /\* Chunks allocated by the user. *\/ */
209 /*   size_t bytes_used;            /\* Byte total of user-allocated chunks. *\/ */
210 /*   size_t chunks_free;           /\* Chunks in the free list. *\/ */
211 /*   size_t bytes_free;            /\* Byte total of chunks in the free list. *\/ */
212 /* }; */
213
214 #define MC_SET_RAW_MEM    mmalloc_set_current_heap(raw_heap)
215 #define MC_UNSET_RAW_MEM  mmalloc_set_current_heap(std_heap)
216
217
218 /******************************* MEMORY MAPPINGS ***************************/
219 /* These functions and data structures implements a binary interface for   */
220 /* the proc maps ascii interface                                           */
221
222 /* Each field is defined as documented in proc's manual page  */
223 typedef struct s_map_region {
224
225   void *start_addr;             /* Start address of the map */
226   void *end_addr;               /* End address of the map */
227   int prot;                     /* Memory protection */
228   int flags;                    /* Additional memory flags */
229   void *offset;                 /* Offset in the file/whatever */
230   char dev_major;               /* Major of the device */
231   char dev_minor;               /* Minor of the device */
232   unsigned long inode;          /* Inode in the device */
233   char *pathname;               /* Path name of the mapped file */
234
235 } s_map_region_t;
236
237 typedef struct s_memory_map {
238
239   s_map_region_t *regions;      /* Pointer to an array of regions */
240   int mapsize;                  /* Number of regions in the memory */
241
242 } s_memory_map_t, *memory_map_t;
243
244
245 void MC_init_memory_map_info(void);
246 memory_map_t MC_get_memory_map(void);
247 void MC_free_memory_map(memory_map_t map);
248
249 extern char *libsimgrid_path;
250
251 /********************************** Snapshot comparison **********************************/
252
253 typedef struct s_mc_comparison_times{
254   double nb_processes_comparison_time;
255   double bytes_used_comparison_time;
256   double stacks_sizes_comparison_time;
257   double binary_global_variables_comparison_time;
258   double libsimgrid_global_variables_comparison_time;
259   double heap_comparison_time;
260   double stacks_comparison_time;
261 }s_mc_comparison_times_t, *mc_comparison_times_t;
262
263 extern __thread mc_comparison_times_t mc_comp_times;
264 extern __thread double mc_snapshot_comparison_time;
265
266 int snapshot_compare(void *state1, void *state2);
267 int SIMIX_pre_mc_compare_snapshots(smx_simcall_t simcall, mc_snapshot_t s1, mc_snapshot_t s2);
268 void print_comparison_times(void);
269
270 //#define MC_DEBUG 1
271 #define MC_VERBOSE 1
272
273 /********************************** DPOR for safety property **************************************/
274
275 typedef enum {
276   e_mc_reduce_unset,
277   e_mc_reduce_none,
278   e_mc_reduce_dpor
279 } e_mc_reduce_t;
280
281 extern e_mc_reduce_t mc_reduce_kind;
282 extern mc_global_t initial_state_safety;
283 extern xbt_fifo_t mc_stack_safety;
284 extern xbt_dict_t first_enabled_state;
285
286 void MC_dpor_init(void);
287 void MC_dpor(void);
288
289 typedef struct s_mc_visited_state{
290   mc_snapshot_t system_state;
291   size_t heap_bytes_used;
292   int nb_processes;
293   int num;
294   int other_num; // dot_output for
295 }s_mc_visited_state_t, *mc_visited_state_t;
296
297
298 /********************************** Double-DFS for liveness property **************************************/
299
300 extern xbt_fifo_t mc_stack_liveness;
301 extern mc_global_t initial_state_liveness;
302 extern xbt_automaton_t _mc_property_automaton;
303 extern int compare;
304
305 typedef struct s_mc_pair{
306   int num;
307   int search_cycle;
308   mc_state_t graph_state; /* System state included */
309   xbt_automaton_state_t automaton_state;
310   xbt_dynar_t atomic_propositions;
311   int requests;
312 }s_mc_pair_t, *mc_pair_t;
313
314 typedef struct s_mc_visited_pair{
315   int num;
316   int other_num; /* Dot output for */
317   int acceptance_pair;
318   mc_state_t graph_state; /* System state included */
319   xbt_automaton_state_t automaton_state;
320   xbt_dynar_t atomic_propositions;
321   size_t heap_bytes_used;
322   int nb_processes;
323   int acceptance_removed;
324   int visited_removed;
325 }s_mc_visited_pair_t, *mc_visited_pair_t;
326
327 mc_pair_t MC_pair_new(void);
328 void MC_pair_delete(mc_pair_t);
329 void mc_pair_free_voidp(void *p);
330 mc_visited_pair_t MC_visited_pair_new(int pair_num, xbt_automaton_state_t automaton_state, xbt_dynar_t atomic_propositions);
331 void MC_visited_pair_delete(mc_visited_pair_t p);
332
333 void MC_ddfs_init(void);
334 void MC_ddfs(void);
335 void MC_show_stack_liveness(xbt_fifo_t stack);
336 void MC_dump_stack_liveness(xbt_fifo_t stack);
337
338
339 /********************************** Variables with DWARF **********************************/
340
341 #define MC_OBJECT_INFO_EXECUTABLE 1
342
343 struct s_mc_object_info {
344   size_t flags;
345   char* file_name;
346   char *start_exec, *end_exec; // Executable segment
347   char *start_rw, *end_rw; // Read-write segment
348   char *start_ro, *end_ro; // read-only segment
349   xbt_dict_t subprograms; // xbt_dict_t<origin as hexadecimal string, dw_frame_t>
350   xbt_dynar_t global_variables; // xbt_dynar_t<dw_variable_t>
351   xbt_dict_t types; // xbt_dict_t<origin as hexadecimal string, dw_type_t>
352   xbt_dict_t full_types_by_name; // xbt_dict_t<name, dw_type_t> (full defined type only)
353
354   // Here we sort the minimal information for an efficient (and cache-efficient)
355   // lookup of a function given an instruction pointer.
356   // The entries are sorted by low_pc and a binary search can be used to look them up.
357   xbt_dynar_t functions_index;
358 };
359
360 mc_object_info_t MC_new_object_info(void);
361 mc_object_info_t MC_find_object_info(memory_map_t maps, char* name, int executable);
362 void MC_free_object_info(mc_object_info_t* p);
363
364 void MC_dwarf_get_variables(mc_object_info_t info);
365 void MC_dwarf_get_variables_libdw(mc_object_info_t info);
366 const char* MC_dwarf_attrname(int attr);
367 const char* MC_dwarf_tagname(int tag);
368
369 dw_frame_t MC_find_function_by_ip(void* ip);
370 mc_object_info_t MC_ip_find_object_info(void* ip);
371
372 extern mc_object_info_t mc_libsimgrid_info;
373 extern mc_object_info_t mc_binary_info;
374 extern mc_object_info_t mc_object_infos[2];
375 extern size_t mc_object_infos_size;
376
377 void MC_find_object_address(memory_map_t maps, mc_object_info_t result);
378 void MC_post_process_types(mc_object_info_t info);
379
380 // ***** Expressions
381
382 /** \brief a DWARF expression with optional validity contraints */
383 typedef struct s_mc_expression {
384   size_t size;
385   Dwarf_Op* ops;
386   // Optional validity:
387   void* lowpc, *highpc;
388 } s_mc_expression_t, *mc_expression_t;
389
390 /** A location list (list of location expressions) */
391 typedef struct s_mc_location_list {
392   size_t size;
393   mc_expression_t locations;
394 } s_mc_location_list_t, *mc_location_list_t;
395
396 Dwarf_Off mc_dwarf_resolve_location(mc_expression_t expression, unw_cursor_t* c, void* frame_pointer_address, mc_snapshot_t snapshot);
397 Dwarf_Off mc_dwarf_resolve_locations(mc_location_list_t locations, unw_cursor_t* c, void* frame_pointer_address, mc_snapshot_t snapshot);
398
399 void mc_dwarf_expression_clear(mc_expression_t expression);
400 void mc_dwarf_expression_init(mc_expression_t expression, size_t len, Dwarf_Op* ops);
401
402 void mc_dwarf_location_list_clear(mc_location_list_t list);
403
404 void mc_dwarf_location_list_init_from_expression(mc_location_list_t target, size_t len, Dwarf_Op* ops);
405 void mc_dwarf_location_list_init(mc_location_list_t target, mc_object_info_t info, Dwarf_Die* die, Dwarf_Attribute* attr);
406
407 // ***** Variables and functions
408
409 struct s_dw_type{
410   e_dw_type_type type;
411   void *id; /* Offset in the section (in hexadecimal form) */
412   char *name; /* Name of the type */
413   int byte_size; /* Size in bytes */
414   int element_count; /* Number of elements for array type */
415   char *dw_type_id; /* DW_AT_type id */
416   xbt_dynar_t members; /* if DW_TAG_structure_type, DW_TAG_class_type, DW_TAG_union_type*/
417   int is_pointer_type;
418
419   // Location (for members) is either of:
420   struct s_mc_expression location;
421   int offset;
422
423   dw_type_t subtype; // DW_AT_type
424   dw_type_t full_type; // The same (but more complete) type
425 };
426
427 void* mc_member_resolve(const void* base, dw_type_t type, dw_type_t member, mc_snapshot_t snapshot);
428 void* mc_member_snapshot_resolve(const void* base, dw_type_t type, dw_type_t member, mc_snapshot_t snapshot);
429
430 typedef struct s_dw_variable{
431   Dwarf_Off dwarf_offset; /* Global offset of the field. */
432   int global;
433   char *name;
434   char *type_origin;
435   dw_type_t type;
436
437   // Use either of:
438   s_mc_location_list_t locations;
439   void* address;
440
441   size_t start_scope;
442
443 }s_dw_variable_t, *dw_variable_t;
444
445 struct s_dw_frame{
446   char *name;
447   void *low_pc;
448   void *high_pc;
449   s_mc_location_list_t frame_base;
450   xbt_dynar_t /* <dw_variable_t> */ variables; /* Cannot use dict, there may be several variables with the same name (in different lexical blocks)*/
451   unsigned long int start; /* DWARF offset of the subprogram */
452   unsigned long int end;   /* Dwarf offset of the next sibling */
453 };
454
455 struct s_mc_function_index_item {
456   void* low_pc, *high_pc;
457   dw_frame_t function;
458 };
459
460 void mc_frame_free(dw_frame_t freme);
461
462 void dw_type_free(dw_type_t t);
463 void dw_variable_free(dw_variable_t v);
464 void dw_variable_free_voidp(void *t);
465
466 void MC_dwarf_register_global_variable(mc_object_info_t info, dw_variable_t variable);
467 void MC_register_variable(mc_object_info_t info, dw_frame_t frame, dw_variable_t variable);
468 void MC_dwarf_register_non_global_variable(mc_object_info_t info, dw_frame_t frame, dw_variable_t variable);
469 void MC_dwarf_register_variable(mc_object_info_t info, dw_frame_t frame, dw_variable_t variable);
470 void* MC_object_base_address(mc_object_info_t info);
471
472 /********************************** DWARF **********************************/
473
474 #define MC_EXPRESSION_STACK_SIZE 64
475
476 #define MC_EXPRESSION_OK 0
477 #define MC_EXPRESSION_E_UNSUPPORTED_OPERATION 1
478 #define MC_EXPRESSION_E_STACK_OVERFLOW 2
479 #define MC_EXPRESSION_E_STACK_UNDERFLOW 3
480 #define MC_EXPRESSION_E_MISSING_STACK_CONTEXT 4
481 #define MC_EXPRESSION_E_MISSING_FRAME_BASE 5
482
483 typedef struct s_mc_expression_state {
484   uintptr_t stack[MC_EXPRESSION_STACK_SIZE];
485   size_t stack_size;
486
487   unw_cursor_t* cursor;
488   void* frame_base;
489   mc_snapshot_t snapshot;
490 } s_mc_expression_state_t, *mc_expression_state_t;
491
492 int mc_dwarf_execute_expression(size_t n, const Dwarf_Op* ops, mc_expression_state_t state);
493
494 void* mc_find_frame_base(dw_frame_t frame, unw_cursor_t* unw_cursor);
495
496 /********************************** Miscellaneous **********************************/
497
498 typedef struct s_local_variable{
499   char *frame;
500   unsigned long ip;
501   char *name;
502   dw_type_t type;
503   void *address;
504   int region;
505 }s_local_variable_t, *local_variable_t;
506
507 /********************************* Communications pattern ***************************/
508
509 typedef struct s_mc_comm_pattern{
510   int num;
511   smx_action_t comm;
512   e_smx_comm_type_t type;
513   int completed;
514   unsigned long src_proc;
515   unsigned long dst_proc;
516   const char *src_host;
517   const char *dst_host;
518   char *rdv;
519   size_t data_size;
520   void *data;
521   int matched_comm;
522 }s_mc_comm_pattern_t, *mc_comm_pattern_t;
523
524 extern xbt_dynar_t communications_pattern;
525
526 void get_comm_pattern(xbt_dynar_t communications_pattern, smx_simcall_t request, int call);
527
528 /* *********** Sets *********** */
529
530 typedef struct s_mc_address_set *mc_address_set_t;
531
532 mc_address_set_t mc_address_set_new();
533 void mc_address_set_free(mc_address_set_t* p);
534 void mc_address_add(mc_address_set_t p, const void* value);
535 bool mc_address_test(mc_address_set_t p, const void* value);
536
537 /* *********** Hash *********** */
538
539 /** \brief Hash the current state
540  *  \param num_state number of states
541  *  \param stacks stacks (mc_snapshot_stak_t) used fot the stack unwinding informations
542  *  \result resulting hash
543  * */
544 uint64_t mc_hash_processes_state(int num_state, xbt_dynar_t stacks);
545
546 #endif
547