src/mc/mc_private.h

   1 /* Copyright (c) 2007-2014. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 #ifndef MC_PRIVATE_H
   8 #define MC_PRIVATE_H
   9
  10 #include "simgrid_config.h"
  11 #include <stdio.h>
  12 #ifndef WIN32
  13 #include <sys/mman.h>
  14 #endif
  15 #include <elfutils/libdw.h>
  16
  17 #include "mc/mc.h"
  18 #include "mc/datatypes.h"
  19 #include "xbt/fifo.h"
  20 #include "xbt/config.h"
  21 #include "xbt/function_types.h"
  22 #include "xbt/mmalloc.h"
  23 #include "../simix/smx_private.h"
  24 #include "xbt/automaton.h"
  25 #include "xbt/hash.h"
  26 #include "msg/msg.h"
  27 #include "msg/datatypes.h"
  28 #include "xbt/strbuff.h"
  29 #include "xbt/parmap.h"
  30
  31 typedef struct s_dw_frame s_dw_frame_t, *dw_frame_t;
  32 typedef struct s_mc_function_index_item s_mc_function_index_item_t, *mc_function_index_item_t;
  33
  34 /****************************** Snapshots ***********************************/
  35
  36 #define NB_REGIONS 3 /* binary data (data + BSS) (type = 2), libsimgrid data (data + BSS) (type = 1), std_heap (type = 0)*/
  37
  38 typedef struct s_mc_mem_region{
  39   // Real address:
  40   void *start_addr;
  41   // Copy of the datra:
  42   void *data;
  43   // Size of the data region:
  44   size_t size;
  45 } s_mc_mem_region_t, *mc_mem_region_t;
  46
  47 typedef struct s_mc_snapshot{
  48   size_t heap_bytes_used;
  49   mc_mem_region_t regions[NB_REGIONS];
  50   int nb_processes;
  51   size_t *stack_sizes;
  52   xbt_dynar_t stacks;
  53   xbt_dynar_t to_ignore;
  54   uint64_t hash;
  55 } s_mc_snapshot_t, *mc_snapshot_t;
  56
  57 /** Information about a given stack frame
  58  *
  59  */
  60 typedef struct s_mc_stack_frame {
  61   /** Instruction pointer */
  62   unw_word_t ip;
  63   /** Stack pointer */
  64   unw_word_t sp;
  65   unw_word_t frame_base;
  66   dw_frame_t frame;
  67   char* frame_name;
  68   unw_cursor_t unw_cursor;
  69 } s_mc_stack_frame_t, *mc_stack_frame_t;
  70
  71 typedef struct s_mc_snapshot_stack{
  72   xbt_dynar_t local_variables;
  73   void *stack_pointer;
  74   void *real_address;
  75   xbt_dynar_t stack_frames; // mc_stack_frame_t
  76 }s_mc_snapshot_stack_t, *mc_snapshot_stack_t;
  77
  78 typedef struct s_mc_global_t{
  79   mc_snapshot_t snapshot;
  80   int raw_mem_set;
  81   int prev_pair;
  82   char *prev_req;
  83   int initial_communications_pattern_done;
  84   int comm_deterministic;
  85   int send_deterministic;
  86 }s_mc_global_t, *mc_global_t;
  87
  88 typedef struct s_mc_checkpoint_ignore_region{
  89   void *addr;
  90   size_t size;
  91 }s_mc_checkpoint_ignore_region_t, *mc_checkpoint_ignore_region_t;
  92
  93 mc_snapshot_t SIMIX_pre_mc_snapshot(smx_simcall_t simcall);
  94 mc_snapshot_t MC_take_snapshot(int num_state);
  95 void MC_restore_snapshot(mc_snapshot_t);
  96 void MC_free_snapshot(mc_snapshot_t);
  97 void* mc_translate_address(uintptr_t addr, mc_snapshot_t snapshot);
  98 uintptr_t mc_untranslate_address(void* addr, mc_snapshot_t snapshot);
  99
 100 extern xbt_dynar_t mc_checkpoint_ignore;
 101
 102 /********************************* MC Global **********************************/
 103
 104 extern double *mc_time;
 105 extern FILE *dot_output;
 106 extern const char* colors[13];
 107 extern xbt_parmap_t parmap;
 108
 109 extern int user_max_depth_reached;
 110
 111 int MC_deadlock_check(void);
 112 void MC_replay(xbt_fifo_t stack, int start);
 113 void MC_replay_liveness(xbt_fifo_t stack, int all_stack);
 114 void MC_wait_for_requests(void);
 115 void MC_show_deadlock(smx_simcall_t req);
 116 void MC_show_stack_safety(xbt_fifo_t stack);
 117 void MC_dump_stack_safety(xbt_fifo_t stack);
 118 void MC_init(void);
 119 int SIMIX_pre_mc_random(smx_simcall_t simcall, int min, int max);
 120
 121
 122 /********************************* Requests ***********************************/
 123
 124 int MC_request_depend(smx_simcall_t req1, smx_simcall_t req2);
 125 char* MC_request_to_string(smx_simcall_t req, int value);
 126 unsigned int MC_request_testany_fail(smx_simcall_t req);
 127 /*int MC_waitany_is_enabled_by_comm(smx_req_t req, unsigned int comm);*/
 128 int MC_request_is_visible(smx_simcall_t req);
 129 int MC_request_is_enabled(smx_simcall_t req);
 130 int MC_request_is_enabled_by_idx(smx_simcall_t req, unsigned int idx);
 131 int MC_process_is_enabled(smx_process_t process);
 132 char *MC_request_get_dot_output(smx_simcall_t req, int value);
 133
 134
 135 /******************************** States **************************************/
 136
 137 /* Possible exploration status of a process in a state */
 138 typedef enum {
 139   MC_NOT_INTERLEAVE=0,      /* Do not interleave (do not execute) */
 140   MC_INTERLEAVE,            /* Interleave the process (one or more request) */
 141   MC_MORE_INTERLEAVE,       /* Interleave twice the process (for mc_random simcall) */
 142   MC_DONE                   /* Already interleaved */
 143 } e_mc_process_state_t;
 144
 145 /* On every state, each process has an entry of the following type */
 146 typedef struct mc_procstate{
 147   e_mc_process_state_t state;       /* Exploration control information */
 148   unsigned int interleave_count;    /* Number of times that the process was
 149                                        interleaved */
 150 } s_mc_procstate_t, *mc_procstate_t;
 151
 152 /* An exploration state is composed of: */
 153 typedef struct mc_state {
 154   unsigned long max_pid;            /* Maximum pid at state's creation time */
 155   mc_procstate_t proc_status;       /* State's exploration status by process */
 156   s_smx_action_t internal_comm;     /* To be referenced by the internal_req */
 157   s_smx_simcall_t internal_req;         /* Internal translation of request */
 158   s_smx_simcall_t executed_req;         /* The executed request of the state */
 159   int req_num;                      /* The request number (in the case of a
 160                                        multi-request like waitany ) */
 161   mc_snapshot_t system_state;      /* Snapshot of system state */
 162   int num;
 163 } s_mc_state_t, *mc_state_t;
 164
 165 mc_state_t MC_state_new(void);
 166 void MC_state_delete(mc_state_t state);
 167 void MC_state_interleave_process(mc_state_t state, smx_process_t process);
 168 unsigned int MC_state_interleave_size(mc_state_t state);
 169 int MC_state_process_is_done(mc_state_t state, smx_process_t process);
 170 void MC_state_set_executed_request(mc_state_t state, smx_simcall_t req, int value);
 171 smx_simcall_t MC_state_get_executed_request(mc_state_t state, int *value);
 172 smx_simcall_t MC_state_get_internal_request(mc_state_t state);
 173 smx_simcall_t MC_state_get_request(mc_state_t state, int *value);
 174 void MC_state_remove_interleave_process(mc_state_t state, smx_process_t process);
 175
 176
 177 /****************************** Statistics ************************************/
 178
 179 typedef struct mc_stats {
 180   unsigned long state_size;
 181   unsigned long visited_states;
 182   unsigned long visited_pairs;
 183   unsigned long expanded_states;
 184   unsigned long expanded_pairs;
 185   unsigned long executed_transitions;
 186 } s_mc_stats_t, *mc_stats_t;
 187
 188 extern mc_stats_t mc_stats;
 189
 190 void MC_print_statistics(mc_stats_t);
 191
 192
 193 /********************************** MEMORY ******************************/
 194 /* The possible memory modes for the modelchecker are standard and raw. */
 195 /* Normally the system should operate in std, for switching to raw mode */
 196 /* you must wrap the code between MC_SET_RAW_MODE and MC_UNSET_RAW_MODE */
 197
 198 extern void *std_heap;
 199 extern void *raw_heap;
 200
 201
 202 /* FIXME: Horrible hack! because the mmalloc library doesn't provide yet of */
 203 /* an API to query about the status of a heap, we simply call mmstats and */
 204 /* because I now how does structure looks like, then I redefine it here */
 205
 206 /* struct mstats { */
 207 /*   size_t bytes_total;           /\* Total size of the heap. *\/ */
 208 /*   size_t chunks_used;           /\* Chunks allocated by the user. *\/ */
 209 /*   size_t bytes_used;            /\* Byte total of user-allocated chunks. *\/ */
 210 /*   size_t chunks_free;           /\* Chunks in the free list. *\/ */
 211 /*   size_t bytes_free;            /\* Byte total of chunks in the free list. *\/ */
 212 /* }; */
 213
 214 #define MC_SET_RAW_MEM    mmalloc_set_current_heap(raw_heap)
 215 #define MC_UNSET_RAW_MEM  mmalloc_set_current_heap(std_heap)
 216
 217
 218 /******************************* MEMORY MAPPINGS ***************************/
 219 /* These functions and data structures implements a binary interface for   */
 220 /* the proc maps ascii interface                                           */
 221
 222 /* Each field is defined as documented in proc's manual page  */
 223 typedef struct s_map_region {
 224
 225   void *start_addr;             /* Start address of the map */
 226   void *end_addr;               /* End address of the map */
 227   int prot;                     /* Memory protection */
 228   int flags;                    /* Additional memory flags */
 229   void *offset;                 /* Offset in the file/whatever */
 230   char dev_major;               /* Major of the device */
 231   char dev_minor;               /* Minor of the device */
 232   unsigned long inode;          /* Inode in the device */
 233   char *pathname;               /* Path name of the mapped file */
 234
 235 } s_map_region_t;
 236
 237 typedef struct s_memory_map {
 238
 239   s_map_region_t *regions;      /* Pointer to an array of regions */
 240   int mapsize;                  /* Number of regions in the memory */
 241
 242 } s_memory_map_t, *memory_map_t;
 243
 244
 245 void MC_init_memory_map_info(void);
 246 memory_map_t MC_get_memory_map(void);
 247 void MC_free_memory_map(memory_map_t map);
 248
 249 extern char *libsimgrid_path;
 250
 251 /********************************** Snapshot comparison **********************************/
 252
 253 typedef struct s_mc_comparison_times{
 254   double nb_processes_comparison_time;
 255   double bytes_used_comparison_time;
 256   double stacks_sizes_comparison_time;
 257   double binary_global_variables_comparison_time;
 258   double libsimgrid_global_variables_comparison_time;
 259   double heap_comparison_time;
 260   double stacks_comparison_time;
 261 }s_mc_comparison_times_t, *mc_comparison_times_t;
 262
 263 extern __thread mc_comparison_times_t mc_comp_times;
 264 extern __thread double mc_snapshot_comparison_time;
 265
 266 int snapshot_compare(void *state1, void *state2);
 267 int SIMIX_pre_mc_compare_snapshots(smx_simcall_t simcall, mc_snapshot_t s1, mc_snapshot_t s2);
 268 void print_comparison_times(void);
 269
 270 //#define MC_DEBUG 1
 271 #define MC_VERBOSE 1
 272
 273 /********************************** DPOR for safety property **************************************/
 274
 275 typedef enum {
 276   e_mc_reduce_unset,
 277   e_mc_reduce_none,
 278   e_mc_reduce_dpor
 279 } e_mc_reduce_t;
 280
 281 extern e_mc_reduce_t mc_reduce_kind;
 282 extern mc_global_t initial_state_safety;
 283 extern xbt_fifo_t mc_stack_safety;
 284 extern xbt_dict_t first_enabled_state;
 285
 286 void MC_dpor_init(void);
 287 void MC_dpor(void);
 288
 289 typedef struct s_mc_visited_state{
 290   mc_snapshot_t system_state;
 291   size_t heap_bytes_used;
 292   int nb_processes;
 293   int num;
 294   int other_num; // dot_output for
 295 }s_mc_visited_state_t, *mc_visited_state_t;
 296
 297
 298 /********************************** Double-DFS for liveness property **************************************/
 299
 300 extern xbt_fifo_t mc_stack_liveness;
 301 extern mc_global_t initial_state_liveness;
 302 extern xbt_automaton_t _mc_property_automaton;
 303 extern int compare;
 304
 305 typedef struct s_mc_pair{
 306   int num;
 307   int search_cycle;
 308   mc_state_t graph_state; /* System state included */
 309   xbt_automaton_state_t automaton_state;
 310   xbt_dynar_t atomic_propositions;
 311   int requests;
 312 }s_mc_pair_t, *mc_pair_t;
 313
 314 typedef struct s_mc_visited_pair{
 315   int num;
 316   int other_num; /* Dot output for */
 317   int acceptance_pair;
 318   mc_state_t graph_state; /* System state included */
 319   xbt_automaton_state_t automaton_state;
 320   xbt_dynar_t atomic_propositions;
 321   size_t heap_bytes_used;
 322   int nb_processes;
 323   int acceptance_removed;
 324   int visited_removed;
 325 }s_mc_visited_pair_t, *mc_visited_pair_t;
 326
 327 mc_pair_t MC_pair_new(void);
 328 void MC_pair_delete(mc_pair_t);
 329 void mc_pair_free_voidp(void *p);
 330 mc_visited_pair_t MC_visited_pair_new(int pair_num, xbt_automaton_state_t automaton_state, xbt_dynar_t atomic_propositions);
 331 void MC_visited_pair_delete(mc_visited_pair_t p);
 332
 333 void MC_ddfs_init(void);
 334 void MC_ddfs(void);
 335 void MC_show_stack_liveness(xbt_fifo_t stack);
 336 void MC_dump_stack_liveness(xbt_fifo_t stack);
 337
 338
 339 /********************************** Variables with DWARF **********************************/
 340
 341 #define MC_OBJECT_INFO_EXECUTABLE 1
 342
 343 struct s_mc_object_info {
 344   size_t flags;
 345   char* file_name;
 346   char *start_exec, *end_exec; // Executable segment
 347   char *start_rw, *end_rw; // Read-write segment
 348   char *start_ro, *end_ro; // read-only segment
 349   xbt_dynar_t subprograms; // xbt_dynar_t<dw_frame_t>
 350   xbt_dynar_t global_variables; // xbt_dynar_t<dw_variable_t>
 351   xbt_dict_t types; // xbt_dict_t<origin as hexadecimal string, dw_type_t>
 352   xbt_dict_t full_types_by_name; // xbt_dict_t<name, dw_type_t> (full defined type only)
 353
 354   // Here we sort the minimal information for an efficient (and cache-efficient)
 355   // lookup of a function given an instruction pointer.
 356   // The entries are sorted by low_pc and a binary search can be used to look them up.
 357   xbt_dynar_t functions_index;
 358 };
 359
 360 mc_object_info_t MC_new_object_info(void);
 361 mc_object_info_t MC_find_object_info(memory_map_t maps, char* name, int executable);
 362 void MC_free_object_info(mc_object_info_t* p);
 363
 364 void MC_dwarf_get_variables(mc_object_info_t info);
 365 void MC_dwarf_get_variables_libdw(mc_object_info_t info);
 366 const char* MC_dwarf_attrname(int attr);
 367 const char* MC_dwarf_tagname(int tag);
 368
 369 dw_frame_t MC_find_function_by_ip(void* ip);
 370 mc_object_info_t MC_ip_find_object_info(void* ip);
 371
 372 extern mc_object_info_t mc_libsimgrid_info;
 373 extern mc_object_info_t mc_binary_info;
 374 extern mc_object_info_t mc_object_infos[2];
 375 extern size_t mc_object_infos_size;
 376
 377 void MC_find_object_address(memory_map_t maps, mc_object_info_t result);
 378 void MC_post_process_types(mc_object_info_t info);
 379
 380 // ***** Expressions
 381
 382 /** \brief a DWARF expression with optional validity contraints */
 383 typedef struct s_mc_expression {
 384   size_t size;
 385   Dwarf_Op* ops;
 386   // Optional validity:
 387   void* lowpc, *highpc;
 388 } s_mc_expression_t, *mc_expression_t;
 389
 390 /** A location list (list of location expressions) */
 391 typedef struct s_mc_location_list {
 392   size_t size;
 393   mc_expression_t locations;
 394 } s_mc_location_list_t, *mc_location_list_t;
 395
 396 Dwarf_Off mc_dwarf_resolve_location(mc_expression_t expression, unw_cursor_t* c, void* frame_pointer_address, mc_snapshot_t snapshot);
 397 Dwarf_Off mc_dwarf_resolve_locations(mc_location_list_t locations, unw_cursor_t* c, void* frame_pointer_address, mc_snapshot_t snapshot);
 398
 399 void mc_dwarf_expression_clear(mc_expression_t expression);
 400 void mc_dwarf_expression_init(mc_expression_t expression, size_t len, Dwarf_Op* ops);
 401
 402 void mc_dwarf_location_list_clear(mc_location_list_t list);
 403
 404 void mc_dwarf_location_list_init_from_expression(mc_location_list_t target, size_t len, Dwarf_Op* ops);
 405 void mc_dwarf_location_list_init(mc_location_list_t target, mc_object_info_t info, Dwarf_Die* die, Dwarf_Attribute* attr);
 406
 407 // ***** Variables and functions
 408
 409 struct s_dw_type{
 410   e_dw_type_type type;
 411   void *id; /* Offset in the section (in hexadecimal form) */
 412   char *name; /* Name of the type */
 413   int byte_size; /* Size in bytes */
 414   int element_count; /* Number of elements for array type */
 415   char *dw_type_id; /* DW_AT_type id */
 416   xbt_dynar_t members; /* if DW_TAG_structure_type, DW_TAG_class_type, DW_TAG_union_type*/
 417   int is_pointer_type;
 418
 419   // Location (for members) is either of:
 420   struct s_mc_expression location;
 421   int offset;
 422
 423   dw_type_t subtype; // DW_AT_type
 424   dw_type_t full_type; // The same (but more complete) type
 425 };
 426
 427 void* mc_member_resolve(const void* base, dw_type_t type, dw_type_t member, mc_snapshot_t snapshot);
 428 void* mc_member_snapshot_resolve(const void* base, dw_type_t type, dw_type_t member, mc_snapshot_t snapshot);
 429
 430 typedef struct s_dw_variable{
 431   Dwarf_Off dwarf_offset; /* Global offset of the field. */
 432   int global;
 433   char *name;
 434   char *type_origin;
 435   dw_type_t type;
 436
 437   // Use either of:
 438   s_mc_location_list_t locations;
 439   void* address;
 440
 441   size_t start_scope;
 442
 443 }s_dw_variable_t, *dw_variable_t;
 444
 445 struct s_dw_frame{
 446   char *name;
 447   void *low_pc;
 448   void *high_pc;
 449   s_mc_location_list_t frame_base;
 450   xbt_dynar_t /* <dw_variable_t> */ variables; /* Cannot use dict, there may be several variables with the same name (in different lexical blocks)*/
 451   unsigned long int start; /* DWARF offset of the subprogram */
 452   unsigned long int end;   /* Dwarf offset of the next sibling */
 453 };
 454
 455 struct s_mc_function_index_item {
 456   void* low_pc, *high_pc;
 457   dw_frame_t function;
 458 };
 459
 460 void dw_type_free(dw_type_t t);
 461 void dw_variable_free(dw_variable_t v);
 462 void dw_variable_free_voidp(void *t);
 463
 464 void MC_dwarf_register_global_variable(mc_object_info_t info, dw_variable_t variable);
 465 void MC_register_variable(mc_object_info_t info, dw_frame_t frame, dw_variable_t variable);
 466 void MC_dwarf_register_non_global_variable(mc_object_info_t info, dw_frame_t frame, dw_variable_t variable);
 467 void MC_dwarf_register_variable(mc_object_info_t info, dw_frame_t frame, dw_variable_t variable);
 468 void* MC_object_base_address(mc_object_info_t info);
 469
 470 /********************************** DWARF **********************************/
 471
 472 #define MC_EXPRESSION_STACK_SIZE 64
 473
 474 #define MC_EXPRESSION_OK 0
 475 #define MC_EXPRESSION_E_UNSUPPORTED_OPERATION 1
 476 #define MC_EXPRESSION_E_STACK_OVERFLOW 2
 477 #define MC_EXPRESSION_E_STACK_UNDERFLOW 3
 478 #define MC_EXPRESSION_E_MISSING_STACK_CONTEXT 4
 479 #define MC_EXPRESSION_E_MISSING_FRAME_BASE 5
 480
 481 typedef struct s_mc_expression_state {
 482   uintptr_t stack[MC_EXPRESSION_STACK_SIZE];
 483   size_t stack_size;
 484
 485   unw_cursor_t* cursor;
 486   void* frame_base;
 487   mc_snapshot_t snapshot;
 488 } s_mc_expression_state_t, *mc_expression_state_t;
 489
 490 int mc_dwarf_execute_expression(size_t n, const Dwarf_Op* ops, mc_expression_state_t state);
 491
 492 void* mc_find_frame_base(dw_frame_t frame, unw_cursor_t* unw_cursor);
 493
 494 /********************************** Miscellaneous **********************************/
 495
 496 typedef struct s_local_variable{
 497   char *frame;
 498   unsigned long ip;
 499   char *name;
 500   dw_type_t type;
 501   void *address;
 502   int region;
 503 }s_local_variable_t, *local_variable_t;
 504
 505 /********************************* Communications pattern ***************************/
 506
 507 typedef struct s_mc_comm_pattern{
 508   int num;
 509   smx_action_t comm;
 510   e_smx_comm_type_t type;
 511   int completed;
 512   unsigned long src_proc;
 513   unsigned long dst_proc;
 514   const char *src_host;
 515   const char *dst_host;
 516   char *rdv;
 517   size_t data_size;
 518   void *data;
 519   int matched_comm;
 520 }s_mc_comm_pattern_t, *mc_comm_pattern_t;
 521
 522 extern xbt_dynar_t communications_pattern;
 523
 524 void get_comm_pattern(xbt_dynar_t communications_pattern, smx_simcall_t request, int call);
 525
 526 /* *********** Sets *********** */
 527
 528 typedef struct s_mc_address_set *mc_address_set_t;
 529
 530 mc_address_set_t mc_address_set_new();
 531 void mc_address_set_free(mc_address_set_t* p);
 532 void mc_address_add(mc_address_set_t p, const void* value);
 533 bool mc_address_test(mc_address_set_t p, const void* value);
 534
 535 /* *********** Hash *********** */
 536
 537 /** \brief Hash the current state
 538  *  \param num_state number of states
 539  *  \param stacks stacks (mc_snapshot_stak_t) used fot the stack unwinding informations
 540  *  \result resulting hash
 541  * */
 542 uint64_t mc_hash_processes_state(int num_state, xbt_dynar_t stacks);
 543
 544 #endif
 545