Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
[mc] Replace the override word with MC_OVERRIDE
[simgrid.git] / src / mc / mc_global.cpp
1 /* Copyright (c) 2008-2014. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 #include <cinttypes>
8
9 #include <assert.h>
10 #include <string.h>
11 #include <stdint.h>
12
13 #include "mc_base.h"
14
15 #ifndef _XBT_WIN32
16 #include <unistd.h>
17 #include <sys/wait.h>
18 #include <sys/time.h>
19 #endif
20
21 #include "simgrid/sg_config.h"
22 #include "../surf/surf_private.h"
23 #include "../simix/smx_private.h"
24 #include "xbt/fifo.h"
25 #include "xbt/automaton.h"
26 #include "xbt/dict.h"
27 #include "mc_record.h"
28
29 #ifdef HAVE_MC
30 #include "mc_server.h"
31 #include <libunwind.h>
32 #include <xbt/mmalloc.h>
33 #include "../xbt/mmalloc/mmprivate.h"
34 #include "mc_object_info.h"
35 #include "mc_comm_pattern.h"
36 #include "mc_request.h"
37 #include "mc_safety.h"
38 #include "mc_memory_map.h"
39 #include "mc_snapshot.h"
40 #include "mc_liveness.h"
41 #include "mc_private.h"
42 #include "mc_unw.h"
43 #include "mc_smx.h"
44 #include "mcer_ignore.h"
45 #endif
46 #include "mc_record.h"
47 #include "mc_protocol.h"
48 #include "mc_client.h"
49
50 extern "C" {
51
52 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_global, mc,
53                                 "Logging specific to MC (global)");
54
55 e_mc_mode_t mc_mode;
56
57 double *mc_time = NULL;
58
59 #ifdef HAVE_MC
60 int user_max_depth_reached = 0;
61
62 /* MC global data structures */
63 mc_state_t mc_current_state = NULL;
64 char mc_replay_mode = FALSE;
65
66 __thread mc_comparison_times_t mc_comp_times = NULL;
67 __thread double mc_snapshot_comparison_time;
68 mc_stats_t mc_stats = NULL;
69 mc_global_t initial_global_state = NULL;
70 xbt_fifo_t mc_stack = NULL;
71
72 /* Liveness */
73 xbt_automaton_t _mc_property_automaton = NULL;
74
75 /* Dot output */
76 FILE *dot_output = NULL;
77 const char *colors[13];
78
79
80 /*******************************  Initialisation of MC *******************************/
81 /*********************************************************************************/
82
83 static void MC_init_dot_output()
84 {                               /* FIXME : more colors */
85
86   colors[0] = "blue";
87   colors[1] = "red";
88   colors[2] = "green3";
89   colors[3] = "goldenrod";
90   colors[4] = "brown";
91   colors[5] = "purple";
92   colors[6] = "magenta";
93   colors[7] = "turquoise4";
94   colors[8] = "gray25";
95   colors[9] = "forestgreen";
96   colors[10] = "hotpink";
97   colors[11] = "lightblue";
98   colors[12] = "tan";
99
100   dot_output = fopen(_sg_mc_dot_output_file, "w");
101
102   if (dot_output == NULL) {
103     perror("Error open dot output file");
104     xbt_abort();
105   }
106
107   fprintf(dot_output,
108           "digraph graphname{\n fixedsize=true; rankdir=TB; ranksep=.25; edge [fontsize=12]; node [fontsize=10, shape=circle,width=.5 ]; graph [resolution=20, fontsize=10];\n");
109
110 }
111
112 #ifdef HAVE_MC
113 void MC_init()
114 {
115   mc_time = xbt_new0(double, simix_process_maxpid);
116
117   if (_sg_mc_visited > 0 || _sg_mc_liveness  || _sg_mc_termination || mc_mode == MC_MODE_SERVER) {
118     /* Those requests are handled on the client side and propagated by message
119      * to the server: */
120
121     MC_ignore_heap(mc_time, simix_process_maxpid * sizeof(double));
122
123     smx_process_t process;
124     xbt_swag_foreach(process, simix_global->process_list) {
125       MC_ignore_heap(&(process->process_hookup), sizeof(process->process_hookup));
126     }
127   }
128 }
129
130 void MC_init_model_checker(pid_t pid, int socket)
131 {
132   mc_model_checker = new simgrid::mc::ModelChecker(pid, socket);
133
134   mc_comp_times = xbt_new0(s_mc_comparison_times_t, 1);
135
136   /* Initialize statistics */
137   mc_stats = xbt_new0(s_mc_stats_t, 1);
138   mc_stats->state_size = 1;
139
140   if ((_sg_mc_dot_output_file != NULL) && (_sg_mc_dot_output_file[0] != '\0'))
141     MC_init_dot_output();
142
143   /* Init parmap */
144   //parmap = xbt_parmap_mc_new(xbt_os_get_numcores(), XBT_PARMAP_DEFAULT);
145
146   /* Ignore some variables from xbt/ex.h used by exception e for stacks comparison */
147   MC_ignore_local_variable("e", "*");
148   MC_ignore_local_variable("__ex_cleanup", "*");
149   MC_ignore_local_variable("__ex_mctx_en", "*");
150   MC_ignore_local_variable("__ex_mctx_me", "*");
151   MC_ignore_local_variable("__xbt_ex_ctx_ptr", "*");
152   MC_ignore_local_variable("_log_ev", "*");
153   MC_ignore_local_variable("_throw_ctx", "*");
154   MC_ignore_local_variable("ctx", "*");
155
156   MC_ignore_local_variable("self", "simcall_BODY_mc_snapshot");
157   MC_ignore_local_variable("next_cont"
158     "ext", "smx_ctx_sysv_suspend_serial");
159   MC_ignore_local_variable("i", "smx_ctx_sysv_suspend_serial");
160
161   /* Ignore local variable about time used for tracing */
162   MC_ignore_local_variable("start_time", "*");
163
164   /* Static variable used for tracing */
165   MCer_ignore_global_variable("counter");
166
167   /* SIMIX */
168   MCer_ignore_global_variable("smx_total_comms");
169 }
170 #endif
171
172 /*******************************  Core of MC *******************************/
173 /**************************************************************************/
174
175 void MC_run()
176 {
177   mc_mode = MC_MODE_CLIENT;
178   MC_init();
179   MC_client_main_loop();
180 }
181
182 void MC_exit(void)
183 {
184   xbt_free(mc_time);
185
186   MC_memory_exit();
187   //xbt_abort();
188 }
189
190 #ifdef HAVE_MC
191 int MC_deadlock_check()
192 {
193   if (mc_mode == MC_MODE_SERVER) {
194     int res;
195     if ((res = MC_protocol_send_simple_message(mc_model_checker->process().socket,
196       MC_MESSAGE_DEADLOCK_CHECK)))
197       xbt_die("Could not check deadlock state");
198     s_mc_int_message_t message;
199     ssize_t s = MC_receive_message(mc_model_checker->process().socket, &message, sizeof(message), 0);
200     if (s == -1)
201       xbt_die("Could not receive message");
202     else if (s != sizeof(message) || message.type != MC_MESSAGE_DEADLOCK_CHECK_REPLY) {
203       xbt_die("%s received unexpected message %s (%i, size=%i) "
204         "expected MC_MESSAGE_DEADLOCK_CHECK_REPLY (%i, size=%i)",
205         MC_mode_name(mc_mode),
206         MC_message_type_name(message.type), (int) message.type, (int) s,
207         (int) MC_MESSAGE_DEADLOCK_CHECK_REPLY, (int) sizeof(message)
208         );
209     }
210     else
211       return message.value;
212   }
213
214   int deadlock = FALSE;
215   smx_process_t process;
216   if (xbt_swag_size(simix_global->process_list)) {
217     deadlock = TRUE;
218     xbt_swag_foreach(process, simix_global->process_list) {
219       if (MC_process_is_enabled(process)) {
220         deadlock = FALSE;
221         break;
222       }
223     }
224   }
225   return deadlock;
226 }
227 #endif
228
229 /**
230  * \brief Re-executes from the state at position start all the transitions indicated by
231  *        a given model-checker stack.
232  * \param stack The stack with the transitions to execute.
233  * \param start Start index to begin the re-execution.
234  */
235 void MC_replay(xbt_fifo_t stack)
236 {
237   int value, count = 1;
238   char *req_str;
239   smx_simcall_t req = NULL, saved_req = NULL;
240   xbt_fifo_item_t item, start_item;
241   mc_state_t state;
242   
243   XBT_DEBUG("**** Begin Replay ****");
244
245   /* Intermediate backtracking */
246   if(_sg_mc_checkpoint > 0 || _sg_mc_termination || _sg_mc_visited > 0) {
247     start_item = xbt_fifo_get_first_item(stack);
248     state = (mc_state_t)xbt_fifo_get_item_content(start_item);
249     if(state->system_state){
250       MC_restore_snapshot(state->system_state);
251       if(_sg_mc_comms_determinism || _sg_mc_send_determinism) 
252         MC_restore_communications_pattern(state);
253       return;
254     }
255   }
256
257
258   /* Restore the initial state */
259   MC_restore_snapshot(initial_global_state->snapshot);
260   /* At the moment of taking the snapshot the raw heap was set, so restoring
261    * it will set it back again, we have to unset it to continue  */
262
263   start_item = xbt_fifo_get_last_item(stack);
264
265   if (_sg_mc_comms_determinism || _sg_mc_send_determinism) {
266     // int n = xbt_dynar_length(incomplete_communications_pattern);
267     unsigned n = MC_smx_get_maxpid();
268     assert(n == xbt_dynar_length(incomplete_communications_pattern));
269     assert(n == xbt_dynar_length(initial_communications_pattern));
270     for (unsigned j=0; j < n ; j++) {
271       xbt_dynar_reset((xbt_dynar_t)xbt_dynar_get_as(incomplete_communications_pattern, j, xbt_dynar_t));
272       xbt_dynar_get_as(initial_communications_pattern, j, mc_list_comm_pattern_t)->index_comm = 0;
273     }
274   }
275
276   /* Traverse the stack from the state at position start and re-execute the transitions */
277   for (item = start_item;
278        item != xbt_fifo_get_first_item(stack);
279        item = xbt_fifo_get_prev_item(item)) {
280
281     state = (mc_state_t) xbt_fifo_get_item_content(item);
282     saved_req = MC_state_get_executed_request(state, &value);
283     
284     if (saved_req) {
285       /* because we got a copy of the executed request, we have to fetch the  
286          real one, pointed by the request field of the issuer process */
287
288       const smx_process_t issuer = MC_smx_simcall_get_issuer(saved_req);
289       req = &issuer->simcall;
290
291       /* Debug information */
292       if (XBT_LOG_ISENABLED(mc_global, xbt_log_priority_debug)) {
293         req_str = MC_request_to_string(req, value, MC_REQUEST_SIMIX);
294         XBT_DEBUG("Replay: %s (%p)", req_str, state);
295         xbt_free(req_str);
296       }
297
298       /* TODO : handle test and testany simcalls */
299       e_mc_call_type_t call = MC_CALL_TYPE_NONE;
300       if (_sg_mc_comms_determinism || _sg_mc_send_determinism)
301         call = MC_get_call_type(req);
302
303       MC_simcall_handle(req, value);
304
305       if (_sg_mc_comms_determinism || _sg_mc_send_determinism)
306         MC_handle_comm_pattern(call, req, value, NULL, 1);
307
308       MC_wait_for_requests();
309
310       count++;
311     }
312
313     /* Update statistics */
314     mc_stats->visited_states++;
315     mc_stats->executed_transitions++;
316
317   }
318
319   XBT_DEBUG("**** End Replay ****");
320 }
321
322 void MC_replay_liveness(xbt_fifo_t stack)
323 {
324   xbt_fifo_item_t item;
325   mc_pair_t pair = NULL;
326   mc_state_t state = NULL;
327   smx_simcall_t req = NULL, saved_req = NULL;
328   int value, depth = 1;
329   char *req_str;
330
331   XBT_DEBUG("**** Begin Replay ****");
332
333   /* Intermediate backtracking */
334   if(_sg_mc_checkpoint > 0) {
335     item = xbt_fifo_get_first_item(stack);
336     pair = (mc_pair_t) xbt_fifo_get_item_content(item);
337     if(pair->graph_state->system_state){
338       MC_restore_snapshot(pair->graph_state->system_state);
339       return;
340     }
341   }
342
343   /* Restore the initial state */
344   MC_restore_snapshot(initial_global_state->snapshot);
345
346     /* Traverse the stack from the initial state and re-execute the transitions */
347     for (item = xbt_fifo_get_last_item(stack);
348          item != xbt_fifo_get_first_item(stack);
349          item = xbt_fifo_get_prev_item(item)) {
350
351       pair = (mc_pair_t) xbt_fifo_get_item_content(item);
352
353       state = (mc_state_t) pair->graph_state;
354
355       if (pair->exploration_started) {
356
357         saved_req = MC_state_get_executed_request(state, &value);
358
359         if (saved_req != NULL) {
360           /* because we got a copy of the executed request, we have to fetch the
361              real one, pointed by the request field of the issuer process */
362           const smx_process_t issuer = MC_smx_simcall_get_issuer(saved_req);
363           req = &issuer->simcall;
364
365           /* Debug information */
366           if (XBT_LOG_ISENABLED(mc_global, xbt_log_priority_debug)) {
367             req_str = MC_request_to_string(req, value, MC_REQUEST_SIMIX);
368             XBT_DEBUG("Replay (depth = %d) : %s (%p)", depth, req_str, state);
369             xbt_free(req_str);
370           }
371
372         }
373
374         MC_simcall_handle(req, value);
375         MC_wait_for_requests();
376       }
377
378       /* Update statistics */
379       mc_stats->visited_pairs++;
380       mc_stats->executed_transitions++;
381
382       depth++;
383       
384     }
385
386   XBT_DEBUG("**** End Replay ****");
387 }
388
389 /**
390  * \brief Dumps the contents of a model-checker's stack and shows the actual
391  *        execution trace
392  * \param stack The stack to dump
393  */
394 void MC_dump_stack_safety(xbt_fifo_t stack)
395 {
396   MC_show_stack_safety(stack);
397   
398   mc_state_t state;
399
400   while ((state = (mc_state_t) xbt_fifo_pop(stack)) != NULL)
401     MC_state_delete(state, !state->in_visited_states ? 1 : 0);
402 }
403
404
405 void MC_show_stack_safety(xbt_fifo_t stack)
406 {
407   int value;
408   mc_state_t state;
409   xbt_fifo_item_t item;
410   smx_simcall_t req;
411   char *req_str = NULL;
412
413   for (item = xbt_fifo_get_last_item(stack);
414        item; item = xbt_fifo_get_prev_item(item)) {
415     state = (mc_state_t)xbt_fifo_get_item_content(item);
416     req = MC_state_get_executed_request(state, &value);
417     if (req) {
418       req_str = MC_request_to_string(req, value, MC_REQUEST_EXECUTED);
419       XBT_INFO("%s", req_str);
420       xbt_free(req_str);
421     }
422   }
423 }
424
425 void MC_show_deadlock(smx_simcall_t req)
426 {
427   /*char *req_str = NULL; */
428   XBT_INFO("**************************");
429   XBT_INFO("*** DEAD-LOCK DETECTED ***");
430   XBT_INFO("**************************");
431   XBT_INFO("Locked request:");
432   /*req_str = MC_request_to_string(req);
433      XBT_INFO("%s", req_str);
434      xbt_free(req_str); */
435   XBT_INFO("Counter-example execution trace:");
436   MC_dump_stack_safety(mc_stack);
437   MC_print_statistics(mc_stats);
438 }
439
440 void MC_show_non_termination(void){
441   XBT_INFO("******************************************");
442   XBT_INFO("*** NON-PROGRESSIVE CYCLE DETECTED ***");
443   XBT_INFO("******************************************");
444   XBT_INFO("Counter-example execution trace:");
445   MC_dump_stack_safety(mc_stack);
446   MC_print_statistics(mc_stats);
447 }
448
449
450 void MC_show_stack_liveness(xbt_fifo_t stack)
451 {
452   int value;
453   mc_pair_t pair;
454   xbt_fifo_item_t item;
455   smx_simcall_t req;
456   char *req_str = NULL;
457
458   for (item = xbt_fifo_get_last_item(stack);
459        item; item = xbt_fifo_get_prev_item(item)) {
460     pair = (mc_pair_t) xbt_fifo_get_item_content(item);
461     req = MC_state_get_executed_request(pair->graph_state, &value);
462     if (req && req->call != SIMCALL_NONE) {
463       req_str = MC_request_to_string(req, value, MC_REQUEST_EXECUTED);
464       XBT_INFO("%s", req_str);
465       xbt_free(req_str);
466     }
467   }
468 }
469
470
471 void MC_dump_stack_liveness(xbt_fifo_t stack)
472 {
473   mc_pair_t pair;
474   while ((pair = (mc_pair_t) xbt_fifo_pop(stack)) != NULL)
475     MC_pair_delete(pair);
476 }
477
478 void MC_print_statistics(mc_stats_t stats)
479 {
480   if(_sg_mc_comms_determinism) {
481     if (!initial_global_state->recv_deterministic && initial_global_state->send_deterministic){
482       XBT_INFO("******************************************************");
483       XBT_INFO("**** Only-send-deterministic communication pattern ****");
484       XBT_INFO("******************************************************");
485       XBT_INFO("%s", initial_global_state->recv_diff);
486     }else if(!initial_global_state->send_deterministic && initial_global_state->recv_deterministic) {
487       XBT_INFO("******************************************************");
488       XBT_INFO("**** Only-recv-deterministic communication pattern ****");
489       XBT_INFO("******************************************************");
490       XBT_INFO("%s", initial_global_state->send_diff);
491     }
492   }
493
494   if (stats->expanded_pairs == 0) {
495     XBT_INFO("Expanded states = %lu", stats->expanded_states);
496     XBT_INFO("Visited states = %lu", stats->visited_states);
497   } else {
498     XBT_INFO("Expanded pairs = %lu", stats->expanded_pairs);
499     XBT_INFO("Visited pairs = %lu", stats->visited_pairs);
500   }
501   XBT_INFO("Executed transitions = %lu", stats->executed_transitions);
502   if ((_sg_mc_dot_output_file != NULL) && (_sg_mc_dot_output_file[0] != '\0')) {
503     fprintf(dot_output, "}\n");
504     fclose(dot_output);
505   }
506   if (initial_global_state != NULL && (_sg_mc_comms_determinism || _sg_mc_send_determinism)) {
507     XBT_INFO("Send-deterministic : %s", !initial_global_state->send_deterministic ? "No" : "Yes");
508     if (_sg_mc_comms_determinism)
509       XBT_INFO("Recv-deterministic : %s", !initial_global_state->recv_deterministic ? "No" : "Yes");
510   }
511 }
512
513 void MC_automaton_load(const char *file)
514 {
515   if (_mc_property_automaton == NULL)
516     _mc_property_automaton = xbt_automaton_new();
517
518   xbt_automaton_load(_mc_property_automaton, file);
519 }
520
521 static void register_symbol(xbt_automaton_propositional_symbol_t symbol)
522 {
523   if (mc_mode != MC_MODE_CLIENT)
524     return;
525   s_mc_register_symbol_message_t message;
526   message.type = MC_MESSAGE_REGISTER_SYMBOL;
527   const char* name = xbt_automaton_propositional_symbol_get_name(symbol);
528   if (strlen(name) + 1 > sizeof(message.name))
529     xbt_die("Symbol is too long");
530   strncpy(message.name, name, sizeof(message.name));
531   message.callback = xbt_automaton_propositional_symbol_get_callback(symbol);
532   message.data = xbt_automaton_propositional_symbol_get_data(symbol);
533   MC_client_send_message(&message, sizeof(message));
534 }
535
536 void MC_automaton_new_propositional_symbol(const char *id, int(*fct)(void))
537 {
538   if (_mc_property_automaton == NULL)
539     _mc_property_automaton = xbt_automaton_new();
540
541   xbt_automaton_propositional_symbol_t symbol = xbt_automaton_propositional_symbol_new(_mc_property_automaton, id, fct);
542   register_symbol(symbol);
543 }
544
545 void MC_automaton_new_propositional_symbol_pointer(const char *id, int* value)
546 {
547   if (_mc_property_automaton == NULL)
548     _mc_property_automaton = xbt_automaton_new();
549   xbt_automaton_propositional_symbol_t symbol = xbt_automaton_propositional_symbol_new_pointer(_mc_property_automaton, id, value);
550   register_symbol(symbol);
551 }
552
553 void MC_automaton_new_propositional_symbol_callback(const char* id,
554   xbt_automaton_propositional_symbol_callback_type callback,
555   void* data, xbt_automaton_propositional_symbol_free_function_type free_function)
556 {
557   if (_mc_property_automaton == NULL)
558     _mc_property_automaton = xbt_automaton_new();
559   xbt_automaton_propositional_symbol_t symbol = xbt_automaton_propositional_symbol_new_callback(
560     _mc_property_automaton, id, callback, data, free_function);
561   register_symbol(symbol);
562 }
563
564 // TODO, fix cross-process access (this function is not used)
565 void MC_dump_stacks(FILE* file)
566 {
567   int nstack = 0;
568   stack_region_t current_stack;
569   unsigned cursor;
570   xbt_dynar_foreach(stacks_areas, cursor, current_stack) {
571     unw_context_t * context = (unw_context_t *)current_stack->context;
572     fprintf(file, "Stack %i:\n", nstack);
573
574     int nframe = 0;
575     char buffer[100];
576     unw_cursor_t c;
577     unw_init_local (&c, context);
578     unw_word_t off;
579     do {
580       const char * name = !unw_get_proc_name(&c, buffer, 100, &off) ? buffer : "?";
581 #if defined(__x86_64__)
582       unw_word_t rip = 0;
583       unw_word_t rsp = 0;
584       unw_get_reg(&c, UNW_X86_64_RIP, &rip);
585       unw_get_reg(&c, UNW_X86_64_RSP, &rsp);
586       fprintf(file, "  %i: %s (RIP=0x%" PRIx64 " RSP=0x%" PRIx64 ")\n",
587         nframe, name, rip, rsp);
588 #else
589       fprintf(file, "  %i: %s\n", nframe, name);
590 #endif
591       ++nframe;
592     } while(unw_step(&c));
593
594     ++nstack;
595   }
596 }
597 #endif
598
599 double MC_process_clock_get(smx_process_t process)
600 {
601   if (mc_time) {
602     if (process != NULL)
603       return mc_time[process->pid];
604     else
605       return -1;
606   } else {
607     return 0;
608   }
609 }
610
611 void MC_process_clock_add(smx_process_t process, double amount)
612 {
613   mc_time[process->pid] += amount;
614 }
615
616 #ifdef HAVE_MC
617 void MC_report_assertion_error(void)
618 {
619   XBT_INFO("**************************");
620   XBT_INFO("*** PROPERTY NOT VALID ***");
621   XBT_INFO("**************************");
622   XBT_INFO("Counter-example execution trace:");
623   MC_record_dump_path(mc_stack);
624   MC_dump_stack_safety(mc_stack);
625   MC_print_statistics(mc_stats);
626 }
627
628 void MC_invalidate_cache(void)
629 {
630   if (mc_model_checker)
631     mc_model_checker->process().cache_flags = 0;
632 }
633 #endif
634
635 }