Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
model-checker : separate informations for safety stateful/stateless and liveness...
[simgrid.git] / src / mc / mc_global.c
index 97e3e2a..68d6453 100644 (file)
+#include <unistd.h>
+#include <sys/types.h>
+#include <sys/wait.h>
+#include <sys/time.h>
+
 #include "../surf/surf_private.h"
 #include "../simix/private.h"
 #include "xbt/fifo.h"
 #include "private.h"
 
+
 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_global, mc,
-                               "Logging specific to MC (global)");
+                                "Logging specific to MC (global)");
 
 /* MC global data structures */
+
+mc_state_t mc_current_state = NULL;
+char mc_replay_mode = FALSE;
+double *mc_time = NULL;
 mc_snapshot_t initial_snapshot = NULL;
-xbt_fifo_t mc_stack = NULL;
-xbt_setset_t mc_setset = NULL;
+
+/* Safety */
+
+xbt_fifo_t mc_stack_safety_stateful = NULL;
+xbt_fifo_t mc_stack_safety_stateless = NULL;
 mc_stats_t mc_stats = NULL;
-char mc_replay_mode = FALSE;
+
+/* Liveness */
+
+xbt_fifo_t mc_stack_liveness_stateful = NULL;
+mc_stats_pair_t mc_stats_pair = NULL;
+xbt_fifo_t mc_stack_liveness_stateless = NULL;
+
 
 /**
  *  \brief Initialize the model-checker data structures
  */
-void MC_init(int method)
-{   
+void MC_init_safety_stateless(void)
+{
+
   /* Check if MC is already initialized */
-  if(initial_snapshot)
+  if (initial_snapshot)
     return;
-   
+
+  mc_time = xbt_new0(double, simix_process_maxpid);
+
   /* Initialize the data structures that must be persistent across every
      iteration of the model-checker (in RAW memory) */
   MC_SET_RAW_MEM;
-  
+
   /* Initialize statistics */
   mc_stats = xbt_new0(s_mc_stats_t, 1);
   mc_stats->state_size = 1;
+
+  /* Create exploration stack */
+  mc_stack_safety_stateless = xbt_fifo_new();
+
+  MC_UNSET_RAW_MEM;
+
+  MC_dpor_init();
+
+  MC_SET_RAW_MEM;
+  /* Save the initial state */
+  initial_snapshot = xbt_new0(s_mc_snapshot_t, 1);
+  MC_take_snapshot(initial_snapshot);
+  MC_UNSET_RAW_MEM;
+}
+
+void MC_init_safety_stateful(void){
+
   
+   /* Check if MC is already initialized */
+  if (initial_snapshot)
+    return;
+
+  mc_time = xbt_new0(double, simix_process_maxpid);
+
+  /* Initialize the data structures that must be persistent across every
+     iteration of the model-checker (in RAW memory) */
+  MC_SET_RAW_MEM;
+
+  /* Initialize statistics */
+  mc_stats = xbt_new0(s_mc_stats_t, 1);
+  mc_stats->state_size = 1;
+
   /* Create exploration stack */
-  mc_stack = xbt_fifo_new();
+  mc_stack_safety_stateful = xbt_fifo_new();
+
+  MC_UNSET_RAW_MEM;
+
+  MC_dpor_stateful_init();
+
+
+}
+
+void MC_init_liveness_stateful(xbt_automaton_t a){
 
-  /* Create the container for the sets */
-  mc_setset = xbt_setset_new(20);
+  XBT_DEBUG("Start init mc");
   
-  switch(method){
-    case 0:
-      MC_dfs_init();
-      break;
-    case 1:
-      MC_dpor_init();
-      break;
-    default:
-      break;
-  }
+  mc_time = xbt_new0(double, simix_process_maxpid);
+
+  /* Initialize the data structures that must be persistent across every
+     iteration of the model-checker (in RAW memory) */
+
+  MC_SET_RAW_MEM;
+
+  /* Initialize statistics */
+  mc_stats_pair = xbt_new0(s_mc_stats_pair_t, 1);
+  mc_stats = xbt_new0(s_mc_stats_t, 1);
+
+  XBT_DEBUG("Creating snapshot_stack");
+
+ /* Create exploration stack */
+  mc_stack_liveness_stateful = xbt_fifo_new();
+
+
+  MC_UNSET_RAW_MEM;
+
+  //MC_vddfs_stateful_init(a);
+  MC_ddfs_stateful_init(a);
+  //MC_dpor2_init(a);
+  //MC_dpor3_init(a);
+}
+
+void MC_init_liveness_stateless(xbt_automaton_t a){
+
+  XBT_DEBUG("Start init mc");
   
-  /* Save the initial state */
+  mc_time = xbt_new0(double, simix_process_maxpid);
+
+  /* Initialize the data structures that must be persistent across every
+     iteration of the model-checker (in RAW memory) */
+
   MC_SET_RAW_MEM;
-  initial_snapshot = xbt_new(s_mc_snapshot_t,1);       
-  MC_take_snapshot(initial_snapshot);
+
+  /* Initialize statistics */
+  mc_stats_pair = xbt_new0(s_mc_stats_pair_t, 1);
+
+  XBT_DEBUG("Creating snapshot_stack");
+
+ /* Create exploration stack */
+  mc_stack_liveness_stateless = xbt_fifo_new();
+
   MC_UNSET_RAW_MEM;
+
+  MC_ddfs_stateless_init(a);
 }
 
-void MC_modelcheck(int method){
 
-  MC_init(method);
+void MC_modelcheck(void)
+{
+  MC_init_safety_stateless();
+  MC_dpor();
+  MC_exit();
+}
+
+void MC_modelcheck_stateful(void)
+{
+  MC_init_safety_stateful();
+  MC_dpor_stateful();
+  MC_exit();
+}
+
+void MC_modelcheck_liveness_stateful(xbt_automaton_t a){
+  MC_init_liveness_stateful(a);
+  MC_exit_liveness();
+}
+
+void MC_modelcheck_liveness_stateless(xbt_automaton_t a){
+  MC_init_liveness_stateless(a);
+  MC_exit_liveness();
+}
+
+void MC_exit_liveness(void)
+{
+  MC_print_statistics_pairs(mc_stats_pair);
+  xbt_free(mc_time);
+  MC_memory_exit();
+}
+
+
+void MC_exit(void)
+{
+  MC_print_statistics(mc_stats);
+  xbt_free(mc_time);
+  MC_memory_exit();
+}
+
 
-  switch(method){
-    case 0:
-      MC_dfs();
-      break;
-    case 1:
-      MC_dpor();
-      break;
-    default:
-      break;
+int MC_random(int min, int max)
+{
+  /*FIXME: return mc_current_state->executed_transition->random.value;*/
+  return 0;
+}
+
+/**
+ * \brief Schedules all the process that are ready to run
+ */
+void MC_wait_for_requests(void)
+{
+  smx_process_t process;
+  smx_req_t req;
+  unsigned int iter;
+
+  while (xbt_dynar_length(simix_global->process_to_run)) {
+    SIMIX_process_runall();
+    xbt_dynar_foreach(simix_global->process_that_ran, iter, process) {
+      req = &process->request;
+      if (req->call != REQ_NO_REQ && !MC_request_is_visible(req))
+          SIMIX_request_pre(req, 0);
+    }
   }
 }
 
+int MC_deadlock_check()
+{
+  int deadlock = FALSE;
+  smx_process_t process;
+  if(xbt_swag_size(simix_global->process_list)){
+    deadlock = TRUE;
+    xbt_swag_foreach(process, simix_global->process_list){
+      if(process->request.call != REQ_NO_REQ
+         && MC_request_is_enabled(&process->request)){
+        deadlock = FALSE;
+        break;
+      }
+    }
+  }
+  return deadlock;
+}
 
 /**
  * \brief Re-executes from the initial state all the transitions indicated by
@@ -78,42 +236,49 @@ void MC_modelcheck(int method){
 */
 void MC_replay(xbt_fifo_t stack)
 {
+  int value;
+  char *req_str;
+  smx_req_t req = NULL, saved_req = NULL;
   xbt_fifo_item_t item;
   mc_state_t state;
-  mc_transition_t trans;
 
-  DEBUG0("**** Begin Replay ****");
+  XBT_DEBUG("**** Begin Replay ****");
 
   /* Restore the initial state */
   MC_restore_snapshot(initial_snapshot);
-
-  mc_replay_mode = TRUE;
-  
+  /* At the moment of taking the snapshot the raw heap was set, so restoring
+   * it will set it back again, we have to unset it to continue  */
   MC_UNSET_RAW_MEM;
 
   /* Traverse the stack from the initial state and re-execute the transitions */
-  for(item = xbt_fifo_get_last_item(stack);
-      item != xbt_fifo_get_first_item(stack);
-      item = xbt_fifo_get_prev_item(item)){
+  for (item = xbt_fifo_get_last_item(stack);
+       item != xbt_fifo_get_first_item(stack);
+       item = xbt_fifo_get_prev_item(item)) {
 
     state = (mc_state_t) xbt_fifo_get_item_content(item);
-    trans = state->executed_transition;
-
+    saved_req = MC_state_get_executed_request(state, &value);
+   
+    if(saved_req){
+      /* because we got a copy of the executed request, we have to fetch the  
+         real one, pointed by the request field of the issuer process */
+      req = &saved_req->issuer->request;
+
+      /* Debug information */
+      if(XBT_LOG_ISENABLED(mc_global, xbt_log_priority_debug)){
+        req_str = MC_request_to_string(req, value);
+        XBT_DEBUG("Replay: %s (%p)", req_str, state);
+        xbt_free(req_str);
+      }
+    }
+         
+    SIMIX_request_pre(req, value);
+    MC_wait_for_requests();
+         
     /* Update statistics */
     mc_stats->visited_states++;
     mc_stats->executed_transitions++;
-
-    DEBUG1("Executing transition %s", trans->name);
-    SIMIX_process_schedule(trans->process);
-
-    /* Do all surf's related black magic tricks to keep all working */
-    MC_execute_surf_actions();
-
-    /* Schedule every process that got enabled due to the executed transition */
-    MC_schedule_enabled_processes();
   }
-  mc_replay_mode = FALSE;
-  DEBUG0("**** End Replay ****");
+  XBT_DEBUG("**** End Replay ****");
 }
 
 /**
@@ -121,167 +286,241 @@ void MC_replay(xbt_fifo_t stack)
  *        execution trace
  * \param stack The stack to dump
 */
-void MC_dump_stack(xbt_fifo_t stack)
+void MC_dump_stack_safety_stateless(xbt_fifo_t stack)
 {
   mc_state_t state;
-  mc_transition_t trans;
+
+  MC_show_stack_safety_stateless(stack);
 
   MC_SET_RAW_MEM;
-  while( (state = (mc_state_t)xbt_fifo_pop(stack)) != NULL ){
-    trans = state->executed_transition;
-    if(trans)
-      INFO1("%s", trans->name);
-    
+  while ((state = (mc_state_t) xbt_fifo_pop(stack)) != NULL)
     MC_state_delete(state);
-  }
   MC_UNSET_RAW_MEM;
 }
 
-void MC_show_stack(xbt_fifo_t stack)
+
+void MC_show_stack_safety_stateless(xbt_fifo_t stack)
 {
+  int value;
   mc_state_t state;
-  mc_transition_t trans;
   xbt_fifo_item_t item;
-
-  INFO0("===========================");
-  for(item=xbt_fifo_get_last_item(stack);
-     (item?(state=(mc_state_t)(xbt_fifo_get_item_content(item))):(NULL));             \
-      item=xbt_fifo_get_prev_item(item)){
-    trans = state->executed_transition;
-    if(trans){      
-      INFO1("%s", trans->name);  
+  smx_req_t req;
+  char *req_str = NULL;
+  
+  for (item = xbt_fifo_get_last_item(stack);
+       (item ? (state = (mc_state_t) (xbt_fifo_get_item_content(item)))
+        : (NULL)); item = xbt_fifo_get_prev_item(item)) {
+    req = MC_state_get_executed_request(state, &value);
+    if(req){
+      req_str = MC_request_to_string(req, value);
+      XBT_INFO("%s", req_str);
+      xbt_free(req_str);
     }
   }
 }
 
+void MC_show_deadlock(smx_req_t req)
+{
+  /*char *req_str = NULL;*/
+  XBT_INFO("**************************");
+  XBT_INFO("*** DEAD-LOCK DETECTED ***");
+  XBT_INFO("**************************");
+  XBT_INFO("Locked request:");
+  /*req_str = MC_request_to_string(req);
+  XBT_INFO("%s", req_str);
+  xbt_free(req_str);*/
+  XBT_INFO("Counter-example execution trace:");
+  MC_dump_stack_safety_stateless(mc_stack_safety_stateless);
+}
 
-/**
- * \brief Schedules all the process that are ready to run
- *        As a side effect it performs some clean-up required by SIMIX 
- */
-void MC_schedule_enabled_processes(void)
+void MC_show_deadlock_stateful(smx_req_t req)
 {
-  smx_process_t process;
+  /*char *req_str = NULL;*/
+  XBT_INFO("**************************");
+  XBT_INFO("*** DEAD-LOCK DETECTED ***");
+  XBT_INFO("**************************");
+  XBT_INFO("Locked request:");
+  /*req_str = MC_request_to_string(req);
+  XBT_INFO("%s", req_str);
+  xbt_free(req_str);*/
+  XBT_INFO("Counter-example execution trace:");
+  MC_show_stack_safety_stateful(mc_stack_safety_stateful);
+}
+
+void MC_dump_stack_safety_stateful(xbt_fifo_t stack)
+{
+  //mc_state_ws_t state;
 
-  //SIMIX_process_empty_trash();
+  MC_show_stack_safety_stateful(stack);
 
-  /* Schedule every process that is ready to run due to an finished action */
-  while ((process = xbt_swag_extract(simix_global->process_to_run))) {
-    DEBUG2("Scheduling %s on %s", process->name, process->smx_host->name);
-    SIMIX_process_schedule(process);
-  }
+  /*MC_SET_RAW_MEM;
+  while ((state = (mc_state_t) xbt_fifo_pop(stack)) != NULL)
+    MC_state_delete(state);
+    MC_UNSET_RAW_MEM;*/
 }
 
-/******************************** States **************************************/
 
-/**
- * \brief Creates a state data structure used by the exploration algorithm
- */
-mc_state_t MC_state_new(void)
+void MC_show_stack_safety_stateful(xbt_fifo_t stack)
 {
-  mc_state_t state = NULL; 
-  
-  state = xbt_new0(s_mc_state_t, 1);
-  state->transitions = xbt_setset_new_set(mc_setset);
-  state->enabled_transitions = xbt_setset_new_set(mc_setset);
-  state->interleave = xbt_setset_new_set(mc_setset);
-  state->done = xbt_setset_new_set(mc_setset);
-  state->executed_transition = NULL;
-
-  mc_stats->expanded_states++;
+  int value;
+  mc_state_ws_t state;
+  xbt_fifo_item_t item;
+  smx_req_t req;
+  char *req_str = NULL;
   
-  return state;
+  for (item = xbt_fifo_get_last_item(stack);
+       (item ? (state = (mc_state_ws_t) (xbt_fifo_get_item_content(item)))
+        : (NULL)); item = xbt_fifo_get_prev_item(item)) {
+    req = MC_state_get_executed_request(state->graph_state, &value);
+    if(req){
+      req_str = MC_request_to_string(req, value);
+      XBT_INFO("%s", req_str);
+      xbt_free(req_str);
+    }
+  }
 }
-/**
- * \brief Deletes a state data structure
- * \param trans The state to be deleted
- */
-void MC_state_delete(mc_state_t state)
-{
-  /*if(state->executed_transition)
-    MC_transition_delete(state->executed_transition);*/
-  xbt_setset_destroy_set(state->transitions);
-  xbt_setset_destroy_set(state->enabled_transitions);
-  xbt_setset_destroy_set(state->interleave);
-  xbt_setset_destroy_set(state->done);
 
-  xbt_free(state);
+void MC_show_stack_liveness_stateful(xbt_fifo_t stack){
+  int value;
+  mc_pair_t pair;
+  xbt_fifo_item_t item;
+  smx_req_t req;
+  char *req_str = NULL;
+  
+  for (item = xbt_fifo_get_last_item(stack);
+       (item ? (pair = (mc_pair_t) (xbt_fifo_get_item_content(item)))
+        : (NULL)); item = xbt_fifo_get_prev_item(item)) {
+    req = MC_state_get_executed_request(pair->graph_state, &value);
+    if(req){
+      req_str = MC_request_to_string(req, value);
+      XBT_INFO("%s", req_str);
+      xbt_free(req_str);
+    }
+  }
 }
 
-/************************** SURF Emulation ************************************/
+void MC_dump_stack_liveness_stateful(xbt_fifo_t stack){
+  mc_pair_t pair;
 
-/* Dirty hack, we manipulate surf's clock to simplify the integration of the
-   model-checker */
-extern double NOW;
+  MC_SET_RAW_MEM;
+  while ((pair = (mc_pair_t) xbt_fifo_pop(stack)) != NULL)
+    MC_pair_delete(pair);
+  MC_UNSET_RAW_MEM;
+}
 
-/**
- * \brief Executes all the actions at every model
- */
-void MC_execute_surf_actions(void)
-{
-  unsigned int iter;
-  surf_action_t action = NULL;
-  surf_model_t model = NULL;
-  smx_action_t smx_action = NULL;
-
-  /* Execute all the actions in every model */
-  xbt_dynar_foreach(model_list, iter, model){
-    while ((action = xbt_swag_extract(model->states.running_action_set))){
-      /* FIXME: timeouts are not calculated correctly */
-      if(NOW >= action->max_duration){ 
-        surf_action_state_set(action, SURF_ACTION_DONE);
-        smx_action = action->data;
-        DEBUG5("Resource [%s] (%d): Executing RUNNING action \"%s\" (%p) MaxDuration %lf", 
-          model->name, xbt_swag_size(model->states.running_action_set),
-          smx_action->name, smx_action, action->max_duration);
-
-        /* Copy the transfered data of the completed network actions */              
-        /* FIXME: be carefull it might not be an action of the network model */
-        if(smx_action && smx_action->data != NULL)
-          SIMIX_network_copy_data((smx_comm_t)smx_action->data);
-
-        if(smx_action)
-          SIMIX_action_signal_all(smx_action);
-      }
-    }
-    /*FIXME: check if this is always empty or not */
-    while ((action = xbt_swag_extract(model->states.failed_action_set))) {
-      smx_action = action->data;
-      DEBUG4("Resource [%s] (%d): Executing FAILED action \"%s\" (%p)", 
-        model->name, xbt_swag_size(model->states.running_action_set),
-        smx_action->name, smx_action);
-      if (smx_action)
-       SIMIX_action_signal_all(smx_action);
+void MC_show_stack_liveness_stateless(xbt_fifo_t stack){
+  int value;
+  mc_pair_stateless_t pair;
+  xbt_fifo_item_t item;
+  smx_req_t req;
+  char *req_str = NULL;
+  
+  for (item = xbt_fifo_get_last_item(stack);
+       (item ? (pair = (mc_pair_stateless_t) (xbt_fifo_get_item_content(item)))
+        : (NULL)); item = xbt_fifo_get_prev_item(item)) {
+    req = MC_state_get_executed_request(pair->graph_state, &value);
+    if(req){
+      req_str = MC_request_to_string(req, value);
+      XBT_INFO("%s", req_str);
+      xbt_free(req_str);
     }
   }
-  /* That's it, now go one step deeper into the model-checking process! */
-  NOW += 0.5;  /* FIXME: Check time increases*/
 }
 
-/****************************** Statistics ************************************/
+void MC_dump_stack_liveness_stateless(xbt_fifo_t stack){
+  mc_pair_stateless_t pair;
+
+  MC_SET_RAW_MEM;
+  while ((pair = (mc_pair_stateless_t) xbt_fifo_pop(stack)) != NULL)
+    MC_pair_stateless_delete(pair);
+  MC_UNSET_RAW_MEM;
+}
+
+
 void MC_print_statistics(mc_stats_t stats)
 {
-  INFO1("State space size ~= %lu", stats->state_size);
-  INFO1("Expanded states = %lu", stats->expanded_states);
-  INFO1("Visited states = %lu", stats->visited_states);
-  INFO1("Executed transitions = %lu", stats->executed_transitions);
-  INFO1("Expanded / Visited = %lf",
-    (double)stats->visited_states / stats->expanded_states);
-  /*INFO1("Exploration coverage = %lf", 
-    (double)stats->expanded_states / stats->state_size);*/
+  XBT_INFO("State space size ~= %lu", stats->state_size);
+  XBT_INFO("Expanded states = %lu", stats->expanded_states);
+  XBT_INFO("Visited states = %lu", stats->visited_states);
+  XBT_INFO("Executed transitions = %lu", stats->executed_transitions);
+  XBT_INFO("Expanded / Visited = %lf",
+        (double) stats->visited_states / stats->expanded_states);
+  /*XBT_INFO("Exploration coverage = %lf",
+     (double)stats->expanded_states / stats->state_size); */
+}
+
+void MC_print_statistics_pairs(mc_stats_pair_t stats)
+{
+  XBT_INFO("Expanded pairs = %lu", stats->expanded_pairs);
+  XBT_INFO("Visited pairs = %lu", stats->visited_pairs);
+  //XBT_INFO("Executed transitions = %lu", stats->executed_transitions);
+  XBT_INFO("Expanded / Visited = %lf",
+        (double) stats->visited_pairs / stats->expanded_pairs);
+  /*XBT_INFO("Exploration coverage = %lf",
+     (double)stats->expanded_states / stats->state_size); */
 }
 
-/************************* Assertion Checking *********************************/
 void MC_assert(int prop)
 {
-  if(!prop){
-    INFO0("**************************");
-    INFO0("*** PROPERTY NOT VALID ***");
-    INFO0("**************************");
-    INFO0("Counter-example execution trace:");
-    MC_dump_stack(mc_stack);
+  if (MC_IS_ENABLED && !prop) {
+    XBT_INFO("**************************");
+    XBT_INFO("*** PROPERTY NOT VALID ***");
+    XBT_INFO("**************************");
+    XBT_INFO("Counter-example execution trace:");
+    MC_dump_stack_safety_stateless(mc_stack_safety_stateless);
+    MC_print_statistics(mc_stats);
+    xbt_abort();
+  }
+}
+
+void MC_assert_stateful(int prop)
+{
+  if (MC_IS_ENABLED && !prop) {
+    XBT_INFO("**************************");
+    XBT_INFO("*** PROPERTY NOT VALID ***");
+    XBT_INFO("**************************");
+    XBT_INFO("Counter-example execution trace:");
+    MC_dump_stack_safety_stateful(mc_stack_safety_stateful);
     MC_print_statistics(mc_stats);
     xbt_abort();
   }
 }
 
+void MC_assert_pair_stateful(int prop){
+  if (MC_IS_ENABLED && !prop) {
+    XBT_INFO("**************************");
+    XBT_INFO("*** PROPERTY NOT VALID ***");
+    XBT_INFO("**************************");
+    //XBT_INFO("Counter-example execution trace:");
+    MC_show_stack_liveness_stateful(mc_stack_liveness_stateful);
+    //MC_dump_snapshot_stack(mc_snapshot_stack);
+    MC_print_statistics_pairs(mc_stats_pair);
+    xbt_abort();
+  }
+}
+
+void MC_assert_pair_stateless(int prop){
+  if (MC_IS_ENABLED && !prop) {
+    XBT_INFO("**************************");
+    XBT_INFO("*** PROPERTY NOT VALID ***");
+    XBT_INFO("**************************");
+    //XBT_INFO("Counter-example execution trace:");
+    MC_show_stack_liveness_stateless(mc_stack_liveness_stateless);
+    //MC_dump_snapshot_stack(mc_snapshot_stack);
+    MC_print_statistics_pairs(mc_stats_pair);
+    xbt_abort();
+  }
+}
+
+void MC_process_clock_add(smx_process_t process, double amount)
+{
+  mc_time[process->pid] += amount;
+}
+
+double MC_process_clock_get(smx_process_t process)
+{
+  if(mc_time)
+    return mc_time[process->pid];
+  else
+    return 0;
+}