src/mc/mc_compare.c

   1 /* Copyright (c) 2008-2012 Da SimGrid Team. All rights reserved.            */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #include "mc_private.h"
   7
   8 #include "xbt/mmalloc.h"
   9
  10 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mc_compare, mc,
  11                                 "Logging specific to mc_compare");
  12
  13 static int data_program_region_compare(void *d1, void *d2, size_t size);
  14 static int data_libsimgrid_region_compare(void *d1, void *d2, size_t size);
  15 static int heap_region_compare(void *d1, void *d2, size_t size);
  16
  17 static int compare_stack(stack_region_t s1, stack_region_t s2, void *sp1, void *sp2, void *heap1, void *heap2, xbt_dynar_t equals);
  18 static int is_heap_equality(xbt_dynar_t equals, void *a1, void *a2);
  19 static size_t heap_ignore_size(void *address);
  20
  21 static void stack_region_free(stack_region_t s);
  22 static void heap_equality_free(heap_equality_t e);
  23
  24 static int is_stack_ignore_variable(char *frame, char *var_name);
  25 static int compare_local_variables(char *s1, char *s2, xbt_dynar_t heap_equals);
  26
  27 static size_t heap_ignore_size(void *address){
  28   unsigned int cursor = 0;
  29   int start = 0;
  30   int end = xbt_dynar_length(mc_heap_comparison_ignore) - 1;
  31   mc_heap_ignore_region_t region;
  32
  33   while(start <= end){
  34     cursor = (start + end) / 2;
  35     region = (mc_heap_ignore_region_t)xbt_dynar_get_as(mc_heap_comparison_ignore, cursor, mc_heap_ignore_region_t);
  36     if(region->address == address)
  37       return region->size;
  38     if(region->address < address)
  39       start = cursor + 1;
  40     if(region->address > address)
  41       end = cursor - 1;
  42   }
  43
  44   return 0;
  45 }
  46
  47 static int data_program_region_compare(void *d1, void *d2, size_t size){
  48   int distance = 0;
  49   size_t i = 0;
  50   int pointer_align;
  51   void *addr_pointed1 = NULL, *addr_pointed2 = NULL;
  52
  53   for(i=0; i<size; i++){
  54     if(memcmp(((char *)d1) + i, ((char *)d2) + i, 1) != 0){
  55       pointer_align = (i / sizeof(void*)) * sizeof(void*);
  56       addr_pointed1 = *((void **)((char *)d1 + pointer_align));
  57       addr_pointed2 = *((void **)((char *)d2 + pointer_align));
  58       if((addr_pointed1 > start_plt_binary && addr_pointed1 < end_plt_binary) || (addr_pointed2 > start_plt_binary && addr_pointed2 < end_plt_binary)){
  59         continue;
  60       }else{
  61         XBT_DEBUG("Different byte (offset=%zu) (%p - %p) in data program region", i, (char *)d1 + i, (char *)d2 + i);
  62         distance++;
  63       }
  64     }
  65   }
  66
  67   XBT_INFO("Hamming distance between data program regions : %d", distance);
  68
  69   return distance;
  70 }
  71
  72 static int data_libsimgrid_region_compare(void *d1, void *d2, size_t size){
  73   int distance = 0;
  74   size_t i = 0, ignore_size = 0;
  75   int pointer_align;
  76   void *addr_pointed1 = NULL, *addr_pointed2 = NULL;
  77
  78   for(i=0; i<size; i++){
  79     if(memcmp(((char *)d1) + i, ((char *)d2) + i, 1) != 0){
  80       if((ignore_size = heap_ignore_size((char *)start_data_libsimgrid+i)) > 0){
  81         i = i + ignore_size;
  82         continue;
  83       }
  84       pointer_align = (i / sizeof(void*)) * sizeof(void*);
  85       addr_pointed1 = *((void **)((char *)d1 + pointer_align));
  86       addr_pointed2 = *((void **)((char *)d2 + pointer_align));
  87       if((addr_pointed1 > start_plt_libsimgrid && addr_pointed1 < end_plt_libsimgrid) || (addr_pointed2 > start_plt_libsimgrid && addr_pointed2 < end_plt_libsimgrid)){
  88         continue;
  89       }else if(addr_pointed1 >= raw_heap && addr_pointed1 <= end_raw_heap && addr_pointed2 >= raw_heap && addr_pointed2 <= end_raw_heap){
  90         continue;
  91       }else{
  92         XBT_DEBUG("Different byte (offset=%zu) (%p - %p) in data libsimgrid region", i, (char *)d1 + i, (char *)d2 + i);
  93         XBT_DEBUG("Addresses pointed : %p - %p\n", addr_pointed1, addr_pointed2);
  94         distance++;
  95       }
  96     }
  97   }
  98
  99   XBT_INFO("Hamming distance between data libsimgrid regions : %d", distance); fflush(NULL);
 100
 101   return distance;
 102 }
 103
 104 static int heap_region_compare(void *d1, void *d2, size_t size){
 105
 106   int distance = 0;
 107   size_t i = 0;
 108
 109   for(i=0; i<size; i++){
 110     if(memcmp(((char *)d1) + i, ((char *)d2) + i, 1) != 0){
 111       XBT_DEBUG("Different byte (offset=%zu) (%p - %p) in heap region", i, (char *)d1 + i, (char *)d2 + i);
 112       distance++;
 113     }
 114   }
 115
 116   XBT_INFO("Hamming distance between heap regions : %d (total size : %zu)", distance, size);
 117
 118   return distance;
 119 }
 120
 121 static void stack_region_free(stack_region_t s){
 122   if(s){
 123     xbt_free(s->process_name);
 124     xbt_free(s);
 125   }
 126 }
 127
 128 void stack_region_free_voidp(void *s){
 129   stack_region_free((stack_region_t) * (void **) s);
 130 }
 131
 132 static void heap_equality_free(heap_equality_t e){
 133   if(e){
 134     xbt_free(e);
 135   }
 136 }
 137
 138 void heap_equality_free_voidp(void *e){
 139   heap_equality_free((heap_equality_t) * (void **) e);
 140 }
 141
 142 int snapshot_compare(mc_snapshot_t s1, mc_snapshot_t s2){
 143
 144   raw_mem_set = (mmalloc_get_current_heap() == raw_heap);
 145
 146   MC_SET_RAW_MEM;
 147
 148   int errors = 0, i;
 149   xbt_dynar_t stacks1 = xbt_dynar_new(sizeof(stack_region_t), stack_region_free_voidp);
 150   xbt_dynar_t stacks2 = xbt_dynar_new(sizeof(stack_region_t), stack_region_free_voidp);
 151   xbt_dynar_t equals = xbt_dynar_new(sizeof(heap_equality_t), heap_equality_free_voidp);
 152
 153   void *heap1 = NULL, *heap2 = NULL;
 154
 155   if(s1->num_reg != s2->num_reg){
 156     XBT_DEBUG("Different num_reg (s1 = %u, s2 = %u)", s1->num_reg, s2->num_reg);
 157     return 1;
 158   }
 159
 160   for(i=0 ; i< s1->num_reg ; i++){
 161
 162     if(s1->regions[i]->type != s2->regions[i]->type){
 163       XBT_DEBUG("Different type of region");
 164       errors++;
 165     }
 166
 167     switch(s1->regions[i]->type){
 168     case 0 :
 169       /* Compare heapregion */
 170       if(s1->regions[i]->size != s2->regions[i]->size){
 171         XBT_DEBUG("Different size of heap (s1 = %zu, s2 = %zu)", s1->regions[i]->size, s2->regions[i]->size);
 172         xbt_dynar_free(&stacks1);
 173         xbt_dynar_free(&stacks2);
 174         xbt_dynar_free(&equals);
 175         if(!raw_mem_set)
 176           MC_UNSET_RAW_MEM;
 177         return 1;
 178       }
 179       if(s1->regions[i]->start_addr != s2->regions[i]->start_addr){
 180         XBT_DEBUG("Different start addr of heap (s1 = %p, s2 = %p)", s1->regions[i]->start_addr, s2->regions[i]->start_addr);
 181         xbt_dynar_free(&stacks1);
 182         xbt_dynar_free(&stacks2);
 183         xbt_dynar_free(&equals);
 184         if(!raw_mem_set)
 185           MC_UNSET_RAW_MEM;
 186         return 1;
 187       }
 188       if(mmalloc_compare_heap((xbt_mheap_t)s1->regions[i]->data, (xbt_mheap_t)s2->regions[i]->data, &stacks1, &stacks2, &equals)){
 189         XBT_INFO("Different heap (mmalloc_compare)");
 190         xbt_dynar_free(&stacks1);
 191         xbt_dynar_free(&stacks2);
 192         xbt_dynar_free(&equals);
 193         if(!raw_mem_set)
 194           MC_UNSET_RAW_MEM;
 195         return 1;
 196       }
 197       heap1 = s1->regions[i]->data;
 198       heap2 = s2->regions[i]->data;
 199       break;
 200     case 1 :
 201       /* Compare data libsimgrid region */
 202       if(s1->regions[i]->size != s2->regions[i]->size){
 203         XBT_DEBUG("Different size of libsimgrid (data) (s1 = %zu, s2 = %zu)", s1->regions[i]->size, s2->regions[i]->size);
 204         xbt_dynar_free(&stacks1);
 205         xbt_dynar_free(&stacks2);
 206         xbt_dynar_free(&equals);
 207         if(!raw_mem_set)
 208           MC_UNSET_RAW_MEM;
 209         return 1;
 210       }
 211       if(s1->regions[i]->start_addr != s2->regions[i]->start_addr){
 212         XBT_DEBUG("Different start addr of libsimgrid (data) (s1 = %p, s2 = %p)", s1->regions[i]->start_addr, s2->regions[i]->start_addr);
 213         xbt_dynar_free(&stacks1);
 214         xbt_dynar_free(&stacks2);
 215         xbt_dynar_free(&equals);
 216         if(!raw_mem_set)
 217           MC_UNSET_RAW_MEM;
 218         return 1;
 219       }
 220       if(data_libsimgrid_region_compare(s1->regions[i]->data, s2->regions[i]->data, s1->regions[i]->size) != 0){
 221         XBT_INFO("Different memcmp for data in libsimgrid");
 222         xbt_dynar_free(&stacks1);
 223         xbt_dynar_free(&stacks2);
 224         xbt_dynar_free(&equals);
 225         if(!raw_mem_set)
 226           MC_UNSET_RAW_MEM;
 227         return 1;
 228       }
 229       break;
 230
 231     case 2 :
 232       /* Compare data program region */
 233       if(s1->regions[i]->size != s2->regions[i]->size){
 234         XBT_DEBUG("Different size of data program (s1 = %zu, s2 = %zu)", s1->regions[i]->size, s2->regions[i]->size);
 235         xbt_dynar_free(&stacks1);
 236         xbt_dynar_free(&stacks2);
 237         xbt_dynar_free(&equals);
 238         if(!raw_mem_set)
 239           MC_UNSET_RAW_MEM;
 240         return 1;
 241       }
 242       if(s1->regions[i]->start_addr != s2->regions[i]->start_addr){
 243         XBT_DEBUG("Different start addr of data program (s1 = %p, s2 = %p)", s1->regions[i]->start_addr, s2->regions[i]->start_addr);
 244         xbt_dynar_free(&stacks1);
 245         xbt_dynar_free(&stacks2);
 246         xbt_dynar_free(&equals);
 247         if(!raw_mem_set)
 248           MC_UNSET_RAW_MEM;
 249         return 1;
 250       }
 251       if(data_program_region_compare(s1->regions[i]->data, s2->regions[i]->data, s1->regions[i]->size) != 0){
 252         XBT_INFO("Different memcmp for data in program");
 253         xbt_dynar_free(&stacks1);
 254         xbt_dynar_free(&stacks2);
 255         xbt_dynar_free(&equals);
 256         if(!raw_mem_set)
 257           MC_UNSET_RAW_MEM;
 258         return 1;
 259       }
 260       break;
 261
 262     }
 263
 264   }
 265
 266   /* Stacks comparison */
 267   unsigned int cursor = 0;
 268   stack_region_t stack_region1, stack_region2;
 269   void *sp1, *sp2;
 270   int diff = 0, diff_local = 0;
 271
 272   while(cursor < xbt_dynar_length(stacks1)){
 273     XBT_DEBUG("Stack %d", cursor + 1);
 274     stack_region1 = (stack_region_t)(xbt_dynar_get_as(stacks1, cursor, stack_region_t));
 275     stack_region2 = (stack_region_t)(xbt_dynar_get_as(stacks2, cursor, stack_region_t));
 276     sp1 = ((mc_snapshot_stack_t)xbt_dynar_get_as(s1->stacks, cursor, mc_snapshot_stack_t))->stack_pointer;
 277     sp2 = ((mc_snapshot_stack_t)xbt_dynar_get_as(s2->stacks, cursor, mc_snapshot_stack_t))->stack_pointer;
 278     diff = compare_stack(stack_region1, stack_region2, sp1, sp2, heap1, heap2, equals);
 279
 280     if(diff >0){
 281       diff_local = compare_local_variables(((mc_snapshot_stack_t)xbt_dynar_get_as(s1->stacks, cursor, mc_snapshot_stack_t))->local_variables->data, ((mc_snapshot_stack_t)xbt_dynar_get_as(s2->stacks, cursor, mc_snapshot_stack_t))->local_variables->data, equals);
 282       if(diff_local > 0){
 283         XBT_INFO("Different local variables between stacks");
 284         xbt_dynar_free(&stacks1);
 285         xbt_dynar_free(&stacks2);
 286         xbt_dynar_free(&equals);
 287         if(!raw_mem_set)
 288           MC_UNSET_RAW_MEM;
 289         return 1;
 290       }else{
 291         XBT_INFO("Local variables are equals in stack %d", cursor + 1);
 292       }
 293     }else{
 294       XBT_INFO("Hamming distance between stacks %d : %d", cursor + 1, diff);
 295     }
 296     cursor++;
 297   }
 298
 299   xbt_dynar_free(&stacks1);
 300   xbt_dynar_free(&stacks2);
 301   xbt_dynar_free(&equals);
 302   if(!raw_mem_set)
 303     MC_UNSET_RAW_MEM;
 304   return 0;
 305
 306 }
 307
 308 static int is_stack_ignore_variable(char *frame, char *var_name){
 309
 310   unsigned int cursor = 0;
 311   int start = 0;
 312   int end = xbt_dynar_length(mc_stack_comparison_ignore) - 1;
 313   mc_stack_ignore_variable_t current_var;
 314
 315   while(start <= end){
 316     cursor = (start + end) / 2;
 317     current_var = (mc_stack_ignore_variable_t)xbt_dynar_get_as(mc_stack_comparison_ignore, cursor, mc_stack_ignore_variable_t);
 318     if(strcmp(current_var->frame, frame) == 0){
 319       if(strcmp(current_var->var_name, var_name) == 0)
 320         return 1;
 321       if(strcmp(current_var->var_name, var_name) < 0)
 322         start = cursor + 1;
 323       if(strcmp(current_var->var_name, var_name) > 0)
 324         end = cursor - 1;
 325     }
 326   if(strcmp(current_var->frame, frame) < 0)
 327       start = cursor + 1;
 328   if(strcmp(current_var->frame, frame) > 0)
 329       end = cursor - 1;
 330   }
 331
 332   return 0;
 333 }
 334
 335 static int compare_local_variables(char *s1, char *s2, xbt_dynar_t heap_equals){
 336
 337   xbt_dynar_t tokens1 = xbt_str_split(s1, NULL);
 338   xbt_dynar_t tokens2 = xbt_str_split(s2, NULL);
 339
 340   xbt_dynar_t s_tokens1, s_tokens2;
 341   unsigned int cursor = 0;
 342   void *addr1, *addr2;
 343   char *ip1, *ip2;
 344
 345   int diff = 0;
 346
 347   while(cursor < xbt_dynar_length(tokens1)){
 348     s_tokens1 = xbt_str_split(xbt_dynar_get_as(tokens1, cursor, char *), "=");
 349     s_tokens2 = xbt_str_split(xbt_dynar_get_as(tokens2, cursor, char *), "=");
 350     if(xbt_dynar_length(s_tokens1) > 1 && xbt_dynar_length(s_tokens2) > 1){
 351       if((strcmp(xbt_dynar_get_as(s_tokens1, 0, char *), "ip") == 0) && (strcmp(xbt_dynar_get_as(s_tokens2, 0, char *), "ip") == 0)){
 352         ip1 = strdup(xbt_dynar_get_as(s_tokens1, 1, char *));
 353         ip2 = strdup(xbt_dynar_get_as(s_tokens2, 1, char *));
 354         XBT_DEBUG("Ip1 : %s, Ip2 : %s", ip1, ip2);
 355       }
 356       if(strcmp(xbt_dynar_get_as(s_tokens1, 1, char *), xbt_dynar_get_as(s_tokens2, 1, char *)) != 0){
 357         /* Ignore this variable ?  */
 358         if(is_stack_ignore_variable(ip1, xbt_dynar_get_as(s_tokens1, 0, char *)) && is_stack_ignore_variable(ip2, xbt_dynar_get_as(s_tokens2, 0, char *))){
 359           xbt_dynar_free(&s_tokens1);
 360           xbt_dynar_free(&s_tokens2);
 361           cursor++;
 362           continue;
 363         }
 364         addr1 = (void *) strtoul(xbt_dynar_get_as(s_tokens1, 1, char *), NULL, 16);
 365         addr2 = (void *) strtoul(xbt_dynar_get_as(s_tokens2, 1, char *), NULL, 16);
 366         if(is_heap_equality(heap_equals, addr1, addr2) == 0){
 367           if(XBT_LOG_ISENABLED(mc_compare, xbt_log_priority_debug))
 368             XBT_DEBUG("Variable %s is different between stacks : %s - %s", xbt_dynar_get_as(s_tokens1, 0, char *), xbt_dynar_get_as(s_tokens1, 1, char *), xbt_dynar_get_as(s_tokens2, 1, char *));
 369           else
 370             XBT_INFO("Variable %s is different between stacks", xbt_dynar_get_as(s_tokens1, 0, char *));
 371           diff++;
 372         }
 373       }
 374     }
 375     xbt_dynar_free(&s_tokens1);
 376     xbt_dynar_free(&s_tokens2);
 377     cursor++;
 378   }
 379
 380   xbt_dynar_free(&tokens1);
 381   xbt_dynar_free(&tokens2);
 382   return diff;
 383
 384 }
 385
 386 static int is_heap_equality(xbt_dynar_t equals, void *a1, void *a2){
 387
 388   unsigned int cursor = 0;
 389   int start = 0;
 390   int end = xbt_dynar_length(equals) - 1;
 391   heap_equality_t current_equality;
 392
 393   while(start <= end){
 394     cursor = (start + end) / 2;
 395     current_equality = (heap_equality_t)xbt_dynar_get_as(equals, cursor, heap_equality_t);
 396     if(current_equality->address1 == a1){
 397       if(current_equality->address2 == a2)
 398         return 1;
 399       if(current_equality->address2 < a2)
 400         start = cursor + 1;
 401       if(current_equality->address2 > a2)
 402         end = cursor - 1;
 403     }
 404     if(current_equality->address1 < a1)
 405       start = cursor + 1;
 406     if(current_equality->address1 > a1)
 407       end = cursor - 1;
 408   }
 409
 410   return 0;
 411
 412 }
 413
 414
 415 static int compare_stack(stack_region_t s1, stack_region_t s2, void *sp1, void *sp2, void *heap1, void *heap2, xbt_dynar_t equals){
 416
 417   size_t k = 0, nb_diff = 0;
 418   size_t size_used1 = s1->size - ((char*)sp1 - (char*)s1->address);
 419   size_t size_used2 = s2->size - ((char*)sp2 - (char*)s2->address);
 420
 421   int pointer_align;
 422   void *addr_pointed1 = NULL, *addr_pointed2 = NULL;
 423
 424   if(size_used1 == size_used2){
 425
 426     while(k < size_used1){
 427       if(memcmp((char *)s1->address + s1->size - k, (char *)s2->address + s2->size - k, 1) != 0){
 428         pointer_align = ((size_used1 - k) / sizeof(void*)) * sizeof(void*);
 429         addr_pointed1 = *((void **)(((char*)s1->address + (s1->size - size_used1)) + pointer_align));
 430         addr_pointed2 = *((void **)(((char*)s2->address + (s2->size - size_used2)) + pointer_align));
 431         if(is_heap_equality(equals, addr_pointed1, addr_pointed2) == 0){
 432           if((addr_pointed1 > std_heap) && (addr_pointed1 < (void *)((char *)std_heap + STD_HEAP_SIZE)) && (addr_pointed2 > std_heap) && (addr_pointed2 < (void *)((char *)std_heap + STD_HEAP_SIZE))){
 433             if(is_free_area(addr_pointed1, (xbt_mheap_t)heap1) == 0 || is_free_area(addr_pointed2, (xbt_mheap_t)heap2) == 0){
 434               //XBT_INFO("Difference at offset %zu (%p - %p)", k, (char *)s1->address + s1->size - k, (char *)s2->address + s2->size - k);
 435               nb_diff++;
 436             }
 437           }else{
 438             //XBT_INFO("Difference at offset %zu (%p - %p)", k, (char *)s1->address + s1->size - k, (char *)s2->address + s2->size - k);
 439             nb_diff++;
 440           }
 441         }
 442       }
 443       k++;
 444     }
 445
 446   }else{
 447     XBT_INFO("Different size used between stacks");
 448     return 1;
 449   }
 450
 451   return nb_diff;
 452 }
 453
 454 int MC_compare_snapshots(void *s1, void *s2){
 455
 456   return simcall_mc_compare_snapshots(s1, s2);
 457
 458 }