src/xbt/mmalloc/mm_diff.c

   1 /* mm_diff - Memory snapshooting and comparison                             */
   2
   3 /* Copyright (c) 2008-2012. The SimGrid Team. All rights reserved.          */
   4
   5 /* This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the license (GNU LGPL) which comes with this package. */
   7
   8 #include "xbt/ex_interface.h" /* internals of backtrace setup */
   9 #include "xbt/str.h"
  10 #include "mc/mc.h"
  11
  12 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mm_diff, xbt,
  13                                 "Logging specific to mm_diff in mmalloc");
  14
  15 extern char *xbt_binary_name;
  16
  17 void mmalloc_backtrace_display(xbt_mheap_t mdp, void *ptr){
  18   size_t block = BLOCK(ptr);
  19   int type;
  20   xbt_ex_t e;
  21
  22   if ((char *) ptr < (char *) mdp->heapbase || block > mdp->heapsize) {
  23     fprintf(stderr,"Ouch, this pointer is not mine. I cannot display its backtrace. I refuse it to death!!\n");
  24     abort();
  25   }
  26
  27   type = mdp->heapinfo[block].type;
  28
  29   if (type != 0) {
  30     //fprintf(stderr,"Only full blocks are backtraced for now. Ignoring your request.\n");
  31     return;
  32   }
  33   if (mdp->heapinfo[block].busy_block.bt_size == 0) {
  34     fprintf(stderr,"No backtrace available for that block, sorry.\n");
  35     return;
  36   }
  37
  38   memcpy(&e.bt,&(mdp->heapinfo[block].busy_block.bt),sizeof(void*)*XBT_BACKTRACE_SIZE);
  39   e.used = mdp->heapinfo[block].busy_block.bt_size;
  40
  41   xbt_ex_setup_backtrace(&e);
  42   if (e.used == 0) {
  43     fprintf(stderr, "(backtrace not set)\n");
  44   } else if (e.bt_strings == NULL) {
  45     fprintf(stderr, "(backtrace not ready to be computed. %s)\n",xbt_binary_name?"Dunno why":"xbt_binary_name not setup yet");
  46   } else {
  47     int i;
  48
  49     fprintf(stderr, "Backtrace of where the block %p was malloced (%d frames):\n",ptr,e.used);
  50     for (i = 0; i < e.used; i++)       /* no need to display "xbt_backtrace_display" */{
  51       fprintf(stderr,"%d",i);fflush(NULL);
  52       fprintf(stderr, "---> %s\n", e.bt_strings[i] + 4);
  53     }
  54   }
  55 }
  56
  57
  58 void mmalloc_backtrace_block_display(xbt_mheap_t mdp, size_t block){
  59
  60   int type;
  61   xbt_ex_t e;
  62
  63   type = mdp->heapinfo[block].type;
  64
  65   if (type != 0) {
  66     fprintf(stderr,"Only full blocks are backtraced for now. Ignoring your request.\n");
  67     return;
  68   }
  69   if (mdp->heapinfo[block].busy_block.bt_size == 0) {
  70     fprintf(stderr,"No backtrace available for that block, sorry.\n");
  71     return;
  72   }
  73
  74   memcpy(&e.bt,&(mdp->heapinfo[block].busy_block.bt),sizeof(void*)*XBT_BACKTRACE_SIZE);
  75   e.used = mdp->heapinfo[block].busy_block.bt_size;
  76
  77   xbt_ex_setup_backtrace(&e);
  78   if (e.used == 0) {
  79     fprintf(stderr, "(backtrace not set)\n");
  80   } else if (e.bt_strings == NULL) {
  81     fprintf(stderr, "(backtrace not ready to be computed. %s)\n",xbt_binary_name?"Dunno why":"xbt_binary_name not setup yet");
  82   } else {
  83     int i;
  84
  85     fprintf(stderr, "Backtrace of where the block %zu was malloced (%d frames):\n", block ,e.used);
  86     for (i = 0; i < e.used; i++)       /* no need to display "xbt_backtrace_display" */{
  87       fprintf(stderr,"%d",i);fflush(NULL);
  88       fprintf(stderr, "---> %s\n", e.bt_strings[i] + 4);
  89     }
  90   }
  91 }
  92
  93 void mmalloc_backtrace_fragment_display(xbt_mheap_t mdp, size_t block, size_t frag){
  94
  95   xbt_ex_t e;
  96
  97   memcpy(&e.bt,&(mdp->heapinfo[block].busy_frag.bt[frag]),sizeof(void*)*XBT_BACKTRACE_SIZE);
  98   e.used = XBT_BACKTRACE_SIZE;
  99
 100   xbt_ex_setup_backtrace(&e);
 101   if (e.used == 0) {
 102     fprintf(stderr, "(backtrace not set)\n");
 103   } else if (e.bt_strings == NULL) {
 104     fprintf(stderr, "(backtrace not ready to be computed. %s)\n",xbt_binary_name?"Dunno why":"xbt_binary_name not setup yet");
 105   } else {
 106     int i;
 107
 108     fprintf(stderr, "Backtrace of where the fragment %zu in block %zu was malloced (%d frames):\n", frag, block ,e.used);
 109     for (i = 0; i < e.used; i++)       /* no need to display "xbt_backtrace_display" */{
 110       fprintf(stderr,"%d",i);fflush(NULL);
 111       fprintf(stderr, "---> %s\n", e.bt_strings[i] + 4);
 112     }
 113   }
 114 }
 115
 116 int mmalloc_compare_heap(xbt_mheap_t mdp1, xbt_mheap_t mdp2){
 117
 118   if(mdp1 == NULL && mdp2 == NULL){
 119     fprintf(stderr, "Malloc descriptors null\n");
 120     return 0;
 121   }
 122
 123   int errors = mmalloc_compare_mdesc(mdp1, mdp2);
 124
 125   return (errors > 0);
 126
 127 }
 128
 129 int mmalloc_compare_mdesc(struct mdesc *mdp1, struct mdesc *mdp2){
 130
 131   int errors = 0;
 132
 133   if(mdp1->heaplimit != mdp2->heaplimit){
 134     fprintf(stderr,"Different limit of valid info table indices\n");
 135     return 1;
 136   }
 137
 138   void* s_heap = (char *)mmalloc_get_current_heap() - STD_HEAP_SIZE - getpagesize();
 139
 140   void *heapbase1 = (char *)mdp1 + BLOCKSIZE;
 141   void *heapbase2 = (char *)mdp2 + BLOCKSIZE;
 142
 143   void * breakval1 = (char *)mdp1 + ((char *)mdp1->breakval - (char *)s_heap);
 144   void * breakval2 = (char *)mdp2 + ((char *)mdp2->breakval - (char *)s_heap);
 145
 146   size_t i, j;
 147   void *addr_block1, *addr_block2, *addr_frag1, *addr_frag2;
 148   size_t frag_size;
 149
 150   i = 1;
 151
 152   int k;
 153   int distance = 0;
 154   int total_distance = 0;
 155
 156   int pointer_align;
 157   void *address_pointed1, *address_pointed2;
 158
 159   int block_pointed1, block_pointed2;
 160   void *addr_block_pointed1, *addr_block_pointed2;
 161
 162   /* Check busy blocks*/
 163
 164   while(i < mdp1->heaplimit){
 165
 166     if(mdp1->heapinfo[i].type != mdp2->heapinfo[i].type){
 167       fprintf(stderr,"Different type of block : %d - %d\n", mdp1->heapinfo[i].type, mdp2->heapinfo[i].type);
 168       errors++;
 169     }
 170
 171     addr_block1 = (char*)heapbase1 + ((i-1)*BLOCKSIZE);
 172     xbt_assert(addr_block1 < breakval1, "Block address out of heap memory used");
 173
 174     addr_block2 = (char*)heapbase2 + ((i-1)*BLOCKSIZE);
 175     xbt_assert(addr_block2 < breakval2, "Block address out of heap memory used");
 176
 177     if(mdp1->heapinfo[i].type == 0){ /* busy large block */
 178
 179       if(mdp1->heapinfo[i].busy_block.size != mdp2->heapinfo[i].busy_block.size){
 180         fprintf(stderr,"Different size of a large cluster : %zu - %zu\n", mdp1->heapinfo[i].busy_block.size, mdp2->heapinfo[i].busy_block.size);
 181         fflush(NULL);
 182         errors++;
 183       }
 184
 185       if(mdp1->heapinfo[i].busy_block.busy_size != mdp2->heapinfo[i].busy_block.busy_size){
 186         fprintf(stderr,"Different busy_size of a large cluster : %zu - %zu\n", mdp1->heapinfo[i].busy_block.busy_size, mdp2->heapinfo[i].busy_block.busy_size);
 187         fflush(NULL);
 188         errors++;
 189       }
 190
 191       /* Hamming distance on different blocks */
 192       distance = 0;
 193
 194       //for(k=0;k<mdp1->heapinfo[i].busy_block.size * BLOCKSIZE;k++){
 195       for(k=0;k<mdp1->heapinfo[i].busy_block.busy_size;k++){
 196         //if((((char *)addr_block1) + k != 0) && (((char *)addr_block2) + k != 0)){
 197         if(memcmp(((char *)addr_block1) + k, ((char *)addr_block2) + k, 1) != 0){
 198           fprintf(stderr, "Different byte (offset=%d) (%p - %p) in block %zu\n", k, (char *)addr_block1 + k, (char *)addr_block2 + k, i); fflush(NULL);
 199           pointer_align = (k / sizeof(void*)) * sizeof(void*);
 200           address_pointed1 = *((void **)((char *)addr_block1 + pointer_align));
 201           address_pointed2 = *((void **)((char *)addr_block2 + pointer_align));
 202           if(((address_pointed1 > (void *)s_heap) && (address_pointed1 < mdp1->breakval)) && ((address_pointed2 > (void *)s_heap) && (address_pointed2 < mdp2->breakval))){
 203             block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 204             block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 205             //fprintf(stderr, "Blocks pointed : %d - %d\n", block_pointed1, block_pointed2);
 206             if((block_pointed1 == 0) && (block_pointed2 == 0)){
 207               block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 208               block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 209               if(mdp1->heapinfo[block_pointed1].type == mdp2->heapinfo[block_pointed2].type){
 210                 if(mdp1->heapinfo[block_pointed1].type == 0){ // Large block
 211                   if(mdp1->heapinfo[block_pointed1].busy_block.busy_size == mdp2->heapinfo[block_pointed2].busy_block.busy_size){
 212                     addr_block_pointed1 = (char*)heapbase1 + ((block_pointed1 - 1)*BLOCKSIZE);
 213                     addr_block_pointed2 = (char*)heapbase2 + ((block_pointed2 - 1)*BLOCKSIZE);
 214                     if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_block.busy_size) != 0){
 215                       distance++;
 216                     }else{
 217                       fprintf(stderr, "False difference detected\n");
 218                     }
 219                   }else{
 220                     distance++;
 221                   }
 222                 }else{ // Fragmented block
 223                   addr_block_pointed1 = (char*)mdp1 + ((char *)address_pointed1 - (char *)s_heap);
 224                   addr_block_pointed2 = (char*)mdp2 + ((char *)address_pointed2 - (char *)s_heap);
 225                   if(mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0] == mdp2->heapinfo[block_pointed2].busy_frag.frag_size[0]){
 226                     if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0]) != 0){
 227                       fprintf(stderr, "Pointed fragments are different \n");
 228                       distance++;
 229                     }else{
 230                       fprintf(stderr, "False difference detected\n");
 231                     }
 232                   }else{
 233                     fprintf(stderr, "Different size of pointed fragments\n");
 234                     distance ++;
 235                   }
 236                 }
 237               }else{
 238                 fprintf(stderr, "Pointers on blocks with different types \n");
 239                 distance++;
 240               }
 241             }else{
 242               /* FIXME : peut pointer vers le début d'un fragment mais dans un bloc */
 243               fprintf(stderr, "Pointed addresses (%p - %p) not valid\n", address_pointed1, address_pointed2);
 244               distance++;
 245             }
 246           }else{
 247             fprintf(stderr, "Pointed addresses (%p - %p) not in std_heap\n", address_pointed1, address_pointed2);
 248             distance++;
 249           }
 250         }
 251         //}
 252       }
 253
 254
 255       if(distance>0){
 256         fprintf(stderr,"\nDifferent data in large block %zu (size = %zu (in blocks), busy_size = %zu (in bytes))\n", i, mdp1->heapinfo[i].busy_block.size, mdp1->heapinfo[i].busy_block.busy_size);
 257         fflush(NULL);
 258         fprintf(stderr, "Hamming distance between blocks : %d\n", distance);
 259         mmalloc_backtrace_block_display(mdp1, i);
 260         mmalloc_backtrace_block_display(mdp2, i);
 261         fprintf(stderr, "\n");
 262         errors++;
 263         total_distance += distance;
 264       }
 265
 266       i++;
 267
 268     }else{
 269
 270       if(mdp1->heapinfo[i].type > 0){ /* busy fragmented block */
 271
 272         if(mdp1->heapinfo[i].type != mdp2->heapinfo[i].type){
 273           fprintf(stderr,"Different size of fragments in fragmented block %zu : %d - %d\n", i, mdp1->heapinfo[i].type, mdp2->heapinfo[i].type); fflush(NULL);
 274           errors++;
 275         }
 276
 277         if(mdp1->heapinfo[i].busy_frag.nfree != mdp2->heapinfo[i].busy_frag.nfree){
 278           fprintf(stderr,"Different free fragments in fragmented block %zu : %zu - %zu\n", i, mdp1->heapinfo[i].busy_frag.nfree, mdp2->heapinfo[i].busy_frag.nfree); fflush(NULL);
 279           errors++;
 280         }
 281
 282         if(mdp1->heapinfo[i].busy_frag.first != mdp2->heapinfo[i].busy_frag.first){
 283           fprintf(stderr,"Different busy_size of a large cluster : %zu - %zu\n", mdp1->heapinfo[i].busy_block.busy_size, mdp2->heapinfo[i].busy_block.busy_size); fflush(NULL);
 284           errors++;
 285         }
 286
 287         frag_size = pow(2, mdp1->heapinfo[i].type);
 288
 289         for(j=0; j< (BLOCKSIZE/frag_size); j++){
 290
 291           if(mdp1->heapinfo[i].busy_frag.frag_size[j] != mdp2->heapinfo[i].busy_frag.frag_size[j]){
 292             fprintf(stderr,"Different busy_size for fragment %zu in block %zu : %hu - %hu\n", j, i, mdp1->heapinfo[i].busy_frag.frag_size[j], mdp2->heapinfo[i].busy_frag.frag_size[j]); fflush(NULL);
 293             errors++;
 294           }
 295
 296           if(mdp1->heapinfo[i].busy_frag.frag_size[j] > 0){
 297
 298             addr_frag1 = (char *)addr_block1 + (j * frag_size);
 299             xbt_assert(addr_frag1 < breakval1, "Fragment address out of heap memory used");
 300
 301             addr_frag2 = (char *)addr_block2 + (j * frag_size);
 302             xbt_assert(addr_frag1 < breakval1, "Fragment address out of heap memory used");
 303
 304             /* Hamming distance on different blocks */
 305             distance = 0;
 306             //for(k=0;k<frag_size;k++){
 307             for(k=0;k<mdp1->heapinfo[i].busy_frag.frag_size[j];k++){
 308               //if((((char *)addr_frag1) + k != 0) && (((char *)addr_frag2) + k != 0)){
 309               if(memcmp(((char *)addr_frag1) + k, ((char *)addr_frag2) + k, 1) != 0){
 310                 fprintf(stderr, "Different byte (offset=%d) (%p - %p) in fragment %zu in block %zu\n", k, (char *)addr_frag1 + k, (char *)addr_frag2 + k, j, i); fflush(NULL);
 311                 pointer_align = (k / sizeof(void*)) * sizeof(void*);
 312                 address_pointed1 = *((void **)((char *)addr_frag1 + pointer_align));
 313                 address_pointed2 = *((void **)((char *)addr_frag2 + pointer_align));
 314                 if(((address_pointed1 > (void *)s_heap) && (address_pointed1 < mdp1->breakval)) && ((address_pointed2 > (void *)s_heap) && (address_pointed2 < mdp2->breakval))){
 315                   block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 316                   block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 317                   if((block_pointed1 == 0) && (block_pointed2 == 0)){
 318                     block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 319                     block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 320                     if(mdp1->heapinfo[block_pointed1].type == mdp2->heapinfo[block_pointed2].type){
 321                       if(mdp1->heapinfo[block_pointed1].type == 0){ // Large block
 322                         if(mdp1->heapinfo[block_pointed1].busy_block.busy_size == mdp2->heapinfo[block_pointed2].busy_block.busy_size){
 323                           addr_block_pointed1 = (char*)heapbase1 + ((block_pointed1 - 1)*BLOCKSIZE);
 324                           addr_block_pointed2 = (char*)heapbase2 + ((block_pointed2 - 1)*BLOCKSIZE);
 325                           fprintf(stderr, "Memcmp between blocks %d and %d (size = %zu)\n", block_pointed1, block_pointed2,  mdp1->heapinfo[block_pointed1].busy_block.busy_size);
 326                           if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_block.busy_size) != 0){
 327                             distance++;
 328                           }else{
 329                             fprintf(stderr, "False difference detected\n");
 330                           }
 331                         }else{
 332                           distance++;
 333                         }
 334                       }else{ // Fragmented block
 335                         addr_block_pointed1 = (char*)mdp1 + ((char *)address_pointed1 - (char *)s_heap);
 336                         addr_block_pointed2 = (char*)mdp2 + ((char *)address_pointed2 - (char *)s_heap);
 337                         if(mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0] == mdp2->heapinfo[block_pointed2].busy_frag.frag_size[0]){
 338                           if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0]) != 0){
 339                             distance++;
 340                           }else{
 341                             fprintf(stderr, "False difference detected\n");
 342                           }
 343                         }else{
 344                           distance ++;
 345                         }
 346                       }
 347                     }else{
 348                       fprintf(stderr, "Pointers on blocks with different types \n");
 349                       distance++;
 350                     }
 351                   }else{
 352                     /* FIXME : peut pointer vers le début d'un fragment mais dans un bloc */
 353                     fprintf(stderr, "Pointed addresses (%p - %p) not valid \n", address_pointed1, address_pointed2);
 354                     distance++;
 355                   }
 356                 }else{
 357                   fprintf(stderr, "Pointed addresses (%p - %p) not in std_heap\n", address_pointed1, address_pointed2);
 358                   distance++;
 359                 }
 360               }
 361               //}
 362
 363             }
 364
 365             if(distance > 0){
 366               fprintf(stderr,"\nDifferent data in fragment %zu (size = %zu, size used = %hu) in block %zu \n", j, frag_size, mdp1->heapinfo[i].busy_frag.frag_size[j], i);
 367               fprintf(stderr, "Hamming distance between fragments : %d\n", distance);
 368               mmalloc_backtrace_fragment_display(mdp1, i, j);
 369               mmalloc_backtrace_fragment_display(mdp2, i, j);
 370               fprintf(stderr, "\n");
 371               errors++;
 372               total_distance += distance;
 373
 374             }
 375
 376           }
 377         }
 378
 379         i++;
 380
 381       }else{ /* free block */
 382
 383         i++;
 384
 385       }
 386
 387     }
 388
 389   }
 390
 391
 392   fprintf(stderr, "Hamming distance between heap regions : %d\n", total_distance);
 393
 394   return (errors);
 395 }
 396
 397
 398 /* void *get_end_addr_heap(void *heap){ */
 399
 400 /*   FILE *fp;                     /\* File pointer to process's proc maps file *\/ */
 401 /*   char *line = NULL;            /\* Temporal storage for each line that is readed *\/ */
 402 /*   ssize_t read;                 /\* Number of bytes readed *\/ */
 403 /*   size_t n = 0;                 /\* Amount of bytes to read by getline *\/ */
 404
 405 /*   fp = fopen("/proc/self/maps", "r"); */
 406
 407 /*   if(fp == NULL) */
 408 /*     perror("fopen failed"); */
 409
 410
 411 /*   xbt_dynar_t lfields = NULL; */
 412 /*   xbt_dynar_t start_end  = NULL; */
 413 /*   void *start_addr; */
 414 /*   void *end_addr; */
 415
 416 /*   while ((read = getline(&line, &n, fp)) != -1) { */
 417
 418 /*     xbt_str_trim(line, NULL); */
 419 /*     xbt_str_strip_spaces(line); */
 420 /*     lfields = xbt_str_split(line,NULL); */
 421
 422 /*     start_end = xbt_str_split(xbt_dynar_get_as(lfields, 0, char*), "-"); */
 423 /*     start_addr = (void *) strtoul(xbt_dynar_get_as(start_end, 0, char*), NULL, 16); */
 424 /*     end_addr = (void *) strtoul(xbt_dynar_get_as(start_end, 1, char*), NULL, 16); */
 425
 426 /*     if(start_addr == heap){ */
 427 /*       free(line); */
 428 /*       fclose(fp); */
 429 /*       xbt_dynar_reset(lfields); */
 430 /*       xbt_free(lfields); */
 431 /*       xbt_dynar_reset(start_end); */
 432 /*       xbt_free(start_end); */
 433 /*       return end_addr; */
 434 /*     } */
 435
 436 /*   } */
 437
 438 /*   xbt_dynar_reset(lfields); */
 439 /*   xbt_free(lfields); */
 440 /*   xbt_dynar_reset(start_end); */
 441 /*   xbt_free(start_end); */
 442 /*   free(line); */
 443 /*   fclose(fp); */
 444 /*   return NULL; */
 445
 446
 447 /* } */
 448
 449
 450 void mmalloc_display_info_heap(xbt_mheap_t h){
 451
 452 }
 453
 454
 455