src/xbt/mmalloc/mm_diff.c

   1 /* mm_diff - Memory snapshooting and comparison                             */
   2
   3 /* Copyright (c) 2008-2012. The SimGrid Team. All rights reserved.          */
   4
   5 /* This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the license (GNU LGPL) which comes with this package. */
   7
   8 #include "xbt/ex_interface.h" /* internals of backtrace setup */
   9 #include "xbt/str.h"
  10 #include "mc/mc.h"
  11
  12 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(mm_diff, xbt,
  13                                 "Logging specific to mm_diff in mmalloc");
  14
  15 extern char *xbt_binary_name;
  16
  17 void mmalloc_backtrace_display(xbt_mheap_t mdp, void *ptr){
  18   size_t block = BLOCK(ptr);
  19   int type;
  20   xbt_ex_t e;
  21
  22   if ((char *) ptr < (char *) mdp->heapbase || block > mdp->heapsize) {
  23     fprintf(stderr,"Ouch, this pointer is not mine. I cannot display its backtrace. I refuse it to death!!\n");
  24     abort();
  25   }
  26
  27   type = mdp->heapinfo[block].type;
  28
  29   if (type != 0) {
  30     //fprintf(stderr,"Only full blocks are backtraced for now. Ignoring your request.\n");
  31     return;
  32   }
  33   if (mdp->heapinfo[block].busy_block.bt_size == 0) {
  34     fprintf(stderr,"No backtrace available for that block, sorry.\n");
  35     return;
  36   }
  37
  38   memcpy(&e.bt,&(mdp->heapinfo[block].busy_block.bt),sizeof(void*)*XBT_BACKTRACE_SIZE);
  39   e.used = mdp->heapinfo[block].busy_block.bt_size;
  40
  41   xbt_ex_setup_backtrace(&e);
  42   if (e.used == 0) {
  43     fprintf(stderr, "(backtrace not set)\n");
  44   } else if (e.bt_strings == NULL) {
  45     fprintf(stderr, "(backtrace not ready to be computed. %s)\n",xbt_binary_name?"Dunno why":"xbt_binary_name not setup yet");
  46   } else {
  47     int i;
  48
  49     fprintf(stderr, "Backtrace of where the block %p was malloced (%d frames):\n",ptr,e.used);
  50     for (i = 0; i < e.used; i++)       /* no need to display "xbt_backtrace_display" */{
  51       fprintf(stderr,"%d",i);fflush(NULL);
  52       fprintf(stderr, "---> %s\n", e.bt_strings[i] + 4);
  53     }
  54   }
  55 }
  56
  57
  58 void mmalloc_backtrace_block_display(xbt_mheap_t mdp, size_t block){
  59
  60   int type;
  61   xbt_ex_t e;
  62
  63   type = mdp->heapinfo[block].type;
  64
  65   if (type != 0) {
  66     fprintf(stderr,"Only full blocks are backtraced for now. Ignoring your request.\n");
  67     return;
  68   }
  69   if (mdp->heapinfo[block].busy_block.bt_size == 0) {
  70     fprintf(stderr,"No backtrace available for that block, sorry.\n");
  71     return;
  72   }
  73
  74   memcpy(&e.bt,&(mdp->heapinfo[block].busy_block.bt),sizeof(void*)*XBT_BACKTRACE_SIZE);
  75   e.used = mdp->heapinfo[block].busy_block.bt_size;
  76
  77   xbt_ex_setup_backtrace(&e);
  78   if (e.used == 0) {
  79     fprintf(stderr, "(backtrace not set)\n");
  80   } else if (e.bt_strings == NULL) {
  81     fprintf(stderr, "(backtrace not ready to be computed. %s)\n",xbt_binary_name?"Dunno why":"xbt_binary_name not setup yet");
  82   } else {
  83     int i;
  84
  85     fprintf(stderr, "Backtrace of where the block %zu was malloced (%d frames):\n", block ,e.used);
  86     for (i = 0; i < e.used; i++)       /* no need to display "xbt_backtrace_display" */{
  87       fprintf(stderr,"%d",i);fflush(NULL);
  88       fprintf(stderr, "---> %s\n", e.bt_strings[i] + 4);
  89     }
  90   }
  91 }
  92
  93 void mmalloc_backtrace_fragment_display(xbt_mheap_t mdp, size_t block, size_t frag){
  94
  95   xbt_ex_t e;
  96
  97   memcpy(&e.bt,&(mdp->heapinfo[block].busy_frag.bt[frag]),sizeof(void*)*XBT_BACKTRACE_SIZE);
  98   e.used = XBT_BACKTRACE_SIZE;
  99
 100   xbt_ex_setup_backtrace(&e);
 101   if (e.used == 0) {
 102     fprintf(stderr, "(backtrace not set)\n");
 103   } else if (e.bt_strings == NULL) {
 104     fprintf(stderr, "(backtrace not ready to be computed. %s)\n",xbt_binary_name?"Dunno why":"xbt_binary_name not setup yet");
 105   } else {
 106     int i;
 107
 108     fprintf(stderr, "Backtrace of where the fragment %zu in block %zu was malloced (%d frames):\n", frag, block ,e.used);
 109     for (i = 0; i < e.used; i++)       /* no need to display "xbt_backtrace_display" */{
 110       fprintf(stderr,"%d",i);fflush(NULL);
 111       fprintf(stderr, "---> %s\n", e.bt_strings[i] + 4);
 112     }
 113   }
 114 }
 115
 116 int mmalloc_compare_heap(xbt_mheap_t mdp1, xbt_mheap_t mdp2){
 117
 118   if(mdp1 == NULL && mdp2 == NULL){
 119     fprintf(stderr, "Malloc descriptors null\n");
 120     return 0;
 121   }
 122
 123   int errors = mmalloc_compare_mdesc(mdp1, mdp2);
 124
 125   return (errors > 0);
 126
 127 }
 128
 129 int mmalloc_compare_mdesc(struct mdesc *mdp1, struct mdesc *mdp2){
 130
 131   int errors = 0;
 132
 133   if(mdp1->heaplimit != mdp2->heaplimit){
 134     fprintf(stderr,"Different limit of valid info table indices\n");
 135     return 1;
 136   }
 137
 138   void* s_heap = (char *)mmalloc_get_current_heap() - STD_HEAP_SIZE - getpagesize();
 139
 140   void *heapbase1 = (char *)mdp1 + BLOCKSIZE;
 141   void *heapbase2 = (char *)mdp2 + BLOCKSIZE;
 142
 143   void * breakval1 = (char *)mdp1 + ((char *)mdp1->breakval - (char *)s_heap);
 144   void * breakval2 = (char *)mdp2 + ((char *)mdp2->breakval - (char *)s_heap);
 145
 146   size_t i, j;
 147   void *addr_block1, *addr_block2, *addr_frag1, *addr_frag2;
 148   size_t frag_size;
 149
 150   i = 1;
 151
 152   int k;
 153   int distance = 0;
 154   int total_distance = 0;
 155
 156   int pointer_align;
 157   void *address_pointed1, *address_pointed2;
 158
 159   int block_pointed1, block_pointed2;
 160   void *addr_block_pointed1, *addr_block_pointed2;
 161
 162   /* Check busy blocks*/
 163
 164   while(i < mdp1->heaplimit){
 165
 166     if(mdp1->heapinfo[i].type != mdp2->heapinfo[i].type){
 167       fprintf(stderr,"Different type of block : %d - %d\n", mdp1->heapinfo[i].type, mdp2->heapinfo[i].type);
 168       errors++;
 169     }
 170
 171     addr_block1 = (char*)heapbase1 + ((i-1)*BLOCKSIZE);
 172     xbt_assert(addr_block1 < breakval1, "Block address out of heap memory used");
 173
 174     addr_block2 = (char*)heapbase2 + ((i-1)*BLOCKSIZE);
 175     xbt_assert(addr_block2 < breakval2, "Block address out of heap memory used");
 176
 177     if(mdp1->heapinfo[i].type == 0){ /* busy large block */
 178
 179       if(mdp1->heapinfo[i].busy_block.size != mdp2->heapinfo[i].busy_block.size){
 180         fprintf(stderr,"Different size of a large cluster : %zu - %zu\n", mdp1->heapinfo[i].busy_block.size, mdp2->heapinfo[i].busy_block.size);
 181         fflush(NULL);
 182         errors++;
 183       }
 184
 185       if(mdp1->heapinfo[i].busy_block.busy_size != mdp2->heapinfo[i].busy_block.busy_size){
 186         fprintf(stderr,"Different busy_size of a large cluster : %zu - %zu\n", mdp1->heapinfo[i].busy_block.busy_size, mdp2->heapinfo[i].busy_block.busy_size);
 187         fflush(NULL);
 188         errors++;
 189       }
 190
 191
 192       /* Hamming distance on different blocks */
 193       distance = 0;
 194
 195       //for(k=0;k<mdp1->heapinfo[i].busy_block.size * BLOCKSIZE;k++){
 196       for(k=0;k<mdp1->heapinfo[i].busy_block.busy_size;k++){
 197         if((((char *)addr_block1) + k != 0) && (((char *)addr_block2) + k != 0)){
 198           if(memcmp(((char *)addr_block1) + k, ((char *)addr_block2) + k, 1) != 0){
 199             fprintf(stderr, "Different byte (offset=%d) (%p - %p) in block %zu\n", k, (char *)addr_block1 + k, (char *)addr_block2 + k, i); fflush(NULL);
 200             pointer_align = (k / sizeof(void*)) * sizeof(void*);
 201             address_pointed1 = *((void **)((char *)addr_block1 + pointer_align));
 202             address_pointed2 = *((void **)((char *)addr_block2 + pointer_align));
 203             if(((address_pointed1 > (void *)s_heap) && (address_pointed1 < mdp1->breakval)) && ((address_pointed2 > (void *)s_heap) && (address_pointed2 < mdp2->breakval))){
 204               block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 205               block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 206               //fprintf(stderr, "Blocks pointed : %d - %d\n", block_pointed1, block_pointed2);
 207               if((block_pointed1 == 0) && (block_pointed2 == 0)){
 208                 block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 209                 block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 210                 if(mdp1->heapinfo[block_pointed1].type == mdp2->heapinfo[block_pointed2].type){
 211                   if(mdp1->heapinfo[block_pointed1].type == 0){ // Large block
 212                     if(mdp1->heapinfo[block_pointed1].busy_block.busy_size == mdp2->heapinfo[block_pointed2].busy_block.busy_size){
 213                       addr_block_pointed1 = (char*)heapbase1 + ((block_pointed1 - 1)*BLOCKSIZE);
 214                       addr_block_pointed2 = (char*)heapbase2 + ((block_pointed2 - 1)*BLOCKSIZE);
 215                       if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_block.busy_size) != 0){
 216                         distance++;
 217                       }else{
 218                         fprintf(stderr, "False difference detected\n");
 219                       }
 220                     }else{
 221                       distance++;
 222                     }
 223                   }else{ // Fragmented block
 224                     addr_block_pointed1 = (char*)mdp1 + ((char *)address_pointed1 - (char *)s_heap);
 225                     addr_block_pointed2 = (char*)mdp2 + ((char *)address_pointed2 - (char *)s_heap);
 226                     if(mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0] == mdp2->heapinfo[block_pointed2].busy_frag.frag_size[0]){
 227                       if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0]) != 0){
 228                         fprintf(stderr, "Pointed fragments are different \n");
 229                         distance++;
 230                       }else{
 231                         fprintf(stderr, "False difference detected\n");
 232                       }
 233                     }else{
 234                       fprintf(stderr, "Different size of pointed fragments\n");
 235                       distance ++;
 236                     }
 237                   }
 238                 }else{
 239                   fprintf(stderr, "Pointers on blocks with different types \n");
 240                   distance++;
 241                 }
 242
 243               }else{
 244                 /* FIXME : peut pointer vers le début d'un fragment mais dans un bloc */
 245                 fprintf(stderr, "Pointed addresses (%p - %p) not valid\n", address_pointed1, address_pointed2);
 246                 distance++;
 247               }
 248             }else{
 249               fprintf(stderr, "Pointed addresses (%p - %p) not in std_heap\n", address_pointed1, address_pointed2);
 250               distance++;
 251             }
 252
 253           }
 254         }
 255       }
 256
 257
 258       if(distance>0){
 259         fprintf(stderr,"\nDifferent data in large block %zu (size = %zu (in blocks), busy_size = %zu (in bytes))\n", i, mdp1->heapinfo[i].busy_block.size, mdp1->heapinfo[i].busy_block.busy_size);
 260         fflush(NULL);
 261         fprintf(stderr, "Hamming distance between blocks : %d\n", distance);
 262         mmalloc_backtrace_block_display(mdp1, i);
 263         mmalloc_backtrace_block_display(mdp2, i);
 264         fprintf(stderr, "\n");
 265         errors++;
 266         total_distance += distance;
 267       }
 268
 269
 270       i++;
 271
 272     }else{
 273
 274       if(mdp1->heapinfo[i].type > 0){ /* busy fragmented block */
 275
 276         if(mdp1->heapinfo[i].type != mdp2->heapinfo[i].type){
 277           fprintf(stderr,"Different size of fragments in fragmented block %zu : %d - %d\n", i, mdp1->heapinfo[i].type, mdp2->heapinfo[i].type); fflush(NULL);
 278           errors++;
 279         }
 280
 281         if(mdp1->heapinfo[i].busy_frag.nfree != mdp2->heapinfo[i].busy_frag.nfree){
 282           fprintf(stderr,"Different free fragments in fragmented block %zu : %zu - %zu\n", i, mdp1->heapinfo[i].busy_frag.nfree, mdp2->heapinfo[i].busy_frag.nfree); fflush(NULL);
 283           errors++;
 284         }
 285
 286         if(mdp1->heapinfo[i].busy_frag.first != mdp2->heapinfo[i].busy_frag.first){
 287           fprintf(stderr,"Different busy_size of a large cluster : %zu - %zu\n", mdp1->heapinfo[i].busy_block.busy_size, mdp2->heapinfo[i].busy_block.busy_size); fflush(NULL);
 288           errors++;
 289         }
 290
 291         frag_size = pow(2, mdp1->heapinfo[i].type);
 292
 293         for(j=0; j< (BLOCKSIZE/frag_size); j++){
 294
 295           if(mdp1->heapinfo[i].busy_frag.frag_size[j] != mdp2->heapinfo[i].busy_frag.frag_size[j]){
 296             fprintf(stderr,"Different busy_size for fragment %zu in block %zu : %hu - %hu\n", j, i, mdp1->heapinfo[i].busy_frag.frag_size[j], mdp2->heapinfo[i].busy_frag.frag_size[j]); fflush(NULL);
 297             errors++;
 298           }
 299
 300           if(mdp1->heapinfo[i].busy_frag.frag_size[j] > 0){
 301
 302             addr_frag1 = (char *)addr_block1 + (j * frag_size);
 303             xbt_assert(addr_frag1 < breakval1, "Fragment address out of heap memory used");
 304
 305             addr_frag2 = (char *)addr_block2 + (j * frag_size);
 306             xbt_assert(addr_frag1 < breakval1, "Fragment address out of heap memory used");
 307
 308             /* Hamming distance on different blocks */
 309             distance = 0;
 310             //for(k=0;k<frag_size;k++){
 311             for(k=0;k<mdp1->heapinfo[i].busy_frag.frag_size[j];k++){
 312               if((((char *)addr_frag1) + k != 0) && (((char *)addr_frag2) + k != 0)){
 313                 if(memcmp(((char *)addr_frag1) + k, ((char *)addr_frag2) + k, 1) != 0){
 314                   fprintf(stderr, "Different byte (offset=%d) (%p - %p) in fragment %zu in block %zu\n", k, (char *)addr_frag1 + k, (char *)addr_frag2 + k, j, i); fflush(NULL);
 315                   pointer_align = (k / sizeof(void*)) * sizeof(void*);
 316                   address_pointed1 = *((void **)((char *)addr_frag1 + pointer_align));
 317                   address_pointed2 = *((void **)((char *)addr_frag2 + pointer_align));
 318                   if(((address_pointed1 > (void *)s_heap) && (address_pointed1 < mdp1->breakval)) && ((address_pointed2 > (void *)s_heap) && (address_pointed2 < mdp2->breakval))){
 319                     block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 320                     block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) % BLOCKSIZE;
 321                     if((block_pointed1 == 0) && (block_pointed2 == 0)){
 322                       block_pointed1 = ((char*)address_pointed1 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 323                       block_pointed2 = ((char*)address_pointed2 - (char*)((struct mdesc*)s_heap)->heapbase) / BLOCKSIZE + 1;
 324                       if(mdp1->heapinfo[block_pointed1].type == mdp2->heapinfo[block_pointed2].type){
 325                         if(mdp1->heapinfo[block_pointed1].type == 0){ // Large block
 326                           if(mdp1->heapinfo[block_pointed1].busy_block.busy_size == mdp2->heapinfo[block_pointed2].busy_block.busy_size){
 327                             addr_block_pointed1 = (char*)heapbase1 + ((block_pointed1 - 1)*BLOCKSIZE);
 328                             addr_block_pointed2 = (char*)heapbase2 + ((block_pointed2 - 1)*BLOCKSIZE);
 329                             fprintf(stderr, "Memcmp between blocks %d and %d (size = %zu)\n", block_pointed1, block_pointed2,  mdp1->heapinfo[block_pointed1].busy_block.busy_size);
 330                             if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_block.busy_size) != 0){
 331                               distance++;
 332                             }else{
 333                               fprintf(stderr, "False difference detected\n");
 334                             }
 335                           }else{
 336                             distance++;
 337                           }
 338                         }else{ // Fragmented block
 339                           addr_block_pointed1 = (char*)mdp1 + ((char *)address_pointed1 - (char *)s_heap);
 340                           addr_block_pointed2 = (char*)mdp2 + ((char *)address_pointed2 - (char *)s_heap);
 341                           if(mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0] == mdp2->heapinfo[block_pointed2].busy_frag.frag_size[0]){
 342                             if(memcmp(addr_block_pointed1, addr_block_pointed2, mdp1->heapinfo[block_pointed1].busy_frag.frag_size[0]) != 0){
 343                               distance++;
 344                             }else{
 345                               fprintf(stderr, "False difference detected\n");
 346                             }
 347                           }else{
 348                             distance ++;
 349                           }
 350                         }
 351                       }else{
 352                         fprintf(stderr, "Pointers on blocks with different types \n");
 353                         distance++;
 354                       }
 355                     }else{
 356                       /* FIXME : peut pointer vers le début d'un fragment mais dans un bloc */
 357                       fprintf(stderr, "Pointed addresses (%p - %p) not valid \n", address_pointed1, address_pointed2);
 358                       distance++;
 359                     }
 360                   }else{
 361                     fprintf(stderr, "Pointed addresses (%p - %p) not in std_heap\n", address_pointed1, address_pointed2);
 362                     distance++;
 363                   }
 364                 }
 365               }
 366
 367             }
 368
 369             if(distance > 0){
 370               fprintf(stderr,"\nDifferent data in fragment %zu (size = %zu, size used = %hu) in block %zu \n", j, frag_size, mdp1->heapinfo[i].busy_frag.frag_size[j], i);
 371               fprintf(stderr, "Hamming distance between fragments : %d\n", distance);
 372               mmalloc_backtrace_fragment_display(mdp1, i, j);
 373               mmalloc_backtrace_fragment_display(mdp2, i, j);
 374               fprintf(stderr, "\n");
 375               errors++;
 376               total_distance += distance;
 377
 378             }
 379
 380           }
 381         }
 382
 383         i++;
 384
 385       }else{ /* free block */
 386
 387         i++;
 388
 389       }
 390
 391     }
 392
 393   }
 394
 395
 396   fprintf(stderr, "Hamming distance between heap regions : %d\n", total_distance);
 397
 398   return (errors);
 399 }
 400
 401
 402 /* void *get_end_addr_heap(void *heap){ */
 403
 404 /*   FILE *fp;                     /\* File pointer to process's proc maps file *\/ */
 405 /*   char *line = NULL;            /\* Temporal storage for each line that is readed *\/ */
 406 /*   ssize_t read;                 /\* Number of bytes readed *\/ */
 407 /*   size_t n = 0;                 /\* Amount of bytes to read by getline *\/ */
 408
 409 /*   fp = fopen("/proc/self/maps", "r"); */
 410
 411 /*   if(fp == NULL) */
 412 /*     perror("fopen failed"); */
 413
 414
 415 /*   xbt_dynar_t lfields = NULL; */
 416 /*   xbt_dynar_t start_end  = NULL; */
 417 /*   void *start_addr; */
 418 /*   void *end_addr; */
 419
 420 /*   while ((read = getline(&line, &n, fp)) != -1) { */
 421
 422 /*     xbt_str_trim(line, NULL); */
 423 /*     xbt_str_strip_spaces(line); */
 424 /*     lfields = xbt_str_split(line,NULL); */
 425
 426 /*     start_end = xbt_str_split(xbt_dynar_get_as(lfields, 0, char*), "-"); */
 427 /*     start_addr = (void *) strtoul(xbt_dynar_get_as(start_end, 0, char*), NULL, 16); */
 428 /*     end_addr = (void *) strtoul(xbt_dynar_get_as(start_end, 1, char*), NULL, 16); */
 429
 430 /*     if(start_addr == heap){ */
 431 /*       free(line); */
 432 /*       fclose(fp); */
 433 /*       xbt_dynar_reset(lfields); */
 434 /*       xbt_free(lfields); */
 435 /*       xbt_dynar_reset(start_end); */
 436 /*       xbt_free(start_end); */
 437 /*       return end_addr; */
 438 /*     } */
 439
 440 /*   } */
 441
 442 /*   xbt_dynar_reset(lfields); */
 443 /*   xbt_free(lfields); */
 444 /*   xbt_dynar_reset(start_end); */
 445 /*   xbt_free(start_end); */
 446 /*   free(line); */
 447 /*   fclose(fp); */
 448 /*   return NULL; */
 449
 450
 451 /* } */
 452
 453
 454 void mmalloc_display_info_heap(xbt_mheap_t h){
 455
 456 }
 457
 458
 459