src/xbt/mmalloc/mmprivate.h

   1 /* Declarations for `mmalloc' and friends.
   2    Copyright 1990, 1991, 1992 Free Software Foundation
   3
   4    Written May 1989 by Mike Haertel.
   5    Heavily modified Mar 1992 by Fred Fish. (fnf@cygnus.com) */
   6
   7 /* Copyright (c) 2010. The SimGrid Team.
   8  * All rights reserved.                                                     */
   9
  10 /* This program is free software; you can redistribute it and/or modify it
  11  * under the terms of the license (GNU LGPL) which comes with this package. */
  12
  13 #ifndef __MMPRIVATE_H
  14 #define __MMPRIVATE_H 1
  15
  16 #include "portable.h"
  17 #include "xbt/xbt_os_thread.h"
  18 #include "xbt/mmalloc.h"
  19 #include "xbt/ex.h"
  20 #include <semaphore.h>
  21
  22 #ifdef HAVE_LIMITS_H
  23 #  include <limits.h>
  24 #else
  25 #  ifndef CHAR_BIT
  26 #    define CHAR_BIT 8
  27 #  endif
  28 #endif
  29
  30 #define MMALLOC_MAGIC           "mmalloc"       /* Mapped file magic number */
  31 #define MMALLOC_MAGIC_SIZE      8       /* Size of magic number buf */
  32 #define MMALLOC_VERSION         1       /* Current mmalloc version */
  33
  34 /* The allocator divides the heap into blocks of fixed size; large
  35    requests receive one or more whole blocks, and small requests
  36    receive a fragment of a block.  Fragment sizes are powers of two,
  37    and all fragments of a block are the same size.  When all the
  38    fragments in a block have been freed, the block itself is freed.  */
  39
  40 #define INT_BIT         (CHAR_BIT * sizeof(int))
  41 #define BLOCKLOG        (INT_BIT > 16 ? 12 : 9)
  42 #define BLOCKSIZE       ((unsigned int) 1 << BLOCKLOG)
  43 #define BLOCKIFY(SIZE)  (((SIZE) + BLOCKSIZE - 1) / BLOCKSIZE)
  44
  45 /* The difference between two pointers is a signed int.  On machines where
  46    the data addresses have the high bit set, we need to ensure that the
  47    difference becomes an unsigned int when we are using the address as an
  48    integral value.  In addition, when using with the '%' operator, the
  49    sign of the result is machine dependent for negative values, so force
  50    it to be treated as an unsigned int. */
  51
  52 #define ADDR2UINT(addr) ((unsigned int) ((char*) (addr) - (char*) NULL))
  53 #define RESIDUAL(addr,bsize) ((unsigned int) (ADDR2UINT (addr) % (bsize)))
  54
  55 /* Determine the amount of memory spanned by the initial heap table
  56    (not an absolute limit).  */
  57
  58 #define HEAP            (INT_BIT > 16 ? 4194304 : 65536)
  59
  60 /* Number of contiguous free blocks allowed to build up at the end of
  61    memory before they will be returned to the system.  */
  62
  63 #define FINAL_FREE_BLOCKS       8
  64
  65 /* Where to start searching the free list when looking for new memory.
  66    The two possible values are 0 and heapindex.  Starting at 0 seems
  67    to reduce total memory usage, while starting at heapindex seems to
  68    run faster.  */
  69
  70 #define MALLOC_SEARCH_START     mdp -> heapindex
  71
  72 /* Address to block number and vice versa.  */
  73
  74 #define BLOCK(A) (((char*) (A) - (char*) mdp -> heapbase) / BLOCKSIZE + 1)
  75
  76 #define ADDRESS(B) ((void*) (((ADDR2UINT(B)) - 1) * BLOCKSIZE + (char*) mdp -> heapbase))
  77
  78 const char *xbt_thread_self_name(void);
  79
  80 /* Data structure giving per-block information.
  81  *
  82  * There is one such structure in the mdp->heapinfo array,
  83  * that is addressed by block number.
  84  *
  85  * There is several types of blocks in memory:
  86  *  - full busy blocks: used when we are asked to malloc a block which size is > BLOCKSIZE/2
  87  *    In this situation, the full block is given to the malloc.
  88  *
  89  *  - fragmented busy blocks: when asked for smaller amount of memory.
  90  *    Fragment sizes are only power of 2. When looking for such a free fragment,
  91  *    we get one from mdp->fraghead (that contains a linked list of blocks fragmented at that
  92  *    size and containing a free fragment), or we get a fresh block that we fragment.
  93  *
  94  *  - free blocks are grouped by clusters, that are chained together.
  95  *    When looking for free blocks, we traverse the mdp->heapinfo looking
  96  *    for a cluster of free blocks that would be large enough.
  97  *
  98  *    The size of the cluster is only to be trusted in the first block of the cluster.
  99  *    If the cluster results of the fusion of several clusters, the previously first
 100  *    block of their cluster will have partial data. The only information kept consistent over
 101  *    all blocks of the clusters is their type (== -1).
 102  *
 103  * Note that there is no way to determine if the block is free or busy by exploring
 104  * this structure only. It wasn't intended to be crawled for comparison and we should fix it (TODO).
 105  *
 106  * TODO: understand whether the information are written in each blocks of a cluster (be it
 107  * free or busy) or only in the first block of the cluster. And in the latter case, how can
 108  * I retrieve the first block of my cluster.
 109  *
 110  * TODO:
 111  *  - add an indication of the requested size in each fragment, similarly to busy_block.busy_size
 112  *  - make room to store the backtrace of where the blocks and fragment were malloced, too.
 113  */
 114 typedef struct {
 115         int type; /*  0: busy large block
 116                          >0: busy fragmented (fragments of size 2^type bytes)
 117                          <0: free block */
 118         union {
 119         /* Heap information for a busy block.  */
 120                 struct {
 121                         size_t nfree;           /* Free fragments in a fragmented block.  */
 122                         size_t first;           /* First free fragment of the block.  */
 123                 } busy_frag;
 124                 struct {
 125                         size_t size; /* Size (in blocks) of a large cluster.  */
 126                         size_t busy_size; /* Actually used space, in bytes */
 127                 } busy_block;
 128                 /* Heap information for a free block (that may be the first of a free cluster).  */
 129                 struct {
 130                         size_t size;                /* Size (in blocks) of a free cluster.  */
 131                         size_t next;                /* Index of next free cluster.  */
 132                         size_t prev;                /* Index of previous free cluster.  */
 133                 } free_block;
 134         };
 135 } malloc_info;
 136
 137 /* Doubly linked lists of free fragments.  */
 138 struct list {
 139         struct list *next;
 140         struct list *prev;
 141 };
 142
 143 /* Internal structure that defines the format of the malloc-descriptor.
 144    This gets written to the base address of the region that mmalloc is
 145    managing, and thus also becomes the file header for the mapped file,
 146    if such a file exists. */
 147
 148 struct mdesc {
 149
 150         /* Semaphore locking the access to the heap */
 151         sem_t sem;
 152
 153         /* Number of processes that attached the heap */
 154         unsigned int refcount;
 155
 156         /* Chained lists of mdescs */
 157         struct mdesc *next_mdesc;
 158
 159         /* The "magic number" for an mmalloc file. */
 160         char magic[MMALLOC_MAGIC_SIZE];
 161
 162         /* The size in bytes of this structure, used as a sanity check when reusing
 163      a previously created mapped file. */
 164         unsigned int headersize;
 165
 166         /* The version number of the mmalloc package that created this file. */
 167         unsigned char version;
 168
 169         /* Some flag bits to keep track of various internal things. */
 170         unsigned int flags;
 171
 172         /* Number of info entries.  */
 173         size_t heapsize;
 174
 175         /* Pointer to first block of the heap (base of the first block).  */
 176         void *heapbase;
 177
 178         /* Current search index for the heap table.  */
 179         /* Search index in the info table.  */
 180         size_t heapindex;
 181
 182         /* Limit of valid info table indices.  */
 183         size_t heaplimit;
 184
 185         /* Block information table.
 186      Allocated with malign/mfree (not mmalloc/mfree).  */
 187         /* Table indexed by block number giving per-block information.  */
 188         malloc_info *heapinfo;
 189
 190         /* List of all blocks containing free fragments of this size. The array indice is the log2 of requested size */
 191         struct list fraghead[BLOCKLOG];
 192
 193         /* The base address of the memory region for this malloc heap.  This
 194      is the location where the bookkeeping data for mmap and for malloc
 195      begins. */
 196
 197         void *base;
 198
 199         /* The current location in the memory region for this malloc heap which
 200      represents the end of memory in use. */
 201
 202         void *breakval;
 203
 204         /* The end of the current memory region for this malloc heap.  This is
 205      the first location past the end of mapped memory. */
 206
 207         void *top;
 208
 209         /* Open file descriptor for the file to which this malloc heap is mapped.
 210      This will always be a valid file descriptor, since /dev/zero is used
 211      by default if no open file is supplied by the client.  Also note that
 212      it may change each time the region is mapped and unmapped. */
 213
 214         int fd;
 215
 216 };
 217
 218 int mmalloc_compare_mdesc(struct mdesc *mdp1, struct mdesc *mdp2, void *std_heap_addr);
 219
 220 void mmalloc_display_info(void *h);
 221
 222 /* Bits to look at in the malloc descriptor flags word */
 223
 224 #define MMALLOC_DEVZERO         (1 << 0)        /* Have mapped to /dev/zero */
 225 #define MMALLOC_ANONYMOUS (1 << 1)      /* Use anonymous mapping */
 226 #define MMALLOC_INITIALIZED     (1 << 2)        /* Initialized mmalloc */
 227
 228 /* A default malloc descriptor for the single sbrk() managed region. */
 229
 230 extern struct mdesc *__mmalloc_default_mdp;
 231
 232 /* Remap a mmalloc region that was previously mapped. */
 233
 234 extern void *__mmalloc_remap_core(xbt_mheap_t mdp);
 235
 236 /*  Get core for the memory region specified by MDP, using SIZE as the
 237     amount to either add to or subtract from the existing region.  Works
 238     like sbrk(), but using mmap(). */
 239 extern void *mmorecore(struct mdesc *mdp, int size);
 240
 241 /* Thread-safety (if the sem is already created) FIXME: KILLIT*/
 242 #define LOCK(mdp)                                        \
 243                 sem_wait(&mdp->sem)
 244
 245 #define UNLOCK(mdp)                                        \
 246                 sem_post(&mdp->sem)
 247
 248 #endif                          /* __MMPRIVATE_H */