Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Fix memory leak when smpi_exit is called.
[simgrid.git] / src / xbt / mmalloc / mmalloc.c
1 /* Memory allocator `malloc'. */
2
3 /* Copyright (c) 2010-2021. The SimGrid Team. All rights reserved.          */
4
5 /* This program is free software; you can redistribute it and/or modify it
6  * under the terms of the license (GNU LGPL) which comes with this package. */
7
8 /* Copyright 1990, 1991, 1992 Free Software Foundation
9
10    Written May 1989 by Mike Haertel.
11    Heavily modified Mar 1992 by Fred Fish for mmap'd version. */
12
13 #include <string.h>             /* Prototypes for memcpy, memmove, memset, etc */
14 #include <stdio.h>
15 #include "mmprivate.h"
16
17 /* Prototypes for local functions */
18
19 static void initialize(xbt_mheap_t mdp);
20 static void *register_morecore(xbt_mheap_t mdp, size_t size);
21 static void *align(xbt_mheap_t mdp, size_t size);
22
23 /* Allocation aligned on block boundary.
24  *
25  * It never returns NULL, but dies verbosely on error.
26  */
27 static void *align(struct mdesc *mdp, size_t size)
28 {
29   void *result;
30   unsigned long int adj;
31
32   result = mmorecore(mdp, size);
33
34   /* if this reservation does not fill up the last block of our resa,
35    * complete the reservation by also asking for the full latest block.
36    *
37    * Also, the returned block is aligned to the end of block (but I've
38    * no fucking idea of why, actually -- http://abstrusegoose.com/432 --
39    * but not doing so seems to lead to issues).
40    */
41   adj = RESIDUAL(result, BLOCKSIZE);
42   if (adj != 0) {
43     adj = BLOCKSIZE - adj;
44     mmorecore(mdp, adj);
45     result = (char *) result + adj;
46   }
47   return result;
48 }
49
50 /** Initialize heapinfo about the heapinfo pages :)
51  *
52  */
53 static void initialize_heapinfo_heapinfo(const s_xbt_mheap_t* mdp)
54 {
55   // Update heapinfo about the heapinfo pages (!):
56   xbt_assert((uintptr_t) mdp->heapinfo % BLOCKSIZE == 0);
57   size_t block   = BLOCK(mdp->heapinfo);
58   size_t nblocks = mdp->heapsize * sizeof(malloc_info) / BLOCKSIZE;
59   // Mark them as free:
60   for (size_t j=0; j!=nblocks; ++j) {
61     mdp->heapinfo[block+j].type = MMALLOC_TYPE_FREE;
62     mdp->heapinfo[block+j].free_block.size = 0;
63     mdp->heapinfo[block+j].free_block.next = 0;
64     mdp->heapinfo[block+j].free_block.prev = 0;
65   }
66   mdp->heapinfo[block].free_block.size = nblocks;
67 }
68
69 /* Finish the initialization of the mheap. If we want to inline it
70  * properly, we need to make the align function publicly visible, too  */
71 static void initialize(xbt_mheap_t mdp)
72 {
73   // Update mdp meta-data:
74   mdp->heapsize = HEAP / BLOCKSIZE;
75   mdp->heapinfo = (malloc_info *)
76     align(mdp, mdp->heapsize * sizeof(malloc_info));
77   mdp->heapbase = (void *) mdp->heapinfo;
78   mdp->flags |= MMALLOC_INITIALIZED;
79
80   // Update root heapinfo:
81   memset((void *) mdp->heapinfo, 0, mdp->heapsize * sizeof(malloc_info));
82   mdp->heapinfo[0].type = MMALLOC_TYPE_FREE;
83   mdp->heapinfo[0].free_block.size = 0;
84   mdp->heapinfo[0].free_block.next = mdp->heapinfo[0].free_block.prev = 0;
85   mdp->heapindex = 0;
86
87   initialize_heapinfo_heapinfo(mdp);
88
89   for (int i = 0; i < BLOCKLOG; i++) {
90     malloc_info mi; /* to compute the offset of the swag hook */
91     xbt_swag_init(&(mdp->fraghead[i]), xbt_swag_offset(mi, freehook));
92   }
93 }
94
95 static inline void update_hook(void **a, size_t offset)
96 {
97   if (*a)
98     *a = (char*)*a + offset;
99 }
100
101 /* Get neatly aligned memory from the low level layers, and register it
102  * into the heap info table as necessary. */
103 static void *register_morecore(struct mdesc *mdp, size_t size)
104 {
105   void* result = align(mdp, size); // Never returns NULL
106
107   /* Check if we need to grow the info table (in a multiplicative manner)  */
108   if ((size_t) BLOCK((char *) result + size) > mdp->heapsize) {
109     size_t newsize = mdp->heapsize;
110     while ((size_t) BLOCK((char *) result + size) > newsize)
111       newsize *= 2;
112
113     /* Copy old info into new location */
114     malloc_info* oldinfo = mdp->heapinfo;
115     malloc_info* newinfo = (malloc_info*)align(mdp, newsize * sizeof(malloc_info));
116     memcpy(newinfo, oldinfo, mdp->heapsize * sizeof(malloc_info));
117
118     /* Initialize the new blockinfo : */
119     memset((char*) newinfo + mdp->heapsize * sizeof(malloc_info), 0,
120       (newsize - mdp->heapsize)* sizeof(malloc_info));
121
122     /* Update the swag of busy blocks containing free fragments by applying the offset to all swag_hooks. Yeah. My hand is right in the fan and I still type */
123     size_t offset=((char*)newinfo)-((char*)oldinfo);
124
125     for (int i = 1 /*first element of heapinfo describes the mdesc area*/; i < mdp->heaplimit; i++) {
126       update_hook(&newinfo[i].freehook.next, offset);
127       update_hook(&newinfo[i].freehook.prev, offset);
128     }
129     // also update the starting points of the swag
130     for (int i = 0; i < BLOCKLOG; i++) {
131       update_hook(&mdp->fraghead[i].head, offset);
132       update_hook(&mdp->fraghead[i].tail, offset);
133     }
134     mdp->heapinfo = newinfo;
135
136     /* mark the space previously occupied by the block info as free by first marking it
137      * as occupied in the regular way, and then freing it */
138     for (int it = 0; it < BLOCKIFY(mdp->heapsize * sizeof(malloc_info)); it++) {
139       newinfo[BLOCK(oldinfo)+it].type = MMALLOC_TYPE_UNFRAGMENTED;
140       newinfo[BLOCK(oldinfo)+it].busy_block.ignore = 0;
141     }
142
143     newinfo[BLOCK(oldinfo)].busy_block.size = BLOCKIFY(mdp->heapsize * sizeof(malloc_info));
144     newinfo[BLOCK(oldinfo)].busy_block.busy_size = size;
145     mfree(mdp, (void *) oldinfo);
146     mdp->heapsize = newsize;
147
148     initialize_heapinfo_heapinfo(mdp);
149   }
150
151   mdp->heaplimit = BLOCK((char *) result + size);
152   return result;
153 }
154
155 /* Allocate memory from the heap.  */
156 void *mmalloc(xbt_mheap_t mdp, size_t size) {
157   void *res= mmalloc_no_memset(mdp,size);
158   if (mdp->options & XBT_MHEAP_OPTION_MEMSET) {
159     memset(res,0,size);
160   }
161   return res;
162 }
163
164 static void mmalloc_mark_used(xbt_mheap_t mdp, size_t block, size_t nblocks, size_t requested_size)
165 {
166   for (int it = 0; it < nblocks; it++) {
167     mdp->heapinfo[block + it].type                 = MMALLOC_TYPE_UNFRAGMENTED;
168     mdp->heapinfo[block + it].busy_block.busy_size = 0;
169     mdp->heapinfo[block + it].busy_block.ignore    = 0;
170     mdp->heapinfo[block + it].busy_block.size      = 0;
171   }
172   mdp->heapinfo[block].busy_block.size      = nblocks;
173   mdp->heapinfo[block].busy_block.busy_size = requested_size;
174   mdp->heapstats.chunks_used++;
175   mdp->heapstats.bytes_used += nblocks * BLOCKSIZE;
176 }
177
178 /* Splitting mmalloc this way is mandated by a trick in mrealloc, that gives
179    back the memory of big blocks to the system before reallocating them: we don't
180    want to loose the beginning of the area when this happens */
181 void *mmalloc_no_memset(xbt_mheap_t mdp, size_t size)
182 {
183   void *result;
184   size_t block;
185
186   size_t requested_size = size; // The amount of memory requested by user, for real
187
188   /* Work even if the user was stupid enough to ask a ridiculously small block (even 0-length),
189    *    ie return a valid block that can be realloced and freed.
190    * glibc malloc does not use this trick but return a constant pointer, but we need to enlist the free fragments later on.
191    */
192   if (size < SMALLEST_POSSIBLE_MALLOC)
193     size = SMALLEST_POSSIBLE_MALLOC;
194
195   if (!(mdp->flags & MMALLOC_INITIALIZED))
196     initialize(mdp);
197
198   /* Determine the allocation policy based on the request size.  */
199   if (size <= BLOCKSIZE / 2) {
200     /* Small allocation to receive a fragment of a block.
201        Determine the logarithm to base two of the fragment size. */
202     size_t log = 1;
203     --size;
204     while ((size /= 2) != 0) {
205       ++log;
206     }
207
208     /* Look in the fragment lists for a free fragment of the desired size. */
209     if (xbt_swag_size(&mdp->fraghead[log])>0) {
210       /* There are free fragments of this size; Get one of them and prepare to return it.
211          Update the block's nfree and if no other free fragment, get out of the swag. */
212
213       /* search a fragment that I could return as a result */
214       malloc_info *candidate_info = xbt_swag_getFirst(&mdp->fraghead[log]);
215       size_t candidate_block = (candidate_info - &(mdp->heapinfo[0]));
216       size_t candidate_frag;
217       for (candidate_frag=0;candidate_frag<(size_t) (BLOCKSIZE >> log);candidate_frag++)
218         if (candidate_info->busy_frag.frag_size[candidate_frag] == -1)
219           break;
220       xbt_assert(candidate_frag < (size_t) (BLOCKSIZE >> log),
221           "Block %zu was registered as containing free fragments of type %zu, but I can't find any",candidate_block,log);
222
223       result = (void*) (((char*)ADDRESS(candidate_block)) + (candidate_frag << log));
224
225       /* Remove this fragment from the list of free guys */
226       candidate_info->busy_frag.nfree--;
227       if (candidate_info->busy_frag.nfree == 0) {
228         xbt_swag_remove(candidate_info,&mdp->fraghead[log]);
229       }
230
231       /* Update our metadata about this fragment */
232       candidate_info->busy_frag.frag_size[candidate_frag] = requested_size;
233       candidate_info->busy_frag.ignore[candidate_frag] = 0;
234
235       /* Update the statistics.  */
236       mdp -> heapstats.chunks_used++;
237       mdp -> heapstats.bytes_used += 1 << log;
238       mdp -> heapstats.chunks_free--;
239       mdp -> heapstats.bytes_free -= 1 << log;
240
241     } else {
242       /* No free fragments of the desired size, so get a new block
243          and break it into fragments, returning the first.  */
244
245       result = mmalloc(mdp, BLOCKSIZE); // does not return NULL
246       block = BLOCK(result);
247
248       mdp->heapinfo[block].type = (int)log;
249       /* Link all fragments but the first as free, and add the block to the swag of blocks containing free frags  */
250       size_t i;
251       for (i = 1; i < (size_t) (BLOCKSIZE >> log); ++i) {
252         mdp->heapinfo[block].busy_frag.frag_size[i] = -1;
253         mdp->heapinfo[block].busy_frag.ignore[i] = 0;
254       }
255       mdp->heapinfo[block].busy_frag.nfree = i - 1;
256       mdp->heapinfo[block].freehook.prev = NULL;
257       mdp->heapinfo[block].freehook.next = NULL;
258
259       xbt_swag_insert(&mdp->heapinfo[block], &(mdp->fraghead[log]));
260
261       /* mark the fragment returned as busy */
262       mdp->heapinfo[block].busy_frag.frag_size[0] = requested_size;
263       mdp->heapinfo[block].busy_frag.ignore[0] = 0;
264
265       /* update stats */
266       mdp -> heapstats.chunks_free += (BLOCKSIZE >> log) - 1;
267       mdp -> heapstats.bytes_free += BLOCKSIZE - (1 << log);
268       mdp -> heapstats.bytes_used -= BLOCKSIZE - (1 << log);
269     }
270   } else {
271     /* Large allocation to receive one or more blocks.
272        Search the free list in a circle starting at the last place visited.
273        If we loop completely around without finding a large enough
274        space we will have to get more memory from the system.  */
275     size_t blocks = BLOCKIFY(size);
276     size_t start  = MALLOC_SEARCH_START;
277     block         = MALLOC_SEARCH_START;
278     while (mdp->heapinfo[block].free_block.size < blocks) {
279       if (mdp->heapinfo[block].type >=0) { // Don't trust xbt_die and friends in malloc-level library, you fool!
280         fprintf(stderr,
281                 "Internal error: found a free block not marked as such (block=%zu type=%d). Please report this bug.\n",
282                 block, mdp->heapinfo[block].type);
283         abort();
284       }
285
286       block = mdp->heapinfo[block].free_block.next;
287       if (block == start) {
288         /* Need to get more from the system.  Check to see if
289            the new core will be contiguous with the final free
290            block; if so we don't need to get as much.  */
291         block = mdp->heapinfo[0].free_block.prev;
292         size_t lastblocks = mdp->heapinfo[block].free_block.size;
293         if (mdp->heaplimit != 0 &&
294             block + lastblocks == mdp->heaplimit &&
295             mmorecore(mdp, 0) == ADDRESS(block + lastblocks) &&
296             (register_morecore(mdp, (blocks - lastblocks) * BLOCKSIZE)) != NULL) {
297           /* Which block we are extending (the `final free
298              block' referred to above) might have changed, if
299              it got combined with a freed info table.  */
300           block = mdp->heapinfo[0].free_block.prev;
301
302           mdp->heapinfo[block].free_block.size += (blocks - lastblocks);
303           continue;
304         }
305         result = register_morecore(mdp, blocks * BLOCKSIZE);
306
307         block = BLOCK(result);
308         mmalloc_mark_used(mdp, block, blocks, requested_size);
309
310         return result;
311       }
312       /* Need large block(s), but found some in the existing heap */
313     }
314
315     /* At this point we have found a suitable free list entry.
316        Figure out how to remove what we need from the list. */
317     result = ADDRESS(block);
318     if (mdp->heapinfo[block].free_block.size > blocks) {
319       /* The block we found has a bit left over,
320          so relink the tail end back into the free list. */
321       mdp->heapinfo[block + blocks].free_block.size
322         = mdp->heapinfo[block].free_block.size - blocks;
323       mdp->heapinfo[block + blocks].free_block.next
324         = mdp->heapinfo[block].free_block.next;
325       mdp->heapinfo[block + blocks].free_block.prev
326         = mdp->heapinfo[block].free_block.prev;
327       mdp->heapinfo[mdp->heapinfo[block].free_block.prev].free_block.next
328         = mdp->heapinfo[mdp->heapinfo[block].free_block.next].free_block.prev
329         = mdp->heapindex = block + blocks;
330     } else {
331       /* The block exactly matches our requirements,
332          so just remove it from the list. */
333       mdp->heapinfo[mdp->heapinfo[block].free_block.next].free_block.prev
334         = mdp->heapinfo[block].free_block.prev;
335       mdp->heapinfo[mdp->heapinfo[block].free_block.prev].free_block.next
336         = mdp->heapindex = mdp->heapinfo[block].free_block.next;
337     }
338
339     mmalloc_mark_used(mdp, block, blocks, requested_size);
340     mdp -> heapstats.bytes_free -= blocks * BLOCKSIZE;
341
342   }
343
344   return result;
345 }