Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Add a stupid function to display the content of a dict (as long as it's a string)
[simgrid.git] / src / xbt / dict.c
index 227347b..649091b 100644 (file)
@@ -1,13 +1,17 @@
 /* $Id$ */
 
-/* dict - a generic dictionnary, variation over the B-tree concept          */
+/* dict - a generic dictionary, variation over the B-tree concept          */
 
 /* Copyright (c) 2003,2004 Martin Quinson. All rights reserved.             */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
+#define DJB2_HASH_FUNCTION
+//#define FNV_HASH_FUNCTION
+
 #include <string.h>
+#include <stdio.h>
 #include "xbt/ex.h"
 #include "xbt/log.h"
 #include "xbt/mallocator.h"
@@ -15,7 +19,7 @@
 #include "dict_private.h"
 
 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(xbt_dict,xbt,
-   "Dictionaries provide the same functionnalities than hash tables");
+                                "Dictionaries provide the same functionalities than hash tables");
 /*####[ Private prototypes ]#################################################*/
 
 static xbt_mallocator_t dict_mallocator = NULL;
@@ -31,44 +35,35 @@ static void dict_mallocator_reset_f(void* dict);
  * \return pointer to the destination
  * \see xbt_dict_new_ext(), xbt_dict_free()
  *
- * Creates and initialize a new dictionnary with a default hashtable size.
+ * Creates and initialize a new dictionary with a default hashtable size.
  */
 xbt_dict_t xbt_dict_new(void) {
-  return xbt_dict_new_ext(256);
-}
-
-/**
- * \brief Create a new dictionary with the specified hashtable size
- * \param hashsize the hashtable size
- * \return a pointer to the created object
- * \see xbt_dict_new(), xbt_dict_free()
- */
-xbt_dict_t xbt_dict_new_ext(int hashsize) {
   xbt_dict_t dict;
 
   if (dict_mallocator == NULL) {
     /* first run */
     dict_mallocator = xbt_mallocator_new(256,
-                                        dict_mallocator_new_f,
-                                        dict_mallocator_free_f,
-                                        dict_mallocator_reset_f);
+                                         dict_mallocator_new_f,
+                                         dict_mallocator_free_f,
+                                         dict_mallocator_reset_f);
     dict_elm_mallocator = xbt_mallocator_new(256,
-                                            dict_elm_mallocator_new_f,
-                                            dict_elm_mallocator_free_f,
-                                            dict_elm_mallocator_reset_f);
+                                             dict_elm_mallocator_new_f,
+                                             dict_elm_mallocator_free_f,
+                                             dict_elm_mallocator_reset_f);
   }
 
   dict = xbt_mallocator_get(dict_mallocator);
-  dict->table_size = hashsize;
-  dict->table = xbt_new0(xbt_dictelm_t, dict->table_size);
+  dict->table_size = 127;
+  dict->table = xbt_new0(xbt_dictelm_t, dict->table_size+1);
   dict->count = 0;
+  dict->fill = 0;
 
   return dict;
 }
 
 /**
  * \brief Destructor
- * \param dict the dictionnary to be freed
+ * \param dict the dictionary to be freed
  *
  * Frees a dictionary with all the data
  */
@@ -78,15 +73,18 @@ void xbt_dict_free(xbt_dict_t *dict) {
   int table_size;
   xbt_dictelm_t *table;
 
+  //  if ( *dict )  xbt_dict_dump_sizes(*dict);
+
   if (dict != NULL && *dict != NULL) {
     table_size = (*dict)->table_size;
     table = (*dict)->table;
-    for (i = 0; i < table_size; i++) {
+    for (i = 0; (*dict)->count && i < table_size; i++) {
       current = table[i];
       while (current != NULL) {
-       previous = current;
-       current = current->next;
-       xbt_dictelm_free(previous);
+        previous = current;
+        current = current->next;
+        xbt_dictelm_free(previous);
+        (*dict)->count--;
       }
     }
     xbt_free(table);
@@ -96,104 +94,178 @@ void xbt_dict_free(xbt_dict_t *dict) {
 }
 
 /**
- * \brief Change the hashtable size
- * \param dict a dictionary
- * \param hashsize the new hashtable size
- *
- * Change the hashtable size is a long operation, so it's better
- * to use xbt_dict_new_ext or to call xbt_dict_hashsize_set when
- * the dictionary is empty. 
+ * Returns the amount of elements in the dict
  */
-void xbt_dict_hashsize_set(xbt_dict_t dict, int hashsize) {
-  xbt_dict_t new_dict = xbt_dict_new_ext(hashsize);
-  xbt_dictelm_t element, next;
-  int i;
-
-  for (i = 0; i < dict->table_size; i++) {
-    element = dict->table[i];
-    while (element != NULL) {
-      next = element->next; /* save the next because it will be lost */
-      xbt_dict_add_element(new_dict, element); /* no new xbt_dictelm_t is mallocated */
-      element = next;
-    }
-  }
-
-  xbt_free(dict->table);
-  dict->table = new_dict->table;
-  dict->table_size = hashsize;
-  xbt_free(new_dict);
+unsigned int xbt_dict_size(xbt_dict_t dict) {
+  return dict->count;
 }
 
 /**
  * Returns the hash code of a string.
  */
-static unsigned int xbt_dict_hash_ext(const char *str, int str_len) {
+static XBT_INLINE unsigned int xbt_dict_hash_ext(const char *str, int str_len) {
+
+
+#ifdef DJB2_HASH_FUNCTION
   /* fast implementation of djb2 algorithm */
-  unsigned int hash = 5381;
   int c;
-  
+  register unsigned int hash = 5381;
+
   while (str_len--) {
     c = *str++;
     hash = ((hash << 5) + hash) + c; /* hash * 33 + c */
   }
-  
+# elif defined(FNV_HASH_FUNCTION)
+  register unsigned int hash = 0x811c9dc5;
+  unsigned char *bp = (unsigned char *)str;   /* start of buffer */
+  unsigned char *be = bp + str_len;               /* beyond end of buffer */
+
+  while (bp < be) {
+    /* multiply by the 32 bit FNV magic prime mod 2^32 */
+    hash += (hash<<1) + (hash<<4) + (hash<<7) + (hash<<8) + (hash<<24);
+
+    /* xor the bottom with the current octet */
+    hash ^= (unsigned int)*bp++;
+  }
+
+# else
+  register unsigned int hash = 0;
+
+  while (str_len--) {
+    hash += (*str) * (*str);
+    str++;
+  }
+#endif
+
   return hash;
 }
 
-static unsigned int xbt_dict_hash(const char *str) {
+static XBT_INLINE unsigned int xbt_dict_hash(const char *str) {
+#ifdef DJB2_HASH_FUNCTION
   /* fast implementation of djb2 algorithm */
-  unsigned int hash = 5381;
   int c;
-  
+  register unsigned int hash = 5381;
+
   while ( (c = *str++) ) {
     hash = ((hash << 5) + hash) + c; /* hash * 33 + c */
   }
-  
+
+# elif defined(FNV_HASH_FUNCTION)
+  register unsigned int hash = 0x811c9dc5;
+
+  while (*str) {
+    /* multiply by the 32 bit FNV magic prime mod 2^32 */
+    hash += (hash<<1) + (hash<<4) + (hash<<7) + (hash<<8) + (hash<<24);
+
+    /* xor the bottom with the current byte */
+    hash ^= (unsigned int)*str++;
+  }
+
+# else
+  register unsigned int hash = 0;
+
+  while (*str) {
+    hash += (*str) * (*str);
+    str++;
+  }
+#endif
   return hash;
 }
 
+/* Expend the size of the dict */
+static void xbt_dict_rehash(xbt_dict_t dict) {
+  const int oldsize = dict->table_size + 1;
+  register int newsize = oldsize * 2;
+  register int i;
+  register xbt_dictelm_t *currcell;
+  register xbt_dictelm_t *twincell;
+  register xbt_dictelm_t bucklet;
+  register xbt_dictelm_t *pprev;
+
+  currcell = (xbt_dictelm_t*) xbt_realloc((char*)dict->table, newsize * sizeof(xbt_dictelm_t));
+  memset(&currcell[oldsize], 0, oldsize * sizeof(xbt_dictelm_t)); /* zero second half */
+  dict->table_size = --newsize;
+  dict->table = currcell;
+  DEBUG2("REHASH (%d->%d)",oldsize,newsize);
+
+  for (i=0; i<oldsize; i++,currcell++) {
+    if (!*currcell) /* empty cell */
+      continue;
+    twincell = currcell+oldsize;
+    for (pprev = currcell, bucklet = *currcell;
+    bucklet;
+    bucklet = *pprev) {
+      /* Since we use "& size" instead of "%size" and since the size was doubled,
+           each bucklet of this cell must either :
+            - stay  in  cell i (ie, currcell)
+            - go to the cell i+oldsize (ie, twincell) */
+      if ((bucklet->hash_code & newsize) != i) { /* Move to b */
+        *pprev = bucklet->next;
+        bucklet->next = *twincell;
+        if (!*twincell)
+          dict->fill++;
+        *twincell = bucklet;
+        continue;
+      } else {
+        pprev = &bucklet->next;
+      }
+
+    }
+
+    if (!*currcell)  /* everything moved */
+      dict->fill--;
+  }
+}
+
 /**
  * \brief Add data to the dict (arbitrary key)
  * \param dict the container
  * \param key the key to set the new data
  * \param key_len the size of the \a key
  * \param data the data to add in the dict
- * \param free_ctn function to call with (\a key as argument) when 
- *        \a key is removed from the dictionnary
+ * \param free_ctn function to call with (\a key as argument) when
+ *        \a key is removed from the dictionary
  *
- * Set the \a data in the structure under the \a key, which can be any kind 
+ * Set the \a data in the structure under the \a key, which can be any kind
  * of data, as long as its length is provided in \a key_len.
  */
-void xbt_dict_set_ext(xbt_dict_t      dict,
-                     const char      *key,
-                     int              key_len,
-                     void            *data,
-                     void_f_pvoid_t  *free_ctn) {
-  xbt_assert(dict);
+XBT_INLINE void xbt_dict_set_ext(xbt_dict_t dict,
+                                 const char *key, int key_len,
+                                 void *data, void_f_pvoid_t free_ctn) {
+
+  unsigned int hash_code = xbt_dict_hash_ext(key,key_len);
 
-  unsigned int hash_code = xbt_dict_hash_ext(key,key_len) % dict->table_size;
   xbt_dictelm_t current, previous = NULL;
+  xbt_assert(dict);
 
-  current = dict->table[hash_code];
+  DEBUG5("ADD %.*s hash = %d, size = %d, & = %d",key_len,key,hash_code, dict->table_size, hash_code & dict->table_size);
+  current = dict->table[hash_code & dict->table_size];
   while (current != NULL &&
-        (key_len != current->key_len || strncmp(key, current->key, key_len))) {
+      (hash_code != current->hash_code || key_len != current->key_len || memcmp(key, current->key, key_len))) {
     previous = current;
     current = current->next;
   }
 
   if (current == NULL) {
     /* this key doesn't exist yet */
-    current = xbt_dictelm_new(key, key_len, data, free_ctn, NULL);
+    current = xbt_dictelm_new(key, key_len, hash_code, data, free_ctn);
+    dict->count++;
     if (previous == NULL) {
-      dict->table[hash_code] = current;
-    }
-    else {
+      dict->table[hash_code & dict->table_size] = current;
+      dict->fill++;
+      if ((dict->fill * 100) / (dict->table_size + 1) > MAX_FILL_PERCENT)
+        xbt_dict_rehash(dict);
+    } else {
       previous->next = current;
     }
-    dict->count++;
   }
   else {
-    /* there is already an element with the same key: we overwrite it */
+
+    DEBUG6("Replace %.*s by %.*s under key %.*s",
+           key_len,(char*)current->content,
+           key_len,(char*)data,
+           key_len,(char*)key);
+    /* there is already an element with the same key: overwrite it */
     if (current->content != NULL && current->free_f != NULL) {
       current->free_f(current->content);
     }
@@ -208,19 +280,17 @@ void xbt_dict_set_ext(xbt_dict_t      dict,
  * \param dict the dict
  * \param key the key to set the new data
  * \param data the data to add in the dict
- * \param free_ctn function to call with (\a key as argument) when 
- *        \a key is removed from the dictionnary
+ * \param free_ctn function to call with (\a key as argument) when
+ *        \a key is removed from the dictionary
  *
- * set the \a data in the structure under the \a key, which is a 
+ * set the \a data in the structure under the \a key, which is a
  * null terminated string.
  */
-void xbt_dict_set(xbt_dict_t     dict,
-                 const char     *key,
-                 void           *data,
-                 void_f_pvoid_t *free_ctn) {
+void xbt_dict_set(xbt_dict_t      dict,
+                  const char     *key,
+                  void           *data,
+                  void_f_pvoid_t  free_ctn) {
 
-  xbt_assert(dict);
-  
   xbt_dict_set_ext(dict, key, strlen(key), data, free_ctn);
 }
 
@@ -234,53 +304,73 @@ void xbt_dict_set(xbt_dict_t     dict,
  *
  * Search the given \a key. Throws not_found_error when not found.
  */
-void *xbt_dict_get_ext(xbt_dict_t      dict,
-                      const char     *key,
-                      int             key_len) {
-  xbt_assert(dict);
+void *xbt_dict_get_ext(xbt_dict_t dict,
+                       const char *key, int key_len) {
+
 
-  unsigned int hash_code = xbt_dict_hash_ext(key,key_len) % dict->table_size;
+  unsigned int hash_code = xbt_dict_hash_ext(key,key_len);
   xbt_dictelm_t current;
 
-  current = dict->table[hash_code];
+  xbt_assert(dict);
+
+  current = dict->table[hash_code & dict->table_size];
   while (current != NULL &&
-        (key_len != current->key_len || strncmp(key, current->key, key_len))) {
+      (hash_code != current->hash_code || key_len != current->key_len || memcmp(key, current->key, key_len))) {
     current = current->next;
   }
 
-  if (current == NULL) {
+  if (current == NULL)
     THROW2(not_found_error, 0, "key %.*s not found", key_len, key);
+
+  return current->content;
+}
+/**
+ * \brief like xbt_dict_get_ext(), but returning NULL when not found
+ */
+void *xbt_dict_get_or_null_ext(xbt_dict_t dict,
+                               const char *key, int key_len) {
+  unsigned int hash_code = xbt_dict_hash_ext(key,key_len);
+  xbt_dictelm_t current;
+
+  xbt_assert(dict);
+
+  current = dict->table[hash_code & dict->table_size];
+  while (current != NULL &&
+      (hash_code != current->hash_code || key_len != current->key_len || memcmp(key, current->key, key_len))) {
+    current = current->next;
   }
 
+  if (current == NULL)
+    return NULL;
+
   return current->content;
 }
 
 /**
- * \brief Retrieve data from the dict (null-terminated key) 
+ * \brief Retrieve data from the dict (null-terminated key)
  *
  * \param dict the dealer of data
  * \param key the key to find data
  * \return the data that we are looking for
  *
- * Search the given \a key. Throws not_found_error when not found. 
- * Check xbt_dict_get_or_null() for a version returning NULL without exception when 
+ * Search the given \a key. Throws not_found_error when not found.
+ * Check xbt_dict_get_or_null() for a version returning NULL without exception when
  * not found.
  */
 void *xbt_dict_get(xbt_dict_t dict,
-                  const char *key) {
-  xbt_assert(dict);
+                   const char *key) {
 
-  unsigned int hash_code = xbt_dict_hash(key) % dict->table_size;
+  unsigned int hash_code = xbt_dict_hash(key);
   xbt_dictelm_t current;
 
-  current = dict->table[hash_code];
-  while (current != NULL && (strcmp(key, current->key))) {
+  xbt_assert(dict);
+
+  current = dict->table[hash_code & dict->table_size];
+  while (current != NULL && (hash_code != current->hash_code || strcmp(key, current->key)))
     current = current->next;
-  }
 
-  if (current == NULL) {
+  if (current == NULL)
     THROW1(not_found_error, 0, "key %s not found", key);
-  }
 
   return current->content;
 }
@@ -288,19 +378,22 @@ void *xbt_dict_get(xbt_dict_t dict,
 /**
  * \brief like xbt_dict_get(), but returning NULL when not found
  */
-void *xbt_dict_get_or_null(xbt_dict_t     dict,
-                    const char     *key) {
-  xbt_ex_t e;
-  void *result = NULL;
-  TRY {
-    result = xbt_dict_get(dict, key);
-  } CATCH(e) {
-    if (e.category != not_found_error) 
-      RETHROW;
-    xbt_ex_free(e);
-    result = NULL;
-  }
-  return result;
+void *xbt_dict_get_or_null(xbt_dict_t dict,
+                           const char *key) {
+  unsigned int hash_code = xbt_dict_hash(key);
+  xbt_dictelm_t current;
+
+  xbt_assert(dict);
+
+  current = dict->table[hash_code & dict->table_size];
+  while (current != NULL &&
+      hash_code != current->hash_code && strcmp(key, current->key))
+    current = current->next;
+
+  if (current == NULL)
+    return NULL;
+
+  return current->content;
 }
 
 
@@ -314,31 +407,34 @@ void *xbt_dict_get_or_null(xbt_dict_t     dict,
  * Remove the entry associated with the given \a key (throws not_found)
  */
 void xbt_dict_remove_ext(xbt_dict_t  dict,
-                        const char  *key,
-                        int          key_len) {
-  xbt_assert(dict);
+                         const char  *key,
+                         int          key_len) {
+
 
-  unsigned int hash_code = xbt_dict_hash_ext(key,key_len) % dict->table_size;
+  unsigned int hash_code = xbt_dict_hash_ext(key,key_len);
   xbt_dictelm_t current, previous = NULL;
 
-  current = dict->table[hash_code];
+  xbt_assert(dict);
+
+  //  fprintf(stderr,"RM %.*s hash = %d, size = %d, & = %d\n",key_len,key,hash_code, dict->table_size, hash_code & dict->table_size);
+  current = dict->table[hash_code & dict->table_size];
   while (current != NULL &&
-        (key_len != current->key_len || strncmp(key, current->key, key_len))) {
+      (hash_code != current->hash_code || key_len != current->key_len || strncmp(key, current->key, key_len))) {
     previous = current; /* save the previous node */
     current = current->next;
   }
 
-  if (current == NULL) {
+  if (current == NULL)
     THROW2(not_found_error, 0, "key %.*s not found", key_len, key);
-  }
 
   if (previous != NULL) {
-    xbt_assert0(previous->next == current, "previous-next != current");
     previous->next = current->next;
+  } else {
+    dict->table[hash_code & dict->table_size] = current->next;
   }
-  else {
-    dict->table[hash_code] = current->next;
-  }
+
+  if (!dict->table[hash_code & dict->table_size])
+    dict->fill--;
 
   xbt_dictelm_free(current);
   dict->count--;
@@ -352,10 +448,7 @@ void xbt_dict_remove_ext(xbt_dict_t  dict,
  *
  * Remove the entry associated with the given \a key
  */
-void xbt_dict_remove(xbt_dict_t  dict,
-                    const char  *key) {
-  xbt_assert(dict);
-
+void xbt_dict_remove(xbt_dict_t dict, const char *key) {
   xbt_dict_remove_ext(dict, key, strlen(key));
 }
 
@@ -364,15 +457,16 @@ void xbt_dict_remove(xbt_dict_t  dict,
  * \param dict the dict
  */
 void xbt_dict_reset(xbt_dict_t dict) {
-  xbt_assert(dict);
 
   int i;
   xbt_dictelm_t current, previous = NULL;
-   
+
+  xbt_assert(dict);
+
   if (dict->count == 0)
     return;
-   
-  for (i = 0; i < dict->table_size; i++) {
+
+  for (i = 0; i <= dict->table_size; i++) {
     current = dict->table[i];
     while (current != NULL) {
       previous = current;
@@ -383,6 +477,7 @@ void xbt_dict_reset(xbt_dict_t dict) {
   }
 
   dict->count = 0;
+  dict->fill = 0;
 }
 
 /**
@@ -395,45 +490,104 @@ int xbt_dict_length(xbt_dict_t dict) {
   return dict->count;
 }
 
-/*
- * Add an already mallocated element to a dictionary.
- */
-void xbt_dict_add_element(xbt_dict_t dict, xbt_dictelm_t element) {
-  xbt_assert(dict);
-
-  int hashcode = xbt_dict_hash_ext(element->key,element->key_len) % dict->table_size;
-  element->next = dict->table[hashcode];
-  dict->table[hashcode] = element;
+/** @brief function to be used in xbt_dict_dump as long as the stored values are strings */
+void xbt_dict_dump_output_string(void *s) {
+  fputs(s,stdout);
 }
 
+
 /**
- * \brief Outputs the content of the structure (debuging purpose) 
+ * \brief Outputs the content of the structure (debugging purpose)
  *
  * \param dict the exibitionist
- * \param output a function to dump each data in the tree
+ * \param output a function to dump each data in the tree (check @ref xbt_dict_dump_output_string)
  *
- * Ouputs the content of the structure. (for debuging purpose). \a ouput is a
+ * Outputs the content of the structure. (for debugging purpose). \a output is a
  * function to output the data. If NULL, data won't be displayed.
  */
 
 void xbt_dict_dump(xbt_dict_t     dict,
-                  void_f_pvoid_t *output) {
+                   void_f_pvoid_t output) {
   int i;
   xbt_dictelm_t element;
   printf("Dict %p:\n", dict);
   if (dict != NULL) {
     for (i = 0; i < dict->table_size; i++) {
       element = dict->table[i];
-      while (element != NULL) {
-       printf("%s -> ", element->key);
-       if (output != NULL) {
-         output(element->content);
-       }
-       printf("\n");
-       element = element->next;
+      if (element) {
+        printf("[\n");
+        while (element != NULL) {
+          printf(" %s -> '", element->key);
+          if (output != NULL) {
+            (*output)(element->content);
+          }
+          printf("'\n");
+          element = element->next;
+        }
+        printf("]\n");
+      } else {
+        printf("[]\n");
+      }
+    }
+  }
+}
+
+xbt_dynar_t all_sizes = NULL;
+/** @brief shows some debugging info about the bucklet repartition */
+void xbt_dict_dump_sizes(xbt_dict_t dict) {
+
+  int i;
+  unsigned int count;
+  unsigned int size;
+  xbt_dictelm_t element;
+  xbt_dynar_t sizes = xbt_dynar_new(sizeof(int),NULL);
+
+  printf("Dict %p: %d bucklets, %d used cells (of %d) ", dict, dict->count, dict->fill,dict->table_size);
+  if (dict != NULL) {
+    for (i = 0; i < dict->table_size; i++) {
+      element = dict->table[i];
+      size = 0;
+      if (element) {
+        while (element != NULL) {
+          size ++;
+          element = element->next;
+        }
+      }
+      if (xbt_dynar_length(sizes) <= size) {
+        int prevsize = 1;
+        xbt_dynar_set(sizes,size,&prevsize);
+      } else {
+        int prevsize;
+        xbt_dynar_get_cpy(sizes,size,&prevsize);
+        prevsize++;
+        xbt_dynar_set(sizes,size,&prevsize);
+      }
+    }
+    if (!all_sizes)
+      all_sizes = xbt_dynar_new(sizeof(int), NULL);
+
+    xbt_dynar_foreach(sizes,count,size) {
+      /* Copy values of this one into all_sizes */
+      int prevcount;
+      if (xbt_dynar_length(all_sizes) <= count) {
+        prevcount = size;
+        xbt_dynar_set(all_sizes,count,&prevcount);
+      } else {
+        xbt_dynar_get_cpy(all_sizes,count,&prevcount);
+        prevcount += size;
+        xbt_dynar_set(all_sizes,count,&prevcount);
       }
+
+      /* Report current sizes */
+      if (count==0)
+        continue;
+      if (size==0)
+        continue;
+      printf("%delm x %u cells; ",count,size);
     }
   }
+  printf("\n");
+  xbt_dynar_free(&sizes);
 }
 
 /**
@@ -443,7 +597,26 @@ void xbt_dict_dump(xbt_dict_t     dict,
 void xbt_dict_exit(void) {
   if (dict_mallocator != NULL) {
     xbt_mallocator_free(dict_mallocator);
+    dict_mallocator = NULL;
     xbt_mallocator_free(dict_elm_mallocator);
+    dict_elm_mallocator = NULL;
+  }
+  if (all_sizes) {
+    unsigned int count;
+    int size;
+    double avg = 0;
+    int total_count = 0;
+    printf("Overall stats:");
+    xbt_dynar_foreach(all_sizes,count,size) {
+      if (count==0)
+        continue;
+      if (size==0)
+        continue;
+      printf("%delm x %d cells; ",count,size);
+      avg += count * size;
+      total_count += size;
+    }
+    printf("; %f elm per cell\n",avg/(double)total_count);
   }
 }
 
@@ -487,7 +660,7 @@ static void debuged_add_ext(xbt_dict_t head,const char*key,const char*data_to_fi
   }
 }
 static void debuged_add(xbt_dict_t head,const char*key) {
-   debuged_add_ext(head,key,key);
+  debuged_add_ext(head,key,key);
 }
 
 static void fill(xbt_dict_t *head) {
@@ -508,7 +681,7 @@ static void fill(xbt_dict_t *head) {
 
 static void search_ext(xbt_dict_t head,const char*key, const char *data) {
   void *found;
-  
+
   xbt_test_add1("Search %s",key);
   found=xbt_dict_get(head,key);
   xbt_test_log1("Found %s",(char *)found);
@@ -534,11 +707,16 @@ static void traverse(xbt_dict_t head) {
   xbt_dict_cursor_t cursor=NULL;
   char *key;
   char *data;
+  int i = 0;
 
   xbt_dict_foreach(head,cursor,key,data) {
-    xbt_test_log2("Seen:  %s->%s",PRINTF_STR(key),PRINTF_STR(data));
+    if (!key || !data || strcmp(key,data)) {
+      xbt_test_log3("Seen #%d:  %s->%s",++i,PRINTF_STR(key),PRINTF_STR(data));
+    } else {
+      xbt_test_log2("Seen #%d:  %s",++i,PRINTF_STR(key));
+    }
     xbt_test_assert2(!data || !strcmp(key,data),
-                    "Key(%s) != value(%s). Abording\n",key,data);
+                     "Key(%s) != value(%s). Aborting",key,data);
   }
 }
 
@@ -548,11 +726,11 @@ static void search_not_found(xbt_dict_t head, const char *data) {
 
   xbt_test_add1("Search %s (expected not to be found)",data);
 
-  TRY {    
+  TRY {
     data = xbt_dict_get(head, data);
     THROW1(unknown_error,0,"Found something which shouldn't be there (%s)",data);
   } CATCH(e) {
-    if (e.category != not_found_error) 
+    if (e.category != not_found_error)
       xbt_test_exception(e);
     xbt_ex_free(e);
     ok=1;
@@ -561,8 +739,19 @@ static void search_not_found(xbt_dict_t head, const char *data) {
 }
 
 static void count(xbt_dict_t dict, int length) {
+  xbt_dict_cursor_t cursor;
+  char *key;
+  void *data;
+  int effective = 0;
+
+
   xbt_test_add1("Count elements (expecting %d)", length);
-  xbt_test_assert2(xbt_dict_length(dict) == length, "Length(%d) != %d.", xbt_dict_length(dict), length);
+  xbt_test_assert2(xbt_dict_length(dict) == length, "Announced length(%d) != %d.", xbt_dict_length(dict), length);
+
+  xbt_dict_foreach(dict,cursor,key,data) {
+    effective++;
+  }
+  xbt_test_assert2(effective == length, "Effective length(%d) != %d.", effective, length);
 }
 
 xbt_ex_t e;
@@ -571,25 +760,25 @@ char *data;
 
 
 XBT_TEST_UNIT("basic",test_dict_basic,"Basic usage: change, retrieve, traverse"){
-  xbt_test_add0("Traversal the null dictionnary");
+  xbt_test_add0("Traversal the null dictionary");
   traverse(head);
 
-  xbt_test_add0("Traversal and search the empty dictionnary");
+  xbt_test_add0("Traversal and search the empty dictionary");
   head = xbt_dict_new();
   traverse(head);
   TRY {
     debuged_remove(head,"12346");
   } CATCH(e) {
-    if (e.category != not_found_error) 
+    if (e.category != not_found_error)
       xbt_test_exception(e);
     xbt_ex_free(e);
   }
   xbt_dict_free(&head);
 
-  xbt_test_add0("Traverse the full dictionnary");
+  xbt_test_add0("Traverse the full dictionary");
   fill(&head);
   count(head, 7);
-   
+
   debuged_add_ext(head,"toto","tutu");
   search_ext(head,"toto","tutu");
   debuged_remove(head,"toto");
@@ -597,7 +786,7 @@ XBT_TEST_UNIT("basic",test_dict_basic,"Basic usage: change, retrieve, traverse")
   search(head,"12a");
   traverse(head);
 
-  xbt_test_add0("Free the dictionnary (twice)");
+  xbt_test_add0("Free the dictionary (twice)");
   xbt_dict_free(&head);
   xbt_dict_free(&head);
 
@@ -620,9 +809,9 @@ XBT_TEST_UNIT("basic",test_dict_basic,"Basic usage: change, retrieve, traverse")
   xbt_dict_set(head,"12a",strdup("12a"),&free);
   count(head, 7);
 
-  xbt_test_add0("Traverse the resulting dictionnary");
+  xbt_test_add0("Traverse the resulting dictionary");
   traverse(head);
-  
+
   /* RETRIEVE */
   xbt_test_add0("Search 123");
   data = xbt_dict_get(head,"123");
@@ -640,16 +829,16 @@ XBT_TEST_UNIT("basic",test_dict_basic,"Basic usage: change, retrieve, traverse")
   search(head,"1234");
   search(head,"123457");
 
-  xbt_test_add0("Traverse the resulting dictionnary");
+  xbt_test_add0("Traverse the resulting dictionary");
   traverse(head);
 
   /*  xbt_dict_dump(head,(void (*)(void*))&printf); */
 
-  xbt_test_add0("Free the dictionnary twice");
+  xbt_test_add0("Free the dictionary twice");
   xbt_dict_free(&head);
   xbt_dict_free(&head);
 
-  xbt_test_add0("Traverse the resulting dictionnary");
+  xbt_test_add0("Traverse the resulting dictionary");
   traverse(head);
 }
 
@@ -660,7 +849,7 @@ XBT_TEST_UNIT("remove",test_dict_remove,"Removing some values"){
   TRY {
     debuged_remove(head,"Does not exist");
   } CATCH(e) {
-    if (e.category != not_found_error) 
+    if (e.category != not_found_error)
       xbt_test_exception(e);
     xbt_ex_free(e);
   }
@@ -668,7 +857,7 @@ XBT_TEST_UNIT("remove",test_dict_remove,"Removing some values"){
 
   xbt_dict_free(&head);
 
-  xbt_test_add0("Remove each data manually (traversing the resulting dictionnary each time)");
+  xbt_test_add0("Remove each data manually (traversing the resulting dictionary each time)");
   fill(&head);
   debuged_remove(head,"12a");    traverse(head);
   count(head, 6);
@@ -681,32 +870,32 @@ XBT_TEST_UNIT("remove",test_dict_remove,"Removing some values"){
   TRY {
     debuged_remove(head,"12346");
   } CATCH(e) {
-    if (e.category != not_found_error) 
+    if (e.category != not_found_error)
       xbt_test_exception(e);
-    xbt_ex_free(e);         
+    xbt_ex_free(e);
     traverse(head);
-  } 
+  }
   debuged_remove(head,"1234");   traverse(head);
   debuged_remove(head,"123457"); traverse(head);
   debuged_remove(head,"123");    traverse(head);
   TRY {
     debuged_remove(head,"12346");
   } CATCH(e) {
-    if (e.category != not_found_error) 
+    if (e.category != not_found_error)
       xbt_test_exception(e);
     xbt_ex_free(e);
   }                              traverse(head);
-  
-  xbt_test_add0("Remove all values");
+
+  xbt_test_add0("Free dict, create new fresh one, and then reset the dict");
   xbt_dict_free(&head);
   fill(&head);
   xbt_dict_reset(head);
   count(head, 0);
   traverse(head);
 
-  xbt_test_add0("Free the dictionnary twice");
+  xbt_test_add0("Free the dictionary twice");
+  xbt_dict_free(&head);
   xbt_dict_free(&head);
-  xbt_dict_free(&head);      
 }
 
 XBT_TEST_UNIT("nulldata",test_dict_nulldata,"NULL data management"){
@@ -723,9 +912,14 @@ XBT_TEST_UNIT("nulldata",test_dict_nulldata,"NULL data management"){
     int found=0;
 
     xbt_dict_foreach(head,cursor,key,data) {
-      xbt_test_log2("Seen:  %s->%s",PRINTF_STR(key),PRINTF_STR(data));
+      if (!key || !data || strcmp(key,data)) {
+        xbt_test_log2("Seen:  %s->%s",PRINTF_STR(key),PRINTF_STR(data));
+      } else {
+        xbt_test_log1("Seen:  %s",PRINTF_STR(key));
+      }
+
       if (!strcmp(key,"null"))
-       found = 1;
+        found = 1;
     }
     xbt_test_assert0(found,"the key 'null', associated to NULL is not found");
   }
@@ -754,26 +948,32 @@ XBT_TEST_UNIT("crash",test_dict_crash,"Crash test"){
 
   srand((unsigned int)time(NULL));
 
-  xbt_test_add0("CRASH test");
-  xbt_test_log0("Fill the struct, count its elems and frees the structure (x10)");
-  xbt_test_log1("using 1000 elements with %d chars long randomized keys.",SIZEOFKEY);
-
   for (i=0;i<10;i++) {
+    xbt_test_add2("CRASH test number %d (%d to go)",i+1,10-i-1);
+    xbt_test_log0("Fill the struct, count its elems and frees the structure");
+    xbt_test_log1("using 1000 elements with %d chars long randomized keys.",SIZEOFKEY);
     head=xbt_dict_new();
     /* if (i%10) printf("."); else printf("%d",i/10); fflush(stdout); */
     nb=0;
     for (j=0;j<1000;j++) {
+      char *data = NULL;
       key=xbt_malloc(SIZEOFKEY);
 
-      for (k=0;k<SIZEOFKEY-1;k++)
-       key[k]=rand() % ('z' - 'a') + 'a';
-      key[k]='\0';
-      /*      printf("[%d %s]\n",j,key); */
+      do {
+        for (k=0;k<SIZEOFKEY-1;k++)
+          key[k]=rand() % ('z' - 'a') + 'a';
+        key[k]='\0';
+        /*      printf("[%d %s]\n",j,key); */
+        data = xbt_dict_get_or_null(head,key);
+      } while (data != NULL);
+
       xbt_dict_set(head,key,key,&free);
+      data = xbt_dict_get(head,key);
+      xbt_test_assert2(!strcmp(key,data), "Retrieved value (%s) != Injected value (%s)",key,data);
+
+      count(head,j+1);
     }
     /*    xbt_dict_dump(head,(void (*)(void*))&printf); */
-    nb = countelems(head);
-    xbt_test_assert1(nb == 1000,"found %d elements instead of 1000",nb);
     traverse(head);
     xbt_dict_free(&head);
     xbt_dict_free(&head);
@@ -786,10 +986,11 @@ XBT_TEST_UNIT("crash",test_dict_crash,"Crash test"){
     /* if (!(j%1000)) { printf("."); fflush(stdout); } */
 
     key = xbt_malloc(10);
-    
+
     sprintf(key,"%d",j);
     xbt_dict_set(head,key,key,&free);
   }
+  /*xbt_dict_dump(head,(void (*)(void*))&printf);*/
 
   xbt_test_add0("Count the elements (retrieving the key and data for each)");
   i = countelems(head);
@@ -800,11 +1001,14 @@ XBT_TEST_UNIT("crash",test_dict_crash,"Crash test"){
   for (i=0;i<20;i++) {
     /* if (i%10) printf("."); else printf("%d",i/10); fflush(stdout); */
     for (j=0;j<NB_ELM;j++) {
-      
+
       sprintf(key,"%d",j);
       data = xbt_dict_get(head,key);
       xbt_test_assert2(!strcmp(key,(char*)data),
-                      "key=%s != data=%s\n",key,(char*)data);
+                       "with get, key=%s != data=%s",key,(char*)data);
+      data = xbt_dict_get_ext(head,key,strlen(key));
+      xbt_test_assert2(!strcmp(key,(char*)data),
+                       "with get_ext, key=%s != data=%s",key,(char*)data);
     }
   }
   free(key);
@@ -813,13 +1017,13 @@ XBT_TEST_UNIT("crash",test_dict_crash,"Crash test"){
   key=xbt_malloc(10);
   for (j=0;j<NB_ELM;j++) {
     /* if (!(j%10000)) printf("."); fflush(stdout); */
-    
+
     sprintf(key,"%d",j);
     xbt_dict_remove(head,key);
   }
   free(key);
 
-  
+
   xbt_test_add0("Free the structure (twice)");
   xbt_dict_free(&head);
   xbt_dict_free(&head);
@@ -837,7 +1041,7 @@ XBT_TEST_UNIT("multicrash",test_dict_multicrash,"Multi-dict crash test"){
 #define DEPTH 5
 #define KEY_SIZE 512
 #define NB_TEST 20 /*20*/
-int verbose=0;
+  int verbose=0;
 
   xbt_dict_t mdict = NULL;
   int i,j,k,l;
@@ -848,13 +1052,13 @@ int verbose=0;
 
   xbt_test_add0("Generic multicache CRASH test");
   xbt_test_log4(" Fill the struct and frees it %d times, using %d elements, "
-               "depth of multicache=%d, key size=%d",
-               NB_TEST,NB_ELM,DEPTH,KEY_SIZE);
+                "depth of multicache=%d, key size=%d",
+                NB_TEST,NB_ELM,DEPTH,KEY_SIZE);
 
   for (l=0 ; l<DEPTH ; l++) {
     key=xbt_malloc(KEY_SIZE);
     xbt_dynar_push(keys,&key);
-  }    
+  }
 
   for (i=0;i<NB_TEST;i++) {
     mdict = xbt_dict_new();
@@ -862,38 +1066,38 @@ int verbose=0;
     if (verbose>0)
       printf("Test %d\n",i);
     /* else if (i%10) printf("."); else printf("%d",i/10);*/
-    
+
     for (j=0;j<NB_ELM;j++) {
       if (verbose>0) printf ("  Add {");
-      
+
       for (l=0 ; l<DEPTH ; l++) {
         key=*(char**)xbt_dynar_get_ptr(keys,l);
-        
-       for (k=0;k<KEY_SIZE-1;k++) 
-         key[k]=rand() % ('z' - 'a') + 'a';
-         
-       key[k]='\0';
-       
-       if (verbose>0) printf("%p=%s %s ",key, key,(l<DEPTH-1?";":"}"));
+
+        for (k=0;k<KEY_SIZE-1;k++)
+          key[k]=rand() % ('z' - 'a') + 'a';
+
+        key[k]='\0';
+
+        if (verbose>0) printf("%p=%s %s ",key, key,(l<DEPTH-1?";":"}"));
       }
       if (verbose>0) printf("in multitree %p.\n",mdict);
-                                                        
+
       xbt_multidict_set(mdict,keys,xbt_strdup(key),free);
 
       data = xbt_multidict_get(mdict,keys);
 
       xbt_test_assert2(data && !strcmp((char*)data,key),
-                      "Retrieved value (%s) does not match the entrered one (%s)\n",
-                      (char*)data,key);
+                       "Retrieved value (%s) does not match the given one (%s)\n",
+                       (char*)data,key);
     }
     xbt_dict_free(&mdict);
   }
-  
+
   xbt_dynar_free(&keys);
 
-/*  if (verbose>0)
+  /*  if (verbose>0)
     xbt_dict_dump(mdict,&xbt_dict_print);*/
-    
+
   xbt_dict_free(&mdict);
   xbt_dynar_free(&keys);