Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Don't try forever to join the Chord ring
[simgrid.git] / examples / msg / chord / chord.c
index b8e224c..fe9ab9d 100644 (file)
@@ -14,6 +14,8 @@ XBT_LOG_NEW_DEFAULT_CATEGORY(msg_chord,
 
 #define NB_BITS 6
 #define NB_KEYS 64
+#define COMM_SIZE 10
+#define COMP_SIZE 0
 
 /**
  * Finger element.
@@ -32,23 +34,40 @@ typedef struct node {
   s_finger_t fingers[NB_BITS];            // finger table (fingers[0] is my successor)
   int pred_id;                            // predecessor id
   char* pred_mailbox;                     // predecessor's mailbox name
-  xbt_dynar_t comms;                      // current communications pending
+  int next_finger_to_fix;                 // index of the next finger to fix in fix_fingers()
+  msg_comm_t comm_receive;                // current communication to receive
+  xbt_dynar_t comms;                      // current communications being sent
 } s_node_t, *node_t;
 
 /**
- * Task data
+ * Types of tasks exchanged between nodes.
+ */
+typedef enum {
+  TASK_FIND_SUCCESSOR,
+  TASK_FIND_SUCCESSOR_ANSWER,
+  TASK_GET_PREDECESSOR,
+  TASK_GET_PREDECESSOR_ANSWER,
+  TASK_NOTIFY,
+  TASK_SUCCESSOR_LEAVING,
+  TASK_PREDECESSOR_LEAVING
+} e_task_type_t;
+
+/**
+ * Data attached with the tasks sent and received
  */
 typedef struct task_data {
-  int request_id;
-  int request_finger;
-  int answer_id;
-  const char* answer_to;
-  const char* issuer_host_name; // used for logging
-  int successor_id;                            // used when quitting
-  int pred_id;                                 // used when quitting
+  e_task_type_t type;                     // type of task
+  int request_id;                         // id paramater (used by some types of tasks)
+  int request_finger;                     // finger parameter (used by some types of tasks)
+  int answer_id;                          // answer (used by some types of tasks)
+  const char* answer_to;                  // mailbox to send an answer to
+  const char* issuer_host_name;           // used for logging
 } s_task_data_t, *task_data_t;
 
+static int powers2[NB_BITS];
+
 // utility functions
+static void chord_initialize(void);
 static int normalize(int id);
 static int is_in_interval(int id, int start, int end);
 static char* get_mailbox(int host_id);
@@ -58,38 +77,39 @@ static void set_predecessor(node_t node, int predecessor_id);
 
 // process functions
 static int node(int argc, char *argv[]);
-
-// initialization
-static void initialize_first_node(node_t node);
-static void join(node_t node, int known_id);
-static void bootstrap(node_t node, int known_id);
-static void leave(node_t node);
+static void handle_task(node_t node, m_task_t task);
 
 // Chord core
+static void create(node_t node);
+static int join(node_t node, int known_id);
+static void leave(node_t node);
 static int find_successor(node_t node, int id);
 static int remote_find_successor(node_t node, int ask_to_id, int id);
-static int find_predecessor(node_t node, int id);
-static int remote_find_predecessor(node_t node, int ask_to_id, int id);
-static int closest_preceding_finger(node_t node, int id);
-static int remote_closest_preceding_finger(int ask_to_id, int id);
-static void notify(node_t node, int new_node_id);
-static void remote_notify(node_t node, int notify_id);
+static int remote_get_predecessor(node_t node, int ask_to_id);
+static int closest_preceding_node(node_t node, int id);
 static void stabilize(node_t node);
+static void notify(node_t node, int predecessor_candidate_id);
+static void remote_notify(node_t node, int notify_to, int predecessor_candidate_id);
+static void fix_fingers(node_t node);
+static void check_predecessor(node_t node);
 static void quit_notify(node_t node, int to);
 
-// not implemented yet
-static void remote_move_keys(node_t node, int take_from_id);
-
-// deprecated
-static void notify_predecessors(node_t node);
-static void initialize_finger_table(node_t data, int known_id);
-static void notify_predecessor_changed(node_t node, int predecessor_candidate_id);
-static void remote_notify_predecessor_changed(node_t node, int notify_to, int predecessor_candidate_id);
-static void update_finger_table(node_t node, int candidate_id, int finger_index);
-static void remote_update_finger_table(node_t node, int ask_to_id, int candidate_id, int finger_index);
+/**
+ * \brief Global initialization of the Chord simulation.
+ */
+static void chord_initialize(void)
+{
+  // compute the powers of 2 once for all
+  int pow = 1;
+  int i;
+  for (i = 0; i < NB_BITS; i++) {
+    powers2[i] = pow;
+    pow = pow << 1;
+  }
+}
 
 /**
- * \brief Turns an id into an equivalent id in [0, NB_KEYS[
+ * \brief Turns an id into an equivalent id in [0, NB_KEYS).
  * \param id an id
  * \return the corresponding normalized id
  */
@@ -143,7 +163,6 @@ static int is_in_interval(int id, int start, int end)
  * \brief Gets the mailbox name of a host given its chord id.
  * \param node_id id of a node
  * \return the name of its mailbox
- * FIXME: free the memory
  */
 static char* get_mailbox(int node_id)
 {
@@ -178,20 +197,24 @@ static void set_finger(node_t node, int finger_index, int id)
   node->fingers[finger_index].id = id;
   xbt_free(node->fingers[finger_index].mailbox);
   node->fingers[finger_index].mailbox = get_mailbox(id);
-  INFO2("My new finger #%d is %d", finger_index, id);
+  DEBUG2("My new finger #%d is %d", finger_index, id);
 }
 
 /**
  * \brief Sets the predecessor of the current node.
  * \param node the current node
- * \param id the id to predecessor
+ * \param id the id to predecessor, or -1 to unset the predecessor
  */
 static void set_predecessor(node_t node, int predecessor_id)
 {
   node->pred_id = predecessor_id;
   xbt_free(node->pred_mailbox);
-  node->pred_mailbox = get_mailbox(predecessor_id);
-  INFO1("My new predecessor is %d", predecessor_id);
+
+  if (predecessor_id != -1) {
+    node->pred_mailbox = get_mailbox(predecessor_id);
+  }
+
+  DEBUG1("My new predecessor is %d", predecessor_id);
 }
 
 /**
@@ -204,11 +227,16 @@ static void set_predecessor(node_t node, int predecessor_id)
 int node(int argc, char *argv[])
 {
   double init_time = MSG_get_clock();
-  msg_comm_t comm = NULL;
+  m_task_t task = NULL;
+  m_task_t task_received = NULL;
+  msg_comm_t comm_send = NULL;
   int i;
-  char* mailbox;
+  int index;
+  int join_success = 0;
   double deadline;
-  double next_stabilize_date = init_time + 50;
+  double next_stabilize_date = init_time + 10;
+  double next_fix_fingers_date = init_time + 10;
+  double next_check_predecessor_date = init_time + 10;
 
   xbt_assert0(argc == 3 || argc == 5, "Wrong number of arguments for this node");
 
@@ -216,11 +244,17 @@ int node(int argc, char *argv[])
   s_node_t node = {0};
   node.id = atoi(argv[1]);
   node.mailbox = get_mailbox(node.id);
+  node.next_finger_to_fix = 0;
   node.comms = xbt_dynar_new(sizeof(msg_comm_t), NULL);
 
+  for (i = 0; i < NB_BITS; i++) {
+    set_finger(&node, i, node.id);
+  }
+
   if (argc == 3) { // first ring
-    initialize_first_node(&node);
     deadline = atof(argv[2]);
+    create(&node);
+    join_success = 1;
   }
   else {
     int known_id = atoi(argv[2]);
@@ -228,236 +262,218 @@ int node(int argc, char *argv[])
     deadline = atof(argv[4]);
 
     // sleep before starting
-    INFO1("Let's sleep >>%f", sleep_time);
+    DEBUG1("Let's sleep during %f", sleep_time);
     MSG_process_sleep(sleep_time);
-    INFO0("Hey! Let's join the system.");
+    DEBUG0("Hey! Let's join the system.");
 
-    join(&node, known_id);
+    join_success = join(&node, known_id);
   }
 
-  while ((MSG_get_clock() - init_time) < deadline) {
+  if (join_success) {
+    while (MSG_get_clock() < init_time + deadline) {
 
-    unsigned int cursor;
-    comm = NULL;
-    xbt_dynar_foreach(node.comms, cursor, comm) {
-      if (MSG_comm_test(comm)) { // FIXME: try with MSG_comm_testany instead
-        xbt_dynar_cursor_rm(node.comms, &cursor);
-       MSG_comm_destroy(comm);
+      if (node.comm_receive == NULL) {
+        task_received = NULL;
+        node.comm_receive = MSG_task_irecv(&task_received, node.mailbox);
+        // FIXME: do not make MSG_task_irecv() calls from several functions
       }
-    }
 
-   if (MSG_get_clock() >= next_stabilize_date) {
-     stabilize(&node);
-     next_stabilize_date = MSG_get_clock() + 50;
-   }
+      if (!MSG_comm_test(node.comm_receive)) {
 
-    m_task_t task = NULL;
-    MSG_error_t res = MSG_task_receive_with_timeout(&task, node.mailbox, 45); // FIXME >> find the right timeout !!
-
-    if (res == MSG_OK)                          // else check deadline condition and keep waiting for a task
-    {
-
-    // get data
-    const char* task_name = MSG_task_get_name(task);
-    task_data_t task_data = (task_data_t) MSG_task_get_data(task);
-
-    if (!strcmp(task_name, "Find Successor")) {
-      INFO2("Receiving a 'Find Successor' Request from %s for id %d", task_data->issuer_host_name, task_data->request_id);
-      // is my successor the successor?
-      if (is_in_interval(task_data->request_id, node.id + 1, node.fingers[0].id)) {
-       task_data->answer_id = node.fingers[0].id;
-        MSG_task_set_name(task, "Find Successor Answer");
-        INFO3("Sending back a 'Find Successor' Answer to %s: the successor of %d is %d", task_data->issuer_host_name, task_data->request_id, task_data->answer_id);
-        comm = MSG_task_isend(task, task_data->answer_to);
-        xbt_dynar_push(node.comms, &comm);
+        // no task was received: make some periodic calls
+        if (MSG_get_clock() >= next_stabilize_date) {
+          stabilize(&node);
+          next_stabilize_date = MSG_get_clock() + 10;
+        }
+        else if (MSG_get_clock() >= next_fix_fingers_date) {
+          fix_fingers(&node);
+          next_fix_fingers_date = MSG_get_clock() + 10;
+        }
+        else if (MSG_get_clock() >= next_check_predecessor_date) {
+          check_predecessor(&node);
+          next_check_predecessor_date = MSG_get_clock() + 10;
+        }
+        else {
+          // nothing to do: sleep for a while
+          MSG_process_sleep(5);
+        }
       }
       else {
-       // otherwise, forward the request to the closest preceding finger in my table
-       int closest = closest_preceding_finger(&node, task_data->request_id);
-       INFO2("Forwarding 'Find Successor' request for id %d to my closest preceding finger %d", task_data->request_id, closest);
-       mailbox = get_mailbox(closest);
-       comm = MSG_task_isend(task, mailbox);
-        xbt_dynar_push(node.comms, &comm);
-        xbt_free(mailbox);
-      }
-    }
+        // a transfer has occured
 
-    else if (!strcmp(task_name, "Find Predecessor")) {
-      INFO2("Receiving a 'Find Predecessor' Request from %s for id %d", task_data->issuer_host_name, task_data->request_id);
-      // am I the predecessor?
-      if (is_in_interval(task_data->request_id, node.id + 1, node.fingers[0].id)) {
-       task_data->answer_id = node.id;
-        MSG_task_set_name(task, "Find Predecessor Answer");
-        INFO3("Sending back a 'Find Predecessor' Answer to %s: the predecessor of %d is %d", task_data->issuer_host_name, task_data->request_id, task_data->answer_id);
-        comm = MSG_task_isend(task, task_data->answer_to);
-        xbt_dynar_push(node.comms, &comm);
+        MSG_error_t status = MSG_comm_get_status(node.comm_receive);
+        MSG_comm_destroy(node.comm_receive);
+        node.comm_receive = NULL;
+
+        if (status != MSG_OK) {
+          DEBUG0("Failed to receive a task. Nevermind.");
+        }
+        else {
+          // the task was successfully received
+          handle_task(&node, task_received);
+        }
       }
-      else {
-       // otherwise, forward the request to the closest preceding finger in my table
-       int closest = closest_preceding_finger(&node, task_data->request_id);
-       INFO2("Forwarding 'Find Predecessor' request for id %d to my closest preceding finger %d", task_data->request_id, closest);
-       mailbox = get_mailbox(closest);
-       comm = MSG_task_isend(task, mailbox);
-        xbt_dynar_push(node.comms, &comm);
-        xbt_free(mailbox);
+
+      // see if some communications are finished
+      while ((index = MSG_comm_testany(node.comms)) != -1) {
+        comm_send = xbt_dynar_get_as(node.comms, index, msg_comm_t);
+        MSG_error_t status = MSG_comm_get_status(comm_send);
+        xbt_dynar_remove_at(node.comms, index, &comm_send);
+        DEBUG3("Communication %p is finished with status %d, dynar size is now %lu",
+            comm_send, status, xbt_dynar_length(node.comms));
+        MSG_comm_destroy(comm_send);
       }
     }
 
-    else if (!strcmp(task_name, "Notify")) {
-      // someone may be my new neighboor
-      INFO1("Receiving a 'Notify' request from %s", task_data->issuer_host_name);
-      notify(&node, task_data->request_id);
-    }
-    else if (!strcmp(task_name, "Update Finger")) {
-      // someone is telling me that he may be my new finger
-      INFO1("Receiving an 'Update Finger' request from %s", task_data->issuer_host_name);
-      update_finger_table(&node, task_data->request_id, task_data->request_finger);
-    }
-    else if (!strcmp(task_name, "Notify Predecessor Changed")) {
-      // someone is telling me that he may be my new predecessor
-      INFO1("Receiving a 'Notify Predecessor Changed' request from %s", task_data->issuer_host_name);
-      notify_predecessor_changed(&node, task_data->request_id);
+    // clean unfinished comms sent
+    unsigned int cursor;
+    xbt_dynar_foreach(node.comms, cursor, comm_send) {
+      task = MSG_comm_get_task(comm_send);
+      MSG_task_cancel(task);
+      xbt_free(MSG_task_get_data(task));
+      MSG_task_destroy(task);
+      MSG_comm_destroy(comm_send);
+      // FIXME: the task is actually not destroyed because MSG thinks that the other side (whose process is dead) is still using it
     }
-    else if (!strcmp(task_name, "Predecessor Leaving")) {
-          // my predecessor is about quitting
-          INFO1("Receiving a 'quite notify' from %s", task_data->issuer_host_name);
-          // modify my predecessor
-          node.pred_id = task_data->pred_id;
-          node.pred_mailbox = get_mailbox(node.id);
-          /*TODO :
-          >> notify my new predecessor
-          >> send a notify_predecessors !!
-          */
 
-        }
-    else if (!strcmp(task_name, "Successor Leaving")) {
-          // my successor is about quitting
-          INFO1("Receiving a 'quite notify' from %s", task_data->issuer_host_name);
-          // modify my successor FIXME : this should be implicit ?
-          node.fingers[0].id = task_data->successor_id;
-          node.fingers[0].mailbox = get_mailbox(node.fingers[0].id);
-          /* TODO
-          >> notify my new successor
-          >> update my table & predecessors table */
-        }
-    }
+    // leave the ring
+    leave(&node);
   }
-  // leave the ring and quit simulation
-  leave(&node);
+
+  // stop the simulation
   xbt_dynar_free(&node.comms);
   xbt_free(node.mailbox);
   xbt_free(node.pred_mailbox);
   for (i = 0; i < NB_BITS - 1; i++) {
     xbt_free(node.fingers[i].mailbox);
   }
-  return 1;
+  return 0;
 }
 
 /**
- * \brief Initializes the current node as the first one of the system.
+ * \brief This function is called when the current node receives a task.
  * \param node the current node
+ * \param task the task to handle (don't touch it then:
+ * it will be destroyed, reused or forwarded)
  */
-static void initialize_first_node(node_t node)
-{
-  INFO0("Create a new Chord ring...");
+static void handle_task(node_t node, m_task_t task) {
 
-  // I am my own successor, predecessor and fingers
-  int i;
-  for (i = 0; i < NB_BITS; i++) {
-    set_finger(node, i, node->id);
+  DEBUG1("Handling task %p", task);
+  msg_comm_t comm = NULL;
+  char* mailbox = NULL;
+  task_data_t task_data = (task_data_t) MSG_task_get_data(task);
+  e_task_type_t type = task_data->type;
+
+  switch (type) {
+
+    case TASK_FIND_SUCCESSOR:
+      DEBUG2("Receiving a 'Find Successor' request from %s for id %d",
+          task_data->issuer_host_name, task_data->request_id);
+      // is my successor the successor?
+      if (is_in_interval(task_data->request_id, node->id + 1, node->fingers[0].id)) {
+        task_data->type = TASK_FIND_SUCCESSOR_ANSWER;
+        task_data->answer_id = node->fingers[0].id;
+        comm = MSG_task_isend(task, task_data->answer_to);
+        xbt_dynar_push(node->comms, &comm);
+        DEBUG3("Sending back a 'Find Successor Answer' to %s: the successor of %d is %d",
+            task_data->issuer_host_name,
+            task_data->request_id, task_data->answer_id);
+      }
+      else {
+        // otherwise, forward the request to the closest preceding finger in my table
+        int closest = closest_preceding_node(node, task_data->request_id);
+        DEBUG2("Forwarding the 'Find Successor' request for id %d to my closest preceding finger %d",
+            task_data->request_id, closest);
+        mailbox = get_mailbox(closest);
+        comm = MSG_task_isend(task, mailbox);
+        xbt_dynar_push(node->comms, &comm);
+        xbt_free(mailbox);
+      }
+      break;
+
+    case TASK_GET_PREDECESSOR:
+      DEBUG1("Receiving a 'Get Predecessor' request from %s", task_data->issuer_host_name);
+      task_data->type = TASK_GET_PREDECESSOR_ANSWER;
+      task_data->answer_id = node->pred_id;
+      comm = MSG_task_isend(task, task_data->answer_to);
+      xbt_dynar_push(node->comms, &comm);
+      DEBUG3("Sending back a 'Get Predecessor Answer' to %s via mailbox '%s': my predecessor is %d",
+          task_data->issuer_host_name,
+          task_data->answer_to, task_data->answer_id);
+      break;
+
+    case TASK_NOTIFY:
+      // someone is telling me that he may be my new predecessor
+      DEBUG1("Receiving a 'Notify' request from %s", task_data->issuer_host_name);
+      notify(node, task_data->request_id);
+      xbt_free(task_data);
+      MSG_task_destroy(task);
+      break;
+
+    case TASK_PREDECESSOR_LEAVING:
+      // my predecessor is about to quit
+      DEBUG1("Receiving a 'Predecessor Leaving' message from %s", task_data->issuer_host_name);
+      // modify my predecessor
+      set_predecessor(node, task_data->request_id);
+      xbt_free(task_data);
+      MSG_task_destroy(task);
+      /*TODO :
+      >> notify my new predecessor
+      >> send a notify_predecessors !!
+       */
+      break;
+
+    case TASK_SUCCESSOR_LEAVING:
+      // my successor is about to quit
+      DEBUG1("Receiving a 'Successor Leaving' message from %s", task_data->issuer_host_name);
+      // modify my successor FIXME : this should be implicit ?
+      set_finger(node, 0, task_data->request_id);
+      xbt_free(task_data);
+      MSG_task_destroy(task);
+      /* TODO
+      >> notify my new successor
+      >> update my table & predecessors table */
+      break;
+
+    default:
+      CRITICAL1("Received an unexpected task: %d", type);
+      //xbt_abort();
   }
-  set_predecessor(node, node->id);
-  print_finger_table(node);
 }
 
 /**
- * \brief Makes the current node join the system, knowing the id of a node
- * already in the system
+ * \brief Initializes the current node as the first one of the system.
  * \param node the current node
- * \param known_id id of a node already in the system
  */
-static void join(node_t node, int known_id)
+static void create(node_t node)
 {
-  INFO0("Joining the system");
-  // find my predecessor and successor
-  int pred;
-  int suc = remote_find_predecessor(node, known_id, node->id);
-  do {
-    pred = suc;
-    suc = remote_find_successor(node, pred, pred);
-  } while (!is_in_interval(node->id, pred + 1, suc));
-
-  set_finger(node, 0, suc);
-  set_predecessor(node, pred);
-  remote_notify(node, pred);
-  remote_notify(node, suc);
-  bootstrap(node, suc);
+  DEBUG0("Create a new Chord ring...");
+  set_predecessor(node, -1); // -1 means that I have no predecessor
+  print_finger_table(node);
 }
 
 /**
- * \brief Notifies the current node that a node has just joined the network.
+ * \brief Makes the current node join the ring, knowing the id of a node
+ * already in the ring
  * \param node the current node
- * \param new_node_id id of the new node in the network
+ * \param known_id id of a node already in the ring
+ * \return 1 if the join operation succeeded, 0 otherwise
  */
-static void notify(node_t node, int new_node_id)
+static int join(node_t node, int known_id)
 {
-  INFO1("A new node %d has joined the network, let's see if it is a neighboor", new_node_id);
-  if (is_in_interval(new_node_id, node->id + 1, node->fingers[0].id - 1)) {
-    // new_node_id is my new successor
-    set_finger(node, 0, new_node_id);
-    bootstrap(node, new_node_id);
-  }
+  INFO2("Joining the ring with id %d, knowing node %d", node->id, known_id);
+  set_predecessor(node, -1); // no predecessor (yet)
 
-  if (is_in_interval(new_node_id, node->pred_id + 1, node->id - 1)) {
-    // new_node_id is my new predecessor
-    set_predecessor(node, new_node_id);
-    bootstrap(node, new_node_id);
+  int successor_id = remote_find_successor(node, known_id, node->id);
+  if (successor_id == -1) {
+    DEBUG0("Cannot join the ring.");
   }
-}
-
-/**
- * \brief Notifies a remote node that the current node has just joined
- * the network.
- * \param node the current node
- * \param notify_id id of the remote node to notify
- */
-static void remote_notify(node_t node, int notify_id)
-{
-  task_data_t req_data = xbt_new0(s_task_data_t, 1);
-  req_data->request_id = node->id;
-  req_data->issuer_host_name = MSG_host_get_name(MSG_host_self());
-
-  // send a "Notify" request to notify_id
-  INFO2("Sending a 'Notify' request to %d because I have joined the network with id %d", notify_id, node->id);
-  m_task_t task = MSG_task_create("Notify", 1000, 5000, req_data);
-  char* mailbox = get_mailbox(notify_id);
-  msg_comm_t comm = MSG_task_isend(task, mailbox);
-  xbt_dynar_push(node->comms, &comm);
-  xbt_free(mailbox);
-}
-
-/**
-* \brief Let the current node send queries to fill in its own finger table.
-* \param node the current node
-* \param ask_to_id id of a node to send queries to
-*/
-static void bootstrap(node_t node, int ask_to_id)
-{
-  INFO0("Filling my finger table");
-  int i, pred_id, succ_id;
-  int pow = 1;
-
-  for (i = 0; i < NB_BITS; i++)
-  {
-    pred_id = remote_find_successor(node, ask_to_id, pow);
-    do {
-      succ_id = pred_id;
-      pred_id = remote_find_predecessor(node, pred_id, pred_id);
-    } while (pred_id >= pow);
-
-    pow = pow << 1;
-    set_finger(node, i, succ_id);
+  else {
+    set_finger(node, 0, successor_id);
+    print_finger_table(node);
   }
+
+  return successor_id != -1;
 }
 
 /**
@@ -466,155 +482,58 @@ static void bootstrap(node_t node, int ask_to_id)
  */
 static void leave(node_t node)
 {
-       INFO0("Well Guys! I Think it's time for me to quit ;)");
-       quit_notify(node,1);            // notify to my successor ( >>> 1 );
-       quit_notify(node,-1);           // notify my predecessor  ( >>> -1);
-    // TODO ...
-}
-/*
- * \brief Notify msg to tell my successor||predecessor about my departure
- * \param node the current node
- */
-static void quit_notify(node_t node, int to)
-{
-       task_data_t req_data = xbt_new0(s_task_data_t, 1);
-       req_data->request_id = node->id;
-       req_data->successor_id = node->fingers[0].id;
-       req_data->pred_id = node->pred_id;
-       req_data->issuer_host_name = MSG_host_get_name(MSG_host_self());
-       const char *task_name = NULL;
-       const char* to_mailbox = NULL;
-       if( to == 1)    // notify my successor
-       {
-               to_mailbox = node->fingers[0].mailbox;
-           INFO1("Telling my Successor about my departure via mailbox %s", to_mailbox);
-               task_name = "Predecessor Leaving";
-
-       }
-       else if(to == -1)    // notify my predecessor
-       {
-               to_mailbox = node->pred_mailbox;
-           INFO1("Telling my Predecessor about my departure via mailbox %s",to_mailbox);
-               task_name = "Predecessor Leaving";
-       }
-    m_task_t task = MSG_task_create(task_name, 1000, 5000, req_data);
-    //char* mailbox = get_mailbox(to_mailbox);
-       msg_comm_t comm = MSG_task_isend(task, to_mailbox);
-       xbt_dynar_push(node->comms, &comm);
+  DEBUG0("Well Guys! I Think it's time for me to quit ;)");
+  quit_notify(node, 1);  // notify to my successor ( >>> 1 );
+  quit_notify(node, -1); // notify my predecessor  ( >>> -1);
+  // TODO ...
 }
 
 /*
- * \brief Initializes my finger table, knowing the id of a node already in the system.
+ * \brief Notifies the successor or the predecessor of the current node
+ * of the departure
  * \param node the current node
- * \param known_id id of a node already in the system
+ * \param to 1 to notify the successor, -1 to notify the predecessor
+ * FIXME: notify both nodes with only one call
  */
-static void initialize_finger_table(node_t node, int known_id)
+static void quit_notify(node_t node, int to)
 {
-  int my_id = node->id;
-  int i;
-  int pow = 1; // 2^i
-
-  INFO0("Initializing my finger table...");
-
-  // ask known_id who is my immediate successor
-  node->fingers[0].id = remote_find_successor(node, known_id, my_id + 1);
-  node->fingers[0].mailbox = get_mailbox(node->fingers[0].id);
-
-  // find all other fingers
-  for (i = 0; i < NB_BITS - 1; i++) {
-
-    pow = pow << 1; // equivalent to pow = pow * 2
-    if (is_in_interval(my_id + pow, my_id, node->fingers[i].id - 1)) {
-      // I already have the info for this finger
-      node->fingers[i + 1].id = node->fingers[i].id;
-    }
-    else {
-      // I don't have the info, ask the only guy I know
-      node->fingers[i + 1].id = remote_find_successor(node, known_id, my_id + pow);
-    }
-    node->fingers[i + 1].mailbox = get_mailbox(node->fingers[i + 1].id);
+  /* TODO
+  task_data_t req_data = xbt_new0(s_task_data_t, 1);
+  req_data->request_id = node->id;
+  req_data->successor_id = node->fingers[0].id;
+  req_data->pred_id = node->pred_id;
+  req_data->issuer_host_name = MSG_host_get_name(MSG_host_self());
+  const char* task_name = NULL;
+  const char* to_mailbox = NULL;
+  if (to == 1) {    // notify my successor
+    to_mailbox = node->fingers[0].mailbox;
+    INFO2("Telling my Successor %d about my departure via mailbox %s",
+         node->fingers[0].id, to_mailbox);
+    req_data->type = TASK_PREDECESSOR_LEAVING;
   }
+  else if (to == -1) {    // notify my predecessor
 
-  node->pred_id = find_predecessor(node, node->id);
-  node->pred_mailbox = get_mailbox(node->pred_id);
-
-  INFO0("Finger table initialized!");
-  print_finger_table(node);
-}
-
-/**
- * \brief Notifies some nodes that the current node may have became their finger.
- * \param node the current node, which has just joined the system
- */
-static void notify_predecessors(node_t node)
-{
-  int i, pred_id;
-  int pow = 1;
-  for (i = 0; i < NB_BITS; i++) {
-    // find the closest node whose finger #i can be me
-    pred_id = find_predecessor(node, node->id - pow + 1); // note: no "+1" in the article!
-    if (pred_id != node->id) {
-      remote_update_finger_table(node, pred_id, node->id, i);
+    if (node->pred_id == -1) {
+      return;
     }
-    pow = pow << 1; // pow = pow * 2
-  }
-}
-
-/**
- * \brief Tells the current node that a node may have became its new finger.
- * \param node the current node
- * \param candidate_id id of the node that may be a new finger of the current node
- * \param finger_index index of the finger to update
- */
-static void update_finger_table(node_t node, int candidate_id, int finger_index)
-{
-  int pow = 1;
-  int i;
-  for (i = 0; i < finger_index; i++) {
-    pow = pow << 1;
-  }
-
-  //  if (is_in_interval(candidate_id, node->id + pow, node->fingers[finger_index].id - 1)) {
-  if (is_in_interval(candidate_id, node->id, node->fingers[finger_index].id - 1)) {
-//    INFO3("Candidate %d is between %d and %d!", candidate_id, node->id + pow, node->fingers[finger_index].id - 1);
-    // candidate_id is my new finger
-    set_finger(node, finger_index, candidate_id);
-    print_finger_table(node);
 
-    if (node->pred_id != node->id) { // FIXME: is this necessary?
-      // my predecessor may be concerned too
-      remote_update_finger_table(node, node->pred_id, candidate_id, finger_index);
-    }
+    to_mailbox = node->pred_mailbox;
+    INFO2("Telling my Predecessor %d about my departure via mailbox %s",
+         node->pred_id, to_mailbox);
+    req_data->type = TASK_SUCCESSOR_LEAVING;
   }
-}
-
-/**
- * \brief Tells a remote node that a node may have became its new finger.
- * \param ask_to_id id of the remote node to update
- * \param candidate_id id of the node that may be a new finger of the remote node
- * \param finger_index index of the finger to update
- */
-static void remote_update_finger_table(node_t node, int ask_to_id, int candidate_id, int finger_index)
-{
-  task_data_t req_data = xbt_new0(s_task_data_t, 1);
-  req_data->request_id = candidate_id;
-  req_data->request_finger = finger_index;
-  req_data->issuer_host_name = MSG_host_get_name(MSG_host_self());
-
-  // send a "Update Finger" request to ask_to_id
-  INFO3("Sending an 'Update Finger' request to %d: his finger #%d may be %d now", ask_to_id, finger_index, candidate_id);
-  m_task_t task = MSG_task_create("Update Finger", 1000, 5000, req_data);
-  char* mailbox = get_mailbox(ask_to_id);
-  msg_comm_t comm = MSG_task_isend(task, mailbox);
+  m_task_t task = MSG_task_create(NULL, COMP_SIZE, COMM_SIZE, req_data);
+  //char* mailbox = get_mailbox(to_mailbox);
+  msg_comm_t comm = MSG_task_isend(task, to_mailbox);
   xbt_dynar_push(node->comms, &comm);
-  xbt_free(mailbox);
+  */
 }
 
 /**
  * \brief Makes the current node find the successor node of an id.
  * \param node the current node
  * \param id the id to find
- * \return the id of the successor node
+ * \return the id of the successor node, or -1 if the request failed
  */
 static int find_successor(node_t node, int id)
 {
@@ -624,7 +543,7 @@ static int find_successor(node_t node, int id)
   }
 
   // otherwise, ask the closest preceding finger in my table
-  int closest = closest_preceding_finger(node, id);
+  int closest = closest_preceding_node(node, id);
   return remote_find_successor(node, closest, id);
 }
 
@@ -633,83 +552,138 @@ static int find_successor(node_t node, int id)
  * \param node the current node
  * \param ask_to the node to ask to
  * \param id the id to find
- * \return the id of the successor node
+ * \return the id of the successor node, or -1 if the request failed
  */
 static int remote_find_successor(node_t node, int ask_to, int id)
 {
-  s_task_data_t req_data;
-  char* mailbox = bprintf("%s Find Successor", node->mailbox);
-  req_data.request_id = id;
-  req_data.answer_to = mailbox;
-  req_data.issuer_host_name = MSG_host_get_name(MSG_host_self());
+  int successor = -1;
+  int stop = 0;
+  char* mailbox = get_mailbox(ask_to);
+  task_data_t req_data = xbt_new0(s_task_data_t, 1);
+  req_data->type = TASK_FIND_SUCCESSOR;
+  req_data->request_id = id;
+  req_data->answer_to =  node->mailbox;
+  req_data->issuer_host_name = MSG_host_get_name(MSG_host_self());
 
   // send a "Find Successor" request to ask_to_id
-  INFO2("Sending a 'Find Successor' request to %d for key %d", ask_to, id);
-  m_task_t task = MSG_task_create("Find Successor", 1000, 5000, &req_data);
-  MSG_task_send(task, get_mailbox(ask_to));
-
-  // receive the answer
-  task = NULL;
-  MSG_task_receive(&task, req_data.answer_to);
-  task_data_t ans_data;
-  ans_data = MSG_task_get_data(task);
-  int successor = ans_data->answer_id;
-  xbt_free(mailbox);
-  INFO2("Received the answer to my Find Successor request: the successor of key %d is %d", id, successor);
+  m_task_t task = MSG_task_create(NULL, COMP_SIZE, COMM_SIZE, req_data);
+  DEBUG3("Sending a 'Find Successor' request (task %p) to %d for id %d", task, ask_to, id);
+  MSG_error_t res = MSG_task_send_with_timeout(task, mailbox, 50);
+
+  if (res != MSG_OK) {
+    DEBUG2("Failed to send the 'Find Successor' request to %d for id %d", ask_to, id);
+    MSG_task_destroy(task);
+    xbt_free(req_data);
+  }
+  else {
+
+    // receive the answer
+    DEBUG3("Sent a 'Find Successor' request (task %p) to %d for key %d, waiting for the answer",
+        task, ask_to, id);
+
+    do {
+      if (node->comm_receive == NULL) {
+        task = NULL;
+        node->comm_receive = MSG_task_irecv(&task, node->mailbox);
+      }
+
+      res = MSG_comm_wait(node->comm_receive, 50);
+
+      if (res != MSG_OK) {
+        DEBUG2("Failed to receive the answer to my 'Find Successor' request (task %p): %d", task, res);
+        stop = 1;
+//      MSG_comm_destroy(node->comm_receive);
+      }
+      else {
+        task = MSG_comm_get_task(node->comm_receive);
+        task_data_t ans_data = MSG_task_get_data(task);
 
+        if (ans_data->type != TASK_FIND_SUCCESSOR_ANSWER) {
+          handle_task(node, task);
+        }
+        else {
+          DEBUG3("Received the answer to my 'Find Successor' request (task %p): the successor of key %d is %d",
+              task, id, successor);
+          successor = ans_data->answer_id;
+          stop = 1;
+          MSG_task_destroy(task);
+          xbt_free(req_data);
+        }
+      }
+      node->comm_receive = NULL;
+    } while (!stop);
+  }
+
+  xbt_free(mailbox);
   return successor;
 }
 
 /**
- * \brief Makes the current node find the predecessor node of an id.
+ * \brief Asks another node its predecessor.
  * \param node the current node
- * \param id the id to find
- * \return the id of the predecessor node
+ * \param ask_to the node to ask to
+ * \return the id of its predecessor node, or -1 if the request failed
+ * (or if the node does not know its predecessor)
  */
-static int find_predecessor(node_t node, int id)
+static int remote_get_predecessor(node_t node, int ask_to)
 {
-  if (node->id == node->fingers[0].id) {
-    // I am the only node in the system
-    return node->id;
+  int predecessor_id = -1;
+  int stop = 0;
+  char* mailbox = get_mailbox(ask_to);
+  task_data_t req_data = xbt_new0(s_task_data_t, 1);
+  req_data->type = TASK_GET_PREDECESSOR;
+  req_data->answer_to = node->mailbox;
+  req_data->issuer_host_name = MSG_host_get_name(MSG_host_self());
+
+  // send a "Get Predecessor" request to ask_to_id
+  DEBUG1("Sending a 'Get Predecessor' request to %d", ask_to);
+  m_task_t task = MSG_task_create(NULL, COMP_SIZE, COMM_SIZE, req_data);
+  MSG_error_t res = MSG_task_send_with_timeout(task, mailbox, 50);
+
+  if (res != MSG_OK) {
+    DEBUG1("Failed to send the 'Get Predecessor' request to %d", ask_to);
+    MSG_task_destroy(task);
+    xbt_free(req_data);
   }
+  else {
 
-  if (is_in_interval(id, node->id + 1, node->fingers[0].id)) {
-    return node->id;
+    // receive the answer
+    DEBUG2("Sent 'Get Predecessor' request to %d, waiting for the answer on my mailbox '%s'", ask_to, req_data->answer_to);
+
+    do {
+      if (node->comm_receive == NULL) { // FIXME simplify this
+        task = NULL;
+        node->comm_receive = MSG_task_irecv(&task, node->mailbox);
+      }
+
+      res = MSG_comm_wait(node->comm_receive, 50);
+
+      if (res != MSG_OK) {
+        DEBUG1("Failed to receive the answer to my 'Get Predecessor' request: %d", res);
+        stop = 1;
+//        MSG_comm_destroy(node->comm_receive);
+      }
+      else {
+        task = MSG_comm_get_task(node->comm_receive);
+        task_data_t ans_data = MSG_task_get_data(task);
+
+        if (ans_data->type != TASK_GET_PREDECESSOR_ANSWER) {
+          handle_task(node, task);
+        }
+        else {
+          DEBUG2("Received the answer to my 'Get Predecessor' request: the predecessor of node %d is %d", ask_to, predecessor_id);
+          predecessor_id = ans_data->answer_id;
+          stop = 1;
+          MSG_task_destroy(task);
+          xbt_free(req_data);
+        }
+      }
+      node->comm_receive = NULL;
+    } while (!stop);
   }
-  int ask_to = closest_preceding_finger(node, id);
-  return remote_find_predecessor(node, ask_to, id);
-}
 
-/**
- * \brief Asks another node the predecessor node of an id.
- * \param node the current node
- * \param ask_to the node to ask to
- * \param id the id to find
- * \return the id of the predecessor node
- */
-static int remote_find_predecessor(node_t node, int ask_to, int id)
-{
-  s_task_data_t req_data;
-  char* mailbox = bprintf("%s Find Predecessor", node->mailbox);
-  req_data.request_id = id;
-  req_data.answer_to = mailbox;
-  req_data.issuer_host_name = MSG_host_get_name(MSG_host_self());
-
-  // send a "Find Predecessor" request to ask_to
-  INFO2("Sending a 'Find Predecessor' request to %d for key %d", ask_to, id);
-  m_task_t task = MSG_task_create("Find Predecessor", 1000, 5000, &req_data);
-  MSG_task_send(task, get_mailbox(ask_to));
-
-  // receive the answer
-  task = NULL;
-  MSG_task_receive(&task, req_data.answer_to);
-  task_data_t ans_data;
-  ans_data = MSG_task_get_data(task);
-  int predecessor = ans_data->answer_id;
   xbt_free(mailbox);
-  INFO2("Received the answer to my 'Find Predecessor' request: the predecessor of key %d is %d", id, predecessor);
-
-  return predecessor;
+  return predecessor_id;
 }
 
 /**
@@ -719,7 +693,7 @@ static int remote_find_predecessor(node_t node, int ask_to, int id)
  * \param id the id to find
  * \return the closest preceding finger of that id
  */
-int closest_preceding_finger(node_t node, int id)
+int closest_preceding_node(node_t node, int id)
 {
   int i;
   for (i = NB_BITS - 1; i >= 0; i--) {
@@ -732,22 +706,30 @@ int closest_preceding_finger(node_t node, int id)
 
 /**
  * \brief This function is called periodically. It checks the immediate
- * successor and predecessor of the current node.
+ * successor of the current node.
  * \param node the current node
  */
 static void stabilize(node_t node)
 {
-  INFO0("Stabilizing node");
-  int succ_id;
-  succ_id = node->pred_id;
-  succ_id = remote_find_successor(node, succ_id, succ_id);
-  if (is_in_interval(succ_id, node->pred_id + 1, node->id - 1)) {
-    set_predecessor(node, succ_id);
+  DEBUG0("Stabilizing node");
+
+  // get the predecessor of my immediate successor
+  int candidate_id;
+  int successor_id = node->fingers[0].id;
+  if (successor_id != node->id) {
+    candidate_id = remote_get_predecessor(node, successor_id);
+  }
+  else {
+    candidate_id = node->pred_id;
   }
-  succ_id = node->fingers[0].id;
-  succ_id = remote_find_predecessor(node, succ_id, succ_id);
-  if (is_in_interval(succ_id, node->id + 1, node->fingers[0].id - 1)) {
-    set_finger(node, 0, succ_id);
+
+  // this node is a candidate to become my new successor
+  if (candidate_id != -1
+      && is_in_interval(candidate_id, node->id + 1, successor_id - 1)) {
+    set_finger(node, 0, candidate_id);
+  }
+  if (successor_id != node->id) {
+    remote_notify(node, successor_id, node->id);
   }
 }
 
@@ -756,16 +738,16 @@ static void stabilize(node_t node)
  * \param node the current node
  * \param candidate_id the possible new predecessor
  */
-static void notify_predecessor_changed(node_t node, int predecessor_candidate_id) {
+static void notify(node_t node, int predecessor_candidate_id) {
 
-  if (node->pred_id == node->id
-    || is_in_interval(predecessor_candidate_id, node->pred_id, node->id)) {
+  if (node->pred_id == -1
+    || is_in_interval(predecessor_candidate_id, node->pred_id + 1, node->id - 1)) {
 
     set_predecessor(node, predecessor_candidate_id);
     print_finger_table(node);
   }
   else {
-    INFO1("I don't have to change my predecessor to %d", predecessor_candidate_id);
+    DEBUG1("I don't have to change my predecessor to %d", predecessor_candidate_id);
   }
 }
 
@@ -775,15 +757,16 @@ static void notify_predecessor_changed(node_t node, int predecessor_candidate_id
  * \param notify_id id of the node to notify
  * \param candidate_id the possible new predecessor
  */
-static void remote_notify_predecessor_changed(node_t node, int notify_id, int predecessor_candidate_id) {
+static void remote_notify(node_t node, int notify_id, int predecessor_candidate_id) {
 
   task_data_t req_data = xbt_new0(s_task_data_t, 1);
+  req_data->type = TASK_NOTIFY;
   req_data->request_id = predecessor_candidate_id;
   req_data->issuer_host_name = MSG_host_get_name(MSG_host_self());
 
   // send a "Notify" request to notify_id
-  INFO1("Sending a 'Notify Predecessor Changed' request to %d", notify_id);
-  m_task_t task = MSG_task_create("Notify Predecessor Changed", 1000, 5000, req_data);
+  DEBUG1("Sending a 'Notify' request to %d", notify_id);
+  m_task_t task = MSG_task_create(NULL, COMP_SIZE, COMM_SIZE, req_data);
   char* mailbox = get_mailbox(notify_id);
   msg_comm_t comm = MSG_task_isend(task, mailbox);
   xbt_dynar_push(node->comms, &comm);
@@ -791,11 +774,33 @@ static void remote_notify_predecessor_changed(node_t node, int notify_id, int pr
 }
 
 /**
- * \brief Asks a node to take some of its keys.
- * \param node the current node, which has just joined the system
- * \param take_from_id id of a node who may have keys to give to the current node
+ * \brief This function is called periodically.
+ * It refreshes the finger table of the current node.
+ * \param node the current node
  */
-static void remote_move_keys(node_t node, int take_from_id) {
+static void fix_fingers(node_t node) {
+
+  DEBUG0("Fixing fingers");
+  int i = node->next_finger_to_fix;
+  int id = find_successor(node, node->id + powers2[i]);
+  if (id != -1) {
+
+    if (id != node->fingers[i].id) {
+      set_finger(node, i, id);
+      print_finger_table(node);
+    }
+    node->next_finger_to_fix = (i + 1) % NB_BITS;
+  }
+}
+
+/**
+ * \brief This function is called periodically.
+ * It checks whether the predecessor has failed
+ * \param node the current node
+ */
+static void check_predecessor(node_t node)
+{
+  DEBUG0("Checking whether my predecessor is alive");
   // TODO
 }
 
@@ -810,12 +815,12 @@ int main(int argc, char *argv[])
     exit(1);
   }
 
-  MSG_global_init(&argc, argv);
-
   const char* platform_file = argv[1];
   const char* application_file = argv[2];
 
-  /* MSG_config("workstation/model","KCCFLN05"); */
+  chord_initialize();
+
+  MSG_global_init(&argc, argv);
   MSG_set_channel_number(0);
   MSG_create_environment(platform_file);