examples/msg/dht-kademlia/dht-kademlia.c

   1 /* Copyright (c) 2012, 2014-2016. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 #include "dht-kademlia.h"
   8 #include "node.h"
   9 #include "task.h"
  10
  11 #include "simgrid/msg.h"
  12 /** @addtogroup MSG_examples
  13   * <b>kademlia/kademlia.c: Kademlia protocol</b>
  14   * Implements the Kademlia protocol, using 32 bits identifiers.
  15   */
  16 XBT_LOG_NEW_DEFAULT_CATEGORY(msg_kademlia, "Messages specific for this msg example");
  17
  18 /* Main loop for the process */
  19 static void main_loop(node_t node, double deadline)
  20 {
  21   double next_lookup_time = MSG_get_clock() + random_lookup_interval;
  22   XBT_VERB("Main loop start");
  23   while (MSG_get_clock() < deadline) {
  24
  25     if (node->receive_comm == NULL) {
  26       node->task_received = NULL;
  27       node->receive_comm = MSG_task_irecv(&node->task_received, node->mailbox);
  28     }
  29     if (node->receive_comm) {
  30       if (!MSG_comm_test(node->receive_comm)) {
  31         /* We search for a pseudo random node */
  32         if (MSG_get_clock() >= next_lookup_time) {
  33           random_lookup(node);
  34           next_lookup_time += random_lookup_interval;
  35         } else {
  36           //Didn't get a task: sleep for a while...
  37           MSG_process_sleep(1);
  38         }
  39       } else {
  40         //There has been a transfer, we need to handle it !
  41         msg_error_t status = MSG_comm_get_status(node->receive_comm);
  42         MSG_comm_destroy(node->receive_comm);
  43         node->receive_comm = NULL;
  44
  45         if (status == MSG_OK) {
  46           xbt_assert((node->task_received != NULL), "We received an incorrect task");
  47           handle_task(node, node->task_received);
  48         } else {
  49           xbt_assert((MSG_comm_get_task(node->receive_comm) == NULL), "Comm failed but received a task.");
  50           XBT_DEBUG("Nevermind, the communication has failed.");
  51         }
  52       }
  53     } else {
  54       //Didn't get a comm: sleep.
  55       MSG_process_sleep(1);
  56     }
  57   }
  58   //Cleanup the receiving communication.
  59   if (node->receive_comm != NULL) {
  60     if (MSG_comm_test(node->receive_comm) && MSG_comm_get_status(node->receive_comm) == MSG_OK) {
  61       task_free(MSG_comm_get_task(node->receive_comm));
  62     }
  63     MSG_comm_destroy(node->receive_comm);
  64   }
  65 }
  66
  67 /** @brief Node function
  68   * @param my node ID
  69   * @param the ID of the person I know in the system (or not)
  70   * @param Time before I leave the system because I'm bored
  71   */
  72 static int node(int argc, char *argv[])
  73 {
  74   unsigned int join_sucess = 1;
  75   double deadline;
  76   xbt_assert(argc == 3 || argc == 4, "Wrong number of arguments");
  77   /* Node initialization */
  78   unsigned int id = strtoul(argv[1], NULL, 0);
  79   node_t node = node_init(id);
  80
  81   if (argc == 4) {
  82     XBT_INFO("Hi, I'm going to join the network with id %s", node->mailbox);
  83     unsigned int id_known = strtoul(argv[2], NULL, 0);
  84     join_sucess = join(node, id_known);
  85     deadline = strtod(argv[3], NULL);
  86   } else {
  87     deadline = strtod(argv[2], NULL);
  88     XBT_INFO("Hi, I'm going to create the network with id %s", node->mailbox);
  89     node_routing_table_update(node, node->id);
  90   }
  91   if (join_sucess) {
  92     XBT_VERB("Ok, I'm joining the network with id %s", node->mailbox);
  93     //We start the main loop
  94     main_loop(node, deadline);
  95   } else {
  96     XBT_INFO("I couldn't join the network :(");
  97   }
  98   XBT_DEBUG("I'm leaving the network");
  99   XBT_INFO("%d/%d FIND_NODE have succeeded", node->find_node_success, node->find_node_success + node->find_node_failed);
 100   node_free(node);
 101
 102   return 0;
 103 }
 104
 105 /**
 106   * @brief Tries to join the network
 107   * @param node node data
 108   * @param id_known id of the node I know in the network.
 109   */
 110 unsigned int join(node_t node, unsigned int id_known)
 111 {
 112   answer_t node_list;
 113   msg_error_t status;
 114   unsigned int trial = 0;
 115   unsigned int i;
 116   unsigned int answer_got = 0;
 117
 118   /* Add the guy we know to our routing table and ourselves. */
 119   node_routing_table_update(node, node->id);
 120   node_routing_table_update(node, id_known);
 121
 122   /* First step: Send a "FIND_NODE" request to the node we know */
 123   send_find_node(node, id_known, node->id);
 124   do {
 125     if (node->receive_comm == NULL) {
 126       node->task_received = NULL;
 127       node->receive_comm = MSG_task_irecv(&node->task_received, node->mailbox);
 128     }
 129     if (node->receive_comm) {
 130       if (MSG_comm_test(node->receive_comm)) {
 131         status = MSG_comm_get_status(node->receive_comm);
 132         MSG_comm_destroy(node->receive_comm);
 133         node->receive_comm = NULL;
 134         if (status == MSG_OK) {
 135           XBT_DEBUG("Received an answer from the node I know.");
 136           answer_got = 1;
 137           //retrieve the node list and ping them.
 138           task_data_t data = MSG_task_get_data(node->task_received);
 139           xbt_assert((data != NULL), "Null data received");
 140           if (data->type == TASK_FIND_NODE_ANSWER) {
 141             node_contact_t contact;
 142             node_list = data->answer;
 143             xbt_dynar_foreach(node_list->nodes, i, contact) {
 144               node_routing_table_update(node, contact->id);
 145             }
 146             task_free(node->task_received);
 147           } else {
 148             handle_task(node, node->task_received);
 149           }
 150         } else {
 151           trial++;
 152         }
 153       } else {
 154         MSG_process_sleep(1);
 155       }
 156     } else {
 157       MSG_process_sleep(1);
 158     }
 159   } while (answer_got == 0 && trial < max_join_trials);
 160   /* Second step: Send a FIND_NODE to a a random node in buckets */
 161   unsigned int bucket_id = routing_table_find_bucket(node->table, id_known)->id;
 162   for (i = 0; ((bucket_id  > i) || (bucket_id + i) <= identifier_size) && i < JOIN_BUCKETS_QUERIES; i++) {
 163     if (bucket_id  > i) {
 164       unsigned int id_in_bucket = get_id_in_prefix(node->id, bucket_id - i);
 165       find_node(node, id_in_bucket, 0);
 166     }
 167     if (bucket_id + i <= identifier_size) {
 168       unsigned int id_in_bucket = get_id_in_prefix(node->id, bucket_id + i);
 169       find_node(node, id_in_bucket, 0);
 170     }
 171   }
 172   return answer_got;
 173 }
 174
 175 /** @brief Send a request to find a node in the node routing table.
 176   * @param node our node data
 177   * @param id_to_find the id of the node we are trying to find
 178   */
 179 unsigned int find_node(node_t node, unsigned int id_to_find, unsigned int count_in_stats)
 180 {
 181   unsigned int i = 0;
 182   unsigned int queries;
 183   unsigned int answers;
 184   unsigned int destination_found = 0;
 185   unsigned int nodes_added = 0;
 186   double time_beginreceive;
 187   double timeout;
 188   double global_timeout = MSG_get_clock() + find_node_global_timeout;
 189   unsigned int steps = 0;
 190
 191   xbt_assert((id_to_find >= 0), "Id supplied incorrect");
 192
 193   /* First we build a list of who we already know */
 194   answer_t node_list = node_find_closest(node, id_to_find);
 195   xbt_assert((node_list != NULL), "node_list incorrect");
 196
 197   XBT_DEBUG("Doing a FIND_NODE on %08x", id_to_find);
 198
 199   msg_error_t status;
 200
 201   /* Ask the nodes on our list if they   have information about the node we are trying to find */
 202   do {
 203     answers = 0;
 204     queries = send_find_node_to_best(node, node_list);
 205     nodes_added = 0;
 206     timeout = MSG_get_clock() + find_node_timeout;
 207     steps++;
 208     time_beginreceive = MSG_get_clock();
 209     do {
 210       if (node->receive_comm == NULL) {
 211         node->task_received = NULL;
 212         node->receive_comm = MSG_task_irecv(&node->task_received, node->mailbox);
 213       }
 214       if (node->receive_comm) {
 215         if (MSG_comm_test(node->receive_comm)) {
 216           status = MSG_comm_get_status(node->receive_comm);
 217           MSG_comm_destroy(node->receive_comm);
 218           node->receive_comm = NULL;
 219           if (status == MSG_OK) {
 220             xbt_assert((node->task_received != NULL), "Invalid task received");
 221             //Figure out if we received an answer or something else
 222             task_data_t data = MSG_task_get_data(node->task_received);
 223             xbt_assert((data != NULL), "No data in the task");
 224
 225             //Check if what we have received is what we are looking for.
 226             if (data->type == TASK_FIND_NODE_ANSWER && data->answer->destination_id == id_to_find) {
 227               //Handle the answer
 228               node_routing_table_update(node, data->sender_id);
 229               node_contact_t contact;
 230               xbt_dynar_foreach(node_list->nodes, i, contact) {
 231                 node_routing_table_update(node, contact->id);
 232               }
 233               answers++;
 234
 235               nodes_added = answer_merge(node_list, data->answer);
 236               XBT_DEBUG("Received an answer from %s (%s) with %ld nodes on it",
 237                         data->answer_to, data->issuer_host_name, xbt_dynar_length(data->answer->nodes));
 238
 239               task_free(node->task_received);
 240             } else {
 241               handle_task(node, node->task_received);
 242               //Update the timeout if we didn't have our answer
 243               timeout += MSG_get_clock() - time_beginreceive;
 244               time_beginreceive = MSG_get_clock();
 245             }
 246           }
 247         } else {
 248           MSG_process_sleep(1);
 249         }
 250       } else {
 251         MSG_process_sleep(1);
 252       }
 253     } while (MSG_get_clock() < timeout && answers < queries);
 254     destination_found = answer_destination_found(node_list);
 255   } while (!destination_found && (nodes_added > 0 || answers == 0) && MSG_get_clock() < global_timeout
 256             && steps < MAX_STEPS);
 257   if (destination_found) {
 258     if (count_in_stats)
 259       node->find_node_success++;
 260     if (queries > 4)
 261       XBT_VERB("FIND_NODE on %08x success in %d steps", id_to_find, steps);
 262     node_routing_table_update(node, id_to_find);
 263   } else {
 264     if (count_in_stats) {
 265       node->find_node_failed++;
 266       XBT_VERB("%08x not found in %d steps", id_to_find, steps);
 267     }
 268   }
 269   answer_free(node_list);
 270   return destination_found;
 271 }
 272
 273 /** @brief Pings a node in the system to see if it is online.
 274   * @param node Our node data
 275   * @param id_to_ping the id of a node we want to see if it is online.
 276   * @return if the ping succeded or not.
 277   */
 278 unsigned int ping(node_t node, unsigned int id_to_ping)
 279 {
 280   char mailbox[MAILBOX_NAME_SIZE];
 281   snprintf(mailbox,MAILBOX_NAME_SIZE, "%d", id_to_ping);
 282
 283   double timeout = MSG_get_clock() + ping_timeout;
 284
 285   msg_task_t ping_task = task_new_ping(node->id, node->mailbox, MSG_host_get_name(MSG_host_self()));
 286   msg_task_t task_received = NULL;
 287
 288   XBT_VERB("PING %08x", id_to_ping);
 289
 290   //Check that we aren't trying to ping ourselves
 291   if (id_to_ping == node->id) {
 292     return 1;
 293   }
 294
 295   /* Sending the ping task */
 296   MSG_task_dsend(ping_task, mailbox, task_free_v);
 297   do {
 298     task_received = NULL;
 299     msg_error_t status =
 300         MSG_task_receive_with_timeout(&task_received, node->mailbox, ping_timeout);
 301     if (status == MSG_OK) {
 302       xbt_assert((task_received != NULL), "Invalid task received");
 303       //Checking if it's what we are waiting for or not.
 304       task_data_t data = MSG_task_get_data(task_received);
 305       xbt_assert((data != NULL), "didn't receive any data...");
 306       if (data->type == TASK_PING_ANSWER && id_to_ping == data->sender_id) {
 307         XBT_VERB("Ping to %s succeeded", mailbox);
 308         node_routing_table_update(node, data->sender_id);
 309         task_free(task_received);
 310         return 1; // Destination found, ping succeeded!
 311       } else {
 312         //If it's not our answer, we answer the query anyway.
 313         handle_task(node, task_received);
 314       }
 315     }
 316   } while (MSG_get_clock() < timeout);
 317
 318   if (MSG_get_clock() >= timeout) {
 319     XBT_DEBUG("Ping to %s has timeout.", mailbox);
 320     return 0;
 321   }
 322   XBT_DEBUG("It seems that %s is offline...", mailbox);
 323   return -1;
 324 }
 325
 326 /** @brief Does a pseudo-random lookup for someone in the system
 327   * @param node caller node data
 328   */
 329 void random_lookup(node_t node)
 330 {
 331   unsigned int id_to_look = RANDOM_LOOKUP_NODE; //Totally random.
 332   /* TODO: Use some pseudorandom generator like RngStream. */
 333   XBT_DEBUG("I'm doing a random lookup");
 334   find_node(node, id_to_look, 1);
 335 }
 336
 337 /** @brief Send a "FIND_NODE" to a node
 338   * @param node sender node data
 339   * @param id node we are querying
 340   * @param destination node we are trying to find.
 341   */
 342 void send_find_node(node_t node, unsigned int id, unsigned int destination)
 343 {
 344   char mailbox[MAILBOX_NAME_SIZE];
 345   /* Gets the mailbox to send to */
 346   get_node_mailbox(id, mailbox);
 347   /* Build the task */
 348   msg_task_t task = task_new_find_node(node->id, destination, node->mailbox, MSG_host_get_name(MSG_host_self()));
 349   /* Send the task */
 350   xbt_assert((task != NULL), "Trying to send a NULL task.");
 351   MSG_task_dsend(task, mailbox, task_free_v);
 352   XBT_VERB("Asking %s for its closest nodes", mailbox);
 353 }
 354
 355 /**
 356   * Sends to the best "kademlia_alpha" nodes in the "node_list" array a "FIND_NODE" request, to ask them for their best nodes
 357   */
 358 unsigned int send_find_node_to_best(node_t node, answer_t node_list)
 359 {
 360   unsigned int i = 0;
 361   unsigned int j = 0;
 362   unsigned int destination = node_list->destination_id;
 363   while (j < kademlia_alpha && i < node_list->size) {
 364     /* We need to have at most "kademlia_alpha" requests each time, according to the protocol */
 365     /* Gets the node we want to send the query to */
 366     node_contact_t node_to_query = xbt_dynar_get_as(node_list->nodes, i, node_contact_t);
 367     if (node_to_query->id != node->id) {        /* No need to query ourselves */
 368       send_find_node(node, node_to_query->id, destination);
 369       j++;
 370     }
 371     i++;
 372   }
 373   return i;
 374 }
 375
 376 /** @brief Handles an incoming received task */
 377 void handle_task(node_t node, msg_task_t task)
 378 {
 379   task_data_t data = MSG_task_get_data(task);
 380   xbt_assert((data != NULL), "Received NULL data");
 381   //Adding/updating the guy to our routing table
 382   node_routing_table_update(node, data->sender_id);
 383   switch (data->type) {
 384   case TASK_FIND_NODE:
 385     handle_find_node(node, data);
 386     break;
 387   case TASK_FIND_NODE_ANSWER:
 388     XBT_DEBUG("Received a wrong answer for a FIND_NODE");
 389     break;
 390   case TASK_PING:
 391     handle_ping(node, data);
 392     break;
 393   default:
 394     break;
 395   }
 396   task_free(task);
 397 }
 398
 399 /** @brief Handles the answer to an incoming "find_node" task */
 400 void handle_find_node(node_t node, task_data_t data)
 401 {
 402   XBT_VERB("Received a FIND_NODE from %s (%s), he's trying to find %08x",
 403            data->answer_to, data->issuer_host_name, data->destination_id);
 404   //Building the answer to the request
 405   answer_t answer = node_find_closest(node, data->destination_id);
 406   //Building the task to send
 407   msg_task_t task = task_new_find_node_answer(node->id, data->destination_id, answer, node->mailbox,
 408                                               MSG_host_get_name(MSG_host_self()));
 409   //Sending the task
 410   MSG_task_dsend(task, data->answer_to, task_free_v);
 411 }
 412
 413 /** @brief handles the answer to a ping */
 414 void handle_ping(node_t node, task_data_t data)
 415 {
 416   XBT_VERB("Received a PING request from %s (%s)", data->answer_to, data->issuer_host_name);
 417   //Building the answer to the request
 418   msg_task_t task = task_new_ping_answer(node->id, data->answer_to, MSG_host_get_name(MSG_host_self()));
 419
 420   MSG_task_dsend(task, data->answer_to, task_free_v);
 421 }
 422
 423 /** @brief Main function */
 424 int main(int argc, char *argv[])
 425 {
 426   MSG_init(&argc, argv);
 427
 428   /* Check the arguments */
 429   xbt_assert(argc > 2, "Usage: %s platform_file deployment_file\n\tExample: %s msg_platform.xml msg_deployment.xml\n",
 430              argv[0], argv[0]);
 431
 432   const char *platform_file = argv[1];
 433   const char *deployment_file = argv[2];
 434
 435   MSG_create_environment(platform_file);
 436   MSG_function_register("node", node);
 437   MSG_launch_application(deployment_file);
 438
 439   msg_error_t res = MSG_main();
 440
 441   XBT_INFO("Simulated time: %g", MSG_get_clock());
 442
 443   return res != MSG_OK;
 444 }