src/gras/Msg/gras_msg_exchange.c

   1 /* gras message exchanges                                                   */
   2
   3 /* Copyright (c) 2007, 2008, 2009, 2010. The SimGrid Team.
   4  * All rights reserved.                                                     */
   5
   6 /* This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the license (GNU LGPL) which comes with this package. */
   8
   9 #include "xbt/ex.h"
  10 #include "xbt/ex_interface.h"
  11 #include "gras/Msg/msg_private.h"
  12 #include "gras/Virtu/virtu_interface.h"
  13
  14 XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(gras_msg);
  15
  16
  17 char _GRAS_header[6];
  18 const char *e_gras_msg_kind_names[e_gras_msg_kind_count] =
  19     { "UNKNOWN", "ONEWAY", "RPC call", "RPC answer", "RPC error" };
  20
  21
  22 /** \brief Waits for a message to come in over a given socket.
  23  *
  24  * @param timeout: How long should we wait for this message.
  25  * @param msgt_want: type of awaited msg (or NULL if I'm enclined to accept any message)
  26  * @param expe_want: awaited expeditot (match on hostname, not port; NULL if not relevant)
  27  * @param filter: function returning true or false when passed a payload. Messages for which it returns false are not selected. (NULL if not relevant)
  28  * @param filter_ctx: context passed as second argument of the filter (a pattern to match?)
  29  * @param[out] msg_got: where to write the message we got
  30  *
  31  * Every message of another type received before the one waited will be queued
  32  * and used by subsequent call to this function or gras_msg_handle().
  33  */
  34
  35 void
  36 gras_msg_wait_ext_(double timeout,
  37                    gras_msgtype_t msgt_want,
  38                    gras_socket_t expe_want,
  39                    gras_msg_filter_t filter,
  40                    void *filter_ctx, gras_msg_t msg_got)
  41 {
  42
  43   s_gras_msg_t msg;
  44   double start, now;
  45   gras_msg_procdata_t pd =
  46       (gras_msg_procdata_t) gras_libdata_by_id(gras_msg_libdata_id);
  47   unsigned int cpt;
  48
  49   xbt_assert(msg_got, "msg_got is an output parameter");
  50
  51   start = gras_os_time();
  52   XBT_VERB("Waiting for message '%s' for %fs",
  53         msgt_want ? msgt_want->name : "(any)", timeout);
  54
  55   xbt_dynar_foreach(pd->msg_waitqueue, cpt, msg) {
  56     if ((!msgt_want || (msg.type->code == msgt_want->code))
  57         && (!expe_want || (!strcmp(gras_socket_peer_name(msg.expe),
  58                                    gras_socket_peer_name(expe_want))))
  59         && (!filter || filter(&msg, filter_ctx))) {
  60
  61       memcpy(msg_got, &msg, sizeof(s_gras_msg_t));
  62       xbt_dynar_cursor_rm(pd->msg_waitqueue, &cpt);
  63       XBT_VERB("The waited message was queued");
  64       return;
  65     }
  66   }
  67
  68   xbt_dynar_foreach(pd->msg_queue, cpt, msg) {
  69     if ((!msgt_want || (msg.type->code == msgt_want->code))
  70         && (!expe_want || (!strcmp(gras_socket_peer_name(msg.expe),
  71                                    gras_socket_peer_name(expe_want))))
  72         && (!filter || filter(&msg, filter_ctx))) {
  73
  74       memcpy(msg_got, &msg, sizeof(s_gras_msg_t));
  75       xbt_dynar_cursor_rm(pd->msg_queue, &cpt);
  76       XBT_VERB("The waited message was queued");
  77       return;
  78     }
  79   }
  80
  81   while (1) {
  82     int need_restart;
  83     xbt_ex_t e;
  84
  85   restart_receive:             /* Goto here when the receive of a message failed */
  86     need_restart = 0;
  87     now = gras_os_time();
  88     memset(&msg, 0, sizeof(msg));
  89
  90     TRY {
  91       xbt_queue_shift_timed(pd->msg_received, &msg,
  92                             timeout ? timeout - now + start : 0);
  93     }
  94     CATCH(e) {
  95       if (e.category == system_error &&
  96           !strncmp("Socket closed by remote side", e.msg,
  97                    strlen("Socket closed by remote side"))) {
  98         xbt_ex_free(e);
  99         need_restart = 1;
 100       } else {
 101         RETHROW;
 102       }
 103     }
 104     if (need_restart)
 105       goto restart_receive;
 106
 107     XBT_DEBUG("Got a message from the socket");
 108
 109     if ((!msgt_want || (msg.type->code == msgt_want->code))
 110         && (!expe_want || (!strcmp(gras_socket_peer_name(msg.expe),
 111                                    gras_socket_peer_name(expe_want))))
 112         && (!filter || filter(&msg, filter_ctx))) {
 113
 114       memcpy(msg_got, &msg, sizeof(s_gras_msg_t));
 115       XBT_DEBUG("Message matches expectations. Use it.");
 116       return;
 117     }
 118     XBT_DEBUG("Message does not match expectations. Queue it.");
 119
 120     /* not expected msg type. Queue it for later */
 121     xbt_dynar_push(pd->msg_queue, &msg);
 122
 123     now = gras_os_time();
 124     if (now - start + 0.001 > timeout) {
 125       THROWF(timeout_error, now - start + 0.001 - timeout,
 126              "Timeout while waiting for msg '%s'",
 127              msgt_want ? msgt_want->name : "(any)");
 128     }
 129   }
 130
 131   THROW_IMPOSSIBLE;
 132 }
 133
 134 /** \brief Waits for a message to come in over a given socket.
 135  *
 136  * @param timeout: How long should we wait for this message.
 137  * @param msgt_want: type of awaited msg
 138  * @param[out] expeditor: where to create a socket to answer the incomming message
 139  * @param[out] payload: where to write the payload of the incomming message
 140  * @return the error code (or no_error).
 141  *
 142  * Every message of another type received before the one waited will be queued
 143  * and used by subsequent call to this function or gras_msg_handle().
 144  */
 145 void
 146 gras_msg_wait_(double timeout,
 147                gras_msgtype_t msgt_want,
 148                gras_socket_t * expeditor, void *payload)
 149 {
 150   s_gras_msg_t msg;
 151
 152   gras_msg_wait_ext_(timeout, msgt_want, NULL, NULL, NULL, &msg);
 153
 154   if (msgt_want->ctn_type) {
 155     xbt_assert(payload,
 156                 "Message type '%s' convey a payload that you must accept",
 157                 msgt_want->name);
 158   } else {
 159     xbt_assert(!payload,
 160                 "No payload was declared for message type '%s' (don't expect one)",
 161                 msgt_want->name);
 162   }
 163
 164   if (payload) {
 165     memcpy(payload, msg.payl, msg.payl_size);
 166     free(msg.payl);
 167   }
 168
 169   if (expeditor)
 170     *expeditor = msg.expe;
 171 }
 172
 173 static int gras_msg_wait_or_filter(gras_msg_t msg, void *ctx)
 174 {
 175   xbt_dynar_t dyn = (xbt_dynar_t) ctx;
 176   int res = xbt_dynar_member(dyn, msg->type);
 177   if (res)
 178     XBT_VERB("Got matching message (type=%s)", msg->type->name);
 179   else
 180     XBT_VERB("Got message not matching our expectations");
 181   return res;
 182 }
 183
 184 /** \brief Waits for a message to come in over a given socket.
 185  *
 186  * @param timeout: How long should we wait for this message.
 187  * @param msgt_want: a dynar containing all accepted message type
 188  * @param[out] ctx: the context of received message (in case it's a RPC call we want to answer to)
 189  * @param[out] msgt_got: indice in the dynar of the type of the received message
 190  * @param[out] payload: where to write the payload of the incomming message
 191  * @return the error code (or no_error).
 192  *
 193  * Every message of a type not in the accepted list received before the one
 194  * waited will be queued and used by subsequent call to this function or
 195  * gras_msg_handle().
 196  *
 197  * If you are interested in the context, pass the address of a s_gras_msg_cb_ctx_t variable.
 198  */
 199 void gras_msg_wait_or(double timeout,
 200                       xbt_dynar_t msgt_want,
 201                       gras_msg_cb_ctx_t * ctx, int *msgt_got,
 202                       void *payload)
 203 {
 204   s_gras_msg_t msg;
 205
 206   XBT_VERB("Wait %f seconds for several message types", timeout);
 207   gras_msg_wait_ext_(timeout,
 208                      NULL, NULL,
 209                      &gras_msg_wait_or_filter, (void *) msgt_want, &msg);
 210
 211   if (msg.type->ctn_type) {
 212     xbt_assert(payload,
 213                 "Message type '%s' convey a payload you must accept",
 214                 msg.type->name);
 215   }
 216   /* don't check the other side since some of the types may have a payload */
 217   if (payload && msg.type->ctn_type) {
 218     memcpy(payload, msg.payl, msg.payl_size);
 219     free(msg.payl);
 220   }
 221
 222   if (ctx)
 223     *ctx = gras_msg_cb_ctx_new(msg.expe, msg.type, msg.ID,
 224                                (msg.kind == e_gras_msg_kind_rpccall), 60);
 225
 226   if (msgt_got)
 227     *msgt_got = xbt_dynar_search(msgt_want, msg.type);
 228 }
 229
 230
 231 /** \brief Send the data pointed by \a payload as a message of type
 232  * \a msgtype to the peer \a sock */
 233 void gras_msg_send_(gras_socket_t sock, gras_msgtype_t msgtype,
 234                     void *payload)
 235 {
 236
 237   if (msgtype->ctn_type) {
 238     xbt_assert(payload,
 239                 "Message type '%s' convey a payload you must provide",
 240                 msgtype->name);
 241   } else {
 242     xbt_assert(!payload,
 243                 "No payload was declared for message type '%s'",
 244                 msgtype->name);
 245   }
 246
 247   XBT_DEBUG("Send a oneway message of type '%s'. Payload=%p",
 248          msgtype->name, payload);
 249   gras_msg_send_ext(sock, e_gras_msg_kind_oneway, 0, msgtype, payload);
 250   XBT_VERB("Sent a oneway message of type '%s'. Payload=%p",
 251         msgtype->name, payload);
 252 }
 253
 254 /** @brief Handle all messages arriving within the given period
 255  *
 256  * @param period: How long to wait for incoming messages (in seconds)
 257  *
 258  * Messages are dealed with just like gras_msg_handle() would do. The
 259  * difference is that gras_msg_handle() handles at most one message (or wait up
 260  * to timeout second when no message arrives) while this function handles any
 261  * amount of messages, and lasts the given period in any case.
 262  */
 263 void gras_msg_handleall(double period)
 264 {
 265   xbt_ex_t e;
 266   double begin = gras_os_time();
 267   double now;
 268
 269   do {
 270     now = gras_os_time();
 271     TRY {
 272       if (period - now + begin > 0)
 273         gras_msg_handle(period - now + begin);
 274     }
 275     CATCH(e) {
 276       if (e.category != timeout_error)
 277         RETHROWF("Error while waiting for messages: %s");
 278       xbt_ex_free(e);
 279     }
 280     /* Epsilon to avoid numerical stability issues were the waited interval is so small that the global clock cannot notice the increment */
 281   } while (period - now + begin > 0);
 282 }
 283
 284 /** @brief Handle an incomming message or timer (or wait up to \a timeOut seconds)
 285  *
 286  * @param timeOut: How long to wait for incoming messages (in seconds)
 287  * @return the error code (or no_error).
 288  *
 289  * Any message arriving in the given interval is passed to the callbacks.
 290  *
 291  * @sa gras_msg_handleall().
 292  */
 293 void gras_msg_handle(volatile double timeOut)
 294 {
 295
 296   double untiltimer;
 297
 298   unsigned int cpt;
 299   volatile int ran_ok;
 300
 301   s_gras_msg_t msg;
 302
 303   gras_msg_procdata_t pd =
 304       (gras_msg_procdata_t) gras_libdata_by_id(gras_msg_libdata_id);
 305   gras_cblist_t *list = NULL;
 306   gras_msg_cb_t cb;
 307   s_gras_msg_cb_ctx_t ctx;
 308
 309   volatile int timerexpected, timeouted;
 310   xbt_ex_t e;
 311
 312   XBT_VERB("Handling message within the next %.2fs", timeOut);
 313
 314   untiltimer = gras_msg_timer_handle();
 315   XBT_DEBUG("Next timer in %f sec", untiltimer);
 316   if (untiltimer == 0.0) {
 317     /* A timer was already elapsed and handled */
 318     return;
 319   }
 320   if (untiltimer != -1.0) {
 321     timerexpected = 1;
 322     timeOut = MIN(timeOut, untiltimer);
 323   } else {
 324     timerexpected = 0;
 325   }
 326
 327   /* get a message (from the queue or from the net) */
 328   timeouted = 0;
 329   if (!xbt_dynar_is_empty(pd->msg_queue)) {
 330     XBT_DEBUG("Get a message from the queue");
 331     xbt_dynar_shift(pd->msg_queue, &msg);
 332   } else {
 333     TRY {
 334       xbt_queue_shift_timed(pd->msg_received, &msg, timeOut);
 335       //      msg.expe = gras_trp_select(timeOut);
 336     }
 337     CATCH(e) {
 338       if (e.category != timeout_error)
 339         RETHROW;
 340       XBT_DEBUG("Damn. Timeout while getting a message from the queue");
 341       xbt_ex_free(e);
 342       timeouted = 1;
 343     }
 344   }
 345
 346   if (timeouted) {
 347     if (timerexpected) {
 348
 349       /* A timer elapsed before the arrival of any message even if we select()ed a bit */
 350       untiltimer = gras_msg_timer_handle();
 351       if (untiltimer == 0.0) {
 352         /* we served a timer, we're done */
 353         return;
 354       } else {
 355         xbt_assert(untiltimer > 0, "Negative timer (%f). I'm 'puzzeled'",
 356                     untiltimer);
 357         XBT_WARN
 358             ("No timer elapsed, in contrary to expectations (next in %f sec)",
 359              untiltimer);
 360         THROWF(timeout_error, 0,
 361                "No timer elapsed, in contrary to expectations (next in %f sec)",
 362                untiltimer);
 363       }
 364
 365     } else {
 366       /* select timeouted, and no timer elapsed. Nothing to do */
 367       THROWF(timeout_error, 0, "No new message or timer (delay was %f)",
 368              timeOut);
 369     }
 370
 371   }
 372
 373   /* A message was already there or arrived in the meanwhile. handle it */
 374   xbt_dynar_foreach(pd->cbl_list, cpt, list) {
 375     if (list->id == msg.type->code) {
 376       break;
 377     } else {
 378       list = NULL;
 379     }
 380   }
 381   if (!list) {
 382     XBT_INFO
 383         ("No callback for message '%s' (type:%s) from %s:%d. Queue it for later gras_msg_wait() use.",
 384          msg.type->name, e_gras_msg_kind_names[msg.kind],
 385          gras_socket_peer_name(msg.expe), gras_socket_peer_port(msg.expe));
 386     xbt_dynar_push(pd->msg_waitqueue, &msg);
 387     return;                     /* FIXME: maybe we should call ourselves again until the end of the timer or a proper msg is got */
 388   }
 389
 390   ctx.expeditor = msg.expe;
 391   ctx.ID = msg.ID;
 392   ctx.msgtype = msg.type;
 393   ctx.answer_due = (msg.kind == e_gras_msg_kind_rpccall);
 394
 395   switch (msg.kind) {
 396   case e_gras_msg_kind_oneway:
 397   case e_gras_msg_kind_rpccall:
 398     ran_ok = 0;
 399     TRY {
 400       xbt_dynar_foreach(list->cbs, cpt, cb) {
 401         volatile unsigned int cpt2 = cpt;
 402         if (!ran_ok) {
 403           XBT_DEBUG
 404               ("Use the callback #%d (@%p) for incomming msg '%s' (payload_size=%d)",
 405                cpt + 1, cb, msg.type->name, msg.payl_size);
 406           if (!cb(&ctx, msg.payl)) {
 407             /* cb handled the message */
 408             free(msg.payl);
 409             ran_ok = 1;
 410           }
 411         }
 412         cpt = cpt2;
 413       }
 414     }
 415     CATCH(e) {
 416       free(msg.payl);
 417       if (msg.type->kind == e_gras_msg_kind_rpccall) {
 418         char *old_file = e.file;
 419         /* The callback raised an exception, propagate it on the network */
 420         if (!e.remote) {
 421           /* Make sure we reduce the file name to its basename to avoid issues in tests */
 422           char *new_file = strrchr(e.file, '/');
 423           if (new_file)
 424             e.file = new_file;
 425           /* the exception is born on this machine */
 426           e.host = (char *) gras_os_myname();
 427           xbt_ex_setup_backtrace(&e);
 428         }
 429         XBT_INFO
 430             ("Propagate %s exception ('%s') from '%s' RPC cb back to %s:%d",
 431              (e.remote ? "remote" : "local"), e.msg, msg.type->name,
 432              gras_socket_peer_name(msg.expe),
 433              gras_socket_peer_port(msg.expe));
 434         if (XBT_LOG_ISENABLED(gras_msg, xbt_log_priority_verbose))
 435           xbt_ex_display(&e);
 436         gras_msg_send_ext(msg.expe, e_gras_msg_kind_rpcerror,
 437                           msg.ID, msg.type, &e);
 438         e.file = old_file;
 439         xbt_ex_free(e);
 440         ctx.answer_due = 0;
 441         ran_ok = 1;
 442       } else {
 443         RETHROWF
 444             ("Callback #%d (@%p) to message '%s' (payload size: %d) raised an exception: %s",
 445              cpt + 1, cb, msg.type->name, msg.payl_size);
 446       }
 447     }
 448
 449     xbt_assert(!ctx.answer_due,
 450                 "Bug in user code: RPC callback to message '%s' didn't call gras_msg_rpcreturn",
 451                 msg.type->name);
 452     if (ctx.answer_due)
 453       XBT_CRITICAL
 454           ("BUGS BOTH IN USER CODE (RPC callback to message '%s' didn't call gras_msg_rpcreturn) "
 455            "AND IN SIMGRID (process wasn't killed by an assert)",
 456            msg.type->name);
 457     if (!ran_ok)
 458       THROWF(mismatch_error, 0,
 459              "Message '%s' refused by all registered callbacks (maybe your callback misses a 'return 0' at the end)",
 460              msg.type->name);
 461     /* FIXME: gras_datadesc_free not implemented => leaking the payload */
 462     break;
 463
 464
 465   case e_gras_msg_kind_rpcanswer:
 466     XBT_INFO("Unexpected RPC answer discarded (type: %s; from:%s:%d)",
 467           msg.type->name, gras_socket_peer_name(msg.expe),
 468           gras_socket_peer_port(msg.expe));
 469     XBT_WARN
 470         ("FIXME: gras_datadesc_free not implemented => leaking the payload");
 471     return;
 472
 473   case e_gras_msg_kind_rpcerror:
 474     XBT_INFO("Unexpected RPC error discarded (type: %s; from:%s:%d)",
 475           msg.type->name, gras_socket_peer_name(msg.expe),
 476           gras_socket_peer_port(msg.expe));
 477     XBT_WARN
 478         ("FIXME: gras_datadesc_free not implemented => leaking the payload");
 479     return;
 480
 481   default:
 482     THROWF(unknown_error, 0,
 483            "Cannot handle messages of kind %d yet", msg.type->kind);
 484   }
 485
 486 }