src/gras/Msg/gras_msg_exchange.c

   1 /* $Id$ */
   2
   3 /* gras message exchanges                                                   */
   4
   5 /* Copyright (c) 2003, 2004, 2005, 2006, 2007 Martin Quinson.               */
   6 /* All rights reserved.                                                     */
   7
   8 /* This program is free software; you can redistribute it and/or modify it
   9  * under the terms of the license (GNU LGPL) which comes with this package. */
  10
  11 #include "xbt/ex.h"
  12 #include "xbt/ex_interface.h"
  13 #include "gras/Msg/msg_private.h"
  14 #include "gras/Virtu/virtu_interface.h"
  15 #include "gras/Transport/transport_interface.h" /* gras_select */
  16
  17 XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(gras_msg);
  18
  19
  20 char _GRAS_header[6];
  21 const char *e_gras_msg_kind_names[e_gras_msg_kind_count]=
  22   {"UNKNOWN","ONEWAY","RPC call","RPC answer","RPC error"};
  23
  24
  25 /** \brief Waits for a message to come in over a given socket.
  26  *
  27  * @param timeout: How long should we wait for this message.
  28  * @param msgt_want: type of awaited msg (or NULL if I'm enclined to accept any message)
  29  * @param expe_want: awaited expeditot (match on hostname, not port; NULL if not relevant)
  30  * @param filter: function returning true or false when passed a payload. Messages for which it returns false are not selected. (NULL if not relevant)
  31  * @param filter_ctx: context passed as second argument of the filter (a pattern to match?)
  32  * @param[out] msg_got: where to write the message we got
  33  *
  34  * Every message of another type received before the one waited will be queued
  35  * and used by subsequent call to this function or gras_msg_handle().
  36  */
  37
  38 void
  39 gras_msg_wait_ext_(double           timeout,
  40
  41                   gras_msgtype_t   msgt_want,
  42                   gras_socket_t    expe_want,
  43                   gras_msg_filter_t filter,
  44                   void             *filter_ctx,
  45
  46                   gras_msg_t       msg_got) {
  47
  48   s_gras_msg_t msg;
  49   double start, now;
  50   gras_msg_procdata_t pd=
  51     (gras_msg_procdata_t)gras_libdata_by_id(gras_msg_libdata_id);
  52   int cpt;
  53
  54   xbt_assert0(msg_got,"msg_got is an output parameter");
  55
  56   start = gras_os_time();
  57   VERB1("Waiting for message '%s'",msgt_want?msgt_want->name:"(any)");
  58
  59   xbt_dynar_foreach(pd->msg_waitqueue,cpt,msg){
  60     if ( (   !msgt_want || (msg.type->code == msgt_want->code))
  61          && (!expe_want || (!strcmp( gras_socket_peer_name(msg.expe),
  62                                      gras_socket_peer_name(expe_want))))
  63          && (!filter || filter(&msg,filter_ctx))) {
  64
  65       memcpy(msg_got,&msg,sizeof(s_gras_msg_t));
  66       xbt_dynar_cursor_rm(pd->msg_waitqueue, &cpt);
  67       VERB0("The waited message was queued");
  68       return;
  69     }
  70   }
  71
  72   xbt_dynar_foreach(pd->msg_queue,cpt,msg){
  73     if ( (   !msgt_want || (msg.type->code == msgt_want->code))
  74          && (!expe_want || (!strcmp( gras_socket_peer_name(msg.expe),
  75                                      gras_socket_peer_name(expe_want))))
  76          && (!filter || filter(&msg,filter_ctx))) {
  77
  78       memcpy(msg_got,&msg,sizeof(s_gras_msg_t));
  79       xbt_dynar_cursor_rm(pd->msg_queue, &cpt);
  80       VERB0("The waited message was queued");
  81       return;
  82     }
  83   }
  84
  85   while (1) {
  86     int need_restart;
  87     xbt_ex_t e;
  88
  89   restart_receive: /* Goto here when the receive of a message failed */
  90     need_restart=0;
  91     now=gras_os_time();
  92     memset(&msg,sizeof(msg),0);
  93
  94     TRY {
  95                         xbt_queue_shift_timed(pd->msg_received,&msg,timeout ? timeout - now + start : 0);
  96                         /*
  97       msg.expe = gras_trp_select(timeout ? timeout - now + start : 0);
  98       gras_msg_recv(msg.expe, &msg);
  99                         */
 100     } CATCH(e) {
 101       if (e.category == system_error &&
 102           !strncmp("Socket closed by remote side",e.msg,
 103                   strlen("Socket closed by remote side"))) {
 104         xbt_ex_free(e);
 105         need_restart=1;
 106       } else {
 107         RETHROW;
 108       }
 109     }
 110     if (need_restart)
 111       goto restart_receive;
 112
 113     DEBUG0("Got a message from the socket");
 114
 115     if ( (   !msgt_want || (msg.type->code == msgt_want->code))
 116          && (!expe_want || (!strcmp( gras_socket_peer_name(msg.expe),
 117                                      gras_socket_peer_name(expe_want))))
 118          && (!filter || filter(&msg,filter_ctx))) {
 119
 120       memcpy(msg_got,&msg,sizeof(s_gras_msg_t));
 121       DEBUG0("Message matches expectations. Use it.");
 122       return;
 123     }
 124     DEBUG0("Message does not match expectations. Queue it.");
 125
 126     /* not expected msg type. Queue it for later */
 127     xbt_dynar_push(pd->msg_queue,&msg);
 128
 129     now=gras_os_time();
 130     if (now - start + 0.001 > timeout) {
 131       THROW1(timeout_error,  now-start+0.001-timeout,
 132              "Timeout while waiting for msg '%s'",
 133              msgt_want?msgt_want->name:"(any)");
 134     }
 135   }
 136
 137   THROW_IMPOSSIBLE;
 138 }
 139 /** \brief Waits for a message to come in over a given socket.
 140  *
 141  * @param timeout: How long should we wait for this message.
 142  * @param msgt_want: type of awaited msg
 143  * @param[out] expeditor: where to create a socket to answer the incomming message
 144  * @param[out] payload: where to write the payload of the incomming message
 145  * @return the error code (or no_error).
 146  *
 147  * Every message of another type received before the one waited will be queued
 148  * and used by subsequent call to this function or gras_msg_handle().
 149  */
 150 void
 151 gras_msg_wait_(double           timeout,
 152                gras_msgtype_t   msgt_want,
 153                gras_socket_t   *expeditor,
 154                void            *payload) {
 155   s_gras_msg_t msg;
 156
 157   gras_msg_wait_ext_(timeout,
 158                      msgt_want, NULL,      NULL, NULL,
 159                      &msg);
 160
 161   if (msgt_want->ctn_type) {
 162     xbt_assert1(payload,
 163                 "Message type '%s' convey a payload you must accept",
 164                 msgt_want->name);
 165   } else {
 166     xbt_assert1(!payload,
 167                 "No payload was declared for message type '%s'",
 168                 msgt_want->name);
 169   }
 170
 171   if (payload) {
 172     memcpy(payload,msg.payl,msg.payl_size);
 173     free(msg.payl);
 174   }
 175
 176   if (expeditor)
 177     *expeditor = msg.expe;
 178 }
 179
 180 static int gras_msg_wait_or_filter(gras_msg_t msg, void *ctx) {
 181   xbt_dynar_t dyn=(xbt_dynar_t)ctx;
 182   int res =  xbt_dynar_member(dyn,msg->type);
 183   if (res)
 184     VERB1("Got matching message (type=%s)",msg->type->name);
 185   else
 186     VERB0("Got message not matching our expectations");
 187   return res;
 188 }
 189 /** \brief Waits for a message to come in over a given socket.
 190  *
 191  * @param timeout: How long should we wait for this message.
 192  * @param msgt_want: a dynar containing all accepted message type
 193  * @param[out] ctx: the context of received message (in case it's a RPC call we want to answer to)
 194  * @param[out] msgt_got: indice in the dynar of the type of the received message
 195  * @param[out] payload: where to write the payload of the incomming message
 196  * @return the error code (or no_error).
 197  *
 198  * Every message of a type not in the accepted list received before the one
 199  * waited will be queued and used by subsequent call to this function or
 200  * gras_msg_handle().
 201  *
 202  * If you are interested in the context, pass the address of a s_gras_msg_cb_ctx_t variable.
 203  */
 204 void gras_msg_wait_or(double         timeout,
 205                       xbt_dynar_t    msgt_want,
 206                       gras_msg_cb_ctx_t *ctx,
 207                       int           *msgt_got,
 208                       void          *payload) {
 209   s_gras_msg_t msg;
 210
 211   VERB1("Wait %f seconds for several message types",timeout);
 212   gras_msg_wait_ext_(timeout,
 213                      NULL, NULL,
 214                      &gras_msg_wait_or_filter, (void*)msgt_want,
 215                      &msg);
 216
 217   if (msg.type->ctn_type) {
 218     xbt_assert1(payload,
 219                 "Message type '%s' convey a payload you must accept",
 220                 msg.type->name);
 221   } /* don't check the other side since some of the types may have a payload */
 222
 223   if (payload && msg.type->ctn_type) {
 224     memcpy(payload,msg.payl,msg.payl_size);
 225     free(msg.payl);
 226   }
 227
 228   if (ctx)
 229     *ctx=gras_msg_cb_ctx_new(msg.expe, msg.type, msg.ID,
 230                              (msg.kind == e_gras_msg_kind_rpccall), 60);
 231
 232   if (msgt_got)
 233     *msgt_got = xbt_dynar_search(msgt_want,msg.type);
 234 }
 235
 236
 237 /** \brief Send the data pointed by \a payload as a message of type
 238  * \a msgtype to the peer \a sock */
 239 void
 240 gras_msg_send_(gras_socket_t   sock,
 241               gras_msgtype_t  msgtype,
 242               void           *payload) {
 243
 244   if (msgtype->ctn_type) {
 245     xbt_assert1(payload,
 246                 "Message type '%s' convey a payload you must provide",
 247                 msgtype->name);
 248   } else {
 249     xbt_assert1(!payload,
 250                 "No payload was declared for message type '%s'",
 251                 msgtype->name);
 252   }
 253
 254   DEBUG2("Send a oneway message of type '%s'. Payload=%p",
 255          msgtype->name,payload);
 256   gras_msg_send_ext(sock, e_gras_msg_kind_oneway,0, msgtype, payload);
 257   VERB2("Sent a oneway message of type '%s'. Payload=%p",
 258         msgtype->name,payload);
 259 }
 260
 261 /** @brief Handle all messages arriving within the given period
 262  *
 263  * @param period: How long to wait for incoming messages (in seconds)
 264  *
 265  * Messages are dealed with just like gras_msg_handle() would do. The
 266  * difference is that gras_msg_handle() handles at most one message (or wait up
 267  * to timeout second when no message arrives) while this function handles any
 268  * amount of messages, and lasts the given period in any case.
 269  */
 270 void
 271 gras_msg_handleall(double period) {
 272   xbt_ex_t e;
 273   double begin=gras_os_time();
 274   double now;
 275
 276   do {
 277     now=gras_os_time();
 278     TRY{
 279       if (period - now + begin > 0)
 280         gras_msg_handle(period - now + begin);
 281     } CATCH(e) {
 282       if (e.category != timeout_error)
 283         RETHROW0("Error while waiting for messages: %s");
 284       xbt_ex_free(e);
 285     }
 286   } while (now - begin < period);
 287 }
 288
 289 /** @brief Handle an incomming message or timer (or wait up to \a timeOut seconds)
 290  *
 291  * @param timeOut: How long to wait for incoming messages (in seconds)
 292  * @return the error code (or no_error).
 293  *
 294  * Any message arriving in the given interval is passed to the callbacks.
 295  *
 296  * @sa gras_msg_handleall().
 297  */
 298 void
 299 gras_msg_handle(double timeOut) {
 300
 301   double          untiltimer;
 302
 303   int             cpt;
 304   int volatile ran_ok;
 305
 306   s_gras_msg_t    msg;
 307
 308   gras_msg_procdata_t pd=(gras_msg_procdata_t)gras_libdata_by_id(gras_msg_libdata_id);
 309   gras_cblist_t  *list=NULL;
 310   gras_msg_cb_t       cb;
 311   s_gras_msg_cb_ctx_t ctx;
 312
 313   int timerexpected, timeouted;
 314   xbt_ex_t e;
 315
 316   VERB1("Handling message within the next %.2fs",timeOut);
 317
 318   untiltimer = gras_msg_timer_handle();
 319   DEBUG1("Next timer in %f sec", untiltimer);
 320   if (untiltimer == 0.0) {
 321      /* A timer was already elapsed and handled */
 322      return;
 323   }
 324   if (untiltimer != -1.0) {
 325      timerexpected = 1;
 326      timeOut = MIN(timeOut, untiltimer);
 327   } else {
 328      timerexpected = 0;
 329   }
 330
 331   /* get a message (from the queue or from the net) */
 332   timeouted = 0;
 333   if (xbt_dynar_length(pd->msg_queue)) {
 334     DEBUG0("Get a message from the queue");
 335     xbt_dynar_shift(pd->msg_queue,&msg);
 336   } else {
 337     TRY {
 338                         xbt_queue_shift_timed(pd->msg_received,&msg,timeOut);
 339 //      msg.expe = gras_trp_select(timeOut);
 340     } CATCH(e) {
 341       if (e.category != timeout_error)
 342         RETHROW;
 343       xbt_ex_free(e);
 344       timeouted = 1;
 345     }
 346   }
 347
 348   if (timeouted) {
 349      if (timerexpected) {
 350
 351         /* A timer elapsed before the arrival of any message even if we select()ed a bit */
 352         untiltimer = gras_msg_timer_handle();
 353         if (untiltimer == 0.0) {
 354           /* we served a timer, we're done */
 355           return;
 356         } else {
 357            xbt_assert1(untiltimer>0, "Negative timer (%f). I'm 'puzzeled'", untiltimer);
 358            WARN1("No timer elapsed, in contrary to expectations (next in %f sec)",
 359                   untiltimer);
 360            THROW1(timeout_error,0,
 361                   "No timer elapsed, in contrary to expectations (next in %f sec)",
 362                   untiltimer);
 363         }
 364
 365      } else {
 366         /* select timeouted, and no timer elapsed. Nothing to do */
 367        THROW1(timeout_error, 0, "No new message or timer (delay was %f)",
 368               timeOut);
 369      }
 370
 371   }
 372
 373   /* A message was already there or arrived in the meanwhile. handle it */
 374   xbt_dynar_foreach(pd->cbl_list,cpt,list) {
 375     if (list->id == msg.type->code) {
 376       break;
 377     } else {
 378       list=NULL;
 379     }
 380   }
 381   if (!list) {
 382     INFO3("No callback for message '%s' from %s:%d. Queue it for later gras_msg_wait() use.",
 383           msg.type->name,
 384           gras_socket_peer_name(msg.expe),gras_socket_peer_port(msg.expe));
 385     xbt_dynar_push(pd->msg_waitqueue,&msg);
 386     return; /* FIXME: maybe we should call ourselves again until the end of the timer or a proper msg is got */
 387   }
 388
 389   ctx.expeditor = msg.expe;
 390   ctx.ID = msg.ID;
 391   ctx.msgtype = msg.type;
 392   ctx.answer_due = (msg.kind == e_gras_msg_kind_rpccall);
 393
 394   switch (msg.kind) {
 395   case e_gras_msg_kind_oneway:
 396   case e_gras_msg_kind_rpccall:
 397     ran_ok=0;
 398     TRY {
 399       xbt_dynar_foreach(list->cbs,cpt,cb) {
 400         if (!ran_ok) {
 401           DEBUG4("Use the callback #%d (@%p) for incomming msg %s (payload_size=%d)",
 402                 cpt+1,cb,msg.type->name,msg.payl_size);
 403           if (!(*cb)(&ctx,msg.payl)) {
 404             /* cb handled the message */
 405             free(msg.payl);
 406             ran_ok = 1;
 407           }
 408         }
 409       }
 410     } CATCH(e) {
 411       free(msg.payl);
 412       if (msg.type->kind == e_gras_msg_kind_rpccall) {
 413         char *old_file=e.file;
 414         /* The callback raised an exception, propagate it on the network */
 415         if (!e.remote) {
 416           /* Make sure we reduce the file name to its basename to avoid issues in tests */
 417           char *new_file=strrchr(e.file,'/');
 418           if (new_file)
 419              e.file = new_file;
 420           /* the exception is born on this machine */
 421           e.host = (char*)gras_os_myname();
 422           xbt_ex_setup_backtrace(&e);
 423         }
 424         VERB5("Propagate %s exception ('%s') from '%s' RPC cb back to %s:%d",
 425               (e.remote ? "remote" : "local"),
 426               e.msg,
 427               msg.type->name,
 428               gras_socket_peer_name(msg.expe),
 429               gras_socket_peer_port(msg.expe));
 430         gras_msg_send_ext(msg.expe, e_gras_msg_kind_rpcerror,
 431                           msg.ID, msg.type, &e);
 432         e.file=old_file;
 433         xbt_ex_free(e);
 434         ctx.answer_due = 0;
 435         ran_ok=1;
 436       } else {
 437         RETHROW0("Callback raised an exception: %s");
 438       }
 439     }
 440
 441     xbt_assert1(! ctx.answer_due,
 442                 "Bug in user code: RPC callback to message '%s' didn't call gras_msg_rpcreturn",msg.type->name);
 443     if (ctx.answer_due)
 444        CRITICAL1("BUGS BOTH IN USER CODE (RPC callback to message '%s' didn't call gras_msg_rpcreturn) "
 445                  "AND IN SIMGRID (process wasn't killed by an assert)",msg.type->name);
 446     if (!ran_ok)
 447       THROW1(mismatch_error,0,
 448              "Message '%s' refused by all registered callbacks", msg.type->name);
 449     /* FIXME: gras_datadesc_free not implemented => leaking the payload */
 450     break;
 451
 452
 453   case e_gras_msg_kind_rpcanswer:
 454     INFO1("Unexpected RPC answer discarded (type: %s)", msg.type->name);
 455     WARN0("FIXME: gras_datadesc_free not implemented => leaking the payload");
 456     return;
 457
 458   case e_gras_msg_kind_rpcerror:
 459     INFO1("Unexpected RPC error discarded (type: %s)", msg.type->name);
 460     WARN0("FIXME: gras_datadesc_free not implemented => leaking the payload");
 461     return;
 462
 463   default:
 464     THROW1(unknown_error,0,
 465            "Cannot handle messages of kind %d yet",msg.type->kind);
 466   }
 467
 468 }
 469