Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Do not use recv() but read() to check whether a socket returned by select() is valid...
[simgrid.git] / src / gras / Transport / transport.c
index fa2bda9..ad39c5c 100644 (file)
@@ -7,12 +7,18 @@
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
 
+/***
+ *** Options
+ ***/
+int gras_opt_trp_nomoredata_on_close=0;
+
 #include "xbt/ex.h"
+#include "xbt/peer.h"
 #include "portable.h"
 #include "gras/Transport/transport_private.h"
 
-XBT_LOG_NEW_DEFAULT_SUBCATEGORY(transport,gras,"Conveying bytes over the network");
-XBT_LOG_NEW_SUBCATEGORY(trp_meas,transport,"Conveying bytes over the network without formating for perf measurements");
+XBT_LOG_NEW_DEFAULT_SUBCATEGORY(gras_trp,gras,"Conveying bytes over the network");
+XBT_LOG_NEW_SUBCATEGORY(gras_trp_meas,gras_trp,"Conveying bytes over the network without formating for perf measurements");
 static short int _gras_trp_started = 0;
 
 static xbt_dict_t _gras_trp_plugins;      /* All registered plugins */
@@ -91,10 +97,7 @@ void gras_trp_init(void){
 
 void
 gras_trp_exit(void){
-  xbt_dynar_t sockets = ((gras_trp_procdata_t) gras_libdata_by_id(gras_trp_libdata_id))->sockets;
-  gras_socket_t sock_iter;
-  int cursor;
-
+   DEBUG1("gras_trp value %d",_gras_trp_started);
    if (_gras_trp_started == 0) {
       return;
    }
@@ -109,13 +112,6 @@ gras_trp_exit(void){
        }
 #endif
 
-      /* Close all the sockets */
-      xbt_dynar_foreach(sockets,cursor,sock_iter) {
-       VERB1("Closing the socket %p left open on exit. Maybe a socket leak?",
-             sock_iter);
-       gras_socket_close(sock_iter);
-      }
-      
       /* Delete the plugins */
       xbt_dict_free(&_gras_trp_plugins);
    }
@@ -149,7 +145,7 @@ void gras_trp_socket_new(int incoming,
 
   gras_socket_t sock=xbt_new0(s_gras_socket_t,1);
 
-  DEBUG1("Create a new socket (%p)", (void*)sock);
+  VERB1("Create a new socket (%p)", (void*)sock);
 
   sock->plugin = NULL;
 
@@ -157,23 +153,24 @@ void gras_trp_socket_new(int incoming,
   sock->outgoing  = incoming ? 0:1;
   sock->accepting = incoming ? 1:0;
   sock->meas = 0;
+  sock->recvd = 0;
+  sock->valid = 1;
+  sock->moredata = 0;
 
   sock->sd     = -1;
   sock->port      = -1;
   sock->peer_port = -1;
   sock->peer_name = NULL;
+  sock->peer_proc = NULL;
 
   sock->data   = NULL;
   sock->bufdata = NULL;
   
   *dst = sock;
 
-  xbt_dynar_push(((gras_trp_procdata_t) 
-                    gras_libdata_by_id(gras_trp_libdata_id))->sockets,dst);
   XBT_OUT;
 }
-
-
 /**
  * @brief Opens a server socket and makes it ready to be listened to.
  * @param port: port on which you want to listen
@@ -213,12 +210,48 @@ gras_socket_server_ext(unsigned short port,
           sock->outgoing?'y':'n',
           sock->accepting?'y':'n');
   } CATCH(e) {
+
     free(sock);
     RETHROW;
   }
 
+  if (!measurement)
+     ((gras_trp_procdata_t) gras_libdata_by_id(gras_trp_libdata_id))->myport = port;
+  xbt_dynar_push(((gras_trp_procdata_t) 
+                 gras_libdata_by_id(gras_trp_libdata_id))->sockets,&sock);
   return sock;
 }
+/**
+ * @brief Opens a server socket on any port in the given range
+ * 
+ * @param minport: first port we will try
+ * @param maxport: last port we will try
+ * @param buf_size: size of the buffer (in byte) on the socket (for TCP sockets only). If 0, a sain default is used (32k, but may change)
+ * @param measurement: whether this socket is meant to convey measurement (if you don't know, use 0 to exchange regular messages)
+ * 
+ * If none of the provided ports works, raises the exception got when trying the last possibility
+ */ 
+gras_socket_t
+gras_socket_server_range(unsigned short minport, unsigned short maxport,
+                        unsigned long int buf_size, int measurement) {
+   
+  int port;
+  gras_socket_t res=NULL;
+  xbt_ex_t e;
+  
+  for (port=minport; port<maxport;port ++) {
+    TRY {
+      res=gras_socket_server_ext(port,buf_size,measurement);
+    } CATCH(e) {
+      if (port==maxport)
+       RETHROW;
+      xbt_ex_free(e);
+    }
+    if (res)
+      return res;
+  }
+  THROW_IMPOSSIBLE;
+}
    
 /**
  * @brief Opens a client socket to a remote host.
@@ -259,10 +292,11 @@ gras_socket_client_ext(const char *host,
           sock->outgoing?'y':'n',
           sock->accepting?'y':'n');
   } CATCH(e) {
-    free(sock);
-    RETHROW;
+     free(sock);
+     RETHROW;
   }
-
+  xbt_dynar_push(((gras_trp_procdata_t) 
+                 gras_libdata_by_id(gras_trp_libdata_id))->sockets,&sock);
   return sock;
 }
 
@@ -274,45 +308,65 @@ gras_socket_client_ext(const char *host,
  */
 gras_socket_t
 gras_socket_server(unsigned short port) {
-   return gras_socket_server_ext(port,32,0);
+   return gras_socket_server_ext(port,32*1024,0);
 }
 
-/**
- * gras_socket_client:
- *
- * Opens a client socket to a remote host.
- * In real life, you'll get a TCP socket.
- */
+/** @brief Opens a client socket to a remote host */
 gras_socket_t
 gras_socket_client(const char *host,
                   unsigned short port) {
-   return gras_socket_client_ext(host,port,32,0);
+   return gras_socket_client_ext(host,port,0,0);
 }
 
+/** @brief Opens a client socket to a remote host specified as '\a host:\a port' */
+gras_socket_t
+gras_socket_client_from_string(const char *host) {
+   xbt_peer_t p = xbt_peer_from_string(host);
+   gras_socket_t res = gras_socket_client_ext(p->name,p->port,0,0);
+   xbt_peer_free(p);
+   return res;
+}
 
+/** \brief Close socket */
 void gras_socket_close(gras_socket_t sock) {
   xbt_dynar_t sockets = ((gras_trp_procdata_t) gras_libdata_by_id(gras_trp_libdata_id))->sockets;
-  gras_socket_t sock_iter;
+  gras_socket_t sock_iter = NULL;
   int cursor;
 
   XBT_IN;
+  VERB1("Close %p",sock);
+  if (sock == _gras_lastly_selected_socket) {
+     xbt_assert0(!gras_opt_trp_nomoredata_on_close || !sock->moredata,
+                "Closing a socket having more data in buffer while the nomoredata_on_close option is activated");
+                
+     if (sock->moredata) 
+       CRITICAL0("Closing a socket having more data in buffer. Option nomoredata_on_close disabled, so continuing.");
+     _gras_lastly_selected_socket=NULL;
+  }
+   
   /* FIXME: Issue an event when the socket is closed */
+       DEBUG1("sockets pointer before %p",sockets);
   if (sock) {
-    xbt_dynar_foreach(sockets,cursor,sock_iter) {
-      if (sock == sock_iter) {
-       xbt_dynar_cursor_rm(sockets,&cursor);
-       if (sock->plugin->socket_close) 
-         (* sock->plugin->socket_close)(sock);
-
-       /* free the memory */
-       if (sock->peer_name)
-         free(sock->peer_name);
-       free(sock);
-       XBT_OUT;
-       return;
-      }
+       /* FIXME: Cannot get the dynar mutex, because it can be already locked */
+//             _xbt_dynar_foreach(sockets,cursor,sock_iter) {
+               for (cursor=0; cursor< xbt_dynar_length(sockets); cursor++)  {
+                       _xbt_dynar_cursor_get(sockets,&cursor,&sock_iter);
+                       if (sock == sock_iter) {
+                               DEBUG2("remove sock cursor %d dize %lu\n",cursor,xbt_dynar_length(sockets));
+                               xbt_dynar_cursor_rm(sockets,&cursor);
+                               if (sock->plugin->socket_close) 
+                                       (* sock->plugin->socket_close)(sock);
+
+                               /* free the memory */
+                               if (sock->peer_name)
+                                       free(sock->peer_name);
+                               free(sock);
+                               XBT_OUT;
+                               return;
+                       }
     }
-    WARN1("Ignoring request to free an unknown socket (%p)",sock);
+    WARN1("Ignoring request to free an unknown socket (%p). Execution stack:",sock);
+    xbt_backtrace_display_current();
   }
   XBT_OUT;
 }
@@ -364,6 +418,13 @@ int   gras_socket_peer_port(gras_socket_t sock) {
 char *gras_socket_peer_name(gras_socket_t sock) {
   return sock->peer_name;
 }
+char *gras_socket_peer_proc(gras_socket_t sock) {
+  return sock->peer_proc;
+}
+
+void gras_socket_peer_proc_set(gras_socket_t sock,char*peer_proc) {
+  sock->peer_proc = peer_proc;
+}
 
 /** \brief Check if the provided socket is a measurement one (or a regular one) */
 int gras_socket_is_meas(gras_socket_t sock) {
@@ -374,8 +435,8 @@ int gras_socket_is_meas(gras_socket_t sock) {
  *
  * @param peer measurement socket to use for the experiment
  * @param timeout timeout (in seconds)
- * @param exp_size total amount of data to send (in bytes).
  * @param msg_size size of each chunk sent over the socket (in bytes).
+ * @param msg_amount how many of these packets you want to send. 
  *
  * Calls to gras_socket_meas_send() and gras_socket_meas_recv() on 
  * each side of the socket should be paired. 
@@ -383,14 +444,19 @@ int gras_socket_is_meas(gras_socket_t sock) {
  * The exchanged data is zeroed to make sure it's initialized, but
  * there is no way to control what is sent (ie, you cannot use these 
  * functions to exchange data out of band).
+ * 
+ * @warning: in SimGrid version 3.1 and previous, the numerical arguments 
+ *           were the total amount of data to send and the msg_size. This 
+ *           was changed for the fool wanting to send more than MAXINT 
+ *           bytes in a fat pipe. 
  */
 void gras_socket_meas_send(gras_socket_t peer, 
                           unsigned int timeout,
-                          unsigned long int exp_size, 
-                          unsigned long int msg_size) {
+                          unsigned long int msg_size, 
+                          unsigned long int msg_amount) {
   char *chunk=NULL;
-  unsigned long int exp_sofar;
-   
+  unsigned long int sent_sofar;
+  
   XBT_IN;
 
   if (gras_if_RL()) 
@@ -399,14 +465,14 @@ void gras_socket_meas_send(gras_socket_t peer,
   xbt_assert0(peer->meas,"Asked to send measurement data on a regular socket");
   xbt_assert0(peer->outgoing,"Socket not suited for data send (was created with gras_socket_server(), not gras_socket_client())");
 
-  for (exp_sofar=0; exp_sofar < exp_size; exp_sofar += msg_size) {
-     CDEBUG5(trp_meas,"Sent %lu of %lu (msg_size=%ld) to %s:%d",
-            exp_sofar,exp_size,msg_size,
+  for (sent_sofar=0; sent_sofar < msg_amount; sent_sofar++) {
+     CDEBUG5(gras_trp_meas,"Sent %lu msgs of %lu (size of each: %ld) to %s:%d",
+            sent_sofar,msg_amount,msg_size,
             gras_socket_peer_name(peer), gras_socket_peer_port(peer));
      (*peer->plugin->raw_send)(peer,chunk,msg_size);
   }
-  CDEBUG5(trp_meas,"Sent %lu of %lu (msg_size=%ld) to %s:%d",
-         exp_sofar,exp_size,msg_size,
+  CDEBUG5(gras_trp_meas,"Sent %lu msgs of %lu (size of each: %ld) to %s:%d",
+         sent_sofar,msg_amount,msg_size,
          gras_socket_peer_name(peer), gras_socket_peer_port(peer));
             
   if (gras_if_RL()) 
@@ -419,14 +485,19 @@ void gras_socket_meas_send(gras_socket_t peer,
  *
  * Calls to gras_socket_meas_send() and gras_socket_meas_recv() on 
  * each side of the socket should be paired. 
+ *
+ * @warning: in SimGrid version 3.1 and previous, the numerical arguments 
+ *           were the total amount of data to send and the msg_size. This 
+ *           was changed for the fool wanting to send more than MAXINT 
+ *           bytes in a fat pipe. 
  */
 void gras_socket_meas_recv(gras_socket_t peer, 
                           unsigned int timeout,
-                          unsigned long int exp_size, 
-                          unsigned long int msg_size){
+                          unsigned long int msg_size, 
+                          unsigned long int msg_amount){
   
   char *chunk=NULL;
-  unsigned long int exp_sofar;
+  unsigned long int got_sofar;
 
   XBT_IN;
 
@@ -437,14 +508,14 @@ void gras_socket_meas_recv(gras_socket_t peer,
              "Asked to receive measurement data on a regular socket");
   xbt_assert0(peer->incoming,"Socket not suited for data receive");
 
-  for (exp_sofar=0; exp_sofar < exp_size; exp_sofar += msg_size) {
-     CDEBUG5(trp_meas,"Recvd %ld of %lu (msg_size=%ld) from %s:%d",
-            exp_sofar,exp_size,msg_size,
+  for (got_sofar=0; got_sofar < msg_amount; got_sofar ++) {
+     CDEBUG5(gras_trp_meas,"Recvd %ld msgs of %lu (size of each: %ld) from %s:%d",
+            got_sofar,msg_amount,msg_size,
             gras_socket_peer_name(peer), gras_socket_peer_port(peer));
      (peer->plugin->raw_recv)(peer,chunk,msg_size);
   }
-  CDEBUG5(trp_meas,"Recvd %ld of %lu (msg_size=%ld) from %s:%d",
-         exp_sofar,exp_size,msg_size,
+  CDEBUG5(gras_trp_meas,"Recvd %ld msgs of %lu (size of each: %ld) from %s:%d",
+         got_sofar,msg_amount,msg_size,
          gras_socket_peer_name(peer), gras_socket_peer_port(peer));
 
   if (gras_if_RL()) 
@@ -472,13 +543,13 @@ gras_socket_t gras_socket_meas_accept(gras_socket_t peer){
 
   if (!peer->accepting) {
     /* nothing to accept here (must be in SG) */
-    /* FIXME: this is BAD! since it makes tricky to free the accepted socket*/
+    /* BUG: FIXME: this is BAD! it makes tricky to free the accepted socket*/
     return peer;
   }
 
   res = (peer->plugin->socket_accept)(peer);
   res->meas = peer->meas;
-  CDEBUG1(trp_meas,"meas_accepted onto %d",res->sd);
+  CDEBUG1(gras_trp_meas,"meas_accepted onto %d",res->sd);
 
   return res;
 } 
@@ -492,7 +563,8 @@ static void *gras_trp_procdata_new() {
    
    res->name = xbt_strdup("gras_trp");
    res->name_len = 0;
-   res->sockets   = xbt_dynar_new(sizeof(gras_socket_t*), NULL);
+   res->sockets = xbt_dynar_new_sync(sizeof(gras_socket_t*), NULL);
+   res->myport = 0;
    
    return (void*)res;
 }
@@ -501,11 +573,27 @@ static void *gras_trp_procdata_new() {
  * Freeing procdata for this module
  */
 static void gras_trp_procdata_free(void *data) {
-   gras_trp_procdata_t res = (gras_trp_procdata_t)data;
-   
-   xbt_dynar_free(&( res->sockets ));
-   free(res->name);
-   free(res);
+  gras_trp_procdata_t res = (gras_trp_procdata_t)data;
+  
+  xbt_dynar_free(&( res->sockets ));
+  free(res->name);
+  free(res);
+}
+
+void gras_trp_socketset_dump(const char *name) {
+  gras_trp_procdata_t procdata = 
+    (gras_trp_procdata_t)gras_libdata_by_id(gras_trp_libdata_id);
+
+  int it;
+  gras_socket_t s;
+
+  INFO1("** Dump the socket set %s",name);
+  xbt_dynar_foreach(procdata->sockets, it, s) {
+    INFO4("  %p -> %s:%d %s",
+         s,gras_socket_peer_name(s),gras_socket_peer_port(s),
+         s->valid?"(valid)":"(peer dead)");
+  }
+  INFO1("** End of socket set %s",name);
 }
 
 /*
@@ -516,3 +604,7 @@ void gras_trp_register() {
    gras_trp_libdata_id = gras_procdata_add("gras_trp",gras_trp_procdata_new, gras_trp_procdata_free);
 }
 
+int gras_os_myport(void)  {
+   return ((gras_trp_procdata_t) gras_libdata_by_id(gras_trp_libdata_id))->myport;
+}
+