Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
753296fe39e52af91e1756f75377a076d2d35956
[simgrid.git] / src / gras / Transport / transport_plugin_tcp.c
1 /* $Id$ */
2
3 /* tcp trp (transport) - send/receive a bunch of bytes from a tcp socket    */
4
5 /* Copyright (c) 2004 Martin Quinson. All rights reserved.                  */
6
7 /* This program is free software; you can redistribute it and/or modify it
8  * under the terms of the license (GNU LGPL) which comes with this package. */
9
10 #include "portable.h"
11
12 #if 0
13 #  include <unistd.h>       /* close() pipe() read() write() */
14 #  include <signal.h>       /* close() pipe() read() write() */
15 #  include <netinet/in.h>   /* sometimes required for #include <arpa/inet.h> */
16 #  include <netinet/tcp.h>  /* TCP_NODELAY */
17 #  include <arpa/inet.h>    /* inet_ntoa() */
18 #  include <netdb.h>        /* getprotobyname() */
19 #  include <sys/time.h>     /* struct timeval */
20 #  include <errno.h>        /* errno */
21 #  include <sys/wait.h>     /* waitpid() */
22 #  include <sys/socket.h>   /* getpeername() socket() */
23 #  include <stdlib.h>
24 #  include <string.h>       /* memset */
25 #endif
26
27
28 #include "transport_private.h"
29
30 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(trp_tcp,transport,"TCP transport");
31
32 /***
33  *** Prototypes 
34  ***/
35 xbt_error_t gras_trp_tcp_socket_client(gras_trp_plugin_t *self,
36                                         gras_socket_t sock);
37 xbt_error_t gras_trp_tcp_socket_server(gras_trp_plugin_t *self,
38                                         gras_socket_t sock);
39 xbt_error_t gras_trp_tcp_socket_accept(gras_socket_t  sock,
40                                         gras_socket_t *dst);
41
42 void         gras_trp_tcp_socket_close(gras_socket_t sd);
43   
44 xbt_error_t gras_trp_tcp_chunk_send(gras_socket_t sd,
45                                      const char *data,
46                                      long int size);
47
48 xbt_error_t gras_trp_tcp_chunk_recv(gras_socket_t sd,
49                                      char *data,
50                                      long int size);
51
52 void gras_trp_tcp_exit(gras_trp_plugin_t *plug);
53
54
55 static int TcpProtoNumber(void);
56 /***
57  *** Specific plugin part
58  ***/
59
60 typedef struct {
61   fd_set msg_socks;
62   fd_set raw_socks;
63 } gras_trp_tcp_plug_data_t;
64
65 /***
66  *** Specific socket part
67  ***/
68
69 typedef struct {
70   int buffsize;
71 } gras_trp_tcp_sock_data_t;
72
73
74 /***
75  *** Code
76  ***/
77 xbt_error_t gras_trp_tcp_setup(gras_trp_plugin_t *plug) {
78
79   gras_trp_tcp_plug_data_t *data = xbt_new(gras_trp_tcp_plug_data_t,1);
80
81   FD_ZERO(&(data->msg_socks));
82   FD_ZERO(&(data->raw_socks));
83
84   plug->socket_client = gras_trp_tcp_socket_client;
85   plug->socket_server = gras_trp_tcp_socket_server;
86   plug->socket_accept = gras_trp_tcp_socket_accept;
87   plug->socket_close  = gras_trp_tcp_socket_close;
88
89   plug->chunk_send    = gras_trp_tcp_chunk_send;
90   plug->chunk_recv    = gras_trp_tcp_chunk_recv;
91
92   plug->flush = NULL; /* nothing's cached */
93
94   plug->data = (void*)data;
95   plug->exit = gras_trp_tcp_exit;
96
97   return no_error;
98 }
99
100 void gras_trp_tcp_exit(gras_trp_plugin_t *plug) {
101   DEBUG1("Exit plugin TCP (free %p)", plug->data);
102   xbt_free(plug->data);
103 }
104
105 xbt_error_t gras_trp_tcp_socket_client(gras_trp_plugin_t *self,
106                                         gras_socket_t sock){
107   
108   struct sockaddr_in addr;
109   struct hostent *he;
110   struct in_addr *haddr;
111   int size = sock->bufSize * 1024; 
112
113   sock->incoming = 1; /* TCP sockets are duplex'ed */
114
115   sock->sd = socket (AF_INET, SOCK_STREAM, 0);
116   
117   if (sock->sd < 0) {
118     RAISE1(system_error,
119            "Failed to create socket: %s",
120            strerror (errno));
121   }
122
123   if (setsockopt(sock->sd, SOL_SOCKET, SO_RCVBUF, (char *)&size, sizeof(size)) ||
124       setsockopt(sock->sd, SOL_SOCKET, SO_SNDBUF, (char *)&size, sizeof(size))) {
125      WARN1("setsockopt failed, cannot set buffer size: %s",
126            strerror(errno));
127   }
128   
129   he = gethostbyname (sock->peer_name);
130   if (he == NULL) {
131     RAISE2(system_error,
132            "Failed to lookup hostname %s: %s",
133            sock->peer_name, strerror (errno));
134   }
135   
136   haddr = ((struct in_addr *) (he->h_addr_list)[0]);
137   
138   memset(&addr, 0, sizeof(struct sockaddr_in));
139   memcpy (&addr.sin_addr, haddr, sizeof(struct in_addr));
140   addr.sin_family = AF_INET;
141   addr.sin_port = htons (sock->peer_port);
142
143   if (connect (sock->sd, (struct sockaddr*) &addr, sizeof (addr)) < 0) {
144     close(sock->sd);
145     RAISE3(system_error,
146            "Failed to connect socket to %s:%d (%s)",
147            sock->peer_name, sock->peer_port, strerror (errno));
148   }
149   
150   return no_error;
151 }
152
153 /**
154  * gras_trp_tcp_socket_server:
155  *
156  * Open a socket used to receive messages.
157  */
158 xbt_error_t gras_trp_tcp_socket_server(gras_trp_plugin_t *self,
159                                         /* OUT */ gras_socket_t sock){
160   int size = sock->bufSize * 1024; 
161   int on = 1;
162   struct sockaddr_in server;
163
164   gras_trp_tcp_plug_data_t *tcp=(gras_trp_tcp_plug_data_t*)self->data;
165  
166   sock->outgoing  = 1; /* TCP => duplex mode */
167
168   server.sin_port = htons((u_short)sock->port);
169   server.sin_addr.s_addr = INADDR_ANY;
170   server.sin_family = AF_INET;
171   if((sock->sd = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
172     RAISE1(system_error,"Socket allocation failed: %s", strerror(errno));
173   }
174
175   if (setsockopt(sock->sd, SOL_SOCKET, SO_REUSEADDR, (char *)&on, sizeof(on))) {
176      RAISE1(system_error,"setsockopt failed, cannot condition the socket: %s",
177             strerror(errno));
178   }
179    
180   if (setsockopt(sock->sd, SOL_SOCKET, SO_RCVBUF, (char *)&size, sizeof(size)) ||
181       setsockopt(sock->sd, SOL_SOCKET, SO_SNDBUF, (char *)&size, sizeof(size))) {
182      WARN1("setsockopt failed, cannot set buffer size: %s",
183            strerror(errno));
184   }
185         
186   if (bind(sock->sd, (struct sockaddr *)&server, sizeof(server)) == -1) {
187     close(sock->sd);
188     RAISE2(system_error,"Cannot bind to port %d: %s",sock->port, strerror(errno));
189   }
190
191   if (listen(sock->sd, 5) < 0) {
192     close(sock->sd);
193     RAISE2(system_error,"Cannot listen to port %d: %s",sock->port,strerror(errno));
194   }
195
196   if (sock->raw)
197     FD_SET(sock->sd, &(tcp->raw_socks));
198   else
199     FD_SET(sock->sd, &(tcp->msg_socks));
200
201   DEBUG2("Openned a server socket on port %d (sock %d)",sock->port,sock->sd);
202   
203   return no_error;
204 }
205
206 xbt_error_t
207 gras_trp_tcp_socket_accept(gras_socket_t  sock,
208                            gras_socket_t *dst) {
209   gras_socket_t res;
210   
211   struct sockaddr_in peer_in;
212   socklen_t peer_in_len = sizeof(peer_in);
213
214   int sd;
215   int tmp_errno;
216   int size;
217                         
218   gras_trp_socket_new(1,&res);
219
220   sd = accept(sock->sd, (struct sockaddr *)&peer_in, &peer_in_len);
221   tmp_errno = errno;
222
223   if(sd == -1) {
224     gras_socket_close(sock);
225     RAISE1(system_error,
226            "Accept failed (%s). Droping server socket.", strerror(tmp_errno));
227   } else {
228     int i = 1;
229     socklen_t s = sizeof(int);
230   
231     if (setsockopt(sd, SOL_SOCKET, SO_KEEPALIVE, (char *)&i, s) 
232         || setsockopt(sd, TcpProtoNumber(), TCP_NODELAY, (char *)&i, s)) {
233        RAISE1(system_error,"setsockopt failed, cannot condition the socket: %s",
234               strerror(errno));
235     }
236  
237     (*dst)->bufSize = sock->bufSize;
238     size = sock->bufSize * 1024;
239     if (setsockopt(sd, SOL_SOCKET, SO_RCVBUF, (char *)&size, sizeof(size))
240        || setsockopt(sd, SOL_SOCKET, SO_SNDBUF, (char *)&size, sizeof(size))) {
241        WARN1("setsockopt failed, cannot set buffer size: %s",
242              strerror(errno));
243     }
244      
245     res->plugin    = sock->plugin;
246     res->incoming  = sock->incoming;
247     res->outgoing  = sock->outgoing;
248     res->accepting = 0;
249     res->sd        = sd;
250     res->port      = -1;
251     res->peer_port = peer_in.sin_port;
252
253     /* FIXME: Lock to protect inet_ntoa */
254     if (((struct sockaddr *)&peer_in)->sa_family != AF_INET) {
255       res->peer_name = (char*)strdup("unknown");
256     } else {
257       struct in_addr addrAsInAddr;
258       char *tmp;
259  
260       addrAsInAddr.s_addr = peer_in.sin_addr.s_addr;
261       
262       tmp = inet_ntoa(addrAsInAddr);
263       if (tmp != NULL) {
264         res->peer_name = (char*)strdup(tmp);
265       } else {
266         res->peer_name = (char*)strdup("unknown");
267       }
268     }
269
270     VERB3("accepted socket %d to %s:%d", sd, res->peer_name,res->peer_port);
271     
272     *dst = res;
273
274     return no_error;
275   }
276 }
277
278 void gras_trp_tcp_socket_close(gras_socket_t sock){
279   gras_trp_tcp_plug_data_t *tcp;
280   
281   if (!sock) return; /* close only once */
282   tcp=sock->plugin->data;
283
284   DEBUG1("close tcp connection %d", sock->sd);
285
286   /* FIXME: no pipe in GRAS so far  
287   if(!FD_ISSET(sd, &connectedPipes)) {
288     if(shutdown(sd, 2) < 0) {
289       GetNWSLock(&lock);
290       tmp_errno = errno;
291       ReleaseNWSLock(&lock);
292       
293       / * The other side may have beaten us to the reset. * /
294       if ((tmp_errno!=ENOTCONN) && (tmp_errno!=ECONNRESET)) {
295         WARN1("CloseSocket: shutdown error %d\n", tmp_errno);
296       }
297     }
298   } */
299
300   /* forget about the socket */
301   if (sock->raw)
302     FD_CLR(sock->sd, &(tcp->raw_socks));
303   else
304     FD_CLR(sock->sd, &(tcp->msg_socks));
305
306   /* close the socket */
307   if(close(sock->sd) < 0) {
308     WARN3("error while closing tcp socket %d: %d (%s)\n", 
309              sock->sd, errno, strerror(errno));
310   }
311 }
312
313 /**
314  * gras_trp_tcp_chunk_send:
315  *
316  * Send data on a TCP socket
317  */
318 xbt_error_t 
319 gras_trp_tcp_chunk_send(gras_socket_t sock,
320                         const char *data,
321                         long int size) {
322   
323   /* TCP sockets are in duplex mode, don't check direction */
324   xbt_assert0(size >= 0, "Cannot send a negative amount of data");
325
326   while (size) {
327     int status = 0;
328     
329     status = write(sock->sd, data, (size_t)size);
330     DEBUG3("write(%d, %p, %ld);", sock->sd, data, size);
331     
332     if (status == -1) {
333       RAISE4(system_error,"write(%d,%p,%ld) failed: %s",
334              sock->sd, data, size,
335              strerror(errno));
336     }
337     
338     if (status) {
339       size  -= status;
340       data  += status;
341     } else {
342       RAISE0(system_error,"file descriptor closed");
343     }
344   }
345
346   return no_error;
347 }
348 /**
349  * gras_trp_tcp_chunk_recv:
350  *
351  * Receive data on a TCP socket.
352  */
353 xbt_error_t 
354 gras_trp_tcp_chunk_recv(gras_socket_t sock,
355                         char *data,
356                         long int size) {
357
358   /* TCP sockets are in duplex mode, don't check direction */
359   xbt_assert0(sock, "Cannot recv on an NULL socket");
360   xbt_assert0(size >= 0, "Cannot receive a negative amount of data");
361   
362   while (size) {
363     int status = 0;
364     
365     status = read(sock->sd, data, (size_t)size);
366     DEBUG3("read(%d, %p, %ld);", sock->sd, data, size);
367     
368     if (status == -1) {
369       RAISE4(system_error,"read(%d,%p,%d) failed: %s",
370              sock->sd, data, (int)size,
371              strerror(errno));
372     }
373     
374     if (status) {
375       size  -= status;
376       data  += status;
377     } else {
378       RAISE0(system_error,"file descriptor closed");
379     }
380   }
381   
382   return no_error;
383 }
384
385
386 /*
387  * Returns the tcp protocol number from the network protocol data base.
388  *
389  * getprotobyname() is not thread safe. We need to lock it.
390  */
391 static int TcpProtoNumber(void) {
392   struct protoent *fetchedEntry;
393   static int returnValue = 0;
394   
395   if(returnValue == 0) {
396     fetchedEntry = getprotobyname("tcp");
397     xbt_assert0(fetchedEntry, "getprotobyname(tcp) gave NULL");
398     returnValue = fetchedEntry->p_proto;
399   }
400   
401   return returnValue;
402 }
403
404 /* Data exchange over raw sockets. Placing this in there is a kind of crude hack.
405    It means that the only possible raw are TCP where we may want to do UDP for them. 
406    But I fail to find a good internal organization for now. We may want to split 
407    raw and regular sockets more efficiently.
408 */
409 xbt_error_t gras_socket_raw_exchange(gras_socket_t peer,
410                                       int sender,
411                                       unsigned int timeout,
412                                       unsigned long int exp_size,
413                                       unsigned long int msg_size) {
414    char *chunk;
415    int res_last, msg_sofar, exp_sofar;
416    
417    fd_set rd_set;
418 /*    int rv; */
419    
420    struct timeval timeOut;
421    
422    chunk = xbt_malloc(msg_size);
423
424    for   (exp_sofar=0; exp_sofar < exp_size; exp_sofar += msg_size) {
425       for(msg_sofar=0; msg_sofar < msg_size; msg_sofar += res_last) {
426          
427          if(sender) {
428             res_last = send(peer->sd, chunk, msg_size - msg_sofar, 0);
429          } else {
430             res_last = 0;
431             FD_ZERO(&rd_set);
432             FD_SET(peer->sd,&rd_set);
433             timeOut.tv_sec = timeout;
434             timeOut.tv_usec = 0;
435                 
436             if (0 < select(peer->sd+1,&rd_set,NULL,NULL,&timeOut))
437               res_last = recv(peer->sd, chunk, msg_size-msg_sofar, 0);
438             
439          }
440          if (res_last == 0) {
441            /* No progress done, bail out */
442            xbt_free(chunk);
443            RAISE0(unknown_error,"Not exchanged a single byte, bailing out");
444          }
445       }
446    }
447    
448    xbt_free(chunk);
449    return no_error;
450 }