Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Update destructors and test access to surf structures
[simgrid.git] / TODO
1 ###
2 ### Ongoing stuff
3 ###
4 /* FIXME: better place? */
5 int vasprintf  (char **ptr, const char *fmt, va_list ap);
6 char *bprintf(const char*fmt, ...) _XBT_GNUC_PRINTF(1,2);
7
8 Module renamings:
9  - rename SWAG to RING?
10  - Rename cursor to iterator
11
12 log.h still contains @name which break doxygen:
13 xbt/log.h:/** \name DEBUG
14 xbt/log.h:/** \name VERB
15 xbt/log.h:/** \name INFO
16 xbt/log.h:/** \name WARN
17 xbt/log.h:/** \name ERROR
18 xbt/log.h:/** \name CRITICAL
19
20 gras_socket_close should be blocking until all the data sent have been
21 received by the other side (implemented with an ACK mechanism).
22
23 ###
24 ### Planned
25 ###
26
27 *
28 * Infrastructure
29 ****************
30
31 [autoconf]
32   * Check the gcc version on powerpc. We disabled -floop-optimize on powerpc,
33     but versions above 3.4.0 should be ok.
34   * check whether we have better than jmp_buf to implement exceptions, and
35     use it (may need to generate a public .h, as glib does)
36
37 *
38 * XBT
39 *****
40
41 [doc]
42   * graphic showing:
43     (errors, logs ; dynars, dicts, hooks, pools; config, rrdb)
44
45 [portability layer]
46   * Mallocators and/or memory pool so that we can cleanly kill an actor
47
48 [errors/exception]
49   * Better split casual errors from programing errors.
50     The first ones should be repported to the user, the second should kill
51     the program (or, yet better, only the msg handler)
52   * Allows the use of an error handler depending on the current module (ie,
53     the same philosophy as log4c using GSL's error functions)
54
55 [logs]
56   * Hijack message from a given category to another for a while (to mask
57     initializations, and more)
58   * Allow each actor to have its own setting
59   * a init/exit mecanism for logging appender
60   * Several appenders; fix the setting stuff to change the appender
61   * more logging appenders (take those from Ralf in l2)
62
63 [dict]
64   * speed up the cursors, for example using the contexts when available
65
66 [modules]
67   * better formalisation of what modules are (amok deeply needs it)
68     configuration + init() + join() + exit() + leave() + dependencies
69     init and exit are run only once
70     join and leave are run for each process.
71   * allow to load them at runtime
72     check in erlang how they upgrade them without downtime
73
74 [other modules]
75   * we may need a round-robin database module, and a statistical one
76   * a hook module *may* help cleaning up some parts. Not sure yet.
77   * Some of the datacontainer modules seem to overlap. Kill some of them?
78     - replace fifo with dynars
79     - replace set with SWAG
80
81 *
82 * GRAS
83 ******
84
85 [doc]
86   * implement the P2P protocols that macedon does. They constitute great
87     examples, too
88
89 [transport]  
90   * Spawn threads handling the communication
91     - Data sending cannot be delegated if we want to be kept informed
92       (*easily*) of errors here.
93       - Actor execution flow shouldn't be interrupted
94       - It should be allowed to access (both in read and write access) 
95         any data available (ie, referenced) from the actor without 
96         requesting to check for a condition before.
97         (in other word, no mutex or assimilated)
98       - I know that enforcing those rules prevent the implementation of
99         really cleaver stuff. Keeping the stuff simple for the users is more
100         important to me than allowing them to do cleaver tricks. Black magic
101         should be done *within* gras to reach a good performance level.
102
103     - Data receiving can be delegated (and should)
104       The first step here is a "simple" mailbox mecanism, with a fifo of
105         messages protected by semaphore.
106       The rest is rather straightforward too.
107
108   * use poll(2) instead of select(2) when available. (first need to check
109     the advantage of doing so ;)
110
111     Another idea we spoke about was to simulate this feature with a bunch of
112     threads blocked in a read(1) on each incomming socket. The latency is
113     reduced by the cost of a syscall, but the more I think about it, the
114     less I find the idea adapted to our context.
115
116   * timeout the send/recv too (hard to do in RL)
117   * Adaptative timeout
118   * multiplex on incoming SOAP over HTTP (once datadesc can deal with it)
119
120   * The module syntax/API is too complex. 
121     - Everybody opens a server socket (or almost), and nobody open two of
122       them. This should be done automatically without user intervention.
123     - I'd like to offer the possibility to speak to someone, not to speak on
124       a socket. Users shouldn't care about such technical details. 
125     - the idea of host_cookie in NWS seem to match my needs, but we still
126       need a proper name ;)
127     - this would allow to exchange a "socket" between peer :)
128     - the creation needs to identify the peer actor within the process
129
130   * when a send failed because the socket was closed on the other side, 
131     try to reopen it seamlessly. Needs exceptions or another way to
132     differentiate between the several system_error.
133   * cache accepted sockets and close the old ones after a while. 
134     Depends on the previous item; difficult to achieve with firewalls
135
136 [datadesc]
137   * Implement gras_datadesc_cpy to speedup things in the simulator
138     (and allow to have several "actors" within the same unix process).
139     For now, we mimick closely the RL even in SG. It was easier to do
140       since the datadesc layer is unchanged, but it is not needed and
141       hinders performance.
142     gras_datadesc_cpy needs to provide the size of the corresponding messages, so
143      that we can report it into the simulator.
144   * Add a XML wire protocol alongside to the binary one (for SOAP/HTTP)
145   * cbps:
146     - Error handling
147     - Regression tests
148   * Inter-arch conversions
149     - Port to ARM
150     - Convert in the same buffer when size increase
151     - Exchange (on net) structures in one shoot when possible.
152     - Port to really exotic platforms (Cray is not IEEE ;)
153   * datadesc_set_cste: give the value by default when receiving. 
154     - It's not transfered anymore, which is good for functions pointer.
155   * Parsing macro
156     - Cleanup the code (bison?)
157     - Factorize code in union/struct field adding
158     - Handle typedefs (needs love from DataDesc/)
159     - Handle unions with annotate
160     - Handle enum
161     - Handle long long and long double
162     - Forbid "char", allow "signed char" and "unsigned char", or user code won't be 
163       portable to ARM, at least.
164     - Handle struct/union/enum embeeded within another container 
165       (needs modifications in DataDesc, too)
166  
167     - Check short a, b;
168     - Check short ***
169     - Check struct { struct { int a } b; } 
170
171   * gras_datadesc_import_nws?
172
173 [Messaging]
174   * Other message types than oneway & RPC are possible:
175      - forwarding request, group communication
176   * Message priority
177   * Message forwarding
178   * Group communication
179   * Message declarations in a tree manner (such as log channels)?
180   
181 [GRASPE] (platform expender) 
182   * Tool to visualize/deploy and manage in RL
183   * pull method of source diffusion in graspe-slave
184
185 [Actors] (parallelism in GRAS)
186   * An actor is a user process. 
187     It has a highly sequential control flow from its birth until its death. 
188     The timers won't stop the current execution to branch elsewhere, they
189     will be delayed until the actor is ready to listen. Likewise, no signal
190     delivery. The goal is to KISS for users.
191   * You can fork a new actor, even on remote hosts. 
192   * They are implemented as threads in RL, but this is still a distributed
193     memory *model*. If you want to share data with another actor, send it
194     using the message interface to explicit who's responsible of this data.
195   * data exchange between actors placed within the same UNIX process is  
196     *implemented* by memcopy, but that's an implementation detail.
197
198 [Other, more general issues]
199   * watchdog in RL (ie, while (1) { fork; exec the child, wait in father })
200   * Allow [homogeneous] dico to be sent
201   * Make GRAS thread safe by mutexing what needs to be
202
203 *
204 * AMOK
205 ******
206
207 [bandwidth]
208   * finish this module (still missing the saturate part)
209   * add a version guessing the appropriate datasizes automatically
210 [other modules]
211   * provide a way to retrieve the host load as in NWS
212   * log control, management, dynamic token ring
213   * a way using SSH to ask a remote host to open a socket back on me
214