Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
regenerate on valnure (dynar exchange)
[simgrid.git] / TODO
1 - a way to get the network proximity (needed by Pastry, at least)
2
3 - pull method of source diffusion in graspe-slave
4
5 - Use a xbt_set for gras_procdata_t->libdata instead of a dict
6   so that the search can be linear.
7
8 [sorry for the parts in french :]
9
10 ###
11 ### Very soon
12 ###
13
14 - tcp->incoming_socks
15   sock specific tcp (buffsize) useless
16
17 ###
18 ### Soon
19 ###
20
21 - gras_os_getload
22
23 - gras_datadesc_import_nws?
24
25 - rawsock
26   Check that messages don't go on raw socks
27   Rename to meassock or whatever to show that they're not intended for 
28   out of band communication, but for socket operation measurements.
29
30 - Implement gras_datadesc_cpy to speedup things in the simulator
31   For now, we mimick closely the RL when on simulator, which is not needed.
32   (this was easier to do).
33   gras_datadesc_cpy needs to provide the size of the corresponding messages, so
34   that we can report it into the simulator.
35
36 - callback on reception ?? (to put functions pointer back in place, etc)
37
38 - category "ignored" should be dropped, since it's not portable (what's its 
39   size on remote site?). But function's pointer may benefit from it.
40   We could change it to an attribute just as the "cycle"  one. That way, it 
41   would get malloced, but not transfered.
42
43 ###
44 ### A bit later
45 ### 
46
47 - Adaptative timeout
48 - datadesc_set_cste: give the value by default when receiving. 
49   It's not transfered anymore, which is good for functions pointer.
50
51 ============================================================================
52
53 * while (1) { fork; exec the child, wait in father }
54
55  - core ok (errors, logs ; dynars, dicts, hooks, pools; config, rrdb)
56  - virtualize (linux, solaris, SG) & conditions
57  - binary representation: any type, SNWF (Sender Native Wire Format)
58  - modules (log control, manage, token ring, bw)
59  - cleanups, documentation
60
61 [autoconf]
62   Check in autoconf that no datatype is bigger than 64, or dynar_map will
63     get into trouble...
64   Check the gcc version on powerpc. We disabled -floop-optimize on powerpc,
65     but versions above 3.4.0 should be ok.
66   The ucontext usability test is too light. It returns success on IRIX, but
67     shouldn't since ucontext are broken for us there.
68
69 [portability layer]
70   Dynar of type, such as ref of type
71   Mallocators
72   
73 [Messaging]
74   Message forwarding
75   Message priority
76   Message declarations in a tree manner (such as log channels)
77   
78 [errors]
79   Better split casual errors from programing errors.
80     The first ones should be repported to the user, the second should kill
81     the program (or, yet better, only the msg handler)
82   Allows the use of an error handler depending on the current module (ie,
83    the same philosophy than log4c using GSL's error functions)
84   Rethink the error codes. Source of inspirations are:
85    - comerr (common error reporting from ext2)
86    - libgpg-error
87
88 [logs]
89   Several appenders; fix the setting stuff to change the appender
90   Hijack message from a given category to another for a while (to mask
91     initializations, and more)
92   Allow each process in simulation to have its own setting
93
94 [dict]
95   speed up the cursors, for example using the contexts when available
96   fix multi levels dicts
97
98 [datadesc]
99   Error handling in cbps
100   Regression tests of cbps
101
102 [testsuite]
103   use logging, not printf
104
105 *********
106 * GRAS1 * Integrer grassouillet a gras; multiplexage XML; module de comm
107 *********
108
109 [simuler le select sur les sockets avec des threads]
110   Le plan, c'est qu'a l'ouverture d'une socket server, on cree un thread
111     charge de faire du pool blocant dessus, et des que ce thread se debloque
112     car il commence a lire qqch, il passe la main a un thread de
113     communication charge de faire la lecture. 
114   Quand la lecture est finie, le thread de comm passe la main aux threads
115     d'execution (un par couleur).
116     
117   Voici comment faire le coeur du truc [dixit Olivier]:
118     Une liste est utilisee pour stocker ce que le thread de comm a le droit
119       de lire. Elle est protegee par mutex pour eviter les acces concurents.
120       c'est la "liste de lecture"
121     Une semaphore "de lecture" est utilisee pour permettre aux threads
122       servants des sockets de prevenir le thread de comm qu'ils ont qqch
123       pour lui
124     Dans la liste de lecture, on place les messages en cours de creation, et
125       un ptit mutex pour que le thread de comm dise aux threads servants de
126       retourner ecouter la socket car il a fini
127     Chaque couleur a sa file de callback a appeller, proteger par semaphore
128       et un mutex comme pour la file de lecture
129     
130     Init:
131      initialisation de toutes les semaphore a 0
132      comm: sem_P(semaphore lecture)
133      couleur: sem_P(semaphore de la couleur correspondante)
134      servant: read (1) sur la socket
135      
136     Arrive d'un message
137      servant:
138      1) le read debloque (c'est la version de gras, utilisee pour multiplexe
139         sur le XML, ou sur les differentes versions de gras/de pilote reseau)
140      2) Allocation du message vide pour contenir ce qui s'annonce
141      3) initialisation du mutex du message_instance a 0 (verrouille)
142      4) placement du message instance dans la file (prise de mutex,
143         placement, lachage de mutex)
144      5) sem_V(sempahore)
145      6) mutex_lock sur le mutex_verrouille
146      sleep
147      7) quand on revient, on rebloque un read(1), et on recommence
148      
149      comm:
150      1) on se reveille quand la semaphore se libere (etape 6 des servants)
151      2) prise d'une tache dans la file (protegee par semaphore)
152      3) lecture de l'instance de message
153      4) lache le mutex dans l'instance pour liberer le servant
154      5) pose le message pret dans la file de la couleur correpondant au
155         premier callback de la pile pour ces {messageID x version} et
156         augmente le semaphore correspondant.
157      6) se rebloque sur le semaphore de lecture et recommence
158      
159      couleur:
160      1) on se reveille quand quelqu'un a pose qqch dans sa file des messages
161         prets
162      2) on le retire de la file
163      3) on acquiere le mutex d'execution de sa couleur (pour les callbacks
164         cameleon)
165      4) on execute le callback qu'il faut
166      5) on lache le mutex de sa couleur
167      Si le callback annonce avoir mange le message
168        a) on libere le message (le payload doit avoir ete libere par 
169           l'utilisateur)
170        b) on decremente le TTL du callback, et on le vire si c'etait pas un
171           callback infini et qu'il arrive en fin de vie
172      Sinon
173        a) on place le message dans la liste des messages de la couleur du
174           suivant dans la pile des callback
175      6) On se rendort sur le semaphore de sa couleur et recommence
176      
177     Emission d'un message:
178      A faire. Le thread de comm peut faire ceci, ou on peut faire un nouveau
179       thread de comm pour cela.
180      
181     Fermeture d'une socket client:
182      Probleme: faut tuer le thread servant.
183      Solution pour l'instant: fermer la socket depuis ailleurs.
184      Solution si ca marche pas (ou pas partout): Les servants font des
185       selects sur un pool {leur socket x un pipe fait pour}
186       Quand qqch arrive sur le pipe, c'est le signal du suicide.
187       
188 [Inter-arch conversions]
189  Convert in the same buffer when size increase
190  Exchange (on net) structures in one shoot when possible.
191  Port to really exotic platforms (Cray is not IEEE ;)
192
193 [XML]
194  Do what is written in the paper (multiplex on incoming HTTP)
195
196 [DataDesc and Parsing macro]
197  Handle typedefs (needs love from DataDesc/)
198  Handle unions with annotate
199  Handle enum
200  Handle long long and long double
201  Forbid "char", allow "signed char" and "unsigned char", or user code won't be
202    portable to ARM, at least.
203  Handle struct/union/enum embeeded within another container 
204    (needs modifications in DataDesc, too)
205  
206  Check short a, b;
207  Check short ***
208  Check struct { struct { int a } b; }
209  
210  Factorise code in union/struct field adding
211  
212 [Other]
213  Allow [homogeneous] dynar and dico to be sent
214  Make GRAS thread safe by mutexing what needs to be
215  
216
217 ************
218 * La suite *
219 ************
220 GRAS double (ou encore "GRAS too" ou "too GRAS"):
221  - Message prioritization
222  - Visualisation tool to see what happens in the simulator (Paje ?)
223  - Tool to visualize/deploy and manage in RL
224    
225 GRAS (très):
226  - outils mathematiques pour dire des choses sur la validite du protocole
227