Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
cruft
[simgrid.git] / TODO
1 - pull method of source diffusion in graspe-slave
2
3 - Use a xbt_set for gras_procdata_t->libdata instead of a dict
4   so that the search can be linear.
5
6 [sorry for the parts in french :]
7
8 ###
9 ### Very soon
10 ###
11
12 - tcp->incoming_socks
13   sock specific tcp (buffsize) inutile
14
15 ###
16 ### Soon
17 ###
18
19 - gras_os_getload
20
21 - gras_datadesc_import_nws?
22
23 - rawsock
24   Check that messages don't go on raw socks
25   Rename to meassock or whatever to show that they're not intended for 
26   out of band communication, but for socket operation measurements.
27
28 - Implement gras_datadesc_cpy to speedup things in the simulator
29   For now, we mimick closely the RL when on simulator, which is not needed.
30   (this was easier to do).
31   gras_datadesc_cpy needs to provide the size of the corresponding messages, so
32   that we can report it into the simulator.
33
34 - callback on reception ?? (to put functions pointer back in place, etc)
35
36 - category "ignored" should be dropped, since it's not portable (what's its 
37   size on remote site?). But function's pointer may benefit from it.
38   We could change it to an attribute just as the "cycle"  one. That way, it 
39   would get malloced, but not transfered.
40
41 ###
42 ### A bit later
43 ### 
44
45 - Adaptative timeout
46 - datadesc_set_cste: give the value by default when receiving. 
47   It's not transfered anymore, which is good for functions pointer.
48
49 ============================================================================
50
51 * while (1) { fork; exec the child, wait in father }
52
53  - core ok (errors, logs ; dynars, dicts, hooks, pools; config, rrdb)
54  - virtualize (linux, solaris, SG) & conditions
55  - binary representation: any type, SNWF (Sender Native Wire Format)
56  - modules (log control, manage, token ring, bw)
57  - cleanups, documentation
58
59 [autoconf]
60   Check in autoconf that no datatype is bigger than 64, or dynar_map will
61     get into trouble...
62   Check the gcc version on powerpc. We disabled -floop-optimize on powerpc,
63     but versions above 3.4.0 should be ok.
64
65 [portability layer]
66   Dynar of type, such as ref of type
67   Mallocators
68   
69 [Messaging]
70   Message forwarding
71   Message priority
72   Message declarations in a tree manner (such as log channels)
73   
74 [errors]
75   Better split casual errors from programing errors.
76     The first ones should be repported to the user, the second should kill
77     the program (or, yet better, only the msg handler)
78   Allows the use of an error handler depending on the current module (ie,
79    the same philosophy than log4c using GSL's error functions)
80   Rethink the error codes. Source of inspirations are:
81    - comerr (common error reporting from ext2)
82    - libgpg-error
83
84 [logs]
85   Several appenders; fix the setting stuff to change the appender
86   Hijack message from a given category to another for a while (to mask
87     initializations, and more)
88   Allow each process in simulation to have its own setting
89
90 [dict]
91   speed up the cursors, for example using the contexts when available
92   fix multi levels dicts
93
94 [datadesc]
95   Error handling in cbps
96   Regression tests of cbps
97
98 [testsuite]
99   use logging, not printf
100
101 *********
102 * GRAS1 * Integrer grassouillet a gras; multiplexage XML; module de comm
103 *********
104
105 [simuler le select sur les sockets avec des threads]
106   Le plan, c'est qu'a l'ouverture d'une socket server, on cree un thread
107     charge de faire du pool blocant dessus, et des que ce thread se debloque
108     car il commence a lire qqch, il passe la main a un thread de
109     communication charge de faire la lecture. 
110   Quand la lecture est finie, le thread de comm passe la main aux threads
111     d'execution (un par couleur).
112     
113   Voici comment faire le coeur du truc [dixit Olivier]:
114     Une liste est utilisee pour stocker ce que le thread de comm a le droit
115       de lire. Elle est protegee par mutex pour eviter les acces concurents.
116       c'est la "liste de lecture"
117     Une semaphore "de lecture" est utilisee pour permettre aux threads
118       servants des sockets de prevenir le thread de comm qu'ils ont qqch
119       pour lui
120     Dans la liste de lecture, on place les messages en cours de creation, et
121       un ptit mutex pour que le thread de comm dise aux threads servants de
122       retourner ecouter la socket car il a fini
123     Chaque couleur a sa file de callback a appeller, proteger par semaphore
124       et un mutex comme pour la file de lecture
125     
126     Init:
127      initialisation de toutes les semaphore a 0
128      comm: sem_P(semaphore lecture)
129      couleur: sem_P(semaphore de la couleur correspondante)
130      servant: read (1) sur la socket
131      
132     Arrive d'un message
133      servant:
134      1) le read debloque (c'est la version de gras, utilisee pour multiplexe
135         sur le XML, ou sur les differentes versions de gras/de pilote reseau)
136      2) Allocation du message vide pour contenir ce qui s'annonce
137      3) initialisation du mutex du message_instance a 0 (verrouille)
138      4) placement du message instance dans la file (prise de mutex,
139         placement, lachage de mutex)
140      5) sem_V(sempahore)
141      6) mutex_lock sur le mutex_verrouille
142      sleep
143      7) quand on revient, on rebloque un read(1), et on recommence
144      
145      comm:
146      1) on se reveille quand la semaphore se libere (etape 6 des servants)
147      2) prise d'une tache dans la file (protegee par semaphore)
148      3) lecture de l'instance de message
149      4) lache le mutex dans l'instance pour liberer le servant
150      5) pose le message pret dans la file de la couleur correpondant au
151         premier callback de la pile pour ces {messageID x version} et
152         augmente le semaphore correspondant.
153      6) se rebloque sur le semaphore de lecture et recommence
154      
155      couleur:
156      1) on se reveille quand quelqu'un a pose qqch dans sa file des messages
157         prets
158      2) on le retire de la file
159      3) on acquiere le mutex d'execution de sa couleur (pour les callbacks
160         cameleon)
161      4) on execute le callback qu'il faut
162      5) on lache le mutex de sa couleur
163      Si le callback annonce avoir mange le message
164        a) on libere le message (le payload doit avoir ete libere par 
165           l'utilisateur)
166        b) on decremente le TTL du callback, et on le vire si c'etait pas un
167           callback infini et qu'il arrive en fin de vie
168      Sinon
169        a) on place le message dans la liste des messages de la couleur du
170           suivant dans la pile des callback
171      6) On se rendort sur le semaphore de sa couleur et recommence
172      
173     Emission d'un message:
174      A faire. Le thread de comm peut faire ceci, ou on peut faire un nouveau
175       thread de comm pour cela.
176      
177     Fermeture d'une socket client:
178      Probleme: faut tuer le thread servant.
179      Solution pour l'instant: fermer la socket depuis ailleurs.
180      Solution si ca marche pas (ou pas partout): Les servants font des
181       selects sur un pool {leur socket x un pipe fait pour}
182       Quand qqch arrive sur le pipe, c'est le signal du suicide.
183       
184 [Inter-arch conversions]
185  Convert in the same buffer when size increase
186  Exchange (on net) structures in one shoot when possible.
187  Port to really exotic platforms (Cray is not IEEE ;)
188
189 [XML]
190  Do what is written in the paper (multiplex on incoming HTTP)
191
192 [DataDesc and Parsing macro]
193  Handle typedefs (needs love from DataDesc/)
194  Handle unions with annotate
195  Handle enum
196  Handle long long and long double
197  Forbid "char", allow "signed char" and "unsigned char", or user code won't be
198    portable to ARM, at least.
199  Handle struct/union/enum embeeded within another container 
200    (needs modifications in DataDesc, too)
201  
202  Check short a, b;
203  Check short ***
204  Check struct { struct { int a } b; }
205  
206  Factorise code in union/struct field adding
207  
208 [Other]
209  Allow [homogeneous] dynar and dico to be sent
210  Make GRAS thread safe by mutexing what needs to be
211  
212
213 ************
214 * La suite *
215 ************
216 GRAS double (ou encore "GRAS too" ou "too GRAS"):
217  - Message prioritization
218  - Visualisation tool to see what happens in the simulator (Paje ?)
219  - Tool to visualize/deploy and manage in RL
220    
221 GRAS (très):
222  - outils mathematiques pour dire des choses sur la validite du protocole
223