Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
try to simplify the way simcalls are generated
[simgrid.git] / src / simix / simcalls.py
1 #!/usr/bin/env python
2 # -*- coding: utf-8 -*-
3
4 # Copyright (c) 2014. The SimGrid Team. All rights reserved.
5
6 # This program is free software; you can redistribute it and/or modify it
7 # under the terms of the license (GNU LGPL) which comes with this package.
8
9 import re, glob
10
11 types = [('TCHAR', 'char', 'c')
12         ,('TSTRING', 'const char*', 'cc')
13         ,('TINT', 'int', 'i')
14         ,('TLONG', 'long', 'l')
15         ,('TUCHAR', 'unsigned char', 'uc')
16         ,('TUSHORT', 'unsigned short', 'us')
17         ,('TUINT', 'unsigned int', 'ui')
18         ,('TULONG', 'unsigned long', 'ul')
19         ,('TFLOAT', 'float', 'f')
20         ,('TDOUBLE', 'double', 'd')
21         ,('TDPTR', 'void*', 'dp')
22         ,('TFPTR', 'FPtr', 'fp')
23         ,('TCPTR', 'const void*', 'cp')
24         ,('TSIZE', 'size_t', 'sz')
25         ,('TSGSIZE', 'sg_size_t', 'sgsz')
26         ,('TSGOFF', 'sg_offset_t', 'sgoff')
27         ,('TVOID', 'void', '')
28         ,('TDSPEC', 'void*', 'dp')
29         ,('TFSPEC', 'FPtr', 'fp')]
30
31 class Arg(object):
32   simcall_types = {k:v for _,k,v in types}
33   def __init__(self, name, type, casted=None):
34     self.name = name 
35     self.type = type
36     self.casted = casted
37     assert type in self.simcall_types, '%s not in (%s)'%(type, ', '.join(self.simcall_types.keys()))
38
39   def field(self):
40     return self.simcall_types[self.type]
41
42   def ret(self):
43     return '%s'%self.casted if self.casted else self.type
44
45   def cast(self):
46     return '(%s)'%self.casted if self.casted else '' 
47
48 class Simcall(object):
49   simcalls_BODY = None
50   simcalls_PRE = None
51   def __init__(self, name, res, args, has_answer=True):
52     self.name = name
53     self.res = res
54     self.args = args
55     self.has_answer = has_answer
56
57   def check(self):
58     # smx_user.c  simcall_BODY_
59     # smx_*.c void SIMIX_pre_host_on(smx_simcall_t simcall, smx_host_t h)
60     self.check_body()
61     self.check_pre()
62
63   def check_body(self):
64       if self.simcalls_BODY is None:
65           f = open('smx_user.c')
66           self.simcalls_BODY = set(re.findall('simcall_BODY_(.*?)\(', f.read()))
67           f.close()
68       if self.name not in self.simcalls_BODY:
69           print '# ERROR: No function calling simcall_BODY_%s'%self.name
70           print '# Add something like this to smx_user.c:'
71           print '''%s simcall_%s(%s)
72 {
73   return simcall_BODY_%s(%s);
74 }\n'''%(self.res.ret()
75      ,self.name
76      ,', '.join('%s %s'%(arg.ret(), arg.name)
77                   for arg in self.args)
78      ,self.name
79      ,', '.join(arg.name for arg in self.args))
80           return False
81       return True
82
83   def check_pre(self):
84     if self.simcalls_PRE is None:
85       self.simcalls_PRE = set()
86       for fn in glob.glob('smx_*') + glob.glob('../mc/*'):
87         f = open(fn)
88         self.simcalls_PRE |= set(re.findall('SIMIX_pre_(.*?)\(', f.read()))
89         f.close()
90     if self.name not in self.simcalls_PRE:
91       print '# ERROR: No function called SIMIX_pre_%s'%self.name
92       print '# Add something like this to smx_.*.c:'
93       print '''%s SIMIX_pre_%s(smx_simcall_t simcall%s)
94 {
95   // Your code handling the simcall
96 }\n'''%(self.res.ret()
97        ,self.name
98        ,''.join(', %s %s'%(arg.ret(), arg.name)
99                   for arg in self.args))
100       return False
101     return True
102
103   def enum(self):
104     return 'SIMCALL_%s,'%(self.name.upper())
105
106   def string(self):
107     return '[SIMCALL_%s] = "SIMCALL_%s",'%(self.name.upper(), self.name.upper())        
108   
109   def result_getter_setter(self):
110     return '%s\n%s'%(self.result_getter(), self.result_setter())
111   
112   def result_getter(self):
113     return '' if self.res.type == 'void' else '''static inline %s simcall_%s__get__result(smx_simcall_t simcall){
114   return %s simcall->result.%s;
115 }'''%(self.res.ret(), self.name, self.res.cast(), self.res.field())
116
117   def result_setter(self):
118     return '' if self.res.type == 'void' else '''static inline void simcall_%s__set__result(smx_simcall_t simcall, %s result){
119     simcall->result.%s = result;
120 }'''%(self.name, self.res.type, self.res.field())
121
122   def args_getter_setter(self):
123     res = []
124     for i in range(len(self.args)):
125       res.append(self.arg_getter(i))
126       res.append(self.arg_setter(i))
127     return '\n'.join(res)
128
129   def arg_getter(self, i):
130     arg = self.args[i]
131     return '''static inline %s simcall_%s__get__%s(smx_simcall_t simcall){
132   return %s simcall->args[%i].%s;
133 }'''%(arg.ret(), self.name, arg.name, arg.cast(), i, arg.field())
134
135   def arg_setter(self, i):
136     arg = self.args[i]
137     return '''static inline void simcall_%s__set__%s(smx_simcall_t simcall, %s arg){
138     simcall->args[%i].%s = arg;
139 }'''%(self.name, arg.name, arg.type, i, arg.field())
140
141   def case(self):
142     return '''case SIMCALL_%s:
143       %sSIMIX_pre_%s(simcall %s);
144       %sbreak;  
145 '''%(self.name.upper(), 
146      'simcall->result.%s = '%self.res.field() if self.res.type != 'void' and self.has_answer else ' ',
147      self.name,
148      ''.join(', %s simcall->args[%d].%s'%(arg.cast(), i, arg.field()) 
149              for i, arg in enumerate(self.args)),
150      'SIMIX_simcall_answer(simcall);\n      ' if self.has_answer else ' ')
151
152   def body(self):
153     return '''  
154 inline static %s simcall_BODY_%s(%s) {
155     smx_process_t self = SIMIX_process_self();
156
157     /* Go to that function to follow the code flow through the simcall barrier */
158     if (0) SIMIX_pre_%s(%s);
159     /* end of the guide intended to the poor programmer wanting to go from MSG to Surf */
160
161     self->simcall.call = SIMCALL_%s;
162     memset(&self->simcall.result, 0, sizeof(self->simcall.result));
163     memset(self->simcall.args, 0, sizeof(self->simcall.args));
164 %s
165     if (self != simix_global->maestro_process) {
166       XBT_DEBUG("Yield process '%%s' on simcall %%s (%%d)", self->name,
167                 SIMIX_simcall_name(self->simcall.call), (int)self->simcall.call);
168       SIMIX_process_yield(self);
169     } else {
170       SIMIX_simcall_enter(&self->simcall, 0);
171     }    
172     %s
173   }'''%(self.res.ret()
174        ,self.name
175        ,', '.join('%s %s'%(arg.ret(), arg.name)
176                   for arg in self.args)
177        ,self.name
178        ,', '.join(["&self->simcall"]+ [arg.name for arg in self.args])
179        ,self.name.upper()
180        ,'\n'.join('    self->simcall.args[%d].%s = (%s) %s;'%(i, arg.field(), arg.type, arg.name)
181                   for i, arg in enumerate(self.args))
182        ,'' if self.res.type == 'void' else 'return self->simcall.result.%s;'%self.res.field())
183
184 def parse(fn):
185   simcalls = []
186   resdi = None
187   simcalls_guarded = {}
188   for line in open(fn).read().split('\n'):
189     if line.startswith('##'):
190       resdi = []
191       simcalls_guarded[re.search(r'## *(.*)', line).group(1)] = resdi
192     if line.startswith('#') or not line:
193       continue
194     match = re.match(r'(\S*?) *(\S*?) *\((.*?)(?:, *(.*?))?\) *(.*)', line)
195     assert match, line
196     name, ans, rest, resc, args = match.groups()
197     sargs = []
198     for n,t,c in re.findall(r'\((.*?), *(.*?)(?:, *(.*?))?\)', args):
199       sargs.append(Arg(n,t,c))
200     sim = Simcall(name, Arg('result', rest, resc), sargs, ans == 'True')
201     if resdi is None:
202       simcalls.append(sim)
203     else:
204       resdi.append(sim)
205   return simcalls, simcalls_guarded
206
207 def header(fd):
208     fd.write('/**********************************************************************/\n')
209     fd.write('/* File Generated by src/simix/simcalls.py from src/simix/simcalls.in */\n')
210     fd.write('/*                                                                    */\n')
211     fd.write('/*                    DO NOT EVER CHANGE THIS FILE                    */\n')
212     fd.write('/*                                                                    */\n')
213     fd.write('/* change simcalls specification in src/simix/simcalls.in             */\n')  
214     fd.write('/**********************************************************************/\n\n')
215
216 def handle(fd,func, simcalls, guarded_simcalls):
217     fd.write('\n'.join(func(simcall) for simcall in simcalls))
218     for guard, list in guarded_simcalls.items():
219         fd.write('\n#ifdef %s\n'%(guard))
220         fd.write('\n'.join(func(simcall) for simcall in list))
221         fd.write('\n#endif\n')
222
223 def write(fn, func, simcalls, scd,pre="",post=""):
224     fd = open(fn, 'w')
225     header(fd)
226     fd.write(pre)
227     handle(fd, func, simcalls, scd)
228     fd.write(post)
229     fd.close()
230
231 if __name__=='__main__':
232   import sys
233   simcalls, simcalls_dict = parse('simcalls.in')
234   
235   ok = True
236   ok &= all(map(Simcall.check, simcalls))
237   for k,v in simcalls_dict.items():
238     ok &= all(map(Simcall.check, v))
239   # FIXME: we should not hide it
240   #if not ok:
241   #  print ("Some checks fail!")
242   #  sys.exit(1)
243
244   write('simcalls_generated_enum.h', Simcall.enum, simcalls, simcalls_dict,"""
245 /**
246  * @brief All possible simcalls.
247  */
248 typedef enum {
249 SIMCALL_NONE,
250   ""","""
251 SIMCALL_NEW_API_INIT,
252 NUM_SIMCALLS
253 } e_smx_simcall_t;
254   """)
255   
256   write('simcalls_generated_res_getter_setter.h', Simcall.result_getter_setter, simcalls, simcalls_dict)
257   write('simcalls_generated_args_getter_setter.h', Simcall.args_getter_setter, simcalls, simcalls_dict)
258   
259   
260   
261   fd = open("smx_popping_generated.c", 'w')
262   header(fd)
263   fd.write('/*\n')
264   fd.write(' * Note that the name comes from http://en.wikipedia.org/wiki/Popping \n')
265   fd.write(' * Indeed, the control flow is doing a strange dance in there.\n')
266   fd.write(' *\n')
267   fd.write(' * That\'s not about http://en.wikipedia.org/wiki/Poop, despite the odor :)\n')
268   fd.write(' */\n\n')
269   fd.write('#include "smx_private.h"\n');
270   fd.write('#ifdef HAVE_MC\n');
271   fd.write('#include "mc/mc_private.h"\n');
272   fd.write('#endif\n');
273   fd.write('\n');
274   fd.write('XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(simix_smurf);\n\n');
275   
276   fd.write('/** @brief Simcalls\' names (generated from src/simix/simcalls.in) */\n')
277   fd.write('const char* simcall_names[] = {\n')
278
279   handle(fd, Simcall.string, simcalls, simcalls_dict)
280
281   fd.write('[SIMCALL_NONE] = "NONE"\n')
282   fd.write('};\n\n')
283
284
285   fd.write('/**\n');
286   fd.write(' * @brief (in kernel mode) unpack the simcall and activate the handler\n');
287   fd.write(' * \n')
288   fd.write(' * This function is generated from src/simix/simcalls.in\n')
289   fd.write(' */\n');
290   fd.write('void SIMIX_simcall_enter(smx_simcall_t simcall, int value) {\n');
291   fd.write('  XBT_DEBUG("Handling simcall %p: %s", simcall, SIMIX_simcall_name(simcall->call));\n');
292   fd.write('  SIMCALL_SET_MC_VALUE(simcall, value);\n');
293   fd.write('  if (simcall->issuer->context->iwannadie && simcall->call != SIMCALL_PROCESS_CLEANUP)\n');
294   fd.write('    return;\n');
295   fd.write('  switch (simcall->call) {\n');
296
297   handle(fd, Simcall.case, simcalls, simcalls_dict)
298
299   fd.write('    case NUM_SIMCALLS:\n');
300   fd.write('      break;\n');
301   fd.write('    case SIMCALL_NONE:\n');
302   fd.write('      THROWF(arg_error,0,"Asked to do the noop syscall on %s@%s",\n');
303   fd.write('          SIMIX_process_get_name(simcall->issuer),\n');
304   fd.write('          SIMIX_host_get_name(SIMIX_process_get_host(simcall->issuer))\n');
305   fd.write('          );\n');
306   fd.write('      break;\n');
307   fd.write('\n');
308   fd.write('    /* ****************************************************************************************** */\n');
309   fd.write('    /* TUTORIAL: New API                                                                        */\n');
310   fd.write('    /* ****************************************************************************************** */\n');
311   fd.write('    case SIMCALL_NEW_API_INIT:\n');
312   fd.write('      SIMIX_pre_new_api_fct(simcall);\n');
313   fd.write('      break;\n');
314   fd.write('  }\n');
315   fd.write('}\n');
316   
317   fd.close()
318   
319   write('simcalls_generated_body.c', Simcall.body, simcalls, simcalls_dict)