Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
531cf7034d2cbd7d1e1f4c05affe58cdb31a6301
[simgrid.git] / src / simix / simcalls.py
1 #!/usr/bin/env python
2 # -*- coding: utf-8 -*-
3
4 # Copyright (c) 2014-2015. The SimGrid Team. All rights reserved.
5
6 # This program is free software; you can redistribute it and/or modify it
7 # under the terms of the license (GNU LGPL) which comes with this package.
8
9 import re
10 import glob
11
12 types = [
13     ('char', 'c'),
14     ('const char*', 'cc'),
15     ('int', 'i'),
16     ('long', 'l'),
17     ('unsigned char', 'uc'),
18     ('unsigned short', 'us'),
19     ('unsigned int', 'ui'),
20     ('unsigned long', 'ul'),
21     ('float', 'f'),
22     ('double', 'd'),
23     ('void*', 'dp'),
24     ('FPtr', 'fp'),
25     ('const void*', 'cp'),
26     ('size_t', 'sz'),
27     ('sg_size_t', 'sgsz'),
28     ('sg_offset_t', 'sgoff'),
29     ('void', ''),
30     ('void*', 'dp'),
31     ('FPtr', 'fp'),
32     ]
33
34
35 class Arg(object):
36     simcall_types = {k: v for k, v in types}
37
38     def __init__(self, name, type, casted=None):
39         self.name = name
40         self.type = type
41         self.casted = casted
42         assert type in self.simcall_types, '%s not in (%s)' % (
43             type, ', '.join(self.simcall_types.keys()))
44
45     def field(self):
46         return self.simcall_types[self.type]
47
48     def rettype(self):
49         return '%s' % self.casted if self.casted else self.type
50
51     def cast(self):
52         return '(%s)' % self.casted if self.casted else ''
53
54
55 class Simcall(object):
56     simcalls_BODY = None
57     simcalls_PRE = None
58
59     def __init__(self, name, handler, res, args, call_kind):
60         self.name = name
61         self.res = res
62         self.args = args
63         self.need_handler = handler
64         self.call_kind = call_kind
65
66     def check(self):
67         # libsmx.c  simcall_BODY_
68         if self.simcalls_BODY is None:
69             f = open('libsmx.cpp')
70             self.simcalls_BODY = set(
71                 re.findall('simcall_BODY_(.*?)\(', f.read()))
72             f.close()
73         if self.name not in self.simcalls_BODY:
74             print '# ERROR: No function calling simcall_BODY_%s' % self.name
75             print '# Add something like this to libsmx.c:'
76             print '%s simcall_%s(%s) {' % (self.res.rettype(), self.name, ', '.join('%s %s' % (arg.rettype(), arg.name) for arg in self.args))
77             print '  return simcall_BODY_%s(%s);' % (self.name)
78             print '}'
79             return False
80
81         # smx_*.c void simcall_HANDLER_host_on(smx_simcall_t simcall,
82         # smx_host_t h)
83         if self.simcalls_PRE is None:
84             self.simcalls_PRE = set()
85             for fn in glob.glob('smx_*') + glob.glob('../mc/*'):
86                 f = open(fn)
87                 self.simcalls_PRE |= set(
88                     re.findall('simcall_HANDLER_(.*?)\(', f.read()))
89                 f.close()
90         if self.need_handler:
91             if (self.name not in self.simcalls_PRE):
92                 print '# ERROR: No function called simcall_HANDLER_%s' % self.name
93                 print '# Add something like this to the relevant C file (like smx_io.c if it\'s an IO call):'
94                 print '%s simcall_HANDLER_%s(smx_simcall_t simcall%s) {' % (self.res.rettype(), self.name, ''.join(', %s %s' % (arg.rettype(), arg.name)
95                                                                                                                    for arg in self.args))
96                 print '  // Your code handling the simcall'
97                 print '}'
98                 return False
99         else:
100             if (self.name in self.simcalls_PRE):
101                 print '# ERROR: You have a function called simcall_HANDLER_%s, but that simcall is not using any handler' % self.name
102                 print '# Either change your simcall definition, or kill that function'
103                 return False
104         return True
105
106     def enum(self):
107         return '  SIMCALL_%s,' % (self.name.upper())
108
109     def string(self):
110         return '  "SIMCALL_%s",' % self.name.upper()
111
112     def accessors(self):
113         res = []
114         res.append('')
115         # Arguments getter/setters
116         for i in range(len(self.args)):
117             arg = self.args[i]
118             res.append('static inline %s simcall_%s__get__%s(smx_simcall_t simcall) {' % (
119                 arg.rettype(), self.name, arg.name))
120             res.append(
121                 '  return %s simcall->args[%i].%s;' % (arg.cast(), i, arg.field()))
122             res.append('}')
123             res.append('static inline void simcall_%s__set__%s(smx_simcall_t simcall, %s arg) {' % (
124                 self.name, arg.name, arg.type))
125             res.append('    simcall->args[%i].%s = arg;' % (i, arg.field()))
126             res.append('}')
127
128         # Return value getter/setters
129         if self.res.type != 'void':
130             res.append(
131                 'static inline %s simcall_%s__get__result(smx_simcall_t simcall){' % (self.res.rettype(), self.name))
132             res.append('    return %s simcall->result.%s;' %
133                        (self.res.cast(), self.res.field()))
134             res.append('}')
135             res.append(
136                 'static inline void simcall_%s__set__result(smx_simcall_t simcall, %s result){' % (self.name, self.res.type,))
137             res.append('    simcall->result.%s = result;' % (self.res.field()))
138             res.append('}')
139         return '\n'.join(res)
140
141     def case(self):
142         res = []
143         res.append('case SIMCALL_%s:' % (self.name.upper()))
144         if self.need_handler:
145             res.append(
146                 '      %ssimcall_HANDLER_%s(simcall %s);' % ('simcall->result.%s = ' % self.res.field() if self.call_kind == 'Func' else ' ',
147                                                              self.name,
148                                                              ''.join(', %s simcall->args[%d].%s' % (arg.cast(), i, arg.field())
149                                                                      for i, arg in enumerate(self.args))))
150         else:
151             res.append(
152                 '      %sSIMIX_%s(%s);' % ('simcall->result.%s = ' % self.res.field() if self.call_kind == 'Func' else ' ',
153                                            self.name,
154                                            ','.join('%s simcall->args[%d].%s' % (arg.cast(), i, arg.field())
155                                                     for i, arg in enumerate(self.args))))
156         res.append('      %sbreak;  \n' %
157                    ('SIMIX_simcall_answer(simcall);\n      ' if self.call_kind != 'Blck' else ' '))
158         return '\n'.join(res)
159
160     def body(self):
161         res = ['  ']
162         res.append(
163             'inline static %s simcall_BODY_%s(%s) {' % (self.res.rettype(),
164                                                         self.name,
165                                                         ', '.join('%s %s' % (arg.rettype(), arg.name) for arg in self.args)))
166         res.append('    smx_process_t self = SIMIX_process_self();')
167         res.append('')
168         res.append(
169             '    /* Go to that function to follow the code flow through the simcall barrier */')
170         if self.need_handler:
171             res.append('    if (0) simcall_HANDLER_%s(%s);' % (self.name,
172                                                                ', '.join(["&self->simcall"] + [arg.name for arg in self.args])))
173         else:
174             res.append('    if (0) SIMIX_%s(%s);' % (self.name,
175                                                      ', '.join(arg.name for arg in self.args)))
176         res.append(
177             '    /* end of the guide intended to the poor programmer wanting to go from MSG to Surf */')
178         res.append('')
179         res.append('    self->simcall.call = SIMCALL_%s;' %
180                    (self.name.upper()))
181         res.append(
182             '    memset(&self->simcall.result, 0, sizeof(self->simcall.result));')
183         res.append(
184             '    memset(self->simcall.args, 0, sizeof(self->simcall.args));')
185         res.append('\n'.join('    self->simcall.args[%d].%s = (%s) %s;' % (i, arg.field(), arg.type, arg.name)
186                              for i, arg in enumerate(self.args)))
187         res.append('    if (self != simix_global->maestro_process) {')
188         res.append(
189             '      XBT_DEBUG("Yield process \'%s\' on simcall %s (%d)", self->name.c_str(),')
190         res.append(
191             '                SIMIX_simcall_name(self->simcall.call), (int)self->simcall.call);')
192         res.append('      SIMIX_process_yield(self);')
193         res.append('    } else {')
194         res.append('      SIMIX_simcall_handle(&self->simcall, 0);')
195         res.append('    }    ')
196         if self.res.type != 'void':
197             res.append('    return (%s) self->simcall.result.%s;' %
198                        (self.res.rettype(), self.res.field()))
199         else:
200             res.append('    ')
201         res.append('  }')
202         return '\n'.join(res)
203
204     def handler_prototype(self):
205         if self.need_handler:
206             return "XBT_PRIVATE %s simcall_HANDLER_%s(smx_simcall_t simcall%s);" % (self.res.rettype() if self.call_kind == 'Func' else 'void',
207                                                                                     self.name,
208                                                                                     ''.join(', %s %s' % (arg.rettype(), arg.name)
209                                                                                             for i, arg in enumerate(self.args)))
210         else:
211             return ""
212
213
214 def parse(fn):
215     simcalls = []
216     resdi = None
217     simcalls_guarded = {}
218     for line in open(fn).read().split('\n'):
219         if line.startswith('##'):
220             resdi = []
221             simcalls_guarded[re.search(r'## *(.*)', line).group(1)] = resdi
222         if line.startswith('#') or not line:
223             continue
224         match = re.match(
225             r'(\S*?) *(\S*?) *(\S*?) *\((.*?)(?:, *(.*?))?\) *(.*)', line)
226         assert match, line
227         ans, handler, name, rest, resc, args = match.groups()
228         assert (ans == 'Proc' or ans == 'Func' or ans == 'Blck'), "Invalid call type: '%s'. Faulty line:\n%s\n" % (
229             ans, line)
230         assert (handler == 'H' or handler == '-'), "Invalid need_handler indication: '%s'. Faulty line:\n%s\n" % (
231             handler, line)
232         sargs = []
233         for n, t, c in re.findall(r'\((.*?), *(.*?)(?:, *(.*?))?\)', args):
234             sargs.append(Arg(n, t, c))
235         sim = Simcall(name, handler == 'H',
236                       Arg('result', rest, resc), sargs, ans)
237         if resdi is None:
238             simcalls.append(sim)
239         else:
240             resdi.append(sim)
241     return simcalls, simcalls_guarded
242
243
244 def header(name):
245     fd = open(name, 'w')
246     fd.write(
247         '/**********************************************************************/\n')
248     fd.write(
249         '/* File generated by src/simix/simcalls.py from src/simix/simcalls.in */\n')
250     fd.write(
251         '/*                                                                    */\n')
252     fd.write(
253         '/*                    DO NOT EVER CHANGE THIS FILE                    */\n')
254     fd.write(
255         '/*                                                                    */\n')
256     fd.write(
257         '/* change simcalls specification in src/simix/simcalls.in             */\n')
258     fd.write(
259         '/**********************************************************************/\n\n')
260     fd.write('/*\n')
261     fd.write(
262         ' * Note that the name comes from http://en.wikipedia.org/wiki/Popping\n')
263     fd.write(
264         ' * Indeed, the control flow is doing a strange dance in there.\n')
265     fd.write(' *\n')
266     fd.write(
267         ' * That\'s not about http://en.wikipedia.org/wiki/Poop, despite the odor :)\n')
268     fd.write(' */\n\n')
269     return fd
270
271
272 def handle(fd, func, simcalls, guarded_simcalls):
273     def nonempty(e): return e != ''
274     fd.write(
275         '\n'.join(filter(nonempty, (func(simcall) for simcall in simcalls))))
276
277     for guard, list in guarded_simcalls.items():
278         fd.write('\n#if %s\n' % (guard))
279         fd.write('\n'.join(func(simcall) for simcall in list))
280         fd.write('\n#endif\n')
281
282 if __name__ == '__main__':
283     import sys
284     simcalls, simcalls_dict = parse('simcalls.in')
285
286     ok = True
287     ok &= all(map(Simcall.check, simcalls))
288     for k, v in simcalls_dict.items():
289         ok &= all(map(Simcall.check, v))
290     # FIXME: we should not hide it
291     # if not ok:
292     #  print ("Some checks fail!")
293     #  sys.exit(1)
294
295     #
296     # smx_popping_accessors.c
297     #
298     fd = header('popping_accessors.h')
299     handle(fd, Simcall.accessors, simcalls, simcalls_dict)
300     fd.write(
301         "\n\n/* The prototype of all simcall handlers, automatically generated for you */\n\n")
302     handle(fd, Simcall.handler_prototype, simcalls, simcalls_dict)
303     fd.close()
304
305     #
306     # smx_popping_enum.c
307     #
308     fd = header("popping_enum.h")
309     fd.write('/**\n')
310     fd.write(' * @brief All possible simcalls.\n')
311     fd.write(' */\n')
312     fd.write('typedef enum {\n')
313     fd.write('  SIMCALL_NONE,\n')
314
315     handle(fd, Simcall.enum, simcalls, simcalls_dict)
316
317     fd.write('  NUM_SIMCALLS\n')
318     fd.write('} e_smx_simcall_t;\n')
319     fd.close()
320
321     #
322     # smx_popping_generated.cpp
323     #
324
325     fd = header("popping_generated.cpp")
326
327     fd.write('#include <xbt/base.h>\n')
328     fd.write('#include "smx_private.h"\n')
329     fd.write('#if HAVE_MC\n')
330     fd.write('#include "src/mc/mc_forward.hpp"\n')
331     fd.write('#endif\n')
332     fd.write('\n')
333     fd.write('XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(simix_popping);\n\n')
334
335     fd.write(
336         '/** @brief Simcalls\' names (generated from src/simix/simcalls.in) */\n')
337     fd.write('const char* simcall_names[] = {\n')
338
339     fd.write('   "SIMCALL_NONE",')
340     handle(fd, Simcall.string, simcalls, simcalls_dict)
341
342     fd.write('};\n\n')
343
344     fd.write('/** @private\n')
345     fd.write(
346         ' * @brief (in kernel mode) unpack the simcall and activate the handler\n')
347     fd.write(' * \n')
348     fd.write(' * This function is generated from src/simix/simcalls.in\n')
349     fd.write(' */\n')
350     fd.write(
351         'void SIMIX_simcall_handle(smx_simcall_t simcall, int value) {\n')
352     fd.write(
353         '  XBT_DEBUG("Handling simcall %p: %s", simcall, SIMIX_simcall_name(simcall->call));\n')
354     fd.write('  SIMCALL_SET_MC_VALUE(simcall, value);\n')
355     fd.write(
356         '  if (simcall->issuer->context->iwannadie && simcall->call != SIMCALL_PROCESS_CLEANUP)\n')
357     fd.write('    return;\n')
358     fd.write('  switch (simcall->call) {\n')
359
360     handle(fd, Simcall.case, simcalls, simcalls_dict)
361
362     fd.write('    case NUM_SIMCALLS:\n')
363     fd.write('      break;\n')
364     fd.write('    case SIMCALL_NONE:\n')
365     fd.write(
366         '      THROWF(arg_error,0,"Asked to do the noop syscall on %s@%s",\n')
367     fd.write('          SIMIX_process_get_name(simcall->issuer),\n')
368     fd.write(
369         '          sg_host_get_name(SIMIX_process_get_host(simcall->issuer))\n')
370     fd.write('          );\n')
371     fd.write('      break;\n')
372     fd.write('\n')
373     fd.write('  }\n')
374     fd.write('}\n')
375
376     fd.close()
377
378     #
379     # smx_popping_bodies.cpp
380     #
381     fd = header('popping_bodies.cpp')
382     fd.write('#include "smx_private.h"\n')
383     fd.write('#include "src/mc/mc_forward.hpp"\n')
384     fd.write('#include "xbt/ex.h"\n')
385     fd.write('#include <simgrid/simix.hpp>\n')
386     fd.write("/** @cond */ // Please Doxygen, don't look at this\n")
387     handle(fd, Simcall.body, simcalls, simcalls_dict)
388     fd.write("/** @endcond */\n");
389     fd.close()