src/simix/simcalls.py

   1 #!/usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3
   4 # Copyright (c) 2014-2015. The SimGrid Team. All rights reserved.
   5
   6 # This program is free software; you can redistribute it and/or modify it
   7 # under the terms of the license (GNU LGPL) which comes with this package.
   8
   9 import re
  10 import glob
  11
  12 class Arg(object):
  13
  14     def __init__(self, name, type):
  15         self.name = name
  16         self.type = type
  17
  18     def field(self):
  19         return self.simcall_types[self.type]
  20
  21     def rettype(self):
  22         return self.type
  23
  24 class Simcall(object):
  25     simcalls_BODY = None
  26     simcalls_PRE = None
  27
  28     def __init__(self, name, handler, res, args, call_kind):
  29         self.name = name
  30         self.res = res
  31         self.args = args
  32         self.need_handler = handler
  33         self.call_kind = call_kind
  34
  35     def check(self):
  36         # libsmx.c  simcall_BODY_
  37         if self.simcalls_BODY is None:
  38             f = open('libsmx.cpp')
  39             self.simcalls_BODY = set(
  40                 re.findall('simcall_BODY_(.*?)\(', f.read()))
  41             f.close()
  42         if self.name not in self.simcalls_BODY:
  43             print '# ERROR: No function calling simcall_BODY_%s' % self.name
  44             print '# Add something like this to libsmx.c:'
  45             print '%s simcall_%s(%s) {' % (self.res.rettype(), self.name, ', '.join('%s %s' % (arg.rettype(), arg.name) for arg in self.args))
  46             print '  return simcall_BODY_%s(%s);' % (self.name)
  47             print '}'
  48             return False
  49
  50         # smx_*.c void simcall_HANDLER_host_on(smx_simcall_t simcall,
  51         # smx_host_t h)
  52         if self.simcalls_PRE is None:
  53             self.simcalls_PRE = set()
  54             for fn in glob.glob('smx_*') + glob.glob('../mc/*'):
  55                 f = open(fn)
  56                 self.simcalls_PRE |= set(
  57                     re.findall('simcall_HANDLER_(.*?)\(', f.read()))
  58                 f.close()
  59         if self.need_handler:
  60             if (self.name not in self.simcalls_PRE):
  61                 print '# ERROR: No function called simcall_HANDLER_%s' % self.name
  62                 print '# Add something like this to the relevant C file (like smx_io.c if it\'s an IO call):'
  63                 print '%s simcall_HANDLER_%s(smx_simcall_t simcall%s) {' % (self.res.rettype(), self.name, ''.join(', %s %s' % (arg.rettype(), arg.name)
  64                                                                                                                    for arg in self.args))
  65                 print '  // Your code handling the simcall'
  66                 print '}'
  67                 return False
  68         else:
  69             if (self.name in self.simcalls_PRE):
  70                 print '# ERROR: You have a function called simcall_HANDLER_%s, but that simcall is not using any handler' % self.name
  71                 print '# Either change your simcall definition, or kill that function'
  72                 return False
  73         return True
  74
  75     def enum(self):
  76         return '  SIMCALL_%s,' % (self.name.upper())
  77
  78     def string(self):
  79         return '  "SIMCALL_%s",' % self.name.upper()
  80
  81     def accessors(self):
  82         res = []
  83         res.append('')
  84         # Arguments getter/setters
  85         for i in range(len(self.args)):
  86             arg = self.args[i]
  87             res.append('static inline %s simcall_%s__get__%s(smx_simcall_t simcall) {' % (
  88                 arg.rettype(), self.name, arg.name))
  89             res.append(
  90                 '  return simgrid::simix::unmarshal<%s>(simcall->args[%i]);' % (arg.rettype(), i))
  91             res.append('}')
  92             res.append('static inline void simcall_%s__set__%s(smx_simcall_t simcall, %s arg) {' % (
  93                 self.name, arg.name, arg.rettype()))
  94             res.append('    simgrid::simix::marshal<%s>(simcall->args[%i], arg);' % (arg.rettype(), i))
  95             res.append('}')
  96
  97         # Return value getter/setters
  98         if self.res.type != 'void':
  99             res.append(
 100                 'static inline %s simcall_%s__get__result(smx_simcall_t simcall){' % (self.res.rettype(), self.name))
 101             res.append('    return simgrid::simix::unmarshal<%s>(simcall->result);' % self.res.rettype())
 102             res.append('}')
 103             res.append(
 104                 'static inline void simcall_%s__set__result(smx_simcall_t simcall, %s result){' % (self.name, self.res.rettype()))
 105             res.append('    simgrid::simix::marshal<%s>(simcall->result, result);' % (self.res.rettype()))
 106             res.append('}')
 107         return '\n'.join(res)
 108
 109     def case(self):
 110         res = []
 111         args = [ ("simgrid::simix::unmarshal<%s>(simcall->args[%d])" % (arg.rettype(), i))
 112             for i, arg in enumerate(self.args) ]
 113         res.append('case SIMCALL_%s:' % (self.name.upper()))
 114         if self.need_handler:
 115             call = "simcall_HANDLER_%s(simcall%s%s)" % (self.name,
 116                 ", " if len(args) > 0 else "",
 117                 ', '.join(args))
 118         else:
 119             call = "SIMIX_%s(%s)" % (self.name, ', '.join(args))
 120         if self.call_kind == 'Func':
 121             res.append("      simgrid::simix::marshal<%s>(simcall->result, %s);" % (self.res.rettype(), call))
 122         else:
 123             res.append("      " + call + ";");
 124         res.append('      %sbreak;  \n' %
 125                    ('SIMIX_simcall_answer(simcall);\n      ' if self.call_kind != 'Blck' else ' '))
 126         return '\n'.join(res)
 127
 128     def body(self):
 129         res = ['  ']
 130         res.append(
 131             'inline static %s simcall_BODY_%s(%s) {' % (self.res.rettype(),
 132                                                         self.name,
 133                                                         ', '.join('%s %s' % (arg.rettype(), arg.name) for arg in self.args)))
 134         res.append(
 135             '    /* Go to that function to follow the code flow through the simcall barrier */')
 136         if self.need_handler:
 137             res.append('    if (0) simcall_HANDLER_%s(%s);' % (self.name,
 138                                                                ', '.join(["&SIMIX_process_self()->simcall"] + [arg.name for arg in self.args])))
 139         else:
 140             res.append('    if (0) SIMIX_%s(%s);' % (self.name,
 141                                                      ', '.join(arg.name for arg in self.args)))
 142         res.append('    return simcall<%s%s>(SIMCALL_%s%s);' % (
 143             self.res.rettype(),
 144             "".join([ ", " + arg.rettype() for i, arg in enumerate(self.args) ]),
 145             self.name.upper(),
 146             "".join([ ", " + arg.name for i, arg in enumerate(self.args) ])
 147             ));
 148         res.append('  }')
 149         return '\n'.join(res)
 150
 151     def handler_prototype(self):
 152         if self.need_handler:
 153             return "XBT_PRIVATE %s simcall_HANDLER_%s(smx_simcall_t simcall%s);" % (self.res.rettype() if self.call_kind == 'Func' else 'void',
 154                                                                                     self.name,
 155                                                                                     ''.join(', %s %s' % (arg.rettype(), arg.name)
 156                                                                                             for i, arg in enumerate(self.args)))
 157         else:
 158             return ""
 159
 160
 161 def parse(fn):
 162     simcalls = []
 163     resdi = None
 164     simcalls_guarded = {}
 165     for line in open(fn).read().split('\n'):
 166         if line.startswith('##'):
 167             resdi = []
 168             simcalls_guarded[re.search(r'## *(.*)', line).group(1)] = resdi
 169         if line.startswith('#') or not line:
 170             continue
 171         match = re.match(
 172             r'(\S*?) *(\S*?) *(\S*?) *\((.*?)(?:, *(.*?))?\) *(.*)', line)
 173         assert match, line
 174         ans, handler, name, rest, resc, args = match.groups()
 175         assert (ans == 'Proc' or ans == 'Func' or ans == 'Blck'), "Invalid call type: '%s'. Faulty line:\n%s\n" % (
 176             ans, line)
 177         assert (handler == 'H' or handler == '-'), "Invalid need_handler indication: '%s'. Faulty line:\n%s\n" % (
 178             handler, line)
 179         sargs = []
 180         for n, t in re.findall(r'\((.*?), *(.*?)\)', args):
 181             sargs.append(Arg(n, t))
 182         sim = Simcall(name, handler == 'H',
 183                       Arg('result', rest), sargs, ans)
 184         if resdi is None:
 185             simcalls.append(sim)
 186         else:
 187             resdi.append(sim)
 188     return simcalls, simcalls_guarded
 189
 190
 191 def header(name):
 192     fd = open(name, 'w')
 193     fd.write(
 194         '/**********************************************************************/\n')
 195     fd.write(
 196         '/* File generated by src/simix/simcalls.py from src/simix/simcalls.in */\n')
 197     fd.write(
 198         '/*                                                                    */\n')
 199     fd.write(
 200         '/*                    DO NOT EVER CHANGE THIS FILE                    */\n')
 201     fd.write(
 202         '/*                                                                    */\n')
 203     fd.write(
 204         '/* change simcalls specification in src/simix/simcalls.in             */\n')
 205     fd.write(
 206         '/**********************************************************************/\n\n')
 207     fd.write('/*\n')
 208     fd.write(
 209         ' * Note that the name comes from http://en.wikipedia.org/wiki/Popping\n')
 210     fd.write(
 211         ' * Indeed, the control flow is doing a strange dance in there.\n')
 212     fd.write(' *\n')
 213     fd.write(
 214         ' * That\'s not about http://en.wikipedia.org/wiki/Poop, despite the odor :)\n')
 215     fd.write(' */\n\n')
 216     return fd
 217
 218
 219 def handle(fd, func, simcalls, guarded_simcalls):
 220     def nonempty(e): return e != ''
 221     fd.write(
 222         '\n'.join(filter(nonempty, (func(simcall) for simcall in simcalls))))
 223
 224     for guard, list in guarded_simcalls.items():
 225         fd.write('\n#if %s\n' % (guard))
 226         fd.write('\n'.join(func(simcall) for simcall in list))
 227         fd.write('\n#endif\n')
 228
 229 if __name__ == '__main__':
 230     import sys
 231     simcalls, simcalls_dict = parse('simcalls.in')
 232
 233     ok = True
 234     ok &= all(map(Simcall.check, simcalls))
 235     for k, v in simcalls_dict.items():
 236         ok &= all(map(Simcall.check, v))
 237     # FIXME: we should not hide it
 238     # if not ok:
 239     #  print ("Some checks fail!")
 240     #  sys.exit(1)
 241
 242     #
 243     # smx_popping_accessors.c
 244     #
 245     fd = header('popping_accessors.h')
 246     fd.write('#include "src/simix/popping_private.h"');
 247     handle(fd, Simcall.accessors, simcalls, simcalls_dict)
 248     fd.write(
 249         "\n\n/* The prototype of all simcall handlers, automatically generated for you */\n\n")
 250     handle(fd, Simcall.handler_prototype, simcalls, simcalls_dict)
 251     fd.close()
 252
 253     #
 254     # smx_popping_enum.c
 255     #
 256     fd = header("popping_enum.h")
 257     fd.write('/**\n')
 258     fd.write(' * @brief All possible simcalls.\n')
 259     fd.write(' */\n')
 260     fd.write('typedef enum {\n')
 261     fd.write('  SIMCALL_NONE,\n')
 262
 263     handle(fd, Simcall.enum, simcalls, simcalls_dict)
 264
 265     fd.write('  NUM_SIMCALLS\n')
 266     fd.write('} e_smx_simcall_t;\n')
 267     fd.close()
 268
 269     #
 270     # smx_popping_generated.cpp
 271     #
 272
 273     fd = header("popping_generated.cpp")
 274
 275     fd.write('#include <xbt/base.h>\n')
 276     fd.write('#include "smx_private.h"\n')
 277     fd.write('#if HAVE_MC\n')
 278     fd.write('#include "src/mc/mc_forward.hpp"\n')
 279     fd.write('#endif\n')
 280     fd.write('\n')
 281     fd.write('XBT_LOG_EXTERNAL_DEFAULT_CATEGORY(simix_popping);\n\n')
 282
 283     fd.write(
 284         '/** @brief Simcalls\' names (generated from src/simix/simcalls.in) */\n')
 285     fd.write('const char* simcall_names[] = {\n')
 286
 287     fd.write('   "SIMCALL_NONE",')
 288     handle(fd, Simcall.string, simcalls, simcalls_dict)
 289
 290     fd.write('};\n\n')
 291
 292     fd.write('/** @private\n')
 293     fd.write(
 294         ' * @brief (in kernel mode) unpack the simcall and activate the handler\n')
 295     fd.write(' * \n')
 296     fd.write(' * This function is generated from src/simix/simcalls.in\n')
 297     fd.write(' */\n')
 298     fd.write(
 299         'void SIMIX_simcall_handle(smx_simcall_t simcall, int value) {\n')
 300     fd.write(
 301         '  XBT_DEBUG("Handling simcall %p: %s", simcall, SIMIX_simcall_name(simcall->call));\n')
 302     fd.write('  SIMCALL_SET_MC_VALUE(simcall, value);\n')
 303     fd.write(
 304         '  if (simcall->issuer->context->iwannadie && simcall->call != SIMCALL_PROCESS_CLEANUP)\n')
 305     fd.write('    return;\n')
 306     fd.write('  switch (simcall->call) {\n')
 307
 308     handle(fd, Simcall.case, simcalls, simcalls_dict)
 309
 310     fd.write('    case NUM_SIMCALLS:\n')
 311     fd.write('      break;\n')
 312     fd.write('    case SIMCALL_NONE:\n')
 313     fd.write(
 314         '      THROWF(arg_error,0,"Asked to do the noop syscall on %s@%s",\n')
 315     fd.write('          SIMIX_process_get_name(simcall->issuer),\n')
 316     fd.write(
 317         '          sg_host_get_name(SIMIX_process_get_host(simcall->issuer))\n')
 318     fd.write('          );\n')
 319     fd.write('      break;\n')
 320     fd.write('\n')
 321     fd.write('  }\n')
 322     fd.write('}\n')
 323
 324     fd.close()
 325
 326     #
 327     # smx_popping_bodies.cpp
 328     #
 329     fd = header('popping_bodies.cpp')
 330     fd.write('#include "smx_private.h"\n')
 331     fd.write('#include "src/mc/mc_forward.hpp"\n')
 332     fd.write('#include "xbt/ex.h"\n')
 333     fd.write('#include <simgrid/simix.hpp>\n')
 334     fd.write("/** @cond */ // Please Doxygen, don't look at this\n")
 335     fd.write('''
 336 template<class R, class... T>
 337 inline static R simcall(e_smx_simcall_t call, T const&... t)
 338 {
 339   smx_process_t self = SIMIX_process_self();
 340   simgrid::simix::marshal(&self->simcall, call, t...);
 341   if (self != simix_global->maestro_process) {
 342     XBT_DEBUG("Yield process '%s' on simcall %s (%d)", self->name.c_str(),
 343               SIMIX_simcall_name(self->simcall.call), (int)self->simcall.call);
 344     SIMIX_process_yield(self);
 345   } else {
 346     SIMIX_simcall_handle(&self->simcall, 0);
 347   }
 348   return simgrid::simix::unmarshal<R>(self->simcall.result);
 349 }
 350 ''')
 351     handle(fd, Simcall.body, simcalls, simcalls_dict)
 352     fd.write("/** @endcond */\n");
 353     fd.close()