Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Lua: add support of closures to the state cloner
[simgrid.git] / src / bindings / lua / simgrid_lua.c
index dcde461..5fdd7c1 100644 (file)
@@ -1,14 +1,16 @@
-/* SimGrid Lua bindings                                                     */
-
 /* Copyright (c) 2010. The SimGrid Team.
  * All rights reserved.                                                     */
 
 /* This program is free software; you can redistribute it and/or modify it
  * under the terms of the license (GNU LGPL) which comes with this package. */
+
+/* SimGrid Lua bindings                                                     */
+
 #include "simgrid_lua.h"
-#include <string.h> // memcpy
+#include "lua_state_cloner.h"
+#include "lua_utils.h"
 
-XBT_LOG_NEW_DEFAULT_SUBCATEGORY(lua, bindings, "Lua Bindings");
+XBT_LOG_NEW_DEFAULT_CATEGORY(lua, "Lua Bindings");
 
 static lua_State *lua_maestro_state;
 
@@ -20,485 +22,27 @@ static lua_State *lua_maestro_state;
 #define AS_MODULE_NAME "simgrid.AS"
 #define TRACE_MODULE_NAME "simgrid.Trace"
 
-/**
- * @brief A chunk of memory.
- *
- * TODO replace this by a dynar
- */
-typedef struct s_buffer {
-  char* data;
-  size_t size;
-  size_t capacity;
-} s_buffer_t, *buffer_t;
-
-static const char* value_tostring(lua_State* L, int index);
-static const char* keyvalue_tostring(lua_State* L, int key_index, int value_index);
-static void stack_dump(const char *msg, lua_State* L);
-static int writer(lua_State* L, const void* source, size_t size, void* userdata);
-static void move_value(lua_State* dst, lua_State* src, const char* name);
-static int l_get_from_father(lua_State* L);
-static lua_State *clone_lua_state(lua_State* L);
-static m_task_t check_task(lua_State *L, int index);
 static void register_c_functions(lua_State *L);
 
-/* ********************************************************************************* */
-/*                            helper functions                                       */
-/* ********************************************************************************* */
-
-/**
- * @brief Returns a string representation of a value in the Lua stack.
- *
- * This function is for debugging purposes.
- * It always returns the same pointer.
- *
- * @param L the Lua state
- * @param index index in the stack
- * @return a string representation of the value at this index
- */
-static const char* value_tostring(lua_State* L, int index) {
-
-  static char buff[64];
-
-  switch (lua_type(L, index)) {
-
-    case LUA_TNIL:
-      sprintf(buff, "nil");
-      break;
-
-    case LUA_TNUMBER:
-      sprintf(buff, "%.3f", lua_tonumber(L, index));
-      break;
-
-    case LUA_TBOOLEAN:
-      sprintf(buff, "%s", lua_toboolean(L, index) ? "true" : "false");
-      break;
-
-    case LUA_TSTRING:
-      snprintf(buff, 63, "'%s'", lua_tostring(L, index));
-      break;
-
-    case LUA_TFUNCTION:
-      if (lua_iscfunction(L, index)) {
-        sprintf(buff, "C-function");
-      }
-      else {
-        sprintf(buff, "function");
-      }
-      break;
-
-    case LUA_TTABLE:
-      sprintf(buff, "table(%zu)", lua_objlen(L, index));
-      break;
-
-    case LUA_TLIGHTUSERDATA:
-    case LUA_TUSERDATA:
-      sprintf(buff, "userdata(%p)", lua_touserdata(L, index));
-      break;
-
-    case LUA_TTHREAD:
-      sprintf(buff, "thread");
-      break;
-  }
-  return buff;
-}
-
-/**
- * @brief Returns a string representation of a key-value pair.
- *
- * This function is for debugging purposes.
- * It always returns the same pointer.
- *
- * @param L the Lua state
- * @param key_index index of the key
- * @param value_index index of the value
- * @return a string representation of the key-value pair
- */
-static const char* keyvalue_tostring(lua_State* L, int key_index, int value_index) {
-
-  static char buff[64];
-  /* value_tostring also always returns the same pointer */
-  int len = snprintf(buff, 63, "%s -> ", value_tostring(L, key_index));
-  snprintf(buff + len, 63 - len, "%s", value_tostring(L, value_index));
-  return buff;
-}
-
-/**
- * @brief Returns a string composed of the specified number of spaces.
- *
- * This function is for debugging purposes.
- * It always returns the same pointer.
- *
- * @param length length of the string
- * @return a string of this length with only spaces
- */
-static const char* get_spaces(int length) {
-
-  static char spaces[128];
-
-  xbt_assert(length < 128);
-  memset(spaces, ' ', length);
-  spaces[length] = '\0';
-  return spaces;
-}
-
-/**
- * @brief Dumps the Lua stack if debug logs are enabled.
- * @param msg a message to print
- * @param L a Lua state
- */
-static void stack_dump(const char* msg, lua_State* L)
-{
-  if (XBT_LOG_ISENABLED(lua, xbt_log_priority_debug)) {
-    char buff[2048];
-    char* p = buff;
-    int i;
-    int top = lua_gettop(L);
-
-    if (1) return;
-
-    fflush(stdout);
-
-    p[0] = '\0';
-    for (i = 1; i <= top; i++) {  /* repeat for each level */
-
-      p += sprintf(p, "%s", value_tostring(L, i));
-      p += sprintf(p, " ");       /* put a separator */
-    }
-    XBT_DEBUG("%s%s", msg, buff);
-  }
-}
-
-/**
- * @brief Writes the specified data into a memory buffer.
- *
- * This function is a valid lua_Writer that writes into a memory buffer passed
- * as userdata.
- *
- * @param L a lua state
- * @param source some data
- * @param sz number of bytes of data
- * @param user_data the memory buffer to write
- */
-static int writer(lua_State* L, const void* source, size_t size, void* userdata) {
-
-  buffer_t buffer = (buffer_t) userdata;
-  while (buffer->capacity < buffer->size + size) {
-    buffer->capacity *= 2;
-    buffer->data = xbt_realloc(buffer->data, buffer->capacity);
-  }
-  memcpy(buffer->data + buffer->size, source, size);
-  buffer->size += size;
-
-  return 0;
-}
-
-/**
- * @brief Pops a value from the stack of a source state and pushes it on the
- * stack of another state.
- *
- * If the value is a table, its content is copied recursively. To avoid cycles,
- * a table of previsously visited tables must be present at index 1 of dst.
- * Its keys are pointers to visited tables in src and its values are the tables
- * already built.
- *
- * TODO: add support of closures
- *
- * @param src the source state
- * @param dst the destination state
- * @param name a name describing the value
- */
-static void move_value(lua_State* dst, lua_State *src, const char* name) {
-
-  luaL_checkany(src, -1);                  /* check the value to copy */
-  luaL_checktype(dst, 1, LUA_TTABLE);      /* check the presence of a table of
-                                              previously visited tables */
-
-  int indentation_level = (lua_gettop(dst) - 1) * 6;
-  const char* indent = get_spaces(indentation_level);
-
-  XBT_DEBUG("%sCopying value %s", indent, name);
-  indent = get_spaces(indentation_level + 2);
-
-  stack_dump("src before copying a value (should be ... value): ", src);
-  stack_dump("dst before copying a value (should be visited ...): ", dst);
-
-  switch (lua_type(src, -1)) {
-
-    case LUA_TNIL:
-      lua_pushnil(dst);
-      break;
-
-    case LUA_TNUMBER:
-      lua_pushnumber(dst, lua_tonumber(src, -1));
-      break;
-
-    case LUA_TBOOLEAN:
-      lua_pushboolean(dst, lua_toboolean(src, -1));
-      break;
-
-    case LUA_TSTRING:
-      /* no worries about memory: lua_pushstring makes a copy */
-      lua_pushstring(dst, lua_tostring(src, -1));
-      break;
-
-    case LUA_TFUNCTION:
-      /* it's a function that does not exist yet in L2 */
-
-      if (lua_iscfunction(src, -1)) {
-        /* it's a C function: just copy the pointer */
-        lua_CFunction f = lua_tocfunction(src, -1);
-        lua_pushcfunction(dst, f);
-      }
-      else {
-        /* it's a Lua function: dump it from src */
-        XBT_DEBUG("%sDumping Lua function '%s'", indent, name);
-
-        s_buffer_t buffer;
-        buffer.capacity = 64;
-        buffer.size = 0;
-        buffer.data = xbt_new(char, buffer.capacity);
-
-        /* copy the binary chunk from src into a buffer */
-        int error = lua_dump(src, writer, &buffer);
-        xbt_assert(!error, "Failed to dump function '%s' from the source state: error %d",
-              name, error);
-
-        /* load the chunk into dst */
-        error = luaL_loadbuffer(dst, buffer.data, buffer.size, name);
-        xbt_assert(!error, "Failed to load function '%s' from the source state: %s",
-            name, lua_tostring(dst, -1));
-        XBT_DEBUG("%sFunction '%s' successfully dumped from source state.", indent, name);
-      }
-      break;
+static void *my_checkudata (lua_State *L, int ud, const char *tname) {
 
-    case LUA_TTABLE:
+  XBT_DEBUG("Checking the task: ud = %d", ud);
+  sglua_stack_dump("my_checkudata: ", L);
+  void *p = lua_touserdata(L, ud);
+  lua_getfield(L, LUA_REGISTRYINDEX, tname);
+  const void* correct_mt = lua_topointer(L, -1);
 
-      /* see if this table was already visited */
-      lua_pushlightuserdata(dst, (void*) lua_topointer(src, -1));
-                                  /* dst: visited ... psrctable */
-      lua_gettable(dst, 1);
-                                  /* dst: visited ... table/nil */
-      if (lua_istable(dst, -1)) {
-        XBT_DEBUG("%sNothing to do: table already visited", indent);
-                                  /* dst: visited ... table */
-      }
-      else {
-        XBT_DEBUG("%sFirst visit of this table", indent);
-                                  /* dst: visited ... nil */
-        lua_pop(dst, 1);
-                                  /* dst: visited ... */
-
-        /* first visit: create the new table in dst */
-        lua_newtable(dst);
-                                  /* dst: visited ... table */
-
-        /* mark the table as visited to avoid infinite recursion */
-        lua_pushlightuserdata(dst, (void*) lua_topointer(src, -1));
-                                  /* dst: visited ... table psrctable */
-        lua_pushvalue(dst, -2);
-                                  /* dst: visited ... table psrctable table */
-        lua_settable(dst, 1);
-                                  /* dst: visited ... table */
-        XBT_DEBUG("%sTable marked as visited", indent);
-
-        stack_dump("dst after marking the table as visited (should be visited ... table): ", dst);
-
-        /* copy the metatable if any */
-        int has_meta_table = lua_getmetatable(src, -1);
-                                  /* src: ... table mt? */
-        if (has_meta_table) {
-          XBT_DEBUG("%sCopying metatable", indent);
-                                  /* src: ... table mt */
-          move_value(dst, src, "metatable");
-                                  /* src: ... table
-                                     dst: visited ... table mt */
-          lua_setmetatable(dst, -2);
-                                  /* dst: visited ... table */
-        }
-        else {
-          XBT_DEBUG("%sNo metatable", indent);
-        }
-
-        stack_dump("src before traversing the table (should be ... table): ", src);
-        stack_dump("dst before traversing the table (should be visited ... table): ", dst);
-
-        /* traverse the table of src and copy each element */
-        lua_pushnil(src);
-                                  /* src: ... table nil */
-        while (lua_next(src, -2) != 0) {
-                                  /* src: ... table key value */
-
-          XBT_DEBUG("%sCopying table element %s", indent, keyvalue_tostring(src, -2, -1));
-          indent = get_spaces(indentation_level + 4);
-
-          stack_dump("src before copying table element (should be ... table key value): ", src);
-          stack_dump("dst before copying table element (should be visited ... table): ", dst);
-
-          /* copy the key */
-          lua_pushvalue(src, -2);
-                                  /* src: ... table key value key */
-          XBT_DEBUG("%sCopying the key part of the table element", indent);
-          move_value(dst, src, value_tostring(src, -1));
-                                  /* src: ... table key value
-                                     dst: visited ... table key */
-          XBT_DEBUG("%sCopied the key part of the table element", indent);
-
-          /* copy the value */
-          XBT_DEBUG("%sCopying the value part of the table element", indent);
-          move_value(dst, src, value_tostring(src, -1));
-                                  /* src: ... table key
-                                     dst: visited ... table key value */
-          XBT_DEBUG("%sCopied the value part of the table element", indent);
-
-          /* set the table element */
-          lua_settable(dst, -3);
-                                  /* dst: visited ... table */
-
-          /* the key stays on top of src for next iteration */
-          stack_dump("src before next iteration (should be ... table key): ", src);
-          stack_dump("dst before next iteration (should be visited ... table): ", dst);
-
-          indent = get_spaces(indentation_level + 2);
-        }
-        XBT_DEBUG("%sFinished traversing the table", indent);
-      }
-      break;
+  int has_mt = lua_getmetatable(L, ud);
+  XBT_DEBUG("Checking the task: has metatable ? %d", has_mt);
+  const void* actual_mt = NULL;
+  if (has_mt) { actual_mt = lua_topointer(L, -1); lua_pop(L, 1); }
+  XBT_DEBUG("Checking the task's metatable: expected %p, found %p", correct_mt, actual_mt);
+  sglua_stack_dump("my_checkudata: ", L);
 
-    case LUA_TLIGHTUSERDATA:
-      lua_pushlightuserdata(dst, lua_touserdata(src, -1));
-      break;
-
-    case LUA_TUSERDATA:
-      XBT_WARN("Copying a full userdata is not supported yet.");
-      lua_pushnil(dst);
-      break;
-
-    case LUA_TTHREAD:
-      XBT_WARN("Cannot copy a thread from the source state.");
-      lua_pushnil(dst);
-      break;
-  }
-
-  /* pop the value from src */
-  lua_pop(src, 1);
-
-  indent = get_spaces(indentation_level);
-  XBT_DEBUG("%sCopied the value", indent);
-
-  stack_dump("src after copying a value (should be ...): ", src);
-  stack_dump("dst after copying a value (should be visited ... value): ", dst);
-}
-
-/**
- * @brief Copies a global value from the father state.
- *
- * The state L must have a father, i.e. it should have been created by
- * clone_lua_state().
- * This function is meant to be an __index metamethod.
- * Consequently, it assumes that the stack has two elements:
- * a table (usually the environment of L) and the string key of a value
- * that does not exist yet in this table. It copies the corresponding global
- * value from the father state and pushes it on the stack of L.
- * If the global value does not exist in the father state either, nil is
- * pushed.
- *
- * TODO: make this function thread safe. If the simulation runs in parallel,
- * several simulated processes may trigger this __index metamethod at the same
- * time and get globals from maestro.
- *
- * @param L the current state
- * @return number of return values pushed (always 1)
- */
-static int l_get_from_father(lua_State *L) {
-
-  /* retrieve the father */
-  lua_getfield(L, LUA_REGISTRYINDEX, "simgrid.father_state");
-  lua_State* father = lua_touserdata(L, -1);
-  xbt_assert(father != NULL, "This Lua state has no father");
-  lua_pop(L, 1);
-
-  /* get the global from the father */
-  const char* key = luaL_checkstring(L, 2);    /* L:      table key */
-  lua_getglobal(father, key);                  /* father: ... value */
-  XBT_DEBUG("__index of '%s' begins", key);
-
-  /* push the value onto the stack of L */
-  lua_newtable(L);                             /* L:      table key visited */
-  lua_insert(L, 1);                            /* L:      visited table key */
-  move_value(L, father, key);                  /* father: ...
-                                                  L:      visited table key value */
-  lua_remove(L, 1);                            /* L:      table key value */
-
-  /* prepare the return value of __index */
-  lua_pushvalue(L, -1);                        /* L:      table key value value */
-  lua_insert(L, 1);                            /* L:      value table key value */
-
-  /* save the copied value in the table for subsequent accesses */
-  lua_settable(L, -3);                         /* L:      value table */
-  lua_remove(L, 2);                            /* L:      value */
-
-  XBT_DEBUG("__index of '%s' returns %s", key, value_tostring(L, -1));
-
-  return 1;
-}
-
-/**
- * @brief Creates a new Lua state and get its environment from an existing state.
- *
- * The state created is independent from the existing one and has its own
- * copies of global variables and functions.
- * However, the global variables and functions are not copied right now from
- * the original state; they are copied only the first time they are accessed.
- * This behavior saves time and memory, and is okay for Simgrid's needs.
- *
- * @param father an existing state
- * @return the state created
- */
-static lua_State* clone_lua_state(lua_State *father) {
-
-  /* create the new state */
-  lua_State *L = luaL_newstate();
-
-  /* set its environment:
-   * - create a table newenv
-   * - create a metatable mt
-   * - set mt.__index = a function that copies the global from the father state
-   * - set mt as the metatable of newenv
-   * - set newenv as the environment of the new state
-   */
-  lua_pushthread(L);                        /* thread */
-  lua_newtable(L);                          /* thread newenv */
-  lua_newtable(L);                          /* thread newenv mt */
-  lua_pushcfunction(L, l_get_from_father);  /* thread newenv mt f */
-  lua_setfield(L, -2, "__index");           /* thread newenv mt */
-  lua_setmetatable(L, -2);                  /* thread newenv */
-  lua_setfenv(L, -2);                       /* thread */
-  lua_pop(L, 1);                            /* -- */
-
-  /* open the standard libs (theoretically, this is not necessary as they can
-   * be inherited like any global values, but without a proper support of
-   * closures, iterators like ipairs don't work). */
-  luaL_openlibs(L);
-
-  /* set a pointer to the father */
-  lua_pushlightuserdata(L, father);
-  lua_setfield(L, LUA_REGISTRYINDEX, "simgrid.father_state");
-
-  /* copy the registry */
-  lua_pushvalue(father, LUA_REGISTRYINDEX);    /* father: ... reg */
-  lua_newtable(L);                             /* L: visited */
-  move_value(L, father, "registry");           /* father: ...
-                                                  L: visited newreg */
-
-  /* set the pointer again */
-  lua_pushlightuserdata(L, father);            /* L: visited newreg father */
-  lua_setfield(L, -1, "simgrid.father_state"); /* L: visited newreg */
-  lua_replace(L, LUA_REGISTRYINDEX);           /* L: visited */
-  lua_pop(L, 1);                               /* L: -- */
-
-  XBT_DEBUG("New state created");
-
-  return L;
+  if (p == NULL || !lua_getmetatable(L, ud) || !lua_rawequal(L, -1, -2))
+    luaL_typerror(L, ud, tname);
+  lua_pop(L, 2);
+  return p;
 }
 
 /**
@@ -511,9 +55,12 @@ static lua_State* clone_lua_state(lua_State *father) {
 static m_task_t checkTask(lua_State * L, int index)
 {
   m_task_t *pi, tk;
+  XBT_DEBUG("Lua task: %s", sglua_tostring(L, index));
   luaL_checktype(L, index, LUA_TTABLE);
   lua_getfield(L, index, "__simgrid_task");
-  pi = (m_task_t *) luaL_checkudata(L, -1, TASK_MODULE_NAME);
+
+  pi = (m_task_t *) luaL_checkudata(L, lua_gettop(L), TASK_MODULE_NAME);
+
   if (pi == NULL)
     luaL_typerror(L, index, TASK_MODULE_NAME);
   tk = *pi;
@@ -603,7 +150,7 @@ static int Task_destroy(lua_State * L)
 
 static int Task_send(lua_State * L)
 {
-  //stackDump("send ",L);
+  //stack_dump("send ", L);
   m_task_t tk = checkTask(L, 1);
   const char *mailbox = luaL_checkstring(L, 2);
   lua_pop(L, 1);                // remove the string so that the task is on top of it
@@ -640,7 +187,7 @@ static int Task_recv_with_timeout(lua_State *L)
 
   if (res == MSG_OK) {
     lua_State *sender_stack = MSG_task_get_data(tk);
-    lua_xmove(sender_stack, L, 1);        // copy the data directly from sender's stack
+    sglua_move_value(sender_stack, L);        // copy the data directly from sender's stack
     MSG_task_set_data(tk, NULL);
   }
   else {
@@ -709,7 +256,7 @@ static m_host_t checkHost(lua_State * L, int index)
   m_host_t *pi, ht;
   luaL_checktype(L, index, LUA_TTABLE);
   lua_getfield(L, index, "__simgrid_host");
-  pi = (m_host_t *) luaL_checkudata(L, -1, HOST_MODULE_NAME);
+  pi = (m_host_t *) luaL_checkudata(L, lua_gettop(L), HOST_MODULE_NAME);
   if (pi == NULL)
     luaL_typerror(L, index, HOST_MODULE_NAME);
   ht = *pi;
@@ -979,7 +526,7 @@ static int run_lua_code(int argc, char **argv)
 {
   XBT_DEBUG("Run lua code %s", argv[0]);
 
-  lua_State *L = clone_lua_state(lua_maestro_state);
+  lua_State *L = sglua_clone_maestro();
   int res = 1;
 
   /* start the function */
@@ -1193,11 +740,32 @@ int luaopen_simgrid(lua_State *L)
   /* Keep the context mechanism informed of our lua world today */
   lua_maestro_state = L;
 
+  /* initialize access to my tables by children Lua states */
+  lua_newtable(L);
+  lua_setfield(L, LUA_REGISTRYINDEX, "simgrid.maestro_tables");
+
   register_c_functions(L);
 
   return 1;
 }
 
+/**
+ * @brief Returns whether a Lua state is the maestro state.
+ * @param L a Lua state
+ * @return true if this is maestro
+ */
+int sglua_is_maestro(lua_State* L) {
+  return L == lua_maestro_state;
+}
+
+/**
+ * @brief Returns the maestro state.
+ * @return true the maestro Lua state
+ */
+lua_State* sglua_get_maestro(void) {
+  return lua_maestro_state;
+}
+
 /**
  * Makes the appropriate Simgrid functions available to the Lua world.
  * @param L a Lua world