include/gras/datadesc.h

   1 /* $Id$ */
   2
   3 /* gras/datadesc.h - Describing the data you want to exchange               */
   4
   5 /* Copyright (c) 2003, 2004 Martin Quinson. All rights reserved.            */
   6
   7 /* This program is free software; you can redistribute it and/or modify it
   8  * under the terms of the license (GNU LGPL) which comes with this package. */
   9
  10 #ifndef GRAS_DATADESC_H
  11 #define GRAS_DATADESC_H
  12
  13 #include "xbt/misc.h" /* SG_BEGIN_DECL */
  14 #include "xbt/dynar.h" /* void_f_pvoid_t */
  15
  16 SG_BEGIN_DECL()
  17
  18 /** @addtogroup GRAS_dd Data description
  19  *  @brief Describing data to be exchanged (Communication facility)
  20  *
  21  * <center><table><tr><td><b>Top</b>    <td> [\ref index]::[\ref GRAS_API]
  22  *                <tr><td>Prev          <td>
  23  *                <tr><td><b>Next</b>   <td> [\ref GRAS_sock]
  24  *                <tr><td><b>Down</b>   <td> [\ref GRAS_dd_basic]            </table></center>
  25  *
  26  * Since GRAS takes care of potential representation conversion when the platform is heterogeneous,
  27  * any data which transits on the network must be described beforehand.
  28  *
  29  * There is several possible interfaces for this, ranging from the really completely automatic parsing to
  30  * completely manual. Let's study each of them from the simplest to the more advanced:
  31  *
  32  *   - Section \ref GRAS_dd_basic presents how to retrieve and use an already described type.
  33  *   - Section \ref GRAS_dd_auto shows how to get GRAS parsing your type description automagically. This
  34  *     is unfortunately not always possible (only works for some structures), but if it is for your data,
  35  *     this is definitly the way to go.
  36  *   - Section \ref GRAS_dd_manual presents how to build a description manually. This is useful when you want
  37  *     to describe an array or a pointer of pre-defined structures.
  38  *   - You sometimes need to exchange informations between descriptions at send or receive time. This is
  39  *     for example useful when your structure contains an array which size is given by another field of the
  40  *     structure.
  41  *     - Section \ref GRAS_dd_cb_simple provides a simple interface to do so, allowing to share integers stored on a stack.
  42  *     - Section \ref GRAS_dd_cb_full provides a full featured interface to do so, but it may reveal somehow difficult to use.
  43  **/
  44
  45 /** @defgroup GRAS_dd_basic Basic operations on data descriptions
  46  *  @ingroup GRAS_dd
  47  * <center><table><tr><td><b>Top</b>    <td> [\ref index]::[\ref GRAS_API]::[\ref GRAS_dd]
  48  *                <tr><td>   Prev       <td>
  49  *                <tr><td><b>Next</b>   <td> [\ref GRAS_dd_auto]            </table></center>
  50  *
  51  * If you only want to send pre-existing types, simply retrieve the pre-defined description with
  52  * the \ref gras_datadesc_by_name function. Existing types entail:
  53  *  - char (both signed and unsigned)
  54  *  - int (short, regular, long and long long, both signed and unsigned)
  55  *  - float and double
  56  *  - string (which is indeed a reference to a dynamically sized array of char, strlen being used to retrive the size)
  57  *
  58  * Example:\verbatim gras_datadesc_type_t i = gras_datadesc_by_name("int");
  59  gras_datadesc_type_t uc = gras_datadesc_by_name("unsigned char");
  60  gras_datadesc_type_t str = gras_datadesc_by_name("string");\endverbatim
  61  *
  62  */
  63 /* @{ */
  64
  65 /** @brief Opaque type describing a type description. */
  66 typedef struct s_gras_datadesc_type *gras_datadesc_type_t;
  67
  68 /** \brief Search a type description from its name */
  69 gras_datadesc_type_t gras_datadesc_by_name(const char *name);
  70
  71 /* @} */
  72
  73 /** @defgroup GRAS_dd_auto Automatic parsing of data descriptions
  74  *  @ingroup GRAS_dd
  75  * <center><table><tr><td><b>Top</b>    <td> [\ref index]::[\ref GRAS_API]::[\ref GRAS_dd]
  76  *                <tr><td><b>Prev</b>   <td> [\ref GRAS_dd_basic]
  77  *                <tr><td><b>Next</b>   <td> [\ref GRAS_dd_manual]            </table></center>
  78  *
  79  *  If you need to declare a new datatype, this is the simplest way to describe it to GRAS. Simply
  80  *  enclose its type definition  into a \ref GRAS_DEFINE_TYPE macro call, and you're set. Here is
  81  *  an type declaration  example: \verbatim GRAS_DEFINE_TYPE(mytype,struct mytype {
  82    int myfirstfield;
  83    char mysecondfield;
  84  });\endverbatim
  85  *  The type is then both copied verbatim into your source file and stored for further parsing. This allows
  86  *  you to let GRAS parse the exact version you are actually using in your program.
  87  *  You can then retrieve the corresponding type description with \ref gras_datadesc_by_symbol.
  88  *  Don't worry too much for the performances, the type is only parsed once and a binary representation
  89  *  is stored and used in any subsequent calls.
  90  *
  91  *  If your structure contains any pointer, you have to explain GRAS the size of the pointed array. This
  92  *  can be 1 in the case of simple references, or more in the case of regular arrays. For that, use the
  93  *  \ref GRAS_ANNOTE macro within the type declaration you are passing to \ref GRAS_DEFINE_TYPE. This macro
  94  *  rewrites itself to nothing in the declaration (so they won't pollute the type definition copied verbatim
  95  *  into your code), and give some information to GRAS about your pointer.
  96
  97  *  GRAS_ANNOTE takes two arguments being the key name and the key value. For now, the only accepted key name
  98  *  is "size", to specify the length of the pointed array. It can either be:
  99  *    - the string "1" (without the quote),
 100  *    - the name of another field of the structure
 101  *    - a sort of computed expression for multidimensional arrays (see below -- pay attention to the warnings below).
 102  *
 103  *  Here is an example:\verbatim GRAS_DEFINE_TYPE(s_clause,
 104   struct s_array {
 105     struct s_array *father GRAS_ANNOTE(size,1);
 106     int length;
 107     int *data GRAS_ANNOTE(size,length);
 108     int rows;
 109     int cols;
 110     int *matrix GRAS_ANNOTE(size,rows*cols);
 111  }
 112 ;)\endverbatim
 113  * It specifies that the structure s_array contains five fields, that the \a father field is a simple reference,
 114  * that the size of the array pointed by \a data is the \a length field, and that the \a matrix field is an array
 115  * which size is the result of \a rows times \a cols.
 116  *
 117  *  \warning The mecanism for multidimensional arrays is known to be fragile and cumbersome. If you want to use it,
 118  *  you have to understand how it is implemented: the multiplication is performed using the sizes stack. In previous example,
 119  *  a \ref gras_datadesc_cb_push_int callback is added to the \a rows field and a \ref gras_datadesc_cb_push_int_mult one is
 120  *  added to \a cols. So, when the structure is sent, the rows field push its value onto the stack, then the \a cols field
 121  *  retrieve this value from the stack, compute (and push) the multiplication value. The \a matrix field can then retrive this
 122  *  value by poping the array. There is several ways for this to go wrong:
 123  *   - if the matrix field is placed before the sizes, the right value won't get pushed into the stack soon enough. Reorder your structure fields if needed.
 124  *   - if you write GRAS_ANNOTE(size,cols*rows); in previous example (inverting rows and cols in annotation),
 125  *     \a rows will be given a \ref gras_datadesc_cb_push_int_mult. This cannot work since it will try to
 126  *     pop the value which will be pushed by \a cols <i>afterward</i>.
 127  *   - if you have more than one matrix in your structure, don't interleave the size. They are pushed/poped in the structure order.
 128  *   - if some of the sizes are used in more than one matrix, you cannot use this mecanism -- sorry.
 129  *
 130  * If you cannot express your datadescs with this mechanism, you'll have to use the more advanced
 131  * (and somehow complex) one described below.
 132  *
 133  *  \warning Since GRAS_DEFINE_TYPE is a macro, you shouldn't put any comma in your type definition
 134  *  (comma separates macro args). For example, change \verbatim int a, b;\endverbatim to \verbatim int a;
 135  int b;\endverbatim
 136  */
 137 /** @{ */
 138
 139
 140 /**   @brief Automatically parse C code
 141  *    @hideinitializer
 142  */
 143 #define GRAS_DEFINE_TYPE(name,def) \
 144   static const char * _gras_this_type_symbol_does_not_exist__##name=#def; def
 145
 146 /** @brief Retrieve a datadesc which was previously parsed
 147  *  @hideinitializer
 148  */
 149 #define gras_datadesc_by_symbol(name)  \
 150   (gras_datadesc_by_name(#name) ?      \
 151    gras_datadesc_by_name(#name) :      \
 152      gras_datadesc_parse(#name,        \
 153                          _gras_this_type_symbol_does_not_exist__##name) \
 154   )
 155
 156 /** @def GRAS_ANNOTE
 157  *  @brief Add an annotation to a type to be automatically parsed
 158  */
 159 #define GRAS_ANNOTE(key,val)
 160
 161 /* @} */
 162
 163 gras_datadesc_type_t
 164 gras_datadesc_parse(const char *name, const char *C_statement);
 165
 166 /** @defgroup GRAS_dd_manual Simple manual data description
 167  *  @ingroup GRAS_dd
 168  * <center><table><tr><td><b>Top</b>    <td> [\ref index]::[\ref GRAS_API]::[\ref GRAS_dd]
 169  *                <tr><td><b>Prev</b>   <td> [\ref GRAS_dd_auto]
 170  *                <tr><td><b>Next</b>   <td> [\ref GRAS_dd_cb_simple]            </table></center>
 171  *
 172  * Here are the functions to use if you want to declare your description manually.
 173  * The function names should be self-explanatory in most cases.
 174  *
 175  * You can add callbacks to the datatypes doing any kind of action you may want. Usually,
 176  * pre-send callbacks are used to prepare the type expedition while post-receive callbacks
 177  * are used to fix any issue after the receive.
 178  *
 179  * If your types are dynamic, you'll need to add some extra callback. For example, there is a
 180  * specific callback for the string type which is in charge of computing the length of the char
 181  * array. This is done with the cbps mechanism, explained in next section.
 182  *
 183  * If your types may contain pointer cycle, you must specify it to GRAS using the @ref gras_datadesc_cycle_set.
 184  *
 185  * Example:\verbatim
 186  typedef struct {
 187    unsigned char c1;
 188    unsigned long int l1;
 189    unsigned char c2;
 190    unsigned long int l2;
 191  } mystruct;
 192  [...]
 193   my_type=gras_datadesc_struct("mystruct");
 194   gras_datadesc_struct_append(my_type,"c1", gras_datadesc_by_name("unsigned char"));
 195   gras_datadesc_struct_append(my_type,"l1", gras_datadesc_by_name("unsigned long"));
 196   gras_datadesc_struct_append(my_type,"c2", gras_datadesc_by_name("unsigned char"));
 197   gras_datadesc_struct_append(my_type,"l2", gras_datadesc_by_name("unsigned long int"));
 198   gras_datadesc_struct_close(my_type);
 199
 200   my_type=gras_datadesc_ref("mystruct*", gras_datadesc_by_name("mystruct"));
 201
 202   [Use my_type to send pointers to mystruct data]\endverbatim
 203  */
 204 /* @{ */
 205
 206
 207 /** \brief Opaque type describing a type description callback persistant state. */
 208 typedef struct s_gras_cbps *gras_cbps_t;
 209
 210 /* callbacks prototypes */
 211 /** \brief Prototype of type callbacks returning nothing. */
 212 typedef void (*gras_datadesc_type_cb_void_t)(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 213 /** \brief Prototype of type callbacks returning an int. */
 214 typedef int (*gras_datadesc_type_cb_int_t)(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 215 /** \brief Prototype of type callbacks selecting a type. */
 216 typedef gras_datadesc_type_t (*gras_datadesc_selector_t)(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 217
 218
 219 /******************************************
 220  **** Declare datadescription yourself ****
 221  ******************************************/
 222
 223 gras_datadesc_type_t gras_datadesc_struct(const char *name);
 224 void gras_datadesc_struct_append(gras_datadesc_type_t  struct_type,
 225                                  const char           *name,
 226                                  gras_datadesc_type_t  field_type);
 227 void gras_datadesc_struct_close(gras_datadesc_type_t   struct_type);
 228
 229
 230 gras_datadesc_type_t gras_datadesc_union(const char                 *name,
 231                                          gras_datadesc_type_cb_int_t selector);
 232 void gras_datadesc_union_append(gras_datadesc_type_t   union_type,
 233                                 const char            *name,
 234                                 gras_datadesc_type_t   field_type);
 235 void gras_datadesc_union_close(gras_datadesc_type_t    union_type);
 236
 237
 238 gras_datadesc_type_t
 239   gras_datadesc_ref(const char          *name,
 240                     gras_datadesc_type_t referenced_type);
 241 gras_datadesc_type_t
 242   gras_datadesc_ref_generic(const char              *name,
 243                             gras_datadesc_selector_t selector);
 244
 245 gras_datadesc_type_t
 246   gras_datadesc_array_fixed(const char          *name,
 247                             gras_datadesc_type_t element_type,
 248                             long int             fixed_size);
 249 gras_datadesc_type_t
 250   gras_datadesc_array_dyn(const char                 *name,
 251                           gras_datadesc_type_t        element_type,
 252                           gras_datadesc_type_cb_int_t dynamic_size);
 253 gras_datadesc_type_t
 254   gras_datadesc_ref_pop_arr(gras_datadesc_type_t  element_type);
 255
 256 gras_datadesc_type_t
 257   gras_datadesc_dynar(gras_datadesc_type_t elm_t,
 258                       void_f_pvoid_t *free_func);
 259
 260 /*********************************
 261  * Change stuff within datadescs *
 262  *********************************/
 263
 264 /** \brief Specify that this type may contain cycles */
 265 void gras_datadesc_cycle_set(gras_datadesc_type_t type);
 266 /** \brief Specify that this type do not contain any cycles (default) */
 267 void gras_datadesc_cycle_unset(gras_datadesc_type_t type);
 268 /** \brief Add a pre-send callback to this datadesc. */
 269 void gras_datadesc_cb_send (gras_datadesc_type_t         type,
 270                             gras_datadesc_type_cb_void_t pre);
 271 /** \brief Add a post-receive callback to this datadesc.*/
 272 void gras_datadesc_cb_recv(gras_datadesc_type_t          type,
 273                            gras_datadesc_type_cb_void_t  post);
 274 /** \brief Add a pre-send callback to the given field of the datadesc */
 275 void gras_datadesc_cb_field_send (gras_datadesc_type_t   type,
 276                                   const char            *field_name,
 277                                   gras_datadesc_type_cb_void_t  pre);
 278 /** \brief Add a post-receive callback to the given field of the datadesc */
 279 void gras_datadesc_cb_field_recv(gras_datadesc_type_t    type,
 280                                  const char             *field_name,
 281                                  gras_datadesc_type_cb_void_t  post);
 282 /** \brief Add a pre-send callback to the given field resulting in its value to be pushed */
 283 void gras_datadesc_cb_field_push (gras_datadesc_type_t   type,
 284                                   const char            *field_name);
 285 /** \brief Add a pre-send callback to the given field resulting in its value multiplied to any previously pushed value and then pushed back */
 286 void gras_datadesc_cb_field_push_multiplier (gras_datadesc_type_t type,
 287                                              const char          *field_name);
 288
 289 /******************************
 290  * Get stuff within datadescs *
 291  ******************************/
 292 /** \brief Returns the name of a datadescription */
 293 const char * gras_datadesc_get_name(gras_datadesc_type_t ddt);
 294 /** \brief Returns the identifier of a datadescription */
 295 int gras_datadesc_get_id(gras_datadesc_type_t ddt);
 296
 297 /* @} */
 298
 299 /** @defgroup GRAS_dd_cb_simple Data description with Callback Persistant State: Simple push/pop mechanism
 300  *  @ingroup GRAS_dd
 301  * <center><table><tr><td><b>Top</b>    <td> [\ref index]::[\ref GRAS_API]::[\ref GRAS_dd]
 302  *                <tr><td><b>Prev</b>   <td> [\ref GRAS_dd_manual]
 303  *                <tr><td><b>Next</b>   <td> [\ref GRAS_dd_cb_full]            </table></center>
 304  *
 305  * Sometimes, one of the callbacks need to leave information for the next ones. If this is a simple integer (such as
 306  * an array size), you can use the functions described here. If not, you'll have to play with the complete cbps interface.
 307  *
 308  *
 309  * Here is an example:\verbatim
 310 struct s_array {
 311   int length;
 312   int *data;
 313 }
 314 [...]
 315 my_type=gras_datadesc_struct("s_array");
 316 gras_datadesc_struct_append(my_type,"length", gras_datadesc_by_name("int"));
 317 gras_datadesc_cb_field_send (my_type, "length", gras_datadesc_cb_push_int);
 318
 319 gras_datadesc_struct_append(my_type,"data",
 320                             gras_datadesc_array_dyn ("s_array::data",gras_datadesc_by_name("int"), gras_datadesc_cb_pop));
 321 gras_datadesc_struct_close(my_type);
 322 \endverbatim
 323
 324  *
 325  * The *_mult versions are intended for multi-dimensional arrays: They multiply their value to the previously pushed one
 326  * (by another field callback) and push the result of the multiplication back. An example of use follows. Please note
 327  * that the first field needs a regular push callback, not a multiplier one. Think of it as a stacked calculator (man dc(1)).\verbatim
 328 struct s_matrix {
 329   int row;
 330   int col;
 331   int *data;
 332 }
 333 [...]
 334 my_type=gras_datadesc_struct("s_matrix");
 335 gras_datadesc_struct_append(my_type,"row", gras_datadesc_by_name("int"));
 336 gras_datadesc_cb_field_send (my_type, "length", gras_datadesc_cb_push_int);
 337 gras_datadesc_struct_append(my_type,"col", gras_datadesc_by_name("int"));
 338 gras_datadesc_cb_field_send (my_type, "length", gras_datadesc_cb_push_int_mult);
 339
 340 gras_datadesc_struct_append(my_type,"data",
 341                             gras_datadesc_array_dyn ("s_matrix::data",gras_datadesc_by_name("int"), gras_datadesc_cb_pop));
 342 gras_datadesc_struct_close(my_type);
 343 \endverbatim
 344
 345  */
 346 /* @{ */
 347
 348 void
 349 gras_cbps_i_push(gras_cbps_t ps, int val);
 350 int
 351 gras_cbps_i_pop(gras_cbps_t ps);
 352
 353 int gras_datadesc_cb_pop(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 354
 355 void gras_datadesc_cb_push_int(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 356 void gras_datadesc_cb_push_uint(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 357 void gras_datadesc_cb_push_lint(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 358 void gras_datadesc_cb_push_ulint(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 359
 360 void gras_datadesc_cb_push_int_mult(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 361 void gras_datadesc_cb_push_uint_mult(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 362 void gras_datadesc_cb_push_lint_mult(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 363 void gras_datadesc_cb_push_ulint_mult(gras_datadesc_type_t typedesc, gras_cbps_t vars, void *data);
 364
 365
 366 /* @} */
 367
 368 /** @defgroup GRAS_dd_cb_full Data description with Callback Persistant State: Full featured interface
 369  *  @ingroup GRAS_dd
 370  * <center><table><tr><td><b>Top</b>    <td> [\ref index]::[\ref GRAS_API]::[\ref GRAS_dd]
 371  *                <tr><td><b>Prev</b>   <td> [\ref GRAS_dd_cb_simple]
 372  *                <tr><td>Next          <td>             </table></center>
 373  *
 374  * Sometimes, one of the callbacks need to leave information for the next ones. If the simple push/pop mechanism
 375  * introduced in previous section isn't enough, you can always use this full featured one.
 376  */
 377
 378 /* @{ */
 379
 380 void   gras_cbps_v_pop (gras_cbps_t            ps,
 381                         const char            *name,
 382               /* OUT */ gras_datadesc_type_t  *ddt,
 383               /* OUT */ void                 **res);
 384 void   gras_cbps_v_push(gras_cbps_t            ps,
 385                         const char            *name,
 386                         void                  *data,
 387                         gras_datadesc_type_t   ddt);
 388 void   gras_cbps_v_set (gras_cbps_t            ps,
 389                         const char            *name,
 390                         void                  *data,
 391                         gras_datadesc_type_t   ddt);
 392
 393 void * gras_cbps_v_get (gras_cbps_t            ps,
 394                         const char            *name,
 395               /* OUT */ gras_datadesc_type_t  *ddt);
 396
 397 void gras_cbps_block_begin(gras_cbps_t ps);
 398 void gras_cbps_block_end(gras_cbps_t ps);
 399
 400 /* @} */
 401 /* @} */
 402
 403
 404 /*******************************
 405  **** About data convertion ****
 406  *******************************/
 407 int gras_arch_selfid(void); /* ID of this arch */
 408
 409
 410 /*****************************
 411  **** NWS datadescription * FIXME: obsolete?
 412  *****************************/
 413
 414 /**
 415  * Basic types we can embeed in DataDescriptors.
 416  */
 417 typedef enum
 418   {CHAR_TYPE, DOUBLE_TYPE, FLOAT_TYPE, INT_TYPE, LONG_TYPE, SHORT_TYPE,
 419    UNSIGNED_INT_TYPE, UNSIGNED_LONG_TYPE, UNSIGNED_SHORT_TYPE, STRUCT_TYPE}
 420   DataTypes;
 421 #define SIMPLE_TYPE_COUNT 9
 422
 423 /**  \brief Describe a collection of data.
 424  *
 425 ** A description of a collection of \a type data.  \a repetitions is used only
 426 ** for arrays; it contains the number of elements.  \a offset is used only for
 427 ** struct members in host format; it contains the offset of the member from the
 428 ** beginning of the struct, taking into account internal padding added by the
 429 ** compiler for alignment purposes.  \a members, \a length, and \a tailPadding are
 430 ** used only for STRUCT_TYPE data; the \a length -long array \a members describes
 431 ** the members of the nested struct, and \a tailPadding indicates how many
 432 ** padding bytes the compiler adds to the end of the structure.
 433 */
 434
 435 typedef struct DataDescriptorStruct {
 436   DataTypes type;
 437   size_t repetitions;
 438   size_t offset;
 439   /*@null@*/ struct DataDescriptorStruct *members;
 440   size_t length;
 441   size_t tailPadding;
 442 } DataDescriptor;
 443 /** DataDescriptor for an array */
 444 #define SIMPLE_DATA(type,repetitions) \
 445   {type, repetitions, 0, NULL, 0, 0}
 446 /** DataDescriptor for an structure member */
 447 #define SIMPLE_MEMBER(type,repetitions,offset) \
 448   {type, repetitions, offset, NULL, 0, 0}
 449 /** DataDescriptor for padding bytes */
 450 #define PAD_BYTES(structType,lastMember,memberType,repetitions) \
 451   sizeof(structType) - offsetof(structType, lastMember) - \
 452   sizeof(memberType) * repetitions
 453
 454 gras_datadesc_type_t
 455 gras_datadesc_import_nws(const char           *name,
 456                          const DataDescriptor *desc,
 457                          unsigned long         howmany);
 458
 459
 460 SG_END_DECL()
 461
 462 #endif /* GRAS_DATADESC_H */