src/include/surf/surf.h

   1 /* Copyright (c) 2004-2017. The SimGrid Team. All rights reserved.          */
   2
   3 /* This program is free software; you can redistribute it and/or modify it
   4  * under the terms of the license (GNU LGPL) which comes with this package. */
   5
   6 #ifndef SURF_SURF_H
   7 #define SURF_SURF_H
   8
   9 #include "xbt/swag.h"
  10 #include "xbt/dynar.h"
  11 #include "xbt/dict.h"
  12 #include "xbt/graph.h"
  13 #include "xbt/misc.h"
  14 #include "xbt/config.h"
  15 #include "src/internal_config.h"
  16 #include "surf/datatypes.h"
  17 #include "simgrid/datatypes.h"
  18 #include "simgrid/forward.h"
  19
  20 SG_BEGIN_DECL()
  21 /* Actions and models are highly connected structures... */
  22
  23 /* user-visible parameters */
  24 extern XBT_PRIVATE double sg_tcp_gamma;
  25 extern XBT_PRIVATE double sg_sender_gap;
  26 extern XBT_PRIVATE double sg_latency_factor;
  27 extern XBT_PRIVATE double sg_bandwidth_factor;
  28 extern XBT_PRIVATE double sg_weight_S_parameter;
  29 extern XBT_PRIVATE int sg_network_crosstraffic;
  30
  31 #ifdef __cplusplus
  32
  33 namespace simgrid {
  34 namespace surf {
  35
  36 class Model;
  37 class CpuModel;
  38 class HostModel;
  39 class NetworkModel;
  40 class StorageModel;
  41 class Resource;
  42 class NetworkCm02Link;
  43 class Action;
  44 }
  45 }
  46
  47 typedef simgrid::surf::Model surf_Model;
  48 typedef simgrid::surf::CpuModel surf_CpuModel;
  49 typedef simgrid::surf::Cpu surf_Cpu;
  50 typedef simgrid::surf::HostModel surf_HostModel;
  51 typedef simgrid::surf::NetworkModel surf_NetworkModel;
  52 typedef simgrid::surf::StorageImpl surf_Storage;
  53 typedef simgrid::surf::StorageModel surf_StorageModel;
  54 typedef simgrid::surf::Resource surf_Resource;
  55 typedef simgrid::surf::HostImpl surf_Host;
  56 typedef simgrid::surf::Action surf_Action;
  57 typedef simgrid::surf::FileImpl surf_File;
  58
  59 #else
  60
  61 typedef struct surf_Model surf_Model;
  62 typedef struct surf_CpuModel surf_CpuModel;
  63 typedef struct surf_Cpu surf_Cpu;
  64 typedef struct surf_HostModel surf_HostModel;
  65 typedef struct surf_NetworkModel surf_NetworkModel;
  66 typedef struct surf_StorageImpl surf_Storage;
  67 typedef struct surf_StorageModel surf_StorageModel;
  68 typedef struct surf_Resource surf_Resource;
  69 typedef struct surf_Host surf_Host;
  70 typedef struct surf_Action surf_Action;
  71 typedef struct surf_File surf_File;
  72
  73 #endif
  74
  75 /** @ingroup SURF_c_bindings
  76  *  \brief Model datatype
  77  *
  78  *  Generic data structure for a model. The hosts,
  79  *  the CPUs and the network links are examples of models.
  80  */
  81 typedef surf_Model *surf_model_t;
  82 typedef surf_CpuModel *surf_cpu_model_t;
  83 typedef surf_HostModel *surf_host_model_t;
  84 typedef surf_NetworkModel *surf_network_model_t;
  85 typedef surf_StorageModel *surf_storage_model_t;
  86 typedef surf_Storage* surf_storage_t;
  87 typedef surf_File* surf_file_t;
  88
  89 /** @ingroup SURF_c_bindings
  90  *  \brief Action structure
  91  *
  92  *  Never create s_surf_action_t by yourself ! The actions are created
  93  *  on the fly when you call execute or communicate on a model.
  94  *
  95  *  \see e_surf_action_state_t
  96  */
  97 typedef surf_Action *surf_action_t;
  98
  99
 100 /** \brief Resource model description
 101  */
 102 struct surf_model_description {
 103   const char *name;
 104   const char *description;
 105   void_f_void_t model_init_preparse;
 106 };
 107 typedef struct surf_model_description  s_surf_model_description_t;
 108 typedef struct surf_model_description* surf_model_description_t;
 109
 110 XBT_PUBLIC(int) find_model_description(s_surf_model_description_t * table, const char *name);
 111 XBT_PUBLIC(void) model_help(const char *category, s_surf_model_description_t * table);
 112
 113 /***************************/
 114 /* Generic model object */
 115 /***************************/
 116
 117 /** @{ @ingroup SURF_c_bindings */
 118
 119 /**
 120  * @brief Pop an action from the done actions set
 121  *
 122  * @param model The model from which the action is extracted
 123  * @return An action in done state
 124  */
 125 XBT_PUBLIC(surf_action_t) surf_model_extract_done_action_set(surf_model_t model);
 126
 127 /**
 128  * @brief Pop an action from the failed actions set
 129  *
 130  * @param model The model from which the action is extracted
 131  * @return An action in failed state
 132  */
 133 XBT_PUBLIC(surf_action_t) surf_model_extract_failed_action_set(surf_model_t model);
 134
 135 /**
 136  * @brief Get the size of the running action set of a model
 137  *
 138  * @param model The model
 139  * @return The size of the running action set
 140  */
 141 XBT_PUBLIC(int) surf_model_running_action_set_size(surf_model_t model);
 142
 143 /** @brief Create a file closing action on the given host */
 144 XBT_PUBLIC(surf_action_t) surf_host_close(sg_host_t host, surf_file_t fd);
 145
 146 /** @brief Create a file reading action on the given host */
 147 XBT_PUBLIC(surf_action_t) surf_host_read(sg_host_t host, surf_file_t fd, sg_size_t size);
 148
 149 /** @brief Create a file writing action on the given host  */
 150 XBT_PUBLIC(surf_action_t) surf_host_write(sg_host_t host, surf_file_t fd, sg_size_t size);
 151
 152 /**
 153  * @brief Get the information of a file descriptor
 154  * @details The returned xbt_dynar_t contains:
 155  *  - the size of the file,
 156  *  - the mount point,
 157  *  - the storage name,
 158  *  - the storage typeId,
 159  *  - the storage content type
 160  *
 161  * @param host The surf host
 162  * @param fd The file descriptor
 163  * @return An xbt_dynar_t with the file information
 164  */
 165 XBT_PUBLIC(xbt_dynar_t) surf_host_get_info(sg_host_t host, surf_file_t fd);
 166
 167 /**
 168  * @brief Get the available space of the storage at the mount point
 169  *
 170  * @param resource The surf host
 171  * @param name The mount point
 172  * @return The amount of available space in bytes
 173  */
 174 XBT_PUBLIC(sg_size_t) surf_host_get_free_size(sg_host_t resource, const char* name);
 175
 176 /**
 177  * @brief Get the used space of the storage at the mount point
 178  *
 179  * @param resource The surf host
 180  * @param name The mount point
 181  * @return The amount of used space in bytes
 182  */
 183 XBT_PUBLIC(sg_size_t) surf_host_get_used_size(sg_host_t resource, const char* name);
 184
 185 /**
 186  * @brief Unlink a file descriptor
 187  *
 188  * @param host The surf host
 189  * @param fd The file descriptor
 190  *
 191  * @return 0 if failed to unlink, 1 otherwise
 192  */
 193 XBT_PUBLIC(int) surf_host_unlink(sg_host_t host, surf_file_t fd);
 194
 195 /**
 196  * @brief Get the current position of the file descriptor
 197  *
 198  * @param host The surf host
 199  * @param fd The file descriptor
 200  * @return The current position of the file descriptor
 201  */
 202 XBT_PUBLIC(size_t) surf_host_file_tell(sg_host_t host, surf_file_t fd);
 203
 204 /**
 205  * @brief Move a file to another location on the *same mount point*.
 206  * @details [long description]
 207  *
 208  * @param host The surf host
 209  * @param fd The file descriptor
 210  * @param fullpath The new full path
 211  *
 212  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
 213  */
 214 XBT_PUBLIC(int) surf_host_file_move(sg_host_t host, surf_file_t fd, const char* fullpath);
 215
 216 /**
 217  * @brief Set the position indictator assiociated with the file descriptor to a new position
 218  * @details [long description]
 219  *
 220  * @param host The surf host
 221  * @param fd The file descriptor
 222  * @param offset The offset from the origin
 223  * @param origin Position used as a reference for the offset
 224  *  - SEEK_SET: beginning of the file
 225  *  - SEEK_CUR: current position indicator
 226  *  - SEEK_END: end of the file
 227  * @return MSG_OK if successful, otherwise MSG_TASK_CANCELED
 228  */
 229 XBT_PUBLIC(int) surf_host_file_seek(sg_host_t host, surf_file_t fd, sg_offset_t offset, int origin);
 230
 231 /**
 232  * @brief [brief description]
 233  * @details [long description]
 234  *
 235  * @param action The surf cpu action
 236  * @param bound [description]
 237  */
 238 XBT_PUBLIC(void) surf_cpu_action_set_bound(surf_action_t action, double bound);
 239
 240 /**
 241  * @brief [brief description]
 242  * @details [long description]
 243  *
 244  * @param action The surf network action
 245  */
 246 XBT_PUBLIC(double) surf_network_action_get_latency_limited(surf_action_t action);
 247
 248 /**
 249  * @brief Get the file associated to a storage action
 250  *
 251  * @param action The surf storage action
 252  * @return The file associated to a storage action
 253  */
 254 XBT_PUBLIC(surf_file_t) surf_storage_action_get_file(surf_action_t action);
 255
 256 /** @} */
 257
 258 /**************************************/
 259 /* Implementations of model object */
 260 /**************************************/
 261
 262 /** \ingroup SURF_models
 263  *  \brief The CPU model object for the physical machine layer
 264  */
 265 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_pm;
 266
 267 /** \ingroup SURF_models
 268  *  \brief The CPU model object for the virtual machine layer
 269  */
 270 XBT_PUBLIC_DATA(surf_cpu_model_t) surf_cpu_model_vm;
 271
 272
 273 /** \ingroup SURF_models
 274  *  \brief Initializes the CPU model with the model Cas01
 275  *
 276  *  By default, this model uses the lazy optimization mechanism that relies on partial invalidation in LMM and a heap
 277  *  for lazy action update.
 278  *  You can change this behavior by setting the cpu/optim configuration variable to a different value.
 279  *
 280  *  You shouldn't have to call it by yourself.
 281  */
 282 XBT_PUBLIC(void) surf_cpu_model_init_Cas01();
 283
 284 /** \ingroup SURF_models
 285  *  \brief Initializes the CPU model with trace integration [Deprecated]
 286  *
 287  *  You shouldn't have to call it by yourself.
 288  */
 289 XBT_PUBLIC(void) surf_cpu_model_init_ti();
 290
 291 /** \ingroup SURF_models
 292  *  \brief The list of all available optimization modes (both for cpu and networks).
 293  *  These optimization modes can be set using --cfg=cpu/optim:... and --cfg=network/optim:...
 294  */
 295 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_optimization_mode_description[];
 296
 297 /** \ingroup SURF_plugins
 298  *  \brief The list of all available surf plugins
 299  */
 300 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_plugin_description[];
 301
 302 /** \ingroup SURF_models
 303  *  \brief The list of all available cpu model models
 304  */
 305 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_cpu_model_description[];
 306
 307 /** \ingroup SURF_models
 308  *  \brief The network model
 309  *
 310  *  When creating a new API on top on SURF, you shouldn't use the network model unless you know what you are doing.
 311  *  Only the host model should be accessed because depending on the platform model, the network model can be NULL.
 312  */
 313 XBT_PUBLIC_DATA(surf_network_model_t) surf_network_model;
 314
 315 /** \ingroup SURF_models
 316  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
 317  *
 318  * This model is proposed by Pierre-Nicolas Clauss and Martin Quinson and Stéphane Génaud based on the model 'LV08' and
 319  * different correction factors depending on the communication size (< 1KiB, < 64KiB, >= 64KiB).
 320  * See comments in the code for more information.
 321  *
 322  *  \see surf_host_model_init_SMPI()
 323  */
 324 XBT_PUBLIC(void) surf_network_model_init_SMPI();
 325
 326 /** \ingroup SURF_models
 327  *  \brief Same as network model 'LagrangeVelho', only with different correction factors.
 328  *
 329  * This model impelments a variant of the contention model on Infinband networks based on
 330  * the works of Jérôme Vienne : http://mescal.imag.fr/membres/jean-marc.vincent/index.html/PhD/Vienne.pdf
 331  *
 332  *  \see surf_host_model_init_IB()
 333  */
 334 XBT_PUBLIC(void) surf_network_model_init_IB();
 335
 336 /** \ingroup SURF_models
 337  *  \brief Initializes the platform with the network model 'LegrandVelho'
 338  *
 339  * This model is proposed by Arnaud Legrand and Pedro Velho based on the results obtained with the GTNets simulator for
 340  * onelink and dogbone sharing scenarios. See comments in the code for more information.
 341  *
 342  *  \see surf_host_model_init_LegrandVelho()
 343  */
 344 XBT_PUBLIC(void) surf_network_model_init_LegrandVelho();
 345
 346 /** \ingroup SURF_models
 347  *  \brief Initializes the platform with the network model 'Constant'
 348  *
 349  *  In this model, the communication time between two network cards is constant, hence no need for a routing table.
 350  *  This is particularly useful when simulating huge distributed algorithms where scalability is really an issue. This
 351  *  function is called in conjunction with surf_host_model_init_compound.
 352  *
 353  *  \see surf_host_model_init_compound()
 354  */
 355 XBT_PUBLIC(void) surf_network_model_init_Constant();
 356
 357 /** \ingroup SURF_models
 358  *  \brief Initializes the platform with the network model CM02
 359  *
 360  *  You sould call this function by yourself only if you plan using surf_host_model_init_compound.
 361  *  See comments in the code for more information.
 362  */
 363 XBT_PUBLIC(void) surf_network_model_init_CM02();
 364
 365 /** \ingroup SURF_models
 366  *  \brief Initializes the platform with the network model NS3
 367  *
 368  *  This function is called by surf_host_model_init_NS3 or by yourself only if you plan using
 369  *  surf_host_model_init_compound
 370  *
 371  *  \see surf_host_model_init_NS3()
 372  */
 373 XBT_PUBLIC(void) surf_network_model_init_NS3();
 374
 375 /** \ingroup SURF_models
 376  *  \brief Initializes the platform with the network model Reno
 377  *
 378  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
 379  *
 380  *  Reference:
 381  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
 382  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
 383  *
 384  *  Call this function only if you plan using surf_host_model_init_compound.
 385  */
 386 XBT_PUBLIC(void) surf_network_model_init_Reno();
 387
 388 /** \ingroup SURF_models
 389  *  \brief Initializes the platform with the network model Reno2
 390  *
 391  *  The problem is related to max( sum( arctan(C * Df * xi) ) ).
 392  *
 393  *  Reference:
 394  *  [LOW01] S. H. Low. A duality model of TCP and queue management algorithms.
 395  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
 396  *
 397  *  Call this function only if you plan using surf_host_model_init_compound.
 398  */
 399 XBT_PUBLIC(void) surf_network_model_init_Reno2();
 400
 401 /** \ingroup SURF_models
 402  *  \brief Initializes the platform with the network model Vegas
 403  *
 404  *  This problem is related to max( sum( a * Df * ln(xi) ) ) which is equivalent  to the proportional fairness.
 405  *
 406  *  Reference:
 407  *  [LOW03] S. H. Low. A duality model of TCP and queue management algorithms.
 408  *  IEEE/ACM Transaction on Networking, 11(4):525-536, 2003.
 409  *
 410  *  Call this function only if you plan using surf_host_model_init_compound.
 411  */
 412 XBT_PUBLIC(void) surf_network_model_init_Vegas();
 413
 414 /** \ingroup SURF_models
 415  *  \brief The list of all available network model models
 416  */
 417 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_network_model_description[];
 418
 419 /** \ingroup SURF_models
 420  *  \brief The storage model
 421  */
 422 XBT_PUBLIC(void) surf_storage_model_init_default();
 423
 424 /** \ingroup SURF_models
 425  *  \brief The list of all available storage modes.
 426  *  This storage mode can be set using --cfg=storage/model:...
 427  */
 428 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_storage_model_description[];
 429
 430 XBT_PUBLIC_DATA(surf_storage_model_t) surf_storage_model;
 431
 432 /** \ingroup SURF_models
 433  *  \brief The host model
 434  *
 435  *  Note that when you create an API on top of SURF, the host model should be the only one you use
 436  *  because depending on the platform model, the network model and the CPU model may not exist.
 437  */
 438 XBT_PUBLIC_DATA(surf_host_model_t) surf_host_model;
 439
 440 /** \ingroup SURF_models
 441  *  \brief Initializes the platform with a compound host model
 442  *
 443  *  This function should be called after a cpu_model and a network_model have been set up.
 444  */
 445 XBT_PUBLIC(void) surf_host_model_init_compound();
 446
 447 /** \ingroup SURF_models
 448  *  \brief Initializes the platform with the current best network and cpu models at hand
 449  *
 450  *  This platform model separates the host model and the network model.
 451  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
 452  *  traffic support) and the CPU model with the model Cas01.
 453  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
 454  */
 455 XBT_PUBLIC(void) surf_host_model_init_current_default();
 456
 457 /** \ingroup SURF_models
 458  *  \brief Initializes the platform with the model L07
 459  *
 460  *  With this model, only parallel tasks can be used. Resource sharing is done by identifying bottlenecks and giving an
 461  *  equal share of the model to each action.
 462  */
 463 XBT_PUBLIC(void) surf_host_model_init_ptask_L07();
 464
 465 /** \ingroup SURF_models
 466  *  \brief The list of all available host model models
 467  */
 468 XBT_PUBLIC_DATA(s_surf_model_description_t) surf_host_model_description[];
 469
 470 /** \ingroup SURF_models
 471  *  \brief Initializes the platform with the current best network and cpu models at hand
 472  *
 473  *  This platform model seperates the host model and the network model.
 474  *  The host model will be initialized with the model compound, the network model with the model LV08 (with cross
 475  *  traffic support) and the CPU model with the model Cas01.
 476  *  Such model is subject to modification with warning in the ChangeLog so monitor it!
 477  */
 478 XBT_PUBLIC(void) surf_vm_model_init_HL13();
 479
 480 /** \ingroup SURF_simulation
 481  *  \brief List of hosts for which one want to be notified if they ever restart.
 482  */
 483 XBT_PUBLIC_DATA(xbt_dict_t) watched_hosts_lib;
 484
 485 /*** SURF Globals **************************/
 486
 487 /** \ingroup SURF_simulation
 488  *  \brief Initialize SURF
 489  *  \param argc argument number
 490  *  \param argv arguments
 491  *
 492  *  This function has to be called to initialize the common structures. Then you will have to create the environment by
 493  *  calling  e.g. surf_host_model_init_CM02()
 494  *
 495  *  \see surf_host_model_init_CM02(), surf_host_model_init_compound(), surf_exit()
 496  */
 497 XBT_PUBLIC(void) surf_init(int *argc, char **argv);     /* initialize common structures */
 498
 499 /** \ingroup SURF_simulation
 500  *  \brief Finish simulation initialization
 501  *
 502  *  This function must be called before the first call to surf_solve()
 503  */
 504 XBT_PUBLIC(void) surf_presolve();
 505
 506 /** \ingroup SURF_simulation
 507  *  \brief Performs a part of the simulation
 508  *  \param max_date Maximum date to update the simulation to, or -1
 509  *  \return the elapsed time, or -1.0 if no event could be executed
 510  *
 511  *  This function execute all possible events, update the action states  and returns the time elapsed.
 512  *  When you call execute or communicate on a model, the corresponding actions are not executed immediately but only
 513  *  when you call surf_solve.
 514  *  Note that the returned elapsed time can be zero.
 515  */
 516 XBT_PUBLIC(double) surf_solve(double max_date);
 517
 518 /** \ingroup SURF_simulation
 519  *  \brief Return the current time
 520  *
 521  *  Return the current time in millisecond.
 522  */
 523 XBT_PUBLIC(double) surf_get_clock();
 524
 525 /** \ingroup SURF_simulation
 526  *  \brief Exit SURF
 527  *
 528  *  Clean everything.
 529  *
 530  *  \see surf_init()
 531  */
 532 XBT_PUBLIC(void) surf_exit();
 533
 534 /* Prototypes of the functions that handle the properties */
 535 XBT_PUBLIC_DATA(xbt_dict_t) current_property_set;// the prop set for the currently parsed element (also used in SIMIX)
 536
 537 /* surf parse file related (public because called from a test suite) */
 538 XBT_PUBLIC(void) parse_platform_file(const char *file);
 539
 540 /* For the trace and trace:connect tag (store their content till the end of the parsing) */
 541 XBT_PUBLIC_DATA(xbt_dict_t) traces_set_list;
 542
 543 /*
 544  * Returns the initial path. On Windows the initial path is the current directory for the current process in the other
 545  * case the function returns "./" that represents the current directory on Unix/Linux platforms.
 546  */
 547 const char *__surf_get_initial_path();
 548
 549 /********** Tracing **********/
 550 /* from surf_instr.c */
 551 void TRACE_surf_action(surf_action_t surf_action, const char *category);
 552 void TRACE_surf_alloc();
 553 void TRACE_surf_release();
 554
 555 /* instr_routing.c */
 556 void instr_routing_define_callbacks ();
 557 void instr_new_variable_type (const char *new_typename, const char *color);
 558 void instr_new_user_variable_type  (const char *father_type, const char *new_typename, const char *color);
 559 void instr_new_user_state_type (const char *father_type, const char *new_typename);
 560 void instr_new_value_for_user_state_type (const char *_typename, const char *value, const char *color);
 561 int instr_platform_traced ();
 562 xbt_graph_t instr_routing_platform_graph ();
 563 void instr_routing_platform_graph_export_graphviz (xbt_graph_t g, const char *filename);
 564
 565 SG_END_DECL()
 566
 567 #endif