examples/smpi/replay_multiple_manual_deploy/replay_multiple_manual.cpp

   1 /* Copyright (c) 2009-2018. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 /* This example shows how to replay SMPI time-independent traces in a dynamic
   8    fashion. It is inspired from Batsim (https://github.com/oar-team/batsim).
   9
  10    The program workflow can be summarized as:
  11    1. Read an input workload (set of jobs).
  12       Each job is a time-independent trace and a starting time.
  13    2. Create initial noise, by spawning useless actors.
  14       This is done to avoid SMPI actors to start at actor_id=0.
  15    3. For each job:
  16         1. Sleep until job's starting time is reached (if needed)
  17         2. Launch the replay of the corresponding time-indepent trace.
  18         3. Create inter-process noise, by spawning useless actors.
  19    4. Wait for completion (via s4u::Engine's run method)
  20 */
  21
  22 #include <algorithm>
  23 #include <fstream>
  24 #include <sstream>
  25 #include <stdexcept>
  26 #include <vector>
  27
  28 #include <boost/algorithm/string.hpp>
  29
  30 #include <simgrid/s4u.hpp>
  31 #include <smpi/smpi.h>
  32 #include <xbt/file.hpp>
  33
  34 XBT_LOG_NEW_DEFAULT_CATEGORY(replay_multiple_manual, "Messages specific for this example");
  35
  36 struct Job {
  37   std::string smpi_app_name;   //!< The unique name of the SMPI application
  38   std::string filename;        //!<  The filename of the main trace file (which contains other filenames for each rank)
  39   int app_size;                //!< The number of processes (actors) of the job
  40   int starting_time;           //!< When the job should start
  41   std::vector<int> allocation; //!< Where the job should be executed. Values are hosts indexes.
  42   std::vector<std::string> traces_filenames; //!< The filenames of the different action files. Read from filename.
  43   int unique_job_number;                     //!< The job unique number in [0, n[.
  44 };
  45
  46 // ugly globals to avoid creating structures for giving args to processes
  47 static std::vector<simgrid::s4u::Host*> hosts;
  48 static int noise_between_jobs;
  49
  50 static bool job_comparator(const Job* j1, const Job* j2)
  51 {
  52   if (j1->starting_time == j2->starting_time)
  53     return j1->smpi_app_name < j2->smpi_app_name;
  54   return j1->starting_time < j2->starting_time;
  55 }
  56
  57 static void smpi_replay_process(Job* job, simgrid::s4u::BarrierPtr barrier, int rank)
  58 {
  59   // Prepare data for smpi_replay_run
  60   int argc    = 5;
  61   char** argv = xbt_new(char*, argc);
  62   argv[0]     = xbt_strdup("1");                                 // log only?
  63   argv[1]     = xbt_strdup(job->smpi_app_name.c_str());          // application instance
  64   argv[2]     = bprintf("%d", rank);                             // rank
  65   argv[3]     = xbt_strdup(job->traces_filenames[rank].c_str()); // smpi trace file for this rank
  66   argv[4]     = xbt_strdup("0");                                 // ?
  67
  68   // Ugly double storage used for memory deallocation, as SMPI changes argc/argv without cleaning memory.
  69   char* to_free[2] = {argv[0], argv[1]}; // <-- This ugly array should disappear.
  70
  71   XBT_INFO("Replaying rank %d of job %d (smpi_app '%s')", rank, job->unique_job_number, job->smpi_app_name.c_str());
  72   smpi_replay_run(&argc, &argv);
  73   XBT_INFO("Finished replaying rank %d of job %d (smpi_app '%s')", rank, job->unique_job_number,
  74            job->smpi_app_name.c_str());
  75
  76   barrier->wait();
  77
  78   // Memory clean-up
  79   for (int i = 0; i < 2; ++i) // <-- This ugly loop should disappear.
  80     xbt_free(to_free[i]);
  81   for (int i = 0; i < argc; ++i)
  82     xbt_free(argv[i]);
  83   xbt_free(argv);
  84 }
  85
  86 // Sleeps for a given amount of time
  87 static int sleeper_process(int* param)
  88 {
  89   XBT_DEBUG("Sleeping for %d seconds", *param);
  90   simgrid::s4u::this_actor::sleep_for(*param);
  91
  92   delete param;
  93
  94   return 0;
  95 }
  96
  97 // Launches some sleeper processes
  98 static void pop_some_processes(int nb_processes, simgrid::s4u::Host* host)
  99 {
 100   for (int i = 0; i < nb_processes; ++i) {
 101     int* param = new int;
 102     *param     = i + 1;
 103     simgrid::s4u::Actor::create("meh", host, sleeper_process, param);
 104   }
 105 }
 106
 107 static int job_executor_process(Job* job)
 108 {
 109   XBT_INFO("Executing job %d (smpi_app '%s')", job->unique_job_number, job->smpi_app_name.c_str());
 110
 111   simgrid::s4u::BarrierPtr barrier = simgrid::s4u::Barrier::create(job->app_size + 1);
 112
 113   for (int i = 0; i < job->app_size; ++i) {
 114     char* str_pname = bprintf("%d_%d", job->unique_job_number, i);
 115     simgrid::s4u::Actor::create(str_pname, hosts[job->allocation[i]], smpi_replay_process, job, barrier, i);
 116     xbt_free(str_pname);
 117   }
 118
 119   barrier->wait();
 120
 121   XBT_INFO("Finished job %d (smpi_app '%s')", job->unique_job_number, job->smpi_app_name.c_str());
 122
 123   return 0;
 124 }
 125
 126 // Executes a workload of SMPI processes
 127 static int workload_executor_process(std::vector<Job*>* workload)
 128 {
 129   for (Job* job : *workload) {
 130     // Let's wait until the job's waiting time if needed
 131     double curr_time = simgrid::s4u::Engine::get_clock();
 132     if (job->starting_time > curr_time) {
 133       double time_to_sleep = (double)job->starting_time - curr_time;
 134       XBT_INFO("Sleeping %g seconds (waiting for job %d, app '%s')", time_to_sleep, job->starting_time,
 135                job->smpi_app_name.c_str());
 136       simgrid::s4u::this_actor::sleep_for(time_to_sleep);
 137     }
 138
 139     if (noise_between_jobs > 0) {
 140       // Let's add some process noise
 141       XBT_DEBUG("Popping %d noise processes before running job %d (app '%s')", noise_between_jobs,
 142                 job->unique_job_number, job->smpi_app_name.c_str());
 143       pop_some_processes(noise_between_jobs, hosts[job->allocation[0]]);
 144     }
 145
 146     // Let's finally run the job executor
 147     std::string job_process_name = "job_" + job->smpi_app_name;
 148     XBT_INFO("Launching the job executor of job %d (app '%s')", job->unique_job_number, job->smpi_app_name.c_str());
 149     simgrid::s4u::Actor::create(job_process_name.c_str(), hosts[job->allocation[0]], job_executor_process, job);
 150   }
 151
 152   return 0;
 153 }
 154
 155 // Reads jobs from a workload file and returns them
 156 static std::vector<Job*> all_jobs(const std::string& workload_file)
 157 {
 158   std::ifstream f(workload_file);
 159   xbt_assert(f.is_open(), "Cannot open file '%s'.", workload_file.c_str());
 160   std::vector<Job*> jobs;
 161
 162   simgrid::xbt::Path path(workload_file);
 163   std::string dir = path.get_dir_name();
 164
 165   std::string line;
 166   while (std::getline(f, line)) {
 167     std::string app_name;
 168     std::string filename_unprefixed;
 169     int app_size;
 170     int starting_time;
 171     std::string alloc;
 172
 173     std::istringstream is(line);
 174     if (is >> app_name >> filename_unprefixed >> app_size >> starting_time >> alloc) {
 175       try {
 176         Job job;
 177         job.smpi_app_name = app_name;
 178         job.filename      = dir + "/" + filename_unprefixed;
 179         job.app_size      = app_size;
 180         job.starting_time = starting_time;
 181
 182         std::vector<std::string> subparts;
 183         boost::split(subparts, alloc, boost::is_any_of(","), boost::token_compress_on);
 184
 185         if ((int)subparts.size() != job.app_size)
 186           throw std::invalid_argument("size/alloc inconsistency");
 187
 188         job.allocation.resize(subparts.size());
 189         for (unsigned int i = 0; i < subparts.size(); ++i)
 190           job.allocation[i] = stoi(subparts[i]);
 191
 192         // Let's read the filename
 193         std::ifstream traces_file(job.filename);
 194         if (!traces_file.is_open())
 195           throw std::invalid_argument("Cannot open file " + job.filename);
 196
 197         std::string traces_line;
 198         while (std::getline(traces_file, traces_line)) {
 199           boost::trim_right(traces_line);
 200           job.traces_filenames.push_back(dir + "/" + traces_line);
 201         }
 202
 203         if (static_cast<int>(job.traces_filenames.size()) < job.app_size)
 204           throw std::invalid_argument("size/tracefiles inconsistency");
 205         job.traces_filenames.resize(job.app_size);
 206
 207         XBT_INFO("Job read: app='%s', file='%s', size=%d, start=%d, "
 208                  "alloc='%s'",
 209                  job.smpi_app_name.c_str(), filename_unprefixed.c_str(), job.app_size, job.starting_time,
 210                  alloc.c_str());
 211         jobs.push_back(new Job(std::move(job)));
 212       } catch (const std::invalid_argument& e) {
 213         xbt_die("Bad line '%s' of file '%s': %s.\n", line.c_str(), workload_file.c_str(), e.what());
 214       }
 215     }
 216   }
 217
 218   // Jobs are sorted by ascending date, then by lexicographical order of their
 219   // application names
 220   sort(jobs.begin(), jobs.end(), job_comparator);
 221
 222   for (unsigned int i = 0; i < jobs.size(); ++i)
 223     jobs[i]->unique_job_number = i;
 224
 225   return jobs;
 226 }
 227
 228 int main(int argc, char* argv[])
 229 {
 230   xbt_assert(argc > 4,
 231              "Usage: %s platform_file workload_file initial_noise noise_between_jobs\n"
 232              "\tExample: %s platform.xml workload_compute\n",
 233              argv[0], argv[0]);
 234
 235   //  Simulation setting
 236   simgrid::s4u::Engine e(&argc, argv);
 237   e.load_platform(argv[1]);
 238   hosts = e.get_all_hosts();
 239   xbt_assert(hosts.size() >= 4, "The given platform should contain at least 4 hosts (found %zu).", hosts.size());
 240
 241   // Let's retrieve all SMPI jobs
 242   std::vector<Job*> jobs = all_jobs(argv[2]);
 243
 244   // Let's register them
 245   for (const Job* job : jobs)
 246     SMPI_app_instance_register(job->smpi_app_name.c_str(), nullptr, job->app_size);
 247
 248   SMPI_init();
 249
 250   // Read noise arguments
 251   int initial_noise = std::stoi(argv[3]);
 252   xbt_assert(initial_noise >= 0, "Invalid initial_noise argument");
 253
 254   noise_between_jobs = std::stoi(argv[4]);
 255   xbt_assert(noise_between_jobs >= 0, "Invalid noise_between_jobs argument");
 256
 257   if (initial_noise > 0) {
 258     XBT_DEBUG("Popping %d noise processes", initial_noise);
 259     pop_some_processes(initial_noise, hosts[0]);
 260   }
 261
 262   // Let's execute the workload
 263   simgrid::s4u::Actor::create("workload_executor", hosts[0], workload_executor_process, &jobs);
 264
 265   e.run();
 266   XBT_INFO("Simulation finished! Final time: %g", e.get_clock());
 267
 268   SMPI_finalize();
 269
 270   for (const Job* job : jobs)
 271     delete job;
 272
 273   return 0;
 274 }