examples/smpi/replay_multiple_manual_deploy/replay_multiple_manual.cpp

   1 /* Copyright (c) 2009-2022. The SimGrid Team.
   2  * All rights reserved.                                                     */
   3
   4 /* This program is free software; you can redistribute it and/or modify it
   5  * under the terms of the license (GNU LGPL) which comes with this package. */
   6
   7 /* This example shows how to replay SMPI time-independent traces in a dynamic
   8    fashion. It is inspired from Batsim (https://github.com/oar-team/batsim).
   9
  10    The program workflow can be summarized as:
  11    1. Read an input workload (set of jobs).
  12       Each job is a time-independent trace and a starting time.
  13    2. Create initial noise, by spawning useless actors.
  14       This is done to avoid SMPI actors to start at actor_id=0.
  15    3. For each job:
  16         1. Sleep until job's starting time is reached (if needed)
  17         2. Launch the replay of the corresponding time-independent trace.
  18         3. Create inter-process noise, by spawning useless actors.
  19    4. Wait for completion (via s4u::Engine's run method)
  20 */
  21
  22 #include <algorithm>
  23 #include <fstream>
  24 #include <memory>
  25 #include <sstream>
  26 #include <stdexcept>
  27 #include <vector>
  28
  29 #include <boost/algorithm/string.hpp>
  30
  31 #include <simgrid/s4u.hpp>
  32 #include <smpi/smpi.h>
  33 #include <xbt/file.hpp>
  34
  35 XBT_LOG_NEW_DEFAULT_CATEGORY(replay_multiple_manual, "Messages specific for this example");
  36
  37 struct Job {
  38   std::string smpi_app_name;   //!< The unique name of the SMPI application
  39   std::string filename;        //!<  The filename of the main trace file (which contains other filenames for each rank)
  40   int app_size;                //!< The number of processes (actors) of the job
  41   int starting_time;           //!< When the job should start
  42   std::vector<int> allocation; //!< Where the job should be executed. Values are hosts indexes.
  43   std::vector<std::string> traces_filenames; //!< The filenames of the different action files. Read from filename.
  44   int unique_job_number;                     //!< The job unique number in [0, n[.
  45 };
  46
  47 // ugly globals to avoid creating structures for giving args to processes
  48 static std::vector<simgrid::s4u::Host*> hosts;
  49 static int noise_between_jobs;
  50
  51 static void smpi_replay_process(Job* job, simgrid::s4u::BarrierPtr barrier, int rank)
  52 {
  53   XBT_INFO("Replaying rank %d of job %d (smpi_app '%s')", rank, job->unique_job_number, job->smpi_app_name.c_str());
  54   smpi_replay_run(job->smpi_app_name.c_str(), rank, 0, job->traces_filenames[rank].c_str());
  55   XBT_INFO("Finished replaying rank %d of job %d (smpi_app '%s')", rank, job->unique_job_number,
  56            job->smpi_app_name.c_str());
  57
  58   barrier->wait();
  59 }
  60
  61 // Sleeps for a given amount of time
  62 static int sleeper_process(int param)
  63 {
  64   XBT_DEBUG("Sleeping for %d seconds", param);
  65   simgrid::s4u::this_actor::sleep_for(param);
  66   return 0;
  67 }
  68
  69 // Launches some sleeper processes
  70 static void pop_some_processes(int nb_processes, simgrid::s4u::Host* host)
  71 {
  72   for (int i = 0; i < nb_processes; ++i) {
  73     int param = i + 1;
  74     simgrid::s4u::Actor::create("meh", host, sleeper_process, param);
  75   }
  76 }
  77
  78 static int job_executor_process(Job* job)
  79 {
  80   XBT_INFO("Executing job %d (smpi_app '%s')", job->unique_job_number, job->smpi_app_name.c_str());
  81
  82   simgrid::s4u::BarrierPtr barrier = simgrid::s4u::Barrier::create(job->app_size + 1);
  83
  84   for (int i = 0; i < job->app_size; ++i) {
  85     char* str_pname = bprintf("rank_%d_%d", job->unique_job_number, i);
  86     simgrid::s4u::Actor::create(str_pname, hosts[job->allocation[i]], smpi_replay_process, job, barrier, i);
  87     xbt_free(str_pname);
  88   }
  89
  90   barrier->wait();
  91
  92   simgrid::s4u::this_actor::sleep_for(1);
  93   XBT_INFO("Finished job %d (smpi_app '%s')", job->unique_job_number, job->smpi_app_name.c_str());
  94
  95   return 0;
  96 }
  97
  98 // Executes a workload of SMPI processes
  99 static int workload_executor_process(const std::vector<std::unique_ptr<Job>>& workload)
 100 {
 101   for (auto const& job : workload) {
 102     // Let's wait until the job's waiting time if needed
 103     if (double curr_time = simgrid::s4u::Engine::get_clock(); job->starting_time > curr_time) {
 104       double time_to_sleep = (double)job->starting_time - curr_time;
 105       XBT_INFO("Sleeping %g seconds (waiting for job %d, app '%s')", time_to_sleep, job->starting_time,
 106                job->smpi_app_name.c_str());
 107       simgrid::s4u::this_actor::sleep_for(time_to_sleep);
 108     }
 109
 110     if (noise_between_jobs > 0) {
 111       // Let's add some process noise
 112       XBT_DEBUG("Popping %d noise processes before running job %d (app '%s')", noise_between_jobs,
 113                 job->unique_job_number, job->smpi_app_name.c_str());
 114       pop_some_processes(noise_between_jobs, hosts[job->allocation[0]]);
 115     }
 116
 117     // Let's finally run the job executor
 118     char* str_pname = bprintf("job_%04d", job->unique_job_number);
 119     XBT_INFO("Launching the job executor of job %d (app '%s')", job->unique_job_number, job->smpi_app_name.c_str());
 120     simgrid::s4u::Actor::create(str_pname, hosts[job->allocation[0]], job_executor_process, job.get());
 121     xbt_free(str_pname);
 122   }
 123
 124   return 0;
 125 }
 126
 127 // Reads jobs from a workload file and returns them
 128 static std::vector<std::unique_ptr<Job>> all_jobs(const std::string& workload_file)
 129 {
 130   std::ifstream f(workload_file);
 131   xbt_assert(f.is_open(), "Cannot open file '%s'.", workload_file.c_str());
 132   std::vector<std::unique_ptr<Job>> jobs;
 133
 134   simgrid::xbt::Path path(workload_file);
 135   std::string dir = path.get_dir_name();
 136
 137   std::string line;
 138   while (std::getline(f, line)) {
 139     std::string app_name;
 140     std::string filename_unprefixed;
 141     int app_size;
 142     int starting_time;
 143     std::string alloc;
 144
 145     std::istringstream is(line);
 146     if (is >> app_name >> filename_unprefixed >> app_size >> starting_time >> alloc) {
 147       try {
 148         auto job           = std::make_unique<Job>();
 149         job->smpi_app_name = app_name;
 150         job->filename      = dir + "/" + filename_unprefixed;
 151         job->app_size      = app_size;
 152         job->starting_time = starting_time;
 153
 154         std::vector<std::string> subparts;
 155         boost::split(subparts, alloc, boost::is_any_of(","), boost::token_compress_on);
 156
 157         if ((int)subparts.size() != job->app_size)
 158           throw std::invalid_argument("size/alloc inconsistency");
 159
 160         job->allocation.resize(subparts.size());
 161         for (unsigned int i = 0; i < subparts.size(); ++i)
 162           job->allocation[i] = stoi(subparts[i]);
 163
 164         // Let's read the filename
 165         std::ifstream traces_file(job->filename);
 166         if (not traces_file.is_open())
 167           throw std::invalid_argument("Cannot open file " + job->filename);
 168
 169         std::string traces_line;
 170         while (std::getline(traces_file, traces_line)) {
 171           boost::trim_right(traces_line);
 172           job->traces_filenames.push_back(dir + "/" + traces_line);
 173         }
 174
 175         if (static_cast<int>(job->traces_filenames.size()) < job->app_size)
 176           throw std::invalid_argument("size/tracefiles inconsistency");
 177         job->traces_filenames.resize(job->app_size);
 178
 179         XBT_INFO("Job read: app='%s', file='%s', size=%d, start=%d, "
 180                  "alloc='%s'",
 181                  job->smpi_app_name.c_str(), filename_unprefixed.c_str(), job->app_size, job->starting_time,
 182                  alloc.c_str());
 183         jobs.emplace_back(std::move(job));
 184       } catch (const std::invalid_argument& e) {
 185         xbt_die("Bad line '%s' of file '%s': %s.\n", line.c_str(), workload_file.c_str(), e.what());
 186       }
 187     }
 188   }
 189
 190   // Jobs are sorted by ascending date, then by lexicographical order of their
 191   // application names
 192   sort(jobs.begin(), jobs.end(), [](auto const& j1, auto const& j2) {
 193     if (j1->starting_time == j2->starting_time)
 194       return j1->smpi_app_name < j2->smpi_app_name;
 195     return j1->starting_time < j2->starting_time;
 196   });
 197   for (unsigned int i = 0; i < jobs.size(); ++i)
 198     jobs[i]->unique_job_number = i;
 199
 200   return jobs;
 201 }
 202
 203 int main(int argc, char* argv[])
 204 {
 205   xbt_assert(argc > 4,
 206              "Usage: %s platform_file workload_file initial_noise noise_between_jobs\n"
 207              "\tExample: %s platform.xml workload_compute\n",
 208              argv[0], argv[0]);
 209
 210   //  Simulation setting
 211   simgrid::s4u::Engine e(&argc, argv);
 212   e.load_platform(argv[1]);
 213   hosts = e.get_all_hosts();
 214   xbt_assert(hosts.size() >= 4, "The given platform should contain at least 4 hosts (found %zu).", hosts.size());
 215
 216   // Let's retrieve all SMPI jobs
 217   std::vector<std::unique_ptr<Job>> jobs = all_jobs(argv[2]);
 218
 219   // Let's register them
 220   for (auto const& job : jobs)
 221     SMPI_app_instance_register(job->smpi_app_name.c_str(), nullptr, job->app_size);
 222
 223   SMPI_init();
 224
 225   // Read noise arguments
 226   int initial_noise = std::stoi(argv[3]);
 227   xbt_assert(initial_noise >= 0, "Invalid initial_noise argument");
 228
 229   noise_between_jobs = std::stoi(argv[4]);
 230   xbt_assert(noise_between_jobs >= 0, "Invalid noise_between_jobs argument");
 231
 232   if (initial_noise > 0) {
 233     XBT_DEBUG("Popping %d noise processes", initial_noise);
 234     pop_some_processes(initial_noise, hosts[0]);
 235   }
 236
 237   // Let's execute the workload
 238   simgrid::s4u::Actor::create("workload", hosts[0], workload_executor_process, std::cref(jobs));
 239
 240   e.run();
 241   XBT_INFO("Simulation finished! Final time: %g", simgrid::s4u::Engine::get_clock());
 242
 243   SMPI_finalize();
 244
 245   return 0;
 246 }