Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
cosmetics in dot loader
authorFrederic Suter <frederic.suter@cc.in2p3.fr>
Tue, 16 Feb 2016 12:37:32 +0000 (13:37 +0100)
committerFrederic Suter <frederic.suter@cc.in2p3.fr>
Tue, 16 Feb 2016 12:37:32 +0000 (13:37 +0100)
examples/simdag/dot/test_simdag_dotload.tesh
src/simdag/sd_dotloader.cpp

index 6d76697..0b7166f 100644 (file)
@@ -216,11 +216,11 @@ $ rm -f dag.trace
 ! expect return 2
 $ $SG_TEST_EXENV ./simulate_dot --log=no_loc  "--log=sd_dotparse.thres:verbose" ${srcdir:=.}/../2clusters.xml ${srcdir:=.}/dag_with_bad_schedule.dot
 > [0.000000] [xbt_cfg/INFO] Switching to the L07 model to handle parallel tasks.
-> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, the task end is not correctly scheduled
-> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, the task 1 is not correctly scheduled
-> [0.000000] [sd_dotparse/VERBOSE] The task 0 starts on the computer 1 at the position : 1 like the task 2
-> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, the task 3 is not correctly scheduled
-> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, the task root is not correctly scheduled
+> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, task 'end' can not be scheduled on -1 hosts
+> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, task '1' can not be scheduled on 0 hosts
+> [0.000000] [sd_dotparse/VERBOSE] Task '0' wants to start on performer '1' at the same position '1' as task '2'
+> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, task '3' can not be scheduled on -1 hosts
+> [0.000000] [sd_dotparse/VERBOSE] The schedule is ignored, task 'root' can not be scheduled on -1 hosts
 > [0.000000] [sd_dotparse/WARNING] The scheduling is ignored
 > [0.000000] [test/CRITICAL] The dot file with the provided scheduling is wrong, more information with the option : --log=sd_dotparse.thres:verbose
 
index 352125e..25fdbae 100644 (file)
@@ -55,31 +55,27 @@ xbt_dynar_t SD_dotload_with_sched(const char *filename) {
   return SD_dotload_generic(filename, sequential, true);
 }
 
-#ifdef HAVE_CGRAPH_H
 static int edge_compare(const void *a, const void *b)
 {
   unsigned va = AGSEQ(*(Agedge_t **)a);
   unsigned vb = AGSEQ(*(Agedge_t **)b);
   return va == vb ? 0 : (va < vb ? -1 : 1);
 }
-#endif
 
 xbt_dynar_t SD_dotload_generic(const char * filename, seq_par_t seq_or_par, bool schedule){
   xbt_assert(filename, "Unable to use a null file descriptor\n");
+  FILE *in_file = fopen(filename, "r");
+  xbt_assert(in_file != NULL, "Failed to open file: %s", filename);
+
   unsigned int i;
   SD_task_t root, end, task;
   xbt_dict_t computers;
   xbt_dynar_t computer = NULL;
-  char *computer_name;
   xbt_dict_cursor_t dict_cursor;
   bool schedule_success = true;
 
-  xbt_dynar_t result = xbt_dynar_new(sizeof(SD_task_t), dot_task_p_free);
   xbt_dict_t jobs = xbt_dict_new_homogeneous(NULL);
-
-  FILE *in_file = fopen(filename, "r");
-  if (in_file == NULL)
-    xbt_die("Failed to open file: %s", filename);
+  xbt_dynar_t result = xbt_dynar_new(sizeof(SD_task_t), dot_task_p_free);
 
   Agraph_t * dag_dot = agread(in_file, NIL(Agdisc_t *));
 
@@ -91,80 +87,55 @@ xbt_dynar_t SD_dotload_generic(const char * filename, seq_par_t seq_or_par, bool
   for (node = agfstnode(dag_dot); node; node = agnxtnode(dag_dot, node)) {
     char *name = agnameof(node);
     double amount = atof(agget(node, (char *) "size"));
-    double alpha = 0.0;
 
     if (!(task = (SD_task_t)xbt_dict_get_or_null(jobs, name))) {
       if (seq_or_par == sequential){
         XBT_DEBUG("See <job id=%s amount =%.0f>", name, amount);
         task = SD_task_create_comp_seq(name, NULL , amount);
       } else {
-        alpha = atof(agget(node, (char *) "alpha"));
+        double alpha = atof(agget(node, (char *) "alpha"));
         XBT_DEBUG("See <job id=%s amount =%.0f alpha = %.3f>", name, amount, alpha);
         task = SD_task_create_comp_par_amdahl(name, NULL , amount, alpha);
       }
 
       xbt_dict_set(jobs, name, task, NULL);
 
-      if (!strcmp(name, "root")){
-        /* by design the root task is always SCHEDULABLE */
-        SD_task_set_state(task, SD_SCHEDULABLE);
-        /* Put it at the beginning of the dynar */
-        xbt_dynar_insert_at(result, 0, &task);
-      } else {
-        if (!strcmp(name, "end")){
-          XBT_DEBUG("Declaration of the 'end' node, don't store it yet.");
-          end = task;
-          /* Should be inserted later in the dynar */
-        } else {
-          xbt_dynar_push(result, &task);
-        }
-      }
+      if (strcmp(name,"root") && strcmp(name,"end"))
+        xbt_dynar_push(result, &task);
 
       if((seq_or_par == sequential) &&
         ((schedule && schedule_success) || XBT_LOG_ISENABLED(sd_dotparse, xbt_log_priority_verbose))){
         /* try to take the information to schedule the task only if all is right*/
-        int performer, order;
         char *char_performer = agget(node, (char *) "performer");
         char *char_order = agget(node, (char *) "order");
-        /* performer is the computer which execute the task */
-        performer = ((!char_performer || !strcmp(char_performer,"")) ? -1:atoi(char_performer));
-        /* order is giving the task order on one computer */
-        order = ((!char_order || !strcmp(char_order, ""))? -1:atoi(char_order));
-
-        XBT_DEBUG ("Task '%s' is scheduled on workstation '%d' in position '%d'", task->name, performer, order);
-        xbt_dynar_t computer = NULL;
-        if(performer != -1 && order != -1){
-          /* required parameters are given */
-          computer = (xbt_dynar_t)xbt_dict_get_or_null(computers, char_performer);
-          if(computer == NULL){
+        /* Tasks will execute on in a given "order" on a given set of "performer" hosts */
+        int performer = ((!char_performer || !strcmp(char_performer,"")) ? -1:atoi(char_performer));
+        int order = ((!char_order || !strcmp(char_order, ""))? -1:atoi(char_order));
+
+        if((performer != -1 && order != -1) && performer < (int) sg_host_count()){
+          /* required parameters are given and less performers than hosts are required */
+          XBT_DEBUG ("Task '%s' is scheduled on workstation '%d' in position '%d'", task->name, performer, order);
+          if(!(computer = (xbt_dynar_t) xbt_dict_get_or_null(computers, char_performer))){
             computer = xbt_dynar_new(sizeof(SD_task_t), NULL);
             xbt_dict_set(computers, char_performer, computer, NULL);
           }
-          if(performer < xbt_dict_length(host_list)){
-            /* the wanted computer is available */
-            SD_task_t *task_test = NULL;
-            if((unsigned int)order < computer->used)
-              task_test = (SD_task_t *)xbt_dynar_get_ptr(computer,order);
-            if(task_test != NULL && *task_test != NULL && *task_test != task){
-              /* the user gives the same order to several tasks */
+
+          if((unsigned int)order < xbt_dynar_length(computer)){
+            SD_task_t *task_test = (SD_task_t *)xbt_dynar_get_ptr(computer,order);
+            if(*task_test && *task_test != task){
+              /* the user gave the same order to several tasks */
               schedule_success = false;
-              XBT_VERB("The task %s starts on the computer %s at the position : %s like the task %s",
-                     (*task_test)->name, char_performer, char_order, task->name);
-            }else{
-              /* the parameter seems to be ok */
-              xbt_dynar_set_as(computer, order, SD_task_t, task);
+              XBT_VERB("Task '%s' wants to start on performer '%s' at the same position '%s' as task '%s'",
+                       (*task_test)->name, char_performer, char_order, task->name);
+              continue;
             }
-          }else{
-            /* the platform has not enough processors to schedule the DAG like
-             * the user wants*/
-            schedule_success = false;
-            XBT_VERB("The schedule is ignored, there are not enough computers");
           }
-        }
-        else {
+          /* the parameter seems to be ok */
+          xbt_dynar_set_as(computer, order, SD_task_t, task);
+        } else {
           /* one of required parameters is not given */
           schedule_success = false;
-          XBT_VERB("The schedule is ignored, the task %s is not correctly scheduled", task->name);
+          XBT_VERB("The schedule is ignored, task '%s' can not be scheduled on %d hosts", task->name, performer);
         }
       }
     } else {
@@ -173,48 +144,31 @@ xbt_dynar_t SD_dotload_generic(const char * filename, seq_par_t seq_or_par, bool
   }
 
   /*Check if 'root' and 'end' nodes have been explicitly declared.  If not, create them. */
-  if (!(root = (SD_task_t)xbt_dict_get_or_null(jobs, "root"))){
-    if (seq_or_par == sequential)
-      root = SD_task_create_comp_seq("root", NULL, 0);
-    else
-      root = SD_task_create_comp_par_amdahl("root", NULL, 0, 0);
-    /* by design the root task is always SCHEDULABLE */
-    SD_task_set_state(root, SD_SCHEDULABLE);
-    /* Put it at the beginning of the dynar */
-    xbt_dynar_insert_at(result, 0, &root);
-  }
+  if (!(root = (SD_task_t)xbt_dict_get_or_null(jobs, "root")))
+    root = (seq_or_par == sequential?SD_task_create_comp_seq("root", NULL, 0):
+                                     SD_task_create_comp_par_amdahl("root", NULL, 0, 0));
 
-  if (!(end = (SD_task_t)xbt_dict_get_or_null(jobs, "end"))){
-    if (seq_or_par == sequential)
-      end = SD_task_create_comp_seq("end", NULL, 0);
-    else
-      end = SD_task_create_comp_par_amdahl("end", NULL, 0, 0);
-  }
+  SD_task_set_state(root, SD_SCHEDULABLE);   /* by design the root task is always SCHEDULABLE */
+  xbt_dynar_insert_at(result, 0, &root);     /* Put it at the beginning of the dynar */
+
+  if (!(end = (SD_task_t)xbt_dict_get_or_null(jobs, "end")))
+    end = (seq_or_par == sequential?SD_task_create_comp_seq("end", NULL, 0):
+                                    SD_task_create_comp_par_amdahl("end", NULL, 0, 0));
 
   /* Create edges */
   xbt_dynar_t edges = xbt_dynar_new(sizeof(Agedge_t*), NULL);
   for (node = agfstnode(dag_dot); node; node = agnxtnode(dag_dot, node)) {
-    unsigned cursor;
     Agedge_t * edge;
     xbt_dynar_reset(edges);
     for (edge = agfstout(dag_dot, node); edge; edge = agnxtout(dag_dot, edge))
       xbt_dynar_push_as(edges, Agedge_t *, edge);
-#ifdef HAVE_CGRAPH_H
-    /* Hack: circumvent a bug in libcgraph, where the edges are not always given back in creation order.  We sort them
-     * again, according to their sequence id.  The problem appears to be solved (i.e.: I did not test it) in graphviz'
-     * mercurial repository by the following changeset:
-     *    changeset:   8431:d5f1fb7e8103
-     *    user:        Emden Gansner <erg@research.att.com>
-     *    date:        Tue Oct 11 12:38:58 2011 -0400
-     *    summary:     Make sure edges are stored in node creation order
-     * It should be fixed in graphviz 2.30 and above.
-     */
+
+    /* Be sure edges are sorted */
     xbt_dynar_sort(edges, edge_compare);
-#endif
-    xbt_dynar_foreach(edges, cursor, edge) {
+
+    xbt_dynar_foreach(edges, i, edge) {
       SD_task_t src, dst;
-      char *src_name=agnameof(agtail(edge));
-      char *dst_name=agnameof(aghead(edge));
+      char *src_name=agnameof(agtail(edge)), *dst_name=agnameof(aghead(edge));
       double size = atof(agget(edge, (char *) "size"));
 
       src = (SD_task_t)xbt_dict_get_or_null(jobs, src_name);
@@ -244,21 +198,18 @@ xbt_dynar_t SD_dotload_generic(const char * filename, seq_par_t seq_or_par, bool
   }
   xbt_dynar_free(&edges);
 
-  /* all compute and transfer tasks have been created, put the "end" node at the end of dynar */
   XBT_DEBUG("All tasks have been created, put %s at the end of the dynar", end->name);
   xbt_dynar_push(result, &end);
 
   /* Connect entry tasks to 'root', and exit tasks to 'end'*/
   xbt_dynar_foreach (result, i, task){
-    if (task == root || task == end)
-      continue;
-    if (xbt_dynar_is_empty(task->tasks_before)) {
-      XBT_DEBUG("file '%s' has no source. Add dependency from 'root'", task->name);
+    if (xbt_dynar_is_empty(task->tasks_before) && task != root) {
+      XBT_DEBUG("Task '%s' has no source. Add dependency from 'root'", task->name);
       SD_task_dependency_add(NULL, NULL, root, task);
     }
 
-    if (xbt_dynar_is_empty(task->tasks_after)) {
-      XBT_DEBUG("file '%s' has no destination. Add dependency to 'end'", task->name);
+    if (xbt_dynar_is_empty(task->tasks_after) && task != end) {
+      XBT_DEBUG("Task '%s' has no destination. Add dependency to 'end'", task->name);
       SD_task_dependency_add(NULL, NULL, task, end);
     }
   }
@@ -268,21 +219,19 @@ xbt_dynar_t SD_dotload_generic(const char * filename, seq_par_t seq_or_par, bool
   fclose(in_file);
 
   if(schedule){
+    char *computer_name;
     if (schedule_success) {
       const sg_host_t *workstations = sg_host_list ();
       xbt_dict_foreach(computers,dict_cursor,computer_name,computer){
-        int count_computer = atoi(computer_name);
-        unsigned int count=0;
-        SD_task_t task;
-        SD_task_t task_previous = NULL;
-        xbt_dynar_foreach(computer,count,task){
+        SD_task_t previous_task = NULL;
+        xbt_dynar_foreach(computer, i, task){
           /* add dependency between the previous and the task to avoid parallel execution */
-          if(task != NULL ){
-            if(task_previous != NULL && !SD_task_dependency_exists(task_previous, task))
-              SD_task_dependency_add(NULL, NULL, task_previous, task);
+          if(task){
+            if(previous_task && !SD_task_dependency_exists(previous_task, task))
+              SD_task_dependency_add(NULL, NULL, previous_task, task);
 
-            SD_task_schedulel(task, 1, workstations[count_computer]);
-            task_previous = task;
+            SD_task_schedulel(task, 1, workstations[atoi(computer_name)]);
+            previous_task = task;
           }
         }
         xbt_dynar_free(&computer);
@@ -290,17 +239,15 @@ xbt_dynar_t SD_dotload_generic(const char * filename, seq_par_t seq_or_par, bool
       xbt_dict_free(&computers);
     } else {
       XBT_WARN("The scheduling is ignored");
-      xbt_dict_foreach(computers,dict_cursor,computer_name,computer){
+      xbt_dict_foreach(computers,dict_cursor,computer_name,computer)
         xbt_dynar_free(&computer);
-      }
-
       xbt_dict_free(&computers);
       xbt_dynar_free(&result);
       result = NULL;
     }
   }
 
-  if (!acyclic_graph_detail(result)) {
+  if (result && !acyclic_graph_detail(result)) {
     XBT_ERROR("The DOT described in %s is not a DAG. It contains a cycle.", basename((char*)filename));
     xbt_dynar_free(&result);
     result = NULL;