examples/gras/pmm/pmm.c

   1 /* $Id$ */
   2 /* pmm - parallel matrix multiplication "double diffusion"                  */
   3
   4 /* Copyright (c) 2006-2008 The SimGrid team. All rights reserved.           */
   5
   6 /* This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the license (GNU LGPL) which comes with this package. */
   8
   9 #include "gras.h"
  10 #include "xbt/matrix.h"
  11 #include "amok/peermanagement.h"
  12
  13 #define PROC_MATRIX_SIZE 3
  14 #define NEIGHBOR_COUNT PROC_MATRIX_SIZE - 1
  15 #define SLAVE_COUNT (PROC_MATRIX_SIZE*PROC_MATRIX_SIZE)
  16
  17 #define DATA_MATRIX_SIZE 18
  18 const int submatrix_size = DATA_MATRIX_SIZE/PROC_MATRIX_SIZE;
  19
  20 XBT_LOG_NEW_DEFAULT_CATEGORY(pmm,"Parallel Matrix Multiplication");
  21
  22 /* struct for recovering results */
  23 GRAS_DEFINE_TYPE(s_result,struct s_result {
  24   int linepos;
  25   int rowpos;
  26   xbt_matrix_t C GRAS_ANNOTE(subtype,double);
  27 });
  28 typedef struct s_result result_t;
  29
  30 /* struct to send initial data to slave */
  31 GRAS_DEFINE_TYPE(s_pmm_assignment,struct s_pmm_assignment {
  32   int linepos;
  33   int rowpos;
  34   xbt_peer_t line[NEIGHBOR_COUNT];
  35   xbt_peer_t row[NEIGHBOR_COUNT];
  36   xbt_matrix_t A GRAS_ANNOTE(subtype,double);
  37   xbt_matrix_t B GRAS_ANNOTE(subtype,double);
  38 });
  39 typedef struct s_pmm_assignment s_pmm_assignment_t;
  40
  41 /* register messages which may be sent (common to client and server) */
  42 static void register_messages(void) {
  43   gras_datadesc_type_t result_type;
  44   gras_datadesc_type_t pmm_assignment_type;
  45
  46   gras_datadesc_set_const("NEIGHBOR_COUNT",NEIGHBOR_COUNT);
  47   result_type=gras_datadesc_by_symbol(s_result);
  48   pmm_assignment_type=gras_datadesc_by_symbol(s_pmm_assignment);
  49
  50   /* receive a final result from slave */
  51   gras_msgtype_declare("result", result_type);
  52
  53   /* send from master to slave to assign a position and some data */
  54   gras_msgtype_declare("pmm_slave", pmm_assignment_type);
  55
  56   /* send data between slaves */
  57   gras_msgtype_declare("dataA", gras_datadesc_matrix(gras_datadesc_by_name("double"),NULL));
  58   gras_msgtype_declare("dataB", gras_datadesc_matrix(gras_datadesc_by_name("double"),NULL));
  59 }
  60
  61 /* Function prototypes */
  62 int slave (int argc,char *argv[]);
  63 int master (int argc,char *argv[]);
  64
  65
  66 /* **********************************************************************
  67  * master code
  68  * **********************************************************************/
  69
  70 /* Global private data */
  71 typedef struct {
  72   int nbr_row,nbr_line;
  73   int remaining_step;
  74   int remaining_ack;
  75 } master_data_t;
  76
  77
  78 int master (int argc,char *argv[]) {
  79
  80   int i;
  81
  82   xbt_matrix_t A,B,C;
  83   result_t result;
  84
  85   gras_socket_t from;
  86
  87   xbt_dynar_t peers; /* group of slaves */
  88   xbt_peer_t grid[SLAVE_COUNT]; /* The slaves as an array */
  89   gras_socket_t socket[SLAVE_COUNT]; /* sockets for brodcast to slaves */
  90
  91   /* Init the GRAS's infrastructure */
  92   gras_init(&argc, argv);
  93   amok_pm_init();
  94   register_messages();
  95
  96   /* Initialize data matrices */
  97   A = xbt_matrix_double_new_id(DATA_MATRIX_SIZE,DATA_MATRIX_SIZE);
  98   B = xbt_matrix_double_new_seq(DATA_MATRIX_SIZE,DATA_MATRIX_SIZE);
  99   C = xbt_matrix_double_new_zeros(DATA_MATRIX_SIZE,DATA_MATRIX_SIZE);
 100
 101   /* Create the connexions */
 102   xbt_assert0(argc>1, "Usage: master <port>");
 103   gras_socket_server(atoi(argv[1]));
 104   peers=amok_pm_group_new("pmm");
 105
 106   /* friends, we're ready. Come and play */
 107   INFO0("Wait for peers for 5 sec");
 108   gras_msg_handleall(5);
 109   INFO1("Got %ld pals",xbt_dynar_length(peers));
 110
 111   for (i=0;
 112        i<xbt_dynar_length(peers) && i<SLAVE_COUNT;
 113        i++) {
 114
 115     xbt_dynar_get_cpy(peers,i,&grid[i]);
 116     socket[i]=gras_socket_client(grid[i]->name,grid[i]->port);
 117   }
 118   xbt_assert2(i==SLAVE_COUNT,
 119               "Not enough slaves for this setting (got %d of %d). Change the deployment file",
 120               i,SLAVE_COUNT);
 121
 122   /* Kill surnumerous slaves */
 123   for (i=SLAVE_COUNT; i<xbt_dynar_length(peers); ) {
 124     xbt_peer_t h;
 125
 126     xbt_dynar_remove_at(peers,i,&h);
 127     INFO2("Too much slaves. Killing %s:%d", h->name, h->port);
 128     amok_pm_kill_hp(h->name,h->port);
 129     free(h);
 130   }
 131
 132
 133   /* Assign job to slaves */
 134   int row=0, line=0;
 135   INFO0("XXXXXXXXXXXXXXXXXXXXXX begin Multiplication");
 136   for(i=0 ; i<SLAVE_COUNT; i++){
 137     s_pmm_assignment_t assignment;
 138     int j,k;
 139
 140     assignment.linepos=line; // assigned line
 141     assignment.rowpos=row;   // assigned row
 142
 143     /* Neiborhood */
 144     for (j=0,k=0; j<PROC_MATRIX_SIZE; j++) {
 145       if (i != j*PROC_MATRIX_SIZE+(row)) {
 146          assignment.row[k] = grid[ j*PROC_MATRIX_SIZE+(row) ] ;
 147          k++;
 148       }
 149     }
 150     for (j=0,k=0; j<PROC_MATRIX_SIZE; j++) {
 151       if (i != (line)*PROC_MATRIX_SIZE+j) {
 152          assignment.line[k] =  grid[ (line)*PROC_MATRIX_SIZE+j ] ;
 153          k++;
 154       }
 155     }
 156
 157     assignment.A=xbt_matrix_new_sub(A,
 158                                     submatrix_size,submatrix_size,
 159                                     submatrix_size*line,submatrix_size*row,
 160                                     NULL);
 161     assignment.B=xbt_matrix_new_sub(B,
 162                                     submatrix_size,submatrix_size,
 163                                     submatrix_size*line,submatrix_size*row,
 164                                     NULL);
 165     row++;
 166     if (row >= PROC_MATRIX_SIZE) {
 167       row=0;
 168       line++;
 169     }
 170
 171     gras_msg_send(socket[i],"pmm_slave",&assignment);
 172     xbt_matrix_free(assignment.A);
 173     xbt_matrix_free(assignment.B);
 174   }
 175
 176   /* (have a rest while the slave perform the multiplication) */
 177
 178   /* Retrieve the results */
 179   for( i=0;i< SLAVE_COUNT;i++){
 180     gras_msg_wait(6000,"result",&from,&result);
 181     VERB2("%d slaves are done already. Waiting for %d",i+1, SLAVE_COUNT);
 182     xbt_matrix_copy_values(C,result.C,   submatrix_size,submatrix_size,
 183                            submatrix_size*result.linepos,
 184                            submatrix_size*result.rowpos,
 185                            0,0,NULL);
 186     xbt_matrix_free(result.C);
 187   }
 188   /*    end of gather   */
 189
 190   if (DATA_MATRIX_SIZE < 30) {
 191      INFO0 ("The Result of Multiplication is :");
 192      xbt_matrix_dump(C,"C:res",0,xbt_matrix_dump_display_double);
 193   } else {
 194      INFO1("Matrix size too big (%d>30) to be displayed here",DATA_MATRIX_SIZE);
 195   }
 196
 197   amok_pm_group_shutdown ("pmm");   /* Ok, we're out of here */
 198
 199   for(i=0; i<SLAVE_COUNT; i++) {
 200      gras_socket_close(socket[i]);
 201   }
 202
 203   xbt_matrix_free(A);
 204   xbt_matrix_free(B);
 205   xbt_matrix_free(C);
 206   gras_exit();
 207   return 0;
 208 } /* end_of_master */
 209
 210 /* **********************************************************************
 211  * slave code
 212  * **********************************************************************/
 213
 214 static int pmm_worker_cb(gras_msg_cb_ctx_t ctx, void *payload) {
 215   /* Recover my initialized Data and My Position*/
 216   s_pmm_assignment_t assignment = *(s_pmm_assignment_t*)payload;
 217   gras_socket_t master = gras_msg_cb_ctx_from(ctx);
 218
 219   xbt_ex_t e;
 220
 221   int step,l;
 222   xbt_matrix_t bA=xbt_matrix_new(submatrix_size,submatrix_size,
 223                                  sizeof(double),NULL);
 224   xbt_matrix_t bB=xbt_matrix_new(submatrix_size,submatrix_size,
 225                                  sizeof(double),NULL);
 226
 227   int myline,myrow;
 228   xbt_matrix_t mydataA,mydataB;
 229   xbt_matrix_t bC=xbt_matrix_double_new_zeros(submatrix_size,submatrix_size);
 230
 231   result_t result;
 232
 233   gras_socket_t from;  /* to exchange data with my neighbor */
 234
 235   /* sockets for brodcast to other slave */
 236   gras_socket_t socket_line[PROC_MATRIX_SIZE-1];
 237   gras_socket_t socket_row[PROC_MATRIX_SIZE-1];
 238   memset(socket_line,0,sizeof(socket_line));
 239   memset(socket_row,0,sizeof(socket_row));
 240
 241   int i;
 242
 243   gras_os_sleep(1); /* wait for my pals */
 244
 245   myline  = assignment.linepos;
 246   myrow   = assignment.rowpos;
 247   mydataA = assignment.A;
 248   mydataB = assignment.B;
 249
 250   INFO2("Receive my pos (%d,%d) and assignment",myline,myrow);
 251
 252   /* Get my neighborhood from the assignment message (skipping myself) */
 253   for (i=0 ; i<PROC_MATRIX_SIZE-1 ; i++){
 254     socket_line[i]=gras_socket_client(assignment.line[i]->name,
 255                                       assignment.line[i]->port);
 256     xbt_peer_free(assignment.line[i]);
 257   }
 258   for (i=0 ; i<PROC_MATRIX_SIZE-1 ; i++){
 259     socket_row[i]=gras_socket_client(assignment.row[i]->name,
 260                                      assignment.row[i]->port);
 261     xbt_peer_free(assignment.row[i]);
 262   }
 263
 264   for (step=0; step<PROC_MATRIX_SIZE;step++) {
 265
 266     /* a line brodcast */
 267     if(myline==step){
 268        INFO2("LINE: step(%d) = Myline(%d). Broadcast my data.",
 269              step,myline);
 270        for (l=0;l < PROC_MATRIX_SIZE-1 ;l++) {
 271           INFO1("LINE:   Send to %s",
 272                 gras_socket_peer_name(socket_row[l]));
 273          gras_msg_send(socket_row[l], "dataB", &mydataB);
 274        }
 275
 276
 277        xbt_matrix_free(bB);
 278        bB = xbt_matrix_new_sub(mydataB,
 279                                submatrix_size,submatrix_size,
 280                                0,0,NULL);
 281     } else {
 282       TRY {
 283         xbt_matrix_free(bB);
 284         gras_msg_wait(600,"dataB",&from,&bB);
 285       } CATCH(e) {
 286         RETHROW0("Can't get a data message from line : %s");
 287       }
 288       INFO3("LINE: step(%d) <> Myline(%d). Receive data from %s",step,myline,
 289             gras_socket_peer_name(from));
 290     }
 291
 292     /* a row brodcast */
 293     if (myrow==step) {
 294        INFO2("ROW: step(%d)=myrow(%d). Broadcast my data.",step,myrow);
 295        for (l=1;l < PROC_MATRIX_SIZE ; l++) {
 296           INFO1("ROW:   Send to %s",
 297                 gras_socket_peer_name(socket_line[l-1]));
 298           gras_msg_send(socket_line[l-1],"dataA", &mydataA);
 299        }
 300        xbt_matrix_free(bA);
 301        bA = xbt_matrix_new_sub(mydataA,
 302                                submatrix_size,submatrix_size,
 303                                0,0,NULL);
 304     } else {
 305       TRY {
 306         xbt_matrix_free(bA);
 307         gras_msg_wait(1200,"dataA", &from,&bA);
 308       } CATCH(e) {
 309         RETHROW0("Can't get a data message from row : %s");
 310       }
 311       INFO3("ROW: step(%d)<>myrow(%d). Receive data from %s",step,myrow,
 312             gras_socket_peer_name(from));
 313     }
 314     xbt_matrix_double_addmult(bA,bB,bC);
 315
 316   };
 317
 318   /* send Result to master */
 319   result.C=bC;
 320   result.linepos=myline;
 321   result.rowpos=myrow;
 322
 323   TRY {
 324     gras_msg_send(master, "result",&result);
 325   } CATCH(e) {
 326     RETHROW0("Failed to send answer to server: %s");
 327   }
 328   INFO2(">>>>>>>> Result sent to %s:%d <<<<<<<<",
 329         gras_socket_peer_name(master),gras_socket_peer_port(master));
 330   /*  Free the allocated resources, and shut GRAS down */
 331
 332   xbt_matrix_free(bA);
 333   xbt_matrix_free(bB);
 334   xbt_matrix_free(bC);
 335
 336   xbt_matrix_free(mydataA);
 337   xbt_matrix_free(mydataB);
 338   /* FIXME: some are said to be unknown
 339   gras_socket_close(master);
 340   gras_socket_close(from);
 341   for (l=0; l < PROC_MATRIX_SIZE-1; l++) {
 342      if (socket_line[l])
 343        gras_socket_close(socket_line[l]);
 344      if (socket_row[l])
 345        gras_socket_close(socket_row[l]);
 346   }*/
 347
 348   return 0;
 349 }
 350
 351 int slave(int argc,char *argv[]) {
 352   gras_socket_t mysock;
 353   gras_socket_t master = NULL;
 354   int connected = 0;
 355   int rank;
 356
 357   /* Init the GRAS's infrastructure */
 358   gras_init(&argc, argv);
 359   amok_pm_init();
 360   if (argc != 3 && argc !=2)
 361      xbt_die("Usage: slave masterhost:masterport [rank]");
 362   if (argc == 2)
 363      rank = -1;
 364   else
 365      rank = atoi(argv[2]);
 366
 367   /*  Register the known messages and my callback */
 368   register_messages();
 369   gras_cb_register("pmm_slave",pmm_worker_cb);
 370
 371   /* Create the connexions */
 372   mysock = gras_socket_server_range(3000,9999,0,0);
 373   INFO1("Sensor %d starting",rank);
 374   while (!connected) {
 375      xbt_ex_t e;
 376      TRY {
 377         master = gras_socket_client_from_string(argv[1]);
 378         connected = 1;
 379      } CATCH(e) {
 380         if (e.category != system_error)
 381           RETHROW;
 382         xbt_ex_free(e);
 383         gras_os_sleep(0.5);
 384      }
 385   }
 386
 387   /* Join and run the group */
 388   amok_pm_group_join(master,"pmm",rank);
 389   amok_pm_mainloop(600);
 390
 391   /* housekeeping */
 392   gras_socket_close(mysock);
 393   //  gras_socket_close(master); Unknown
 394   gras_exit();
 395   return 0;
 396 } /* end_of_slave */