Logo AND Algorithmique Numérique Distribuée

Public GIT Repository
Fixed tesh-surf-maxmin-xxx tests
[simgrid.git] / src / surf / maxmin.cpp
1 /* Copyright (c) 2004-2015. The SimGrid Team.
2  * All rights reserved.                                                     */
3
4 /* This program is free software; you can redistribute it and/or modify it
5  * under the terms of the license (GNU LGPL) which comes with this package. */
6
7 /* \file callbacks.h */
8
9 #include "xbt/sysdep.h"
10 #include "xbt/log.h"
11 #include "xbt/mallocator.h"
12 #include "maxmin_private.hpp"
13 #include <stdlib.h>
14 #include <stdio.h>              /* sprintf */
15 #include <math.h>
16 XBT_LOG_NEW_DEFAULT_SUBCATEGORY(surf_maxmin, surf,
17                                 "Logging specific to SURF (maxmin)");
18
19 typedef struct s_dyn_light {
20   int *data;
21   int pos;
22   int size;
23 } s_dyn_light_t, *dyn_light_t;
24
25 double sg_maxmin_precision = 0.00001;
26 double sg_surf_precision   = 0.00001;
27
28 static void *lmm_variable_mallocator_new_f(void);
29 static void lmm_variable_mallocator_free_f(void *var);
30 #define lmm_variable_mallocator_reset_f ((void_f_pvoid_t)NULL)
31 static void lmm_update_modified_set(lmm_system_t sys,
32                                     lmm_constraint_t cnst);
33 static void lmm_remove_all_modified_set(lmm_system_t sys);
34 static int Global_debug_id = 1;
35 static int Global_const_debug_id = 1;
36
37 static void lmm_var_free(lmm_system_t sys, lmm_variable_t var);
38 static XBT_INLINE void lmm_cnst_free(lmm_system_t sys,
39                                      lmm_constraint_t cnst);
40
41 static void lmm_on_disabled_var(lmm_system_t sys, lmm_constraint_t cnstr);
42 static void lmm_enable_var(lmm_system_t sys, lmm_variable_t var);
43 static int lmm_can_enable_var(lmm_variable_t var);
44 static void lmm_disable_var(lmm_system_t sys, lmm_variable_t var);
45 static int lmm_concurrency_slack(lmm_constraint_t cnstr);
46 static int lmm_cnstrs_min_concurrency_slack(lmm_variable_t var);
47
48 static void lmm_check_concurrency(lmm_system_t sys);
49
50 inline int lmm_element_concurrency(lmm_element_t elem) {
51   //Ignore element with weight less than one (e.g. cross-traffic)
52   return (elem->value>=1)?1:0;
53   //There are other alternatives, but they will change the behaviour of the model..
54   //So do not use it unless you want to make a new model.
55   //If you do, remember to change the variables concurrency share to reflect it.
56   //Potential examples are:
57   //return (elem->weight>0)?1:0;//Include element as soon  as weight is non-zero
58   //return (int)ceil(elem->weight);//Include element as the rounded-up integer value of the element weight
59 }
60
61 inline void lmm_decrease_concurrency(lmm_element_t elem) {
62   xbt_assert(elem->constraint->concurrency_current>=lmm_element_concurrency(elem));
63   elem->constraint->concurrency_current-=lmm_element_concurrency(elem);
64 }
65
66 inline void lmm_increase_concurrency(lmm_element_t elem) {
67
68   elem->constraint->concurrency_current+= lmm_element_concurrency(elem);
69
70   lmm_constraint_t cnstr=elem->constraint;
71   
72   if(cnstr->concurrency_current > cnstr->concurrency_maximum)
73     cnstr->concurrency_maximum= cnstr->concurrency_current;
74
75   xbt_assert(cnstr->concurrency_limit<0 || cnstr->concurrency_current<=cnstr->concurrency_limit,"Concurrency limit overflow!");
76 }
77
78 lmm_system_t lmm_system_new(int selective_update)
79 {
80   lmm_system_t l = NULL;
81   s_lmm_variable_t var;
82   s_lmm_constraint_t cnst;
83
84   l = xbt_new0(s_lmm_system_t, 1);
85
86   l->modified = 0;
87   l->selective_update_active = selective_update;
88   l->visited_counter = 1;
89
90   XBT_DEBUG("Setting selective_update_active flag to %d",
91          l->selective_update_active);
92
93   xbt_swag_init(&(l->variable_set),
94                 xbt_swag_offset(var, variable_set_hookup));
95   xbt_swag_init(&(l->constraint_set),
96                 xbt_swag_offset(cnst, constraint_set_hookup));
97
98   xbt_swag_init(&(l->active_constraint_set),
99                 xbt_swag_offset(cnst, active_constraint_set_hookup));
100
101   xbt_swag_init(&(l->modified_constraint_set),
102                 xbt_swag_offset(cnst, modified_constraint_set_hookup));
103   xbt_swag_init(&(l->saturated_variable_set),
104                 xbt_swag_offset(var, saturated_variable_set_hookup));
105   xbt_swag_init(&(l->saturated_constraint_set),
106                 xbt_swag_offset(cnst, saturated_constraint_set_hookup));
107
108   l->variable_mallocator = xbt_mallocator_new(65536,
109                                               lmm_variable_mallocator_new_f,
110                                               lmm_variable_mallocator_free_f,
111                                               lmm_variable_mallocator_reset_f);
112
113   return l;
114 }
115
116 void lmm_system_free(lmm_system_t sys)
117 {
118   lmm_variable_t var = NULL;
119   lmm_constraint_t cnst = NULL;
120
121   
122   while ((var = (lmm_variable_t) extract_variable(sys))) {
123     XBT_WARN
124         ("Variable %p (%d) still in  system when freing it: this may be a bug",
125          var, var->id_int);
126     lmm_var_free(sys, var);
127   }
128
129   while ((cnst = (lmm_constraint_t) extract_constraint(sys)))
130     lmm_cnst_free(sys, cnst);
131
132   xbt_mallocator_free(sys->variable_mallocator);
133   free(sys);
134 }
135
136 static XBT_INLINE void lmm_variable_remove(lmm_system_t sys, lmm_variable_t var)
137 {
138   int i;
139   int nelements;
140   
141   lmm_element_t elem = NULL;
142   
143   XBT_IN("(sys=%p, var=%p)", sys, var);
144   sys->modified = 1;
145
146   //TODOLATER Can do better than that by leaving only the variable in only one enabled_element_set, call lmm_update_modified_set, and then remove it..
147   if(var->cnsts_number)
148       lmm_update_modified_set(sys, var->cnsts[0].constraint);
149
150   for (i = 0; i < var->cnsts_number; i++) {
151     elem = &var->cnsts[i];
152     if(var->weight>0)
153     lmm_decrease_concurrency(elem);
154     xbt_swag_remove(elem, &(elem->constraint->enabled_element_set));
155     xbt_swag_remove(elem, &(elem->constraint->disabled_element_set));
156     xbt_swag_remove(elem, &(elem->constraint->active_element_set));
157     nelements=xbt_swag_size(&(elem->constraint->enabled_element_set)) +
158               xbt_swag_size(&(elem->constraint->disabled_element_set));
159     if (!nelements)
160       make_constraint_inactive(sys, elem->constraint);
161     else
162       lmm_on_disabled_var(sys,elem->constraint);
163   }
164   
165   //Check if we can enable new variables going through the constraints where var was.
166   //Do it after removing all elements, so he first disabled variables get priority over those with smaller
167   //requirement
168   for (i = 0; i < var->cnsts_number; i++) {
169     elem = &var->cnsts[i];
170     if(xbt_swag_size(&(elem->constraint->disabled_element_set)))
171       lmm_on_disabled_var(sys,elem->constraint);  
172   }
173   
174   var->cnsts_number = 0;
175
176   lmm_check_concurrency(sys);
177     
178   XBT_OUT();
179 }
180
181 static void lmm_var_free(lmm_system_t sys, lmm_variable_t var)
182 {
183
184   lmm_variable_remove(sys, var);
185   xbt_mallocator_release(sys->variable_mallocator, var);
186 }
187
188 static XBT_INLINE void lmm_cnst_free(lmm_system_t sys,
189                                      lmm_constraint_t cnst)
190 {
191   make_constraint_inactive(sys, cnst);
192   free(cnst);
193 }
194
195 lmm_constraint_t lmm_constraint_new(lmm_system_t sys, void *id,
196                                     double bound_value)
197 {
198   lmm_constraint_t cnst = NULL;
199   s_lmm_element_t elem;
200
201   cnst = xbt_new0(s_lmm_constraint_t, 1);
202   cnst->id = id;
203   cnst->id_int = Global_const_debug_id++;
204   xbt_swag_init(&(cnst->enabled_element_set),
205                 xbt_swag_offset(elem, enabled_element_set_hookup));
206   xbt_swag_init(&(cnst->disabled_element_set),
207                 xbt_swag_offset(elem, disabled_element_set_hookup));
208   xbt_swag_init(&(cnst->active_element_set),
209                 xbt_swag_offset(elem, active_element_set_hookup));
210
211   cnst->bound = bound_value;
212   cnst->concurrency_maximum=0;
213   cnst->concurrency_current=0;
214   //TODO MARTIN Maybe a configuration item for the default cap concurrency? 
215   cnst->concurrency_limit=100;
216   cnst->usage = 0;
217   cnst->sharing_policy = 1; /* FIXME: don't hardcode the value */
218   insert_constraint(sys, cnst);
219
220   return cnst;
221 }
222
223 int lmm_constraint_concurrency_limit_get(lmm_constraint_t cnst)
224 {
225  return cnst->concurrency_limit;
226 }
227
228 void lmm_constraint_concurrency_limit_set(lmm_constraint_t cnst, int concurrency_limit)
229 {
230   xbt_assert(concurrency_limit<0 || cnst->concurrency_maximum<=concurrency_limit,"New concurrency limit should be larger than observed concurrency maximum. Maybe you want to call  lmm_constraint_concurrency_maximum_reset() to reset the maximum?");
231   cnst->concurrency_limit = concurrency_limit;
232 }
233
234 void lmm_constraint_concurrency_maximum_reset(lmm_constraint_t cnst)
235 {
236   cnst->concurrency_maximum = 0;
237 }
238
239 int lmm_constraint_concurrency_maximum_get(lmm_constraint_t cnst)
240 {
241  xbt_assert(cnst->concurrency_limit<0 || cnst->concurrency_maximum<=cnst->concurrency_limit,"Very bad: maximum observed concurrency is higher than limit. This is a bug of SURF, please report it.");
242   return cnst->concurrency_maximum;
243 }
244
245 void lmm_constraint_shared(lmm_constraint_t cnst)
246 {
247   cnst->sharing_policy = 0;
248 }
249
250 /** Return true if the constraint is shared, and false if it's FATPIPE */
251 int lmm_constraint_sharing_policy(lmm_constraint_t cnst)
252 {
253   return (cnst->sharing_policy);
254 }
255
256 /* @brief Remove a constraint 
257  * Currently this is dead code, but it is exposed in maxmin.h
258  * Apparently, this call was designed assuming that constraint would no more have elements in it. 
259  * If this is not the case, assertion will fail, and you need to add calls e.g. to lmm_shrink before effectively removing it.
260  */
261 XBT_INLINE void lmm_constraint_free(lmm_system_t sys,
262                                     lmm_constraint_t cnst)
263 {
264   xbt_assert(!xbt_swag_size(&(cnst->active_element_set)),"Removing constraint but it still has active elements");
265   xbt_assert(!xbt_swag_size(&(cnst->enabled_element_set)),"Removing constraint but it still has enabled elements");
266   xbt_assert(!xbt_swag_size(&(cnst->disabled_element_set)),"Removing constraint but it still has disabled elements");
267   remove_constraint(sys, cnst);
268   lmm_cnst_free(sys, cnst);
269 }
270
271 static void *lmm_variable_mallocator_new_f(void)
272 {
273   lmm_variable_t var = xbt_new(s_lmm_variable_t, 1);
274   var->cnsts = NULL; /* will be created by realloc */
275   return var;
276 }
277
278 static void lmm_variable_mallocator_free_f(void *var)
279 {
280   xbt_free(((lmm_variable_t) var)->cnsts);
281   xbt_free(var);
282 }
283
284 lmm_variable_t lmm_variable_new(lmm_system_t sys, void *id,
285                                 double weight,
286                                 double bound, int number_of_constraints)
287 {
288   lmm_variable_t var = NULL;
289   int i;
290
291   XBT_IN("(sys=%p, id=%p, weight=%f, bound=%f, num_cons =%d)",
292           sys, id, weight, bound, number_of_constraints);
293
294   var = (lmm_variable_t) xbt_mallocator_get(sys->variable_mallocator);
295   var->id = id;
296   var->id_int = Global_debug_id++;
297   var->cnsts = (s_lmm_element_t *) xbt_realloc(var->cnsts, number_of_constraints * sizeof(s_lmm_element_t));
298   for (i = 0; i < number_of_constraints; i++) {
299     var->cnsts[i].enabled_element_set_hookup.next = NULL;
300     var->cnsts[i].enabled_element_set_hookup.prev = NULL;
301     var->cnsts[i].disabled_element_set_hookup.next = NULL;
302     var->cnsts[i].disabled_element_set_hookup.prev = NULL;
303     var->cnsts[i].active_element_set_hookup.next = NULL;
304     var->cnsts[i].active_element_set_hookup.prev = NULL;
305     var->cnsts[i].constraint = NULL;
306     var->cnsts[i].variable = NULL;
307     var->cnsts[i].value = 0.0;
308   }
309   var->cnsts_size = number_of_constraints;
310   var->cnsts_number = 0;
311   var->weight = weight;
312   var->staged_weight = 0.0;
313   var->bound = bound;
314   var->concurrency_share = 1;
315   var->value = 0.0;
316   var->visited = sys->visited_counter - 1;
317   var->mu = 0.0;
318   var->new_mu = 0.0;
319   var->func_f = func_f_def;
320   var->func_fp = func_fp_def;
321   var->func_fpi = func_fpi_def;
322
323   var->variable_set_hookup.next = NULL;
324   var->variable_set_hookup.prev = NULL;
325   var->saturated_variable_set_hookup.next = NULL;
326   var->saturated_variable_set_hookup.prev = NULL;
327
328   if (weight)
329     xbt_swag_insert_at_head(var, &(sys->variable_set));
330   else
331     xbt_swag_insert_at_tail(var, &(sys->variable_set));
332
333   XBT_OUT(" returns %p", var);
334   return var;
335 }
336
337 void lmm_variable_free(lmm_system_t sys, lmm_variable_t var)
338 {
339   remove_variable(sys, var);
340   lmm_var_free(sys, var);
341 }
342
343 double lmm_variable_getvalue(lmm_variable_t var)
344 {
345   return (var->value);
346 }
347
348
349 void lmm_variable_concurrency_share_set(lmm_variable_t var, short int concurrency_share)
350 {
351   var->concurrency_share=concurrency_share;
352 }
353
354 double lmm_variable_getbound(lmm_variable_t var)
355 {
356   return (var->bound);
357 }
358
359 void lmm_shrink(lmm_system_t sys, lmm_constraint_t cnst,
360                 lmm_variable_t var)
361 {
362   lmm_element_t elem = NULL;
363   int found = 0;
364
365   int i;
366   for (i = 0; i < var->cnsts_number; i++) {
367     elem = &(var->cnsts[i]);
368     if (elem->constraint == cnst) {
369       found = 1;
370       break;
371     }
372   }
373
374   if (!found) {
375     XBT_DEBUG("cnst %p is not found in var %p", cnst, var);
376     return;
377   }
378
379   sys->modified = 1;
380
381   XBT_DEBUG("remove elem(value %f, cnst %p, var %p) in var %p",
382       elem->value, elem->constraint, elem->variable, var);
383
384   /* We are going to change the constraint object and the variable object.
385    * Propagate this change to other objects. Calling here before removing variable from not active elements (inactive elements are not visited)
386    */
387   lmm_update_modified_set(sys, cnst);
388   //Useful in case var was already removed from the constraint
389   lmm_update_modified_set(sys, var->cnsts[0].constraint); // will look up enabled_element_set of this constraint, and then each var in the enabled_element_set, and each var->cnsts[i].
390
391   if(xbt_swag_remove(elem, &(elem->constraint->enabled_element_set)))
392     lmm_decrease_concurrency(elem);
393
394   xbt_swag_remove(elem, &(elem->constraint->active_element_set));
395   elem->constraint = NULL;
396   elem->variable = NULL;
397   elem->value = 0;
398
399   var->cnsts_number -= 1;
400
401   //No variable in this constraint -> make it inactive
402   if (xbt_swag_size(&(cnst->enabled_element_set))+xbt_swag_size(&(cnst->disabled_element_set)) == 0)
403     make_constraint_inactive(sys, cnst);
404   else {
405     //Check maxconcurrency to see if we can enable new variables
406     lmm_on_disabled_var(sys,elem->constraint);       
407   }
408
409   lmm_check_concurrency(sys);
410 }
411
412 void lmm_expand(lmm_system_t sys, lmm_constraint_t cnst,
413                 lmm_variable_t var, double value)
414 {
415   lmm_element_t elem = NULL;
416   double weight;
417   int i,current_share;
418   
419   
420   sys->modified = 1;
421
422   //Check if this variable already has an active element in this constraint
423   //If it does, substract it from the required slack
424   current_share=0;
425   if(var->concurrency_share>1){
426     for( i=0; i<var->cnsts_number;i++){
427       if(var->cnsts[i].constraint==cnst && xbt_swag_belongs(&var->cnsts[i],&(var->cnsts[i].constraint->enabled_element_set)))
428         current_share+=lmm_element_concurrency(&(var->cnsts[i]));
429     }
430   }
431
432   //Check if we need to disable the variable 
433   if(var->weight>0 && var->concurrency_share-current_share>lmm_concurrency_slack(cnst))
434    {
435     weight=var->weight;
436     lmm_disable_var(sys,var);
437     for (i = 0; i < var->cnsts_number; i++)
438       lmm_on_disabled_var(sys,var->cnsts[i].constraint);
439     value=0;
440     var->staged_weight=weight;
441     xbt_assert(!var->weight);
442   }
443
444   xbt_assert(var->cnsts_number < var->cnsts_size, "Too much constraints");
445
446   elem = &(var->cnsts[var->cnsts_number++]);
447
448   elem->value = value;
449   elem->constraint = cnst;
450   elem->variable = var;
451
452   
453   if (var->weight){
454     xbt_swag_insert_at_head(elem, &(elem->constraint->enabled_element_set));
455     lmm_increase_concurrency(elem);
456   }
457   else
458     xbt_swag_insert_at_tail(elem, &(elem->constraint->disabled_element_set));
459
460   if(!sys->selective_update_active) {
461     make_constraint_active(sys, cnst);
462   } else if(elem->value>0 || var->weight >0) {
463     make_constraint_active(sys, cnst);
464     lmm_update_modified_set(sys, cnst);
465     //TODOLATER: Why do we need this second call?
466     if (var->cnsts_number > 1)
467       lmm_update_modified_set(sys, var->cnsts[0].constraint);
468   }
469
470   lmm_check_concurrency(sys);
471 }
472
473 void lmm_expand_add(lmm_system_t sys, lmm_constraint_t cnst,
474                     lmm_variable_t var, double value)
475 {
476   int i,j;
477   double weight;
478   sys->modified = 1;
479   
480   lmm_check_concurrency(sys);
481
482   //BEWARE: In case you have multiple elements in one constraint, this will always
483   //add value to the first element.
484   for (i = 0; i < var->cnsts_number; i++)
485     if (var->cnsts[i].constraint == cnst)
486       break;
487
488   if (i < var->cnsts_number) {
489     if (var->weight)
490       lmm_decrease_concurrency(&var->cnsts[i]);
491
492     if (cnst->sharing_policy)
493       var->cnsts[i].value += value;
494     else
495       var->cnsts[i].value = MAX(var->cnsts[i].value, value);
496
497     //We need to check that increasing value of the element does not cross the concurrency limit
498     if (var->weight){
499       if(lmm_concurrency_slack(cnst)<lmm_element_concurrency(&var->cnsts[i])){
500         weight=var->weight;
501         lmm_disable_var(sys,var);
502         for (j = 0; j < var->cnsts_number; j++)
503           lmm_on_disabled_var(sys,var->cnsts[j].constraint);
504         var->staged_weight=weight;
505         xbt_assert(!var->weight);
506       }
507       lmm_increase_concurrency(&var->cnsts[i]);
508     }
509     
510     lmm_update_modified_set(sys, cnst);
511   } else
512     lmm_expand(sys, cnst, var, value);
513
514   lmm_check_concurrency(sys);
515 }
516
517 lmm_constraint_t lmm_get_cnst_from_var(lmm_system_t /*sys*/,
518                                                   lmm_variable_t var,
519                                                   int num)
520 {
521   if (num < var->cnsts_number)
522     return (var->cnsts[num].constraint);
523   else
524     return NULL;
525 }
526
527 double lmm_get_cnst_weight_from_var(lmm_system_t /*sys*/,
528                                                          lmm_variable_t var,
529                                                          int num)
530 {
531   if (num < var->cnsts_number)
532     return (var->cnsts[num].value);
533   else
534     return 0.0;
535 }
536
537 int lmm_get_number_of_cnst_from_var(lmm_system_t /*sys*/,
538                                                lmm_variable_t var)
539 {
540   return (var->cnsts_number);
541 }
542
543 lmm_variable_t lmm_get_var_from_cnst(lmm_system_t /*sys*/,
544                                      lmm_constraint_t cnst,
545                                      lmm_element_t * elem)
546 {
547   
548   if (!(*elem)) {
549     //That is the first call, pick the first element among enabled_element_set (or disabled_element_set if enabled_element_set is empty)
550     *elem = (lmm_element_t) xbt_swag_getFirst(&(cnst->enabled_element_set));
551     if (!(*elem))
552       *elem = (lmm_element_t) xbt_swag_getFirst(&(cnst->disabled_element_set));
553   }  else {
554     //elem is not null, so we carry on
555     if(xbt_swag_belongs(*elem,&(cnst->enabled_element_set))){
556       //Look at enabled_element_set, and jump to disabled_element_set when finished
557       *elem = (lmm_element_t) xbt_swag_getNext(*elem, cnst->enabled_element_set.offset);
558       if (!(*elem))
559   *elem = (lmm_element_t) xbt_swag_getFirst(&(cnst->disabled_element_set));
560     } else {
561       *elem = (lmm_element_t) xbt_swag_getNext(*elem, cnst->disabled_element_set.offset);      
562     }
563   }
564   if (*elem)
565     return (*elem)->variable;
566   else
567     return NULL;
568 }
569
570 //if we modify the swag between calls, normal version may loop forever
571 //this safe version ensures that we browse the swag elements only once
572 lmm_variable_t lmm_get_var_from_cnst_safe(lmm_system_t /*sys*/,
573                                      lmm_constraint_t cnst,
574                                      lmm_element_t * elem,
575                                      lmm_element_t * nextelem,
576                                      int * numelem)
577 {
578   if (!(*elem)){
579     *elem = (lmm_element_t) xbt_swag_getFirst(&(cnst->enabled_element_set));
580     *numelem = xbt_swag_size(&(cnst->enabled_element_set))+xbt_swag_size(&(cnst->disabled_element_set))-1;
581     if (!(*elem))
582       *elem = (lmm_element_t) xbt_swag_getFirst(&(cnst->disabled_element_set));
583   }else{
584     *elem = *nextelem;
585     if(*numelem>0){
586      (*numelem) --;
587     }else
588       return NULL;
589   }
590   if (*elem){
591     //elem is not null, so we carry on
592     if(xbt_swag_belongs(*elem,&(cnst->enabled_element_set))){
593       //Look at enabled_element_set, and jump to disabled_element_set when finished
594       *nextelem = (lmm_element_t) xbt_swag_getNext(*elem, cnst->enabled_element_set.offset);
595       if (!(*nextelem))
596   *nextelem = (lmm_element_t) xbt_swag_getFirst(&(cnst->disabled_element_set));
597     } else {
598       *nextelem = (lmm_element_t) xbt_swag_getNext(*elem, cnst->disabled_element_set.offset);      
599     }
600     return (*elem)->variable;
601   }else
602     return NULL;
603 }
604
605 void *lmm_constraint_id(lmm_constraint_t cnst)
606 {
607   return cnst->id;
608 }
609
610 void *lmm_variable_id(lmm_variable_t var)
611 {
612   return var->id;
613 }
614
615 static XBT_INLINE void saturated_constraint_set_update(double usage,
616                                                       int cnst_light_num,
617                                                       dyn_light_t saturated_constraint_set,
618                                                       double *min_usage)
619 {
620   xbt_assert(usage > 0,"Impossible");
621
622   if (*min_usage < 0 || *min_usage > usage) {
623     *min_usage = usage;
624     XBT_HERE(" min_usage=%f (cnst->remaining / cnst->usage =%f)", *min_usage, usage);
625     saturated_constraint_set->data[0] = cnst_light_num;
626     saturated_constraint_set->pos = 1;
627   } else if (*min_usage == usage) {
628     if(saturated_constraint_set->pos == saturated_constraint_set->size) { // realloc the size
629       saturated_constraint_set->size *= 2;
630       saturated_constraint_set->data = (int*) xbt_realloc(saturated_constraint_set->data, (saturated_constraint_set->size) * sizeof(int));
631     }
632     saturated_constraint_set->data[saturated_constraint_set->pos] = cnst_light_num;
633     saturated_constraint_set->pos++;
634   }
635 }
636
637 static XBT_INLINE void saturated_variable_set_update(
638     s_lmm_constraint_light_t *cnst_light_tab,
639     dyn_light_t saturated_constraint_set,
640     lmm_system_t sys)
641 {
642   /* Add active variables (i.e. variables that need to be set) from the set of constraints to saturate (cnst_light_tab)*/ 
643   lmm_constraint_light_t cnst = NULL;
644   void *_elem;
645   lmm_element_t elem = NULL;
646   xbt_swag_t elem_list = NULL;
647   int i;
648   for(i = 0; i< saturated_constraint_set->pos; i++){
649     cnst = &cnst_light_tab[saturated_constraint_set->data[i]];
650     elem_list = &(cnst->cnst->active_element_set);
651     xbt_swag_foreach(_elem, elem_list) {
652       elem = (lmm_element_t)_elem;
653       //Visiting active_element_set, so, by construction, should never get a zero weight, correct?
654       xbt_assert(elem->variable->weight > 0);
655       if ((elem->value > 0))
656         xbt_swag_insert(elem->variable, &(sys->saturated_variable_set));
657     }
658   }
659 }
660
661 void lmm_print(lmm_system_t sys)
662 {
663   void *_cnst, *_elem, *_var;
664   lmm_constraint_t cnst = NULL;
665   lmm_element_t elem = NULL;
666   lmm_variable_t var = NULL;
667   xbt_swag_t cnst_list = NULL;
668   xbt_swag_t var_list = NULL;
669   xbt_swag_t elem_list = NULL;
670   char print_buf[1024];
671   char *trace_buf = (char*) xbt_malloc0(sizeof(char));
672   double sum = 0.0;
673
674   /* Printing Objective */
675   var_list = &(sys->variable_set);
676   sprintf(print_buf, "MAX-MIN ( ");
677   trace_buf = (char*)
678       xbt_realloc(trace_buf, strlen(trace_buf) + strlen(print_buf) + 1);
679   strcat(trace_buf, print_buf);
680   xbt_swag_foreach(_var, var_list) {
681   var = (lmm_variable_t)_var;
682     sprintf(print_buf, "'%d'(%f) ", var->id_int, var->weight);
683     trace_buf = (char*)
684         xbt_realloc(trace_buf, strlen(trace_buf) + strlen(print_buf) + 1);
685     strcat(trace_buf, print_buf);
686   }
687   sprintf(print_buf, ")");
688   trace_buf = (char*)
689       xbt_realloc(trace_buf, strlen(trace_buf) + strlen(print_buf) + 1);
690   strcat(trace_buf, print_buf);
691   XBT_DEBUG("%20s", trace_buf);
692   trace_buf[0] = '\000';
693
694   XBT_DEBUG("Constraints");
695   /* Printing Constraints */
696   cnst_list = &(sys->active_constraint_set);
697   xbt_swag_foreach(_cnst, cnst_list) {
698   cnst = (lmm_constraint_t)_cnst;
699     sum = 0.0;
700     //Show  the enabled variables
701     elem_list = &(cnst->enabled_element_set);
702     sprintf(print_buf, "\t");
703     trace_buf = (char*)
704         xbt_realloc(trace_buf, strlen(trace_buf) + strlen(print_buf) + 1);
705     strcat(trace_buf, print_buf);
706     sprintf(print_buf, "%s(",(cnst->sharing_policy)?"":"max");
707     trace_buf = (char*)
708       xbt_realloc(trace_buf,
709       strlen(trace_buf) + strlen(print_buf) + 1);
710     strcat(trace_buf, print_buf);      
711     xbt_swag_foreach(_elem, elem_list) {
712       elem = (lmm_element_t)_elem;
713       sprintf(print_buf, "%f.'%d'(%f) %s ", elem->value,
714               elem->variable->id_int, elem->variable->value,(cnst->sharing_policy)?"+":",");
715       trace_buf = (char*)
716           xbt_realloc(trace_buf,
717                       strlen(trace_buf) + strlen(print_buf) + 1);
718       strcat(trace_buf, print_buf);
719       if(cnst->sharing_policy)
720         sum += elem->value * elem->variable->value;
721       else 
722         sum = MAX(sum,elem->value * elem->variable->value);
723     }
724     //TODO: Adding disabled elements only for test compatibility, but do we really want them to be printed?
725     elem_list = &(cnst->disabled_element_set);
726     xbt_swag_foreach(_elem, elem_list) {
727       elem = (lmm_element_t)_elem;
728       sprintf(print_buf, "%f.'%d'(%f) %s ", elem->value,
729               elem->variable->id_int, elem->variable->value,(cnst->sharing_policy)?"+":",");
730       trace_buf = (char*)
731           xbt_realloc(trace_buf,
732                       strlen(trace_buf) + strlen(print_buf) + 1);
733       strcat(trace_buf, print_buf);
734       if(cnst->sharing_policy)
735         sum += elem->value * elem->variable->value;
736       else 
737         sum = MAX(sum,elem->value * elem->variable->value);
738     }
739     
740     sprintf(print_buf, "0) <= %f ('%d')", cnst->bound, cnst->id_int);
741     trace_buf = (char*)
742         xbt_realloc(trace_buf, strlen(trace_buf) + strlen(print_buf) + 1);
743     strcat(trace_buf, print_buf);
744
745     if (!cnst->sharing_policy) {
746       sprintf(print_buf, " [MAX-Constraint]");
747       trace_buf = (char*)
748           xbt_realloc(trace_buf,
749                       strlen(trace_buf) + strlen(print_buf) + 1);
750       strcat(trace_buf, print_buf);
751     }
752     XBT_DEBUG("%s", trace_buf);
753     trace_buf[0] = '\000';
754     xbt_assert(!double_positive(sum - cnst->bound, cnst->bound*sg_maxmin_precision),
755                 "Incorrect value (%f is not smaller than %f): %g",
756                 sum, cnst->bound, sum - cnst->bound);
757   }
758
759   XBT_DEBUG("Variables");
760   /* Printing Result */
761   xbt_swag_foreach(_var, var_list) {
762   var = (lmm_variable_t)_var;
763     if (var->bound > 0) {
764       XBT_DEBUG("'%d'(%f) : %f (<=%f)", var->id_int, var->weight, var->value,
765              var->bound);
766       xbt_assert(!double_positive(var->value - var->bound, var->bound*sg_maxmin_precision),
767                   "Incorrect value (%f is not smaller than %f",
768                   var->value, var->bound);
769     } else {
770       XBT_DEBUG("'%d'(%f) : %f", var->id_int, var->weight, var->value);
771     }
772   }
773
774   free(trace_buf);
775 }
776
777 void lmm_solve(lmm_system_t sys)
778 {
779   void *_var, *_cnst, *_cnst_next, *_elem;
780   lmm_variable_t var = NULL;
781   lmm_constraint_t cnst = NULL;
782   lmm_element_t elem = NULL;
783   xbt_swag_t cnst_list = NULL;
784   xbt_swag_t var_list = NULL;
785   xbt_swag_t elem_list = NULL;
786   double min_usage = -1;
787   double min_bound = -1;
788
789   if (!(sys->modified))
790     return;
791
792   XBT_IN("(sys=%p)", sys);
793
794   /*
795    * Compute Usage and store the variables that reach the maximum. If selective_update_active is true, only constraints that changed are considered. Otherwise all constraints with active actions are considered.
796    */
797   cnst_list =
798       sys->
799       selective_update_active ? &(sys->modified_constraint_set) :
800       &(sys->active_constraint_set);
801
802   XBT_DEBUG("Active constraints : %d", xbt_swag_size(cnst_list));
803   /* Init: Only modified code portions: reset the value of active variables */
804   xbt_swag_foreach(_cnst, cnst_list) {
805   cnst = (lmm_constraint_t)_cnst;
806     elem_list = &(cnst->enabled_element_set);
807     //XBT_DEBUG("Variable set : %d", xbt_swag_size(elem_list));
808     xbt_swag_foreach(_elem, elem_list) {
809       var = ((lmm_element_t)_elem)->variable;
810       xbt_assert(var->weight > 0.0);
811       var->value = 0.0;
812     }
813   }
814
815   s_lmm_constraint_light_t *cnst_light_tab = (s_lmm_constraint_light_t *)xbt_malloc0(xbt_swag_size(cnst_list)*sizeof(s_lmm_constraint_light_t));
816   int cnst_light_num = 0;
817   dyn_light_t saturated_constraint_set = xbt_new0(s_dyn_light_t,1);
818   saturated_constraint_set->size = 5;
819   saturated_constraint_set->data = xbt_new0(int, saturated_constraint_set->size);
820
821   xbt_swag_foreach_safe(_cnst, _cnst_next, cnst_list) {
822   cnst = (lmm_constraint_t)_cnst;
823     /* INIT: Collect constraints that actually need to be saturated (i.e remaining  and usage are strictly positive) into cnst_light_tab. */
824     cnst->remaining = cnst->bound;
825     if (!double_positive(cnst->remaining, cnst->bound*sg_maxmin_precision))
826       continue;
827     cnst->usage = 0;
828     elem_list = &(cnst->enabled_element_set);
829     xbt_swag_foreach(_elem, elem_list) {
830       elem = (lmm_element_t)_elem;
831       xbt_assert(elem->variable->weight > 0);
832       if ((elem->value > 0)) {
833         if (cnst->sharing_policy)
834           cnst->usage += elem->value / elem->variable->weight;
835         else if (cnst->usage < elem->value / elem->variable->weight)
836           cnst->usage = elem->value / elem->variable->weight;
837
838         make_elem_active(elem);
839         simgrid::surf::Action *action = static_cast<simgrid::surf::Action*>(elem->variable->id);
840         if (sys->keep_track && !action->is_linked())
841           sys->keep_track->push_back(*action);
842       }
843     }
844     XBT_DEBUG("Constraint '%d' usage: %f remaining: %f ", cnst->id_int, cnst->usage, cnst->remaining);
845     /* Saturated constraints update */
846
847     if(cnst->usage > 0) {
848       cnst_light_tab[cnst_light_num].cnst = cnst;
849       cnst->cnst_light = &(cnst_light_tab[cnst_light_num]);
850       cnst_light_tab[cnst_light_num].remaining_over_usage = cnst->remaining / cnst->usage;
851       saturated_constraint_set_update(cnst_light_tab[cnst_light_num].remaining_over_usage,
852         cnst_light_num, saturated_constraint_set, &min_usage);
853       xbt_assert(cnst->active_element_set.count>0, "There is no sense adding a constraint that has no active element!" );
854       cnst_light_num++;
855     }
856   }
857
858   saturated_variable_set_update(  cnst_light_tab,
859                                   saturated_constraint_set,
860                                   sys);
861
862   /* Saturated variables update */
863
864   do {
865     /* Fix the variables that have to be */
866     var_list = &(sys->saturated_variable_set);
867
868     xbt_swag_foreach(_var, var_list) {
869       var = (lmm_variable_t)_var;
870       if (var->weight <= 0.0)
871         DIE_IMPOSSIBLE;
872       /* First check if some of these variables could reach their upper
873          bound and update min_bound accordingly. */
874       XBT_DEBUG
875           ("var=%d, var->bound=%f, var->weight=%f, min_usage=%f, var->bound*var->weight=%f",
876            var->id_int, var->bound, var->weight, min_usage,
877            var->bound * var->weight);
878       if ((var->bound > 0) && (var->bound * var->weight < min_usage)) {
879         if (min_bound < 0)
880           min_bound = var->bound*var->weight;
881         else
882           min_bound = MIN(min_bound, (var->bound*var->weight));
883         XBT_DEBUG("Updated min_bound=%f", min_bound);
884       }
885     }
886
887
888     while ((var = (lmm_variable_t)xbt_swag_getFirst(var_list))) {
889       int i;
890
891       if (min_bound < 0) {
892   //If no variable could reach its bound, deal iteratively the constraints usage ( at worst one constraint is saturated at each cycle) 
893         var->value = min_usage / var->weight;
894         // XBT_DEBUG("Setting %p (%d) value to %f\n", var, var->id_int, var->value);
895         XBT_DEBUG("Setting var (%d) value to %f\n", var->id_int, var->value);
896       } else {
897   //If there exist a variable that can reach its bound, only update it (and other with the same bound) for now.
898       if (double_equals(min_bound, var->bound*var->weight, sg_maxmin_precision)){
899           var->value = var->bound;
900           XBT_DEBUG("Setting %p (%d) value to %f\n", var, var->id_int, var->value);
901         }
902         else {
903     // Variables which bound is different are not considered for this cycle, but they will be afterwards.  
904           XBT_DEBUG("Do not consider %p (%d) \n", var, var->id_int);
905           xbt_swag_remove(var, var_list);
906           continue;
907         }
908       }
909       XBT_DEBUG("Min usage: %f, Var(%d)->weight: %f, Var(%d)->value: %f ",
910              min_usage, var->id_int, var->weight, var->id_int, var->value);
911
912
913       /* Update the usage of contraints where this variable is involved */
914       for (i = 0; i < var->cnsts_number; i++) {
915         elem = &var->cnsts[i];
916         cnst = elem->constraint;
917         if (cnst->sharing_policy) {
918     //Remember: shared constraints require that sum(elem->value * var->value) < cnst->bound
919           double_update(&(cnst->remaining),  elem->value * var->value, cnst->bound*sg_maxmin_precision);
920           double_update(&(cnst->usage), elem->value / var->weight, sg_maxmin_precision);
921     //If the constraint is saturated, remove it from the set of active constraints (light_tab)
922           if(!double_positive(cnst->usage,sg_maxmin_precision) || !double_positive(cnst->remaining,cnst->bound*sg_maxmin_precision)) {
923             if (cnst->cnst_light) {
924               int index = (cnst->cnst_light-cnst_light_tab);
925               XBT_DEBUG("index: %d \t cnst_light_num: %d \t || usage: %f remaining: %f bound: %f  ",
926               index,cnst_light_num, cnst->usage, cnst->remaining, cnst->bound);
927               //              XBT_DEBUG("index: %d \t cnst_light_num: %d \t || \t cnst: %p \t cnst->cnst_light: %p \t cnst_light_tab: %p usage: %f remaining: %f bound: %f  ",
928               //index,cnst_light_num, cnst, cnst->cnst_light, cnst_light_tab, cnst->usage, cnst->remaining, cnst->bound);
929               cnst_light_tab[index]=cnst_light_tab[cnst_light_num-1];
930               cnst_light_tab[index].cnst->cnst_light = &cnst_light_tab[index];
931               cnst_light_num--;
932               cnst->cnst_light = NULL;
933             }
934           } else {
935             cnst->cnst_light->remaining_over_usage = cnst->remaining / cnst->usage;
936           }
937           make_elem_inactive(elem);
938         } else {
939     //Remember: non-shared constraints only require that max(elem->value * var->value) < cnst->bound
940           cnst->usage = 0.0;
941           make_elem_inactive(elem);
942           elem_list = &(cnst->enabled_element_set);
943           xbt_swag_foreach(_elem, elem_list) {
944       elem = (lmm_element_t)_elem;
945       xbt_assert(elem->variable->weight > 0);
946       if (elem->variable->value > 0) continue;
947       if (elem->value > 0)
948         cnst->usage = MAX(cnst->usage, elem->value / elem->variable->weight);
949           }
950     //If the constraint is saturated, remove it from the set of active constraints (light_tab)
951           if(!double_positive(cnst->usage,sg_maxmin_precision) || !double_positive(cnst->remaining,cnst->bound*sg_maxmin_precision)) {
952             if(cnst->cnst_light) {
953               int index = (cnst->cnst_light-cnst_light_tab);
954               XBT_DEBUG("index: %d \t cnst_light_num: %d \t || \t cnst: %p \t cnst->cnst_light: %p \t cnst_light_tab: %p usage: %f remaining: %f bound: %f  ",
955       index,cnst_light_num, cnst, cnst->cnst_light, cnst_light_tab, cnst->usage, cnst->remaining, cnst->bound);
956               cnst_light_tab[index]=cnst_light_tab[cnst_light_num-1];
957               cnst_light_tab[index].cnst->cnst_light = &cnst_light_tab[index];
958               cnst_light_num--;
959               cnst->cnst_light = NULL;
960             }
961           } else {
962             cnst->cnst_light->remaining_over_usage = cnst->remaining / cnst->usage;
963             xbt_assert(cnst->active_element_set.count>0, "Should not keep a maximum constraint that has no active element! You want to check the maxmin precision and possible rounding effects." );
964           }
965         }
966       }
967       xbt_swag_remove(var, var_list);
968     }
969
970     /* Find out which variables reach the maximum */
971     min_usage = -1;
972     min_bound = -1;
973     saturated_constraint_set->pos = 0;
974     int pos;
975     for(pos=0; pos<cnst_light_num; pos++){
976       xbt_assert(cnst_light_tab[pos].cnst->active_element_set.count>0, "Cannot saturate more a constraint that has no active element! You may want to change the maxmin precision (--cfg=maxmin/precision:<new_value>) because of possible rounding effects.\n\tFor the record, the usage of this constraint is %g while the maxmin precision to which it is compared is %g.\n\tThe usage of the previous constraint is %g.", cnst_light_tab[pos].cnst->usage, sg_maxmin_precision, cnst_light_tab[pos-1].cnst->usage);
977       saturated_constraint_set_update(
978           cnst_light_tab[pos].remaining_over_usage,
979           pos,
980           saturated_constraint_set,
981           &min_usage);
982   }
983
984     saturated_variable_set_update(  cnst_light_tab,
985                                     saturated_constraint_set,
986                                     sys);
987
988   } while (cnst_light_num > 0);
989
990   sys->modified = 0;
991   if (sys->selective_update_active)
992     lmm_remove_all_modified_set(sys);
993
994   if (XBT_LOG_ISENABLED(surf_maxmin, xbt_log_priority_debug)) {
995     lmm_print(sys);
996   }
997
998   lmm_check_concurrency(sys);
999   
1000   xbt_free(saturated_constraint_set->data);
1001   xbt_free(saturated_constraint_set);
1002   xbt_free(cnst_light_tab);
1003   XBT_OUT();
1004 }
1005
1006
1007 /** \brief Attribute the value bound to var->bound.
1008  * 
1009  *  \param sys the lmm_system_t
1010  *  \param var the lmm_variable_t
1011  *  \param bound the new bound to associate with var
1012  * 
1013  *  Makes var->bound equal to bound. Whenever this function is called 
1014  *  a change is  signed in the system. To
1015  *  avoid false system changing detection it is a good idea to test 
1016  *  (bound != 0) before calling it.
1017  *
1018 */
1019 void lmm_update_variable_bound(lmm_system_t sys, lmm_variable_t var,
1020     double bound)
1021 {
1022   sys->modified = 1;
1023   var->bound = bound;
1024
1025   if (var->cnsts_number)
1026     lmm_update_modified_set(sys, var->cnsts[0].constraint);
1027 }
1028
1029
1030
1031 int lmm_concurrency_slack(lmm_constraint_t cnstr){
1032
1033   //FIXME MARTIN: Replace by infinite value std::numeric_limits<int>::(max)(), or something better within Simgrid?
1034   if(cnstr->concurrency_limit<0)
1035     return 666;
1036
1037   return  cnstr->concurrency_limit - cnstr->concurrency_current;  
1038 }
1039
1040 /** \brief Measure the minimum concurrency slack across all constraints where var is involved
1041  *
1042  * \param The variable to check for
1043  *
1044  */
1045 int lmm_cnstrs_min_concurrency_slack(lmm_variable_t var){
1046   int i;
1047   //FIXME MARTIN: Replace by infinite value std::numeric_limits<int>::(max)(), or something better within Simgrid?
1048   int slack,minslack=666;
1049   for (i = 0; i < var->cnsts_number; i++) {
1050     slack=lmm_concurrency_slack(var->cnsts[i].constraint);
1051     
1052     //This is only an optimization, to avoid looking at more constraints when slack is already zero
1053     //Disable it when debugging to let lmm_concurrency_slack catch nasty things
1054     if(!slack   && !XBT_LOG_ISENABLED(surf_maxmin, xbt_log_priority_debug))
1055       return 0;
1056
1057     if(minslack>slack)
1058       minslack=slack;
1059   }
1060
1061   return minslack;
1062 }
1063
1064 /* /Check if a variable can be enabled
1065  *
1066  * Make sure to set staged_weight before, if your intent is only to check concurrency 
1067  */
1068 int lmm_can_enable_var(lmm_variable_t var){
1069   return var->staged_weight>0 && lmm_cnstrs_min_concurrency_slack(var)>=var->concurrency_share;
1070 }
1071
1072
1073 //Small remark: In this implementation of lmm_enable_var and lmm_disable_var, we will meet multiple times with var when running lmm_update_modified_set.
1074 //A priori not a big performance issue, but we might do better by calling lmm_update_modified_set within the for loops (after doing the first for enabling==1, and before doing the last for disabling==1)
1075
1076 void lmm_enable_var(lmm_system_t sys, lmm_variable_t var){
1077
1078   int i;
1079   lmm_element_t elem;
1080   
1081   xbt_assert(lmm_can_enable_var(var));
1082
1083   var->weight = var->staged_weight;
1084   var->staged_weight = 0;
1085
1086   //Enabling the variable, move to var to list head. Subtility is: here, we need to call lmm_update_modified_set AFTER moving at least one element of var.
1087
1088   xbt_swag_remove(var, &(sys->variable_set));
1089   xbt_swag_insert_at_head(var, &(sys->variable_set));
1090   for (i = 0; i < var->cnsts_number; i++) {
1091     elem = &var->cnsts[i];
1092     xbt_swag_remove(elem, &(elem->constraint->disabled_element_set));
1093     xbt_swag_insert_at_head(elem, &(elem->constraint->enabled_element_set));
1094     lmm_increase_concurrency(elem);
1095   }
1096   if (var->cnsts_number)
1097     lmm_update_modified_set(sys, var->cnsts[0].constraint);
1098
1099   //When used within lmm_on_disabled_var, we would get an assertion fail, because transiently there can be variables that are staged and could be activated.
1100   //Anyway, caller functions all call lmm_check_concurrency() in the end. 
1101   //  lmm_check_concurrency(sys);
1102 }
1103
1104 void lmm_disable_var(lmm_system_t sys, lmm_variable_t var){
1105   int i;
1106   lmm_element_t elem;
1107
1108   xbt_assert(!var->staged_weight,"Staged weight should have been cleared");
1109   //Disabling the variable, move to var to list tail. Subtility is: here, we need to call lmm_update_modified_set BEFORE moving the last element of var.
1110   xbt_swag_remove(var, &(sys->variable_set));
1111   xbt_swag_insert_at_tail(var, &(sys->variable_set));
1112   if (var->cnsts_number)
1113     lmm_update_modified_set(sys, var->cnsts[0].constraint);
1114   for (i = 0; i < var->cnsts_number; i++) {
1115     elem = &var->cnsts[i];
1116     xbt_swag_remove(elem, &(elem->constraint->enabled_element_set));
1117     xbt_swag_insert_at_tail(elem, &(elem->constraint->disabled_element_set));
1118
1119     xbt_swag_remove(elem, &(elem->constraint->active_element_set));
1120
1121     lmm_decrease_concurrency(elem);
1122   }
1123
1124   var->weight=0.0;
1125   var->staged_weight=0.0;
1126   var->value = 0.0;
1127   lmm_check_concurrency(sys);
1128 }
1129  
1130 /* /brief Find variables that can be enabled and enable them.
1131  * 
1132  * Assuming that the variable has already been removed from non-zero weights
1133  * Can we find a staged variable to add?
1134  * If yes, check that none of the constraints that this variable is involved in is at the limit of its concurrency
1135  * And then add it to enabled variables
1136  */
1137 void lmm_on_disabled_var(lmm_system_t sys, lmm_constraint_t cnstr){
1138
1139   lmm_element_t elem;
1140   lmm_element_t nextelem;
1141   int numelem;
1142   
1143   if(cnstr->concurrency_limit<0)
1144     return;
1145
1146   numelem=xbt_swag_size(&(cnstr->disabled_element_set));
1147   if(!numelem)
1148     return;
1149
1150   elem= (lmm_element_t) xbt_swag_getFirst(&(cnstr->disabled_element_set));
1151
1152   //Cannot use xbt_swag_foreach, because lmm_enable_var will modify disabled_element_set.. within the loop
1153   while(numelem-- && elem ){
1154
1155     nextelem = (lmm_element_t) xbt_swag_getNext(elem, cnstr->disabled_element_set.offset);      
1156
1157     if (elem->variable->staged_weight>0 )
1158       {
1159         //Found a staged variable
1160         //TODOLATER: Add random timing function to model reservation protocol fuzziness? Then how to make sure that staged variables will eventually be called?
1161         if(lmm_can_enable_var(elem->variable)){
1162           lmm_enable_var(sys,elem->variable);
1163         }        
1164       }
1165
1166     xbt_assert(cnstr->concurrency_current<=cnstr->concurrency_limit,"Concurrency overflow!");
1167     if(cnstr->concurrency_current==cnstr->concurrency_limit)
1168       break;
1169
1170     elem = nextelem;
1171   }
1172
1173   //We could get an assertion fail, because transiently there can be variables that are staged and could be activated.
1174   //And we need to go through all constraints of the disabled var before getting back a coherent state.
1175   //Anyway, caller functions all call lmm_check_concurrency() in the end. 
1176   //  lmm_check_concurrency(sys);
1177
1178 }
1179
1180 /* \brief update the weight of a variable, and enable/disable it.
1181  * @return Returns whether a change was made
1182  */
1183 void lmm_update_variable_weight(lmm_system_t sys, lmm_variable_t var,
1184              double weight)
1185 {
1186   int minslack;
1187   
1188   xbt_assert(weight>=0,"Variable weight should not be negative!");
1189   
1190   if (weight == var->weight)
1191     return;
1192
1193   int enabling_var=  (weight>0 && var->weight<=0);
1194   int disabling_var= (weight<=0 && var->weight>0);
1195  
1196   XBT_IN("(sys=%p, var=%p, weight=%f)", sys, var, weight);
1197
1198   sys->modified = 1;
1199   
1200   //Are we enabling this variable?
1201   if (enabling_var){
1202     var->staged_weight = weight;
1203     minslack=lmm_cnstrs_min_concurrency_slack(var);
1204     if(minslack<var->concurrency_share){      
1205       XBT_DEBUG("Staging var (instead of enabling) because min concurrency slack %i, with weight %f and concurrency share %i", minslack, weight, var->concurrency_share);
1206       return;
1207     }
1208     XBT_DEBUG("Enabling var with min concurrency slack %i", minslack);
1209     lmm_enable_var(sys,var);   
1210   } else if (disabling_var){
1211     //Are we disabling this variable?
1212     lmm_disable_var(sys,var);       
1213   } else {
1214     var->weight=weight;
1215   }
1216
1217   lmm_check_concurrency(sys);
1218   
1219   XBT_OUT();
1220   return;
1221 }
1222
1223 double lmm_get_variable_weight(lmm_variable_t var)
1224 {
1225   return var->weight;
1226 }
1227
1228 void lmm_update_constraint_bound(lmm_system_t sys,
1229                                             lmm_constraint_t cnst,
1230                                             double bound)
1231 {
1232   sys->modified = 1;
1233   lmm_update_modified_set(sys, cnst);
1234   cnst->bound = bound;
1235 }
1236
1237 int lmm_constraint_used(lmm_system_t sys, lmm_constraint_t cnst)
1238 {
1239   return xbt_swag_belongs(cnst, &(sys->active_constraint_set));
1240 }
1241
1242 XBT_INLINE lmm_constraint_t lmm_get_first_active_constraint(lmm_system_t
1243                                                             sys)
1244 {
1245   return (lmm_constraint_t)xbt_swag_getFirst(&(sys->active_constraint_set));
1246 }
1247
1248 XBT_INLINE lmm_constraint_t lmm_get_next_active_constraint(lmm_system_t
1249                                                            sys,
1250                                                            lmm_constraint_t
1251                                                            cnst)
1252 {
1253   return (lmm_constraint_t)xbt_swag_getNext(cnst, (sys->active_constraint_set).offset);
1254 }
1255
1256 #ifdef HAVE_LATENCY_BOUND_TRACKING
1257 XBT_PUBLIC(int) lmm_is_variable_limited_by_latency(lmm_variable_t var)
1258 {
1259   return (double_equals(var->bound, var->value, var->bound*sg_maxmin_precision));
1260 }
1261 #endif
1262
1263
1264 /** \brief Update the constraint set propagating recursively to
1265  *  other constraints so the system should not be entirely computed.
1266  *
1267  *  \param sys the lmm_system_t
1268  *  \param cnst the lmm_constraint_t affected by the change
1269  *
1270  *  A recursive algorithm to optimize the system recalculation selecting only
1271  *  constraints that have changed. Each constraint change is propagated
1272  *  to the list of constraints for each variable.
1273  */
1274 static void lmm_update_modified_set_rec(lmm_system_t sys,
1275                                         lmm_constraint_t cnst)
1276 {
1277   void* _elem;
1278
1279   //TODOLATER: Why lmm_modified_set has been changed in git version 2392B5157...? Looks equivalent logically and less obvious..
1280   
1281   xbt_swag_foreach(_elem, &cnst->enabled_element_set) {
1282     lmm_variable_t var = ((lmm_element_t)_elem)->variable;
1283     s_lmm_element_t *cnsts = var->cnsts;
1284     int i;
1285     for (i = 0; var->visited != sys->visited_counter
1286              && i < var->cnsts_number ; i++) {
1287       if (cnsts[i].constraint != cnst
1288           && !xbt_swag_belongs(cnsts[i].constraint,
1289                                &sys->modified_constraint_set)) {
1290         xbt_swag_insert(cnsts[i].constraint, &sys->modified_constraint_set);
1291         lmm_update_modified_set_rec(sys, cnsts[i].constraint);
1292       }
1293     }
1294     //var will be ignored in later visits as long as sys->visited_counter does not move 
1295     var->visited = sys->visited_counter;
1296   }
1297 }
1298
1299 static void lmm_update_modified_set(lmm_system_t sys,
1300                                     lmm_constraint_t cnst)
1301 {
1302   /* nothing to do if selective update isn't active */
1303   if (sys->selective_update_active
1304       && !xbt_swag_belongs(cnst, &sys->modified_constraint_set)) {
1305     xbt_swag_insert(cnst, &sys->modified_constraint_set);
1306     lmm_update_modified_set_rec(sys, cnst);
1307   }
1308 }
1309
1310 /** \brief Remove all constraints of the modified_constraint_set.
1311  *
1312  *  \param sys the lmm_system_t
1313  *
1314  */
1315 static void lmm_remove_all_modified_set(lmm_system_t sys)
1316 {
1317
1318   //We cleverly un-flag all variables just by incrementing sys->visited_counter
1319   //In effect, the var->visited value will no more be equal to sys->visited counter
1320   //To be clean, when visited counter has wrapped around, we force these var->visited values so that variables that were in the modified a long (long long) time ago are not wrongly skipped here, which would lead to very nasty bugs (i.e. not readibily reproducible, and requiring a lot of run time before happening).  
1321   if (++sys->visited_counter == 1) {
1322     /* the counter wrapped around, reset each variable->visited */
1323   void *_var;
1324     xbt_swag_foreach(_var, &sys->variable_set)
1325       ((lmm_variable_t)_var)->visited = 0;
1326   } 
1327   xbt_swag_reset(&sys->modified_constraint_set);
1328 }
1329
1330 /**
1331  *  Returns total resource load
1332  *
1333  * \param cnst the lmm_constraint_t associated to the resource
1334  *
1335  *
1336  * This is dead code, but we may use it later for debug/trace.
1337  */
1338 double lmm_constraint_get_usage(lmm_constraint_t cnst) {
1339    double usage = 0.0;
1340    xbt_swag_t elem_list = &(cnst->enabled_element_set);
1341    void *_elem;
1342    lmm_element_t elem = NULL;
1343
1344    xbt_swag_foreach(_elem, elem_list) {
1345    elem = (lmm_element_t)_elem;
1346      if ((elem->value > 0)) {
1347        if (cnst->sharing_policy)
1348          usage += elem->value * elem->variable->value;
1349        else if (usage < elem->value * elem->variable->value)
1350          usage = elem->value * elem->variable->value;
1351      }
1352    }
1353   return usage;
1354 }
1355
1356 void lmm_check_concurrency(lmm_system_t sys){
1357   void* _cnst;
1358   void* _elem;
1359   void* _var;
1360   lmm_element_t elem;
1361   lmm_constraint_t cnst;
1362   lmm_variable_t var;
1363   int concurrency;
1364   int i,belong_to_enabled,belong_to_disabled,belong_to_active;
1365   
1366   //These checks are very expensive, so do them only if we want to debug SURF LMM
1367   if (XBT_LOG_ISENABLED(surf_maxmin, xbt_log_priority_debug)) {
1368   
1369     xbt_swag_foreach(_cnst, &(sys->constraint_set)) {
1370       cnst = (lmm_constraint_t) _cnst;
1371       concurrency=0;
1372       xbt_swag_foreach(_elem, &(cnst->enabled_element_set)) {
1373         elem = (lmm_element_t)_elem;
1374         xbt_assert(elem->variable->weight > 0);
1375         concurrency+=lmm_element_concurrency(elem);
1376       }
1377       
1378       xbt_swag_foreach(_elem, &(cnst->disabled_element_set)) {
1379   elem = (lmm_element_t)_elem;
1380   //We should have staged variables only if concurrency is reached in some constraint
1381   xbt_assert(cnst->concurrency_limit<0 || elem->variable->staged_weight==0 || lmm_cnstrs_min_concurrency_slack(elem->variable) < elem->variable->concurrency_share,"should not have staged variable!");
1382       }
1383       
1384       xbt_assert(cnst->concurrency_limit<0 || cnst->concurrency_limit >= concurrency,"concurrency check failed!");
1385       xbt_assert(cnst->concurrency_current == concurrency, "concurrency_current is out-of-date!");
1386     }
1387
1388
1389     //Check that for each variable, all corresponding elements are in the same state (i.e. same element sets)
1390     xbt_swag_foreach(_var, &(sys->variable_set)) {
1391       var= (lmm_variable_t) _var;
1392
1393       if(!var->cnsts_number)
1394         continue;
1395
1396       elem = &var->cnsts[0];
1397       belong_to_enabled=xbt_swag_belongs(elem,&(elem->constraint->enabled_element_set));
1398       belong_to_disabled=xbt_swag_belongs(elem,&(elem->constraint->disabled_element_set));
1399       belong_to_active=xbt_swag_belongs(elem,&(elem->constraint->active_element_set));
1400
1401       for (i = 1; i < var->cnsts_number; i++) {
1402         elem = &var->cnsts[i];
1403         xbt_assert(belong_to_enabled==xbt_swag_belongs(elem,&(elem->constraint->enabled_element_set)),
1404                    "Variable inconsistency (1): enabled_element_set");
1405         xbt_assert(belong_to_disabled==xbt_swag_belongs(elem,&(elem->constraint->disabled_element_set)),
1406            "Variable inconsistency (2): disabled_element_set");
1407         xbt_assert(belong_to_active==xbt_swag_belongs(elem,&(elem->constraint->active_element_set)),
1408                    "Variable inconsistency (3): active_element_set");
1409       }
1410       
1411     }
1412   }
1413 }