Sestup po blocích souřadnic a lokální konzistence v lineárním programování

Abstract

Přestože problémy lineárního programování (LP) lze řešit v polynomiálním čase, běžné metody nemusí být v praxi dostatečné pro problémy velkého rozsahu, což vytváří poptávku po specializovaných škálovatelných metodách.. Takovou metodou pro rozsáhlé problémy je sestup po blocích souřadnic (BCD), jejíž fixní body ovšem nemusí být globální optima ani pro konvexní optimalizační problémy. Navzdory tomuto omezení jsou různé BCD algoritmy úspěšně používány pro přibližné řešení duální LP relaxace problému s váženými omezeními (WCSP, také známého jako MAP inference v grafových modelech) a jejich fixní body mohou být charakterizovány pomocí lokálních konzistencí, typicky variant hranové konzistence.V této práci se zaměřujeme na optimalizaci lineárních programů pomocí BCD nebo propagace podmínek a teoreticky oba tyto přístupy propojujeme. Abychom dosáhli tohoto cíle, navrhneme obecné schéma založené na propagaci podmínek pro přibližnou optimalizaci lineárních programů velkého rozsahu, jehož použitelnost vyhodnocujeme na veřejně dostupných instancích. Konkrétně tento přístup aplikujeme k přibližné optimalizaci duální LP relaxace váženého Max-SAT problému a LP formulace WCSP. V případě LP formulace WCSP ukážeme, že k získání horní meze na optimální hodnotu je možné použít jakoukoli klasickou metodu propagace podmínek v CSP, což se liší od stávajících metod, které bylo nutno přizpůsobit konkrétnímu zvolenému druhu lokální konzistence. Nevýhodou našeho přístupu je, že nemusí zachovávat vlastnosti vstupní WCSP instance, jako například množinu optimálních řešení, ale poskytuje pouze horní mez na optimální hodnotu, která je nicméně důležitá pro prořezávání prohledávaného prostoru během metody větví a mezí.Ačkoli je možné použít naše obecné schéma s jakoukoli metodou propagace podmínek v soustavě lineárních nerovností, našli jsme takový konkrétní způsob propagace, že fixní body výsledného algoritmu se shodují s fixními body BCD. Jinými slovy, našli jsme druh lokální konzistence, který BCD vynucuje v jakémkoli lineárním programu. V závislosti na řešeném problému se tato lokální konzistence může interpretovat například jako hranová konzistence nebo pozitivní konzistence. Díky těmto výsledkům charakterizujeme lineární programy, které jsou optimálně řešitelné pomocí BCD, pomocí úplnosti odpovídající metody propagace podmínek (tj. jestli daná metoda vždy dokáže detekovat nesplnitelnost jisté třídy lineárních rovnic a nerovnic). Tyto výsledky umožňují identifikovat nové třídy lineárních programů, které lze optimálně řešit pomocí BCD. Takové lineární programy zahrnují například LP formulaci problému hledání maximálního toku v síti nebo LP relaxace určitých kombinatorických problémů.Věříme, že tato práce může podnítit další výzkum v oblasti konvexních nehladkých optimalizačních problémů velkého rozsahu s omezeními.

Even though linear programming (LP) problems can be solved in polynomial time, solving large-scale LP instances using off-the-shelf solvers may be difficult in practice, which creates demand for specialized scalable methods. One such method for large-scale problems is block-coordinate descent (BCD). However, the fixed points of this method need not be global optima even for convex optimization problems. Despite this limitation, various BCD algorithms (also called `convergent message-passing algorithms') are successfully used for approximately solving the dual LP relaxation of the weighted constraint satisfaction problem (WCSP, also known as MAP inference in graphical models) and their fixed points can be characterized using local consistencies, typically variants of arc consistency.In this work, we focus on optimizing linear programs by BCD or constraint propagation and theoretically relating these approaches. To this end, we propose a general constraint-propagation-based framework for approximate optimization of large-scale linear programs whose applicability is evaluated on publicly available benchmarks. In detail, we employ this approach to approximately optimize the dual LP relaxation of weighted Max-SAT and an LP formulation of WCSP. In the latter case, we show that one can use any classical CSP constraint propagation method in order to obtain an upper bound on the optimal value. This is in contrast to existing methods that needed to be tailored to a specific chosen kind of local consistency. However, the cost for this is that our approach may not preserve the properties of the input WCSP instance, such as the set of optimal assignments, and only provides an upper bound on its optimal value, which is nevertheless important for pruning the search space during branch-and-bound search. .Although one can use our general framework with any constraint propagation method in a system of linear inequalities, we identify the precise form of constraint propagation such that the stopping points of the resulting algorithm coincide with the fixed points of BCD. In other words, we identify the kind of local consistency that is enforced by BCD in any linear program. Depending on the problem being solved, this condition may be interpreted, e.g., as arc consistency or positive consistency. Thanks to these results, we characterize linear programs that are optimally solvable by BCD by refutation-completeness of the associated propagator (i.e., whether it can always detect infeasibility of a certain class of systems of linear inequalities and equalities). This allows us to identify new classes of linear programs exactly solvable by BCD, including, e.g., an LP formulation of the maximum flow problem or LP relaxations of some combinatorial problems.We believe that this work may initiate further research on large-scale non-smooth constrained convex optimization problems.