Operator Splitsingtechnieken en hun Toepassing voor Ingebedde Optimalisatieproblemen

Efficiënte eerste-orde algoritmen voor grootschalige gedistribueerde optimalisatie is het belangrijkste onderwerp van onderzoek in dit proefschrift.
De onderzochte algoritmen bestrijken een breed scala aan toepassingen op het gebied van machine learning, signaalverwerking en besturing.

De afgelopen jaren is een groot aantal algoritmen geïntroduceerd die steunen op (mogelijk een herformulering van) een van de klassieke splitsingsalgoritmen, met name forward-backward, Douglas-Rachford en forward-backward-forward splitsingen.
In dit proefschrift wordt een nieuwe drievoudige splitsingstechniek ontwikkeld die splitsingen naar voren en naar achteren en Douglas-Rachford herstelt als speciale gevallen.
In het kader van gestructureerde optimalisatie wordt deze splitsing gebruikt om een raamwerk te ontwikkelen voor een grote klasse van oerdubbele algoritmen, wat een uniforme convergentieanalyse oplevert voor veel ogenschijnlijk ongerelateerde algoritmen. Bovendien wordt voor al dergelijke algoritmen lineaire convergentie tot stand gebracht onder milde regelmatigheidsomstandigheden voor de kostenfuncties.

Als een andere opmerkelijke bijdrage stellen we een gerandomiseerd blokcoördinaat primal-dual-algoritme voor dat leidt tot een volledig gedistribueerd asynchroon algoritme in een multi-agentmodel. Bovendien worden nieuwe algoritmen voorgesteld wanneer ze zich specialiseren in gestructureerde optimalisatie met meerdere agents via grafieken. Bovendien wordt aangetoond dat in een multi-agentmodel begrensde communicatievertragingen worden getolereerd door oer-duale algoritmen, op voorwaarde dat bepaalde sterke convexiteitsaannames gelden.

  In het laatste hoofdstuk vertrekken we van convexe analyse en beschouwen we een volledig niet-convex blokcoördinaat proximaal gradiëntalgoritme en laten we zien dat dit leidt tot niet-convexe incrementele geaggregeerde algoritmen voor geregulariseerde eindige som en het delen van problemen met zeer algemene steekproefstrategieën.