Bewijsbaar en efficiënt leren optimaliseren van niet-convexe problemen

Onze huidige informatiemaatschappij is sterk gericht op het verzamelen van grote hoeveelheden data waaruit we via machine learning (ML) beogen bruikbare informatie te extraheren. De belangrijkste stap in elke ML-techniek is "training", waarbij een optimalisatieprobleem wordt opgelost om de parameters van het ML-model te bepalen. Dergelijke optimalisatieproblemen vormen een enorme uitdaging vanwege hun grote omvang en de aanwezigheid van zeer niet-convexe en niet-differentieerbare termen. Optimalisatiealgoritmen voor het oplossen van "training"-problemen bevatten gewoonlijk een groot aantal hyperparameters die door middel van tijdrovende experimentatie handmatig moeten worden gekozen. Bovendien zijn ze gevoelig voor slechte conditionering en voor het vastlopen in locale minima. Aangezien de omvang van datasets snel blijft groeien en ML-modellen complexer worden, worden deze problemen steeds meer uitgesproken en komt de verdere uitbreiding van de toepasbaarheid van ML-technieken in het gedrang. Om deze uitdaging aan te gaan, trachten we in dit project naar ML-gebaseerde technieken voor het ontwikkelen van ad-hoc, tuningvrije optimalisatiealgoritmen. Er zal een nieuw universeel raamwerk worden ontwikkeld dat zal dienen als een solide theoretische basis voor de ontwikkeling van nieuwe ML-paradigma's voor het trainen van optimalisatiemethoden met bijhorende certificaten van convergentie(snelheid) en kwaliteit van de outputoplossing.