Representaties Leren met Restrictieve Kernel-gebaseerde Modellen

In deze thesis breiden we het gebruik van Restricted Kernel Machines (RKM) uit om de voordelen van klassieke wiskundige methoden te combineren met deep learning-modellen om problemen op te lossen in verschillende domeinen, waaronder generatieve modellering, het leren van ontkoppelde en robuuste representaties, en tijdreeksanalyse. Ons werk bouwt voort op het framework van multi-view kernel principal component analysis (KPCA) en breidt dit uit om een gemeenschappelijke representatie te leren van verschillende modaliteiten, zoals afbeeldingen en tekst, en om uitschieters te detecteren en een robuuste representatie te leren. We stellen verschillende objectieve functies voor om ontkoppelend representatieleren te bevorderen en leiden de bewijsbare ondergrens af voor het voorgestelde model, waarbij we de verbindingen met variational autoencoders aantonen. Bovendien breiden we het framework uit naar tijdreeksanalyse door een regularisatieterm aan het objectief toe te voegen die de correlatie tussen de huidige en vorige latente variabelen vastlegt. Optimalisatie van dit objectief leidt tot een multi-view kernel PCA-probleem, dat wordt gebruikt om expliciet informatie één stap vooruit toe te voegen tijdens de training in een statische regressiesetting. Ten slotte valideren en toetsen we experimenteel alle voorgestelde modellen op openbaar beschikbare standaard datasets, waarbij we hun effectiviteit bij het oplossen van verschillende toepassingen in het echte leven aantonen.