Numerieke methoden voor de berekening van tensorontbindingen. Van kleinstekwadraten naar beta-divergentie, van batch naar updating.

In de loop der jaren zijn er honderden algoritmen ontworpen om een matrix op te splitsen als een product van andere matrices. Deze matrixontbindingen kunnen worden gebruikt om gegevens te comprimeren met een minimaal verlies aan informatie of om zinvolle componenten uit de matrix te extraheren. Meer recent zijn tensorontbindingen zoals de canonieke polyadische ontbinding (CPO) en de lage-multilineaire-rangbenadering (LMLRB) ontworpen als hogereordeveralgemeningen van deze matrixontbindingen die in bepaalde toepassingen tot betere resultaten leiden. Hoewel matrixmethodes een natuurlijke manier bieden om gegevens met twee variabelen te verwerken, herkennen ze vaak hogereordepatronen in de data niet. Tensoren kunnen daarentegen een willekeurig aantal modes hebben en kunnen de hogereordestructuur van de gegevens wel behouden, waardoor ze zeer nuttig zijn voor het analyseren van gegevens met meerdere variabelen. Ook zijn tensorontbindingen veel gemakkelijker uniek dan hun matrixtegenhangers. Omdat er minder (artificiële) beperkingen zoals orthogonaliteit of driehoeksstructuur aan de termen moeten worden opgelegd om hun uniciteit af te dwingen, kan dit leiden tot een ontbinding met componenten die beter overeenkomen met de realiteit.

Tensorontbindingsmethodes maken gewoonlijk twee aannames over de gegevens die door de gebruiker worden aangeleverd. Ten eerste gaan ze ervan uit dat alle gegevens tegelijk beschikbaar zijn en ten tweede beschouwen ze ruis op de gegevens als additief en Gaussiaans. In veel toepassingen zijn deze aannames gerechtvaardigd en kan men de tensor ontbinden met behulp van standaardmethodes die de kleinstekwadratenafstand tussen de tensor en het lagerangmodel minimaliseren. Naarmate tensormethodes echter op steeds meer reële problemen worden toegepast, neemt ook het aantal gevallen toe waarin deze aannames duidelijk worden geschonden. Elke real-time toepassing is bijvoorbeeld in strijd met de veronderstelling dat alle gegevens van bij de start beschikbaar zijn. In dergelijke toepassingen, zoals procescontrole of patiëntmonitoring, komen nieuwe gegevens met bepaalde tijdsintervallen binnen. Deze gegevens moeten in het tensormodel worden opgenomen zonder de volledige ontbinding vanaf nul te herberekenen, aangezien het gebruik van dergelijke methodes niet tijds- of geheugenefficiënt is. Ook is het niet moeilijk om toepassingen te vinden waarbij niet wordt voldaan aan de aanname van additieve Gaussiaanse ruis. Audiogegevens worden bijvoorbeeld over het algemeen gemodelleerd met behulp van een niet-Gaussiaanse ruisverdeling, terwijl men bij fotografische beelden met zwakke belichting uitgaat van Poissonverdeelde pixelintensiteiten. Wanneer de reële en imaginaire delen van een signaal onafhankelijk worden verzameld, zoals typisch het geval is bij MRI-beeldvorming, is de ruisverdeling van de signaalmagnitude Riciaans in plaats van Gaussiaans. Voor deze toepassingen leidt het gebruik van de kleinstekwadratenafstand als kostfunctie tot suboptimale ontbindingen, terwijl een geschikte keuze van alternatieve kostfunctie een model kan opleveren dat beter overeenkomt met de onderliggende fysische componenten.

In dit proefschrift stellen we een reeks methodes voor die nog steeds efficiënt een accurate tensorontbinding kunnen berekenen wanneer aan één van de bovengenoemde aannames niet wordt voldaan. Ten eerste stellen we voor zowel de CPO als de LMLRB updatingsmethodes voor. Deze methodes starten vanuit een bestaande tensorontbinding en werken deze ontbinding efficiënt bij wanneer er nieuwe gegevens binnenkomen. Door gebruik te maken van de multilineaire structuur van de tensormodellen, zijn deze methodes zowel efficiënt als accuraat voor het volgen van lagerangmodellen van de gegevens. Indien gewenst, kan men zelfs een gewogen kleinstekwadratenmethode gebruiken om bepaalde tensorelementen zwaarder te wegen dan andere, bijvoorbeeld wanneer de kwaliteit van de verzamelde data varieert van sensor tot sensor. De prestaties van de CPO-updatingsmethode worden gedemonstreerd voor het monitoren van de hemodynamische koppeling in de hersenen bij pasgeborenen. Een tweede bijdrage is dat we de bestaande kleinstekwadraten-CPO-algoritmen uitbreiden naar andere kostfuncties. Dit maakt het mogelijk om voor bepaalde toepassingen een meer gepaste kostfunctie te gebruiken en om bijgevolg betere modellen te verkrijgen dan wanneer de standaard kleinstekwadratenkostfunctie wordt gebruikt. We richten ons in het bijzonder op de klasse van beta-divergentiekostfuncties, waarvan de kleinstekwadratenafstand en de Kullback–Leibler- en Itakura–Saitodivergenties speciale gevallen zijn. We voorzien echter ook een gespecialiseerde methode voor de Riciaanse kostfunctie en in principe wordt zelfs elke tweemaal afleidbare kostfunctie ondersteund. We demonstreren de verbeterde prestaties van de gespecialiseerde methodes ten opzichte van ontbindingen die de  kleinstekwadratenafstand minimaliseren door een reeks fMRI-signalen blindelings van elkaar te scheiden uit een opgemeten gemengd signaal. Ten slotte stellen we een verbeterd algebraïsch algoritme voor om de CPO van een tensor te berekenen met de kleinstekwadratenafstand als kostfunctie. Door de veralgemeende eigenruimte van de tensor voorzichtig recursief op te splitsen in steeds kleinere deelruimten in plaats van alle veralgemeende eigenwaarden in één keer te bepalen, is de ontbinding nauwkeuriger, maar toch efficiënt te verkrijgen. De algebraïsche oplossing kan worden gebruikt als een initialisatie voor duurdere  optimalisatiealgoritmen en kan bijgevolg het aantal iteraties en dus ook de looptijd van deze methodes aanzienlijk verminderen.