Efficiënte en veelzijdige methodes voor relationeel machinaal leren

Het machinelearning-onderzoeksveld bestudeert computeralgoritmes die automatisch beter worden in het uitvoeren van een taak door de ervaring die ze opdoen in de vorm van data. De meestvoorkomende klassieke machinelearningmethodes verwachten data in de vorm van een tabel. Hierdoor kunnen deze methodes niet rechtstreeks leren van meer expressieve dataformaten, zoals relationele gegevensbanken, kennisbanken ('knowledge bases') of logische computerprogramma's. Om van deze expressieve dataformaten te kunnen leren, zijn er twee voor de hand liggende oplossingen. De eerste oplossing is propositionalisering, met andere woorden het samenvatten van de relationele data als een enkele tabel. Propositionalisering laat toe om toch de klassieke machinelearningmethodes te kunnen gebruiken. De tweede oplossing is het gebruik van machinelearningalgoritmes die expliciet kunnen omgaan met de expressieve dataformaten. Beide oplossingen vereisen dat features geconstrueerd worden door herhaaldelijk de relationele data te queryen, wat computationeel duur is.  Als deze feature-constructie versneld zou kunnen worden door snellere query-engines of het slimmer zoeken naar mogelijke features, dan wordt het leren van relationele dataformaten praktisch haalbaarder.

Naast de hoge leercomplexiteit brengen kennisbanken (KBs) twee extra uitdagingen met zich mee die het moeilijker maken om van KBs te leren. Ten eerste bevatten KBs enkel 'ware' feiten zonder enige expliciete negatieve informatie, aangezien alles wat niet deel uit maakt van de KB niet noodzakelijk onwaar is, maar simpelweg onbekend. Ten tweede vertonen KBs een systematische fout (bias) ten opzichte van de 'ground truth' door van de manier waarop ze verkregen zijn. Bijvoorbeeld, populaire Wikipedia-artikels hebben de neiging om completer te zijn dan minder populaire Wikipedia-artikels. Wanneer dus een model wordt geleerd om een KB aan te vullen met nieuwe feiten, moet men voorzichtig zijn dat het geleerde model de biasen in de KB niet overneemt en versterkt.

Voorspellende machinelearningtechnieken verschillen niet enkel in de ondersteunde dataformaten, maar ook in de ondersteunde voorspellingstaken. Machinelearningtechnieken voor tabulaire data vereisen typisch dat er op voorhand een onderscheid gemaakt wordt tussen de te voorspellen kolommen en de beschrijvende kolommen. Er zijn echtere situaties waarin het niet op voorhand geweten is welke kolommen te voorspellen en welke kolommen beschrijvend zullen zijn. In deze situaties kan het handig zijn om één interpreteerbaar multidirectioneel model te hebben dat eender welk attribuut kan voorspellen, gegeven alle anderen, in plaats van naïef voor elke kolom een model te leren dat die kolom voorspelt.

Dit proefschrift heeft vier bijdragen: drie op het gebied van relationeel leren, en één op het gebied van multidirectioneel leren. De eerste bijdrage is een experimentele vergelijking tussen verschillende relationele datarepresentaties en hun bijhorende query-engines. Het doel van deze vergelijking is te onderzoeken welke datarepresentatie en query-engine het meest geschikt is in termen van rekentijd voor het implementeren van algoritmes die expliciet kunnen omgaan met relationele data. De tweede bijdrage is een voorstel van een nieuw algoritme waarbij feature-constructie wordt begeleid door een relationeel leeralgoritme. Dit resulteert in zowel een relationeel voorspellend model als een feature-tabel, terwijl het algoritme sneller is dan features op voorhand te construeren. De derde bijdrage voorziet een manier om te kunnen omgaan met observatiebiasen bij het aanvullen van kennisbanken, door gebruik te maken van ideeën uit het onderzoeksveld over het 'leren van positieve en ongelabelde data'. De vierde bijdrage is het voorstel van twee nieuwe algoritmes voor het leren van multidirectionele regelverzamelingen, waarbij een regel meer dan één attribuut tegelijk kan voorspellen. Door dit soort regels toe te laten is het mogelijk om één enkel regelmodel te leren met dezelfde voorspellende kracht als een verzameling van modellen die elk één attribuut apart voorspellen. Ook is het dit ene multidirectionele model veel kleiner dan de verzameling van modellen die elk een apart attribuut voorspellen.