Synthetiseren van Inductieve Data Modellen

In het afgelopen decennium heeft deep learning gezorgd voor een revolutie in vele toepassing van artificiële inteligentie, gaande van classificatie tot natuurlijke-taalverwerking.
Na dit eerste succes botsen meer en meer onderzoekers op de beperkingen van deep learning.
Het blinkt uit in patroonherkenning op hoog-dimensionele data, maar heeft echter moeite met redeneren en generalisatie.
Deze sterktes en zwaktes zijn complementair aan die van symbolische AI.
Een integratie van symbolische en sub-symbolische AI (deep learning) zou dus de beste eigenschappen van beide kunnen combineren.
Dit is het domein van neuraal-symbolische AI.
Deze thesis introduceert drie bijdragen.
Eerst geven we een overzicht van het veld van neuraal-symbolische AI door middel van een vergelijking met het gerelateerde veld van statistisch-relationele AI.
Vervolgens introduceren we ons neuraal-symbolische systeem DeepProbLog.
Ten slotte introduceren we een techniek voor approximatieve inferentie in neuraal probabilistisch logisch programmeren.

Het veld van neuraal-symbolische AI evolueert zeer snel. Er ontbreekt echter een goed overzicht van de vele verschillende aanpakken.
Deze thesis begint met een categorisatie van het veld en een vergelijking met het veld van statistisch-relationele AI dat zich ook focust op het integreren van redeneren en leren.

DeepProbLog integreert logica en neurale netwerken door het concept van het neuraal predicaat te introduceren in de probabilistich logische programmeertaal ProbLog.
DeepProbLog onderscheidt zichzelf van andere neuraal-symbolische methodes doordat het zowel een probabilistich, logisch en een neuraal aspect bevat.
We evalueren DeepProbLog op vier sets van experimenten die aantonen dat het:
1) logisch rederen en deep learning kan integreren,
2) probabilistich redeneren en deep learning kan integeren,
3) programma's kan induceren door middel van het leren van parameters, en
4) embeddings kan gebruiken en kan redeneren met natuurlijke taal.
De resultaten van deze experimenten tonen aan dat DeepProbLog beter presteert dan neurale netwerken en andere neuraal-symbolische methodes.

Een van de grootste beperkingen van DeepProbLog is dat de inferentie niet goed schaalt.
Probabilistisch redeneren over de hele uitvoer van een neuraal netwerk wordt snel onhaalbaar.
Daarom introduceren we een approximatieve inferentie methode voor DeepProbLog, genaamd DPLA*.
Het vervangt de standaard zoekprocedure naar bewijzen met een op A* gebaseerde zoekprocedure dat inferentie schaalbaar maakt door enkel een subset van alle bewijzen te gebruiken.
Het combineren van leren en approximatieve inferentie zorgt echter voor verdere complicaties.
Om deze op te lossen maken we gebruiken van curriculum leren en exploratie gebaseerd op het UCB algoritme.
We evalueren DPLA* op een set van experiment dat aantoont dat het beter schaalt dan DeepProbLog en andere neuraal-symbolische methodes, en dat het toegpast kan worden op een grotere set van taken.

Als conclusie bespreken we mogelijke verdere richting van onderzoek voor DeepProbLog en halen we enkele open problemen aan voor het veld van neuraal-symbolische AI in het algemeen