Probabilistische Logica en Computationele Creativiteit

In het zich snel ontwikkelende domein van artificiële intelligentie hebben grote taalmodellen aanzienlijke vooruitgang geboekt bij het genereren van tekst voor creatieve toepassingen, waaronder humor. Ze missen echter de controleerbaarheid, efficiëntie en uitlegbaarheid die symbolische AI-methoden bieden. In deze dissertatie onderzoeken we hoe symbolische en subsymbolische AI-methoden gebruikt, uitgebreid en geïntegreerd kunnen worden voor toepassingen in creatieve AI, in het bijzonder voor Nederlandse humor, maar ook daarbuiten. Om dit te bereiken gaat de dissertatie drie uitdagingen aan: 1) het aanpassen van symbolische generatieve technieken voor creatieve en humorgerelateerde taken; 2) het ontwikkelen van krachtige algemene Nederlandse taalmodellen en deze geschikt maken voor humorgerelateerde taken; en 3) het integreren van neurale en symbolische paradigma's voor verbeterde prestaties en schaalbaarheid.

Deze dissertatie presenteert een reeks nieuwe methoden, modellen en frameworks om deze uitdagingen aan te gaan. De eerste uitdaging wordt aangepakt door middel van uitbreidingen van bestaande symbolische tekstgeneratoren zoals sjablonen, grammatica's en Markov-ketens, waardoor hun aanpassingsvermogen, leerbaarheid en stilistische controle voor het genereren van creatieve en op humor gerichte imitatieve tekstgeneratie wordt verbeterd. Deze methoden hebben geleid tot verschillende praktische implementaties, zoals Twitterbots en een diapresentatiegenerator, die zowel dienen als proof-of-concepts alsook als evaluatiemethoden. Voor de tweede uitdaging introduceren we verschillende state-of-the-art Nederlandstalige grote taalmodellen, die we de RobBERT-modellen noemden. Met behulp hiervan laten we zien hoe ze humor kunnen detecteren en in combinatie met symbolische methoden humor kunnen genereren. Voor de laatste uitdaging introduceert deze dissertatie DeepStochLog, een framework dat stochastische logische grammatica's integreert met neurale netwerkmogelijkheden, wat resulteert in een krachtig framework voor schaalbare neuro-symbolische logische programmering.

Onze empirische bevindingen tonen aan dat de uitgebreide symbolische generatoren effectief zijn voor creatieve doeleinden en dat de gegenereerde diapresentaties kwalitatief vergelijkbaar zijn met door mensgemaakte exemplaren. De RobBERT-taalmodellen behaalden uitstekende state-of-the-art resultaten op de meeste Nederlandse taaltaken en overtroffen ook andere modellen bij het detecteren van humor. Bovendien behaalt DeepStochLog state-of-the-art prestaties bij de meeste neuro-symbolische taken en vertoont het een hogere schaalbaarheid dan bestaande methoden.

Samengevat toont dit onderzoek aan dat symbolische methoden nog steeds relevant zijn in het moderne generatieve landschap en biedt het via de RobBERT-modellen belangrijke bijdragen aan de Nederlandse natuurlijke taalverwerkingsgemeenschap. De introductie van het DeepStochLog-framework biedt een nieuwe visie op de integratie van logica en neurale netwerken met behulp van de schaalbaardere grammaticasemantiek. Hiermee wordt de basis gelegd voor de toekomstige interactie tussen symbolische en neurale systemen. Deze dissertatie legt daarmee een basis voor toekomstig inspanningen op de intersectie van neurale en symbolische methoden, en opent nieuwe wegen voor creatieve en humoristische toepassingen in artificiële intelligentie.