Het leren van latente symbolische representaties voor relationele data

 Dit onderzoeksproject behandelt statistical predicate invention, het ontdekken van statistische predicaten, in machine learning. Machine learning is een tak van artificiële intelligentie die zich bezighoudt met het ontwikkelen van algoritmes waarvan de efficiëntie verbetert met ervaring. Dergelijke algoritmes leren uit voorbeelden en zijn niet uitdrukkelijk geprogrammeerd voor een specifieke taak. Ze worden vaak gebruikt om problemen op te lossen waarvoor we geen exacte oplossing kennen. Meerbepaald zal dit project passen in het raamwerk van statistical relational learning – een deeldiscipline die machine learning combineert met logica. Het ontdekken van predicaten houdt in dat eventuele nieuwe concepten, eigenschappen en verbanden gevonden worden in data en uitgedrukt worden in termen van eerdere vaststellingen. Hierbij worden statistische technieken gebruikt om het proces te sturen en om de onzekerheidbetreffende ontdekte predicaten expliciet te maken. Dit wordt beschouwdals een van de belangrijkste problemen in statistical relational learning, omdat het toestaat een taal te verbeteren waarin data wordtvoorgesteld. De voorstelling is de belangrijkste factor die bepaalt of het makkelijk of moeilijk is kennis op te doen. Daarom is het een goede werkwijze om eerst een goede voorstelling te leren en vervolgens voorspellende modellen te leren die gebruik maken van deze voorstelling.
Het doel van dit onderzoek bestaat erin (1) krachtigere methodes voor predicate invention te ontwikkelen en het verband te onderzoeken tussen predicate invention en (2) structure learning en (3) transfer learning. Dit onderzoek zal de state of the art in machine learning op verschillende manieren verbeteren: het zal toestaan nauwkeurigere en compactere modellen te leren en zal toestaan logische programma's in lagen te leren. De moeilijkheid van structure learning bestaat erin (on)afhankelijkheden tussen variabelen of predicaten teidentificeren. Wij veronderstellen dat structurele (on)afhankelijkhedengeïdentificeerd zouden kunnen worden met behulp van predicate invention. Ten slotte zouden we graag het verband met transfer learning onderzoeken – de opgave om kennis die verzameld is bij het oplossen van één probleem over te dragen naar een ander, verwant probleem.
De benadering die voor dit onderzoek gekozen is, volgt een recente benadering gebaseerd op unsupervised learning. Wij zullen dit probleem onderzoeken met behulp van deep learning, een techniek die een brede waaier aan methodes voor unsupervised learning omvat die nog niet toegepast zijn in deze context. Deep learning biedt niet alleen een uitgebreide verzameling aan mogelijkheden, maar lijkt conceptueel ook op predicate invention. Deep learning is een benadering waarin eeninput niet rechtstreeks op een output wordt afgebeeld, maar waarin verschillende tussenliggende voorstellingen zonder menselijk toezicht wordengeleerd. Deze verschillende tussenliggende lagen stellen de abstractiesvan eerdere lagen voor en hebben veel gemeen met predicate invention. Op basis van deze gelijkenis tussen deep learning en predicate invention en omwille van het succes van deep learning, willen we in de eerste plaats onderzoeken hoe methodes uit deep learning kunnen worden toegepast voor predicate invention.