< Terug naar vorige pagina

Project

Segment-gebaseerde classificatie en metrische ruimtes voor genetische afwijkingen: lineaire 3D gezichtsanalyse vs. geometrisch diep leren

De wetenschap van fenotypering versterkt onze kennis en begrip van gezondheid, meer bepaald in klinische genetica, waar het wordt gebruikt om de interpretatie van genetische tests en ziekteonderzoek te versterken. Bij next-generation phenotyping (NGP) worden geavanceerde computertechnieken gebruikt om fenotypische gegevens te integreren in de analyse van de menselijke gezondheid, bijvoorbeeld voor het vastleggen, structureren en interpreteren van complexe klinische gegevens. In deze context is nauwkeurige karakterisering van gezichtsvorm, of gezichtsfenotypering, veelbelovend voor het bestuderen van de rol die genetische en omgevingsfactoren spelen bij het bepalen van de populatie en individuele gezondheid. NGP, die gebaseerd is op gezichtsvorm, kan bijzonder nuttig zijn voor het identificeren van genetische syndromen, aangezien karakteristieke craniofaciale kenmerken zich manifesteren in ongeveer 30% tot 40% van deze syndromen. De aanwezigheid van zulke kenmerken kan bijdragen aan het stellen van een nauwkeurige diagnose. Desondanks blijft diagnosticeren op basis van gezichtsmorfologie een uitdaging door de grote verscheidenheid, de kleine verschillen tussen individuen met verschillende syndromen en de zeldzaamheid van sommige van deze aandoeningen. Ondanks het feit dat 2D-foto’s gemakkelijk en in grote hoeveelheden beschikbaar zijn, bieden 3D- afbeeldingen een nauwkeurigere weergave van de gezichtsvorm en morfologie, aangezien vervormingen veroorzaakt door projectie, positieveranderingen en lichtomstandigheden niet aanwezig zijn. Dit toont de voordelen van gezichtsvorm-analyse in 3D ten opzichte van zijn 2D-tegenhanger aan. Aan de hand van een geschikte dataset van 3D-gezichtsbeelden kunnen artificiële- intelligentietechnieken ingezet worden om het diagnoseproces objectief te ondersteunen door gebruik te maken van dysmorfe kenmerken die gelinkt zijn genetische aandoeningen.

In dit werk stellen we een op geometric deep learning (GDL) gebaseerde encoder, geometric encoder (GE) genoemd, voor. De GE wordt getraind aan de hand van een verliesfunctie uit het domein van deep metric learning met als doel het optimaal coderen van op het gezicht gebaseerde eigenschappen zoals geslacht,

leeftijd, BMI en genetische achtergrond. Vervolgens gebruiken we dezelfde methodologie om dysmorfe kenmerken te extraheren die nuttig zijn bij het onderscheiden van genetische syndromen. Er worden verschillende methoden gebruikt om de verklaarbaarheid van de modellen te verbeteren. In het bijzonder zijn de GE-architecturen aangepast om leren op verschillende schalen en op basis van afzonderlijke gezichtssegmenten mogelijk te maken voor de 3D-analyse van gezichtsvormen en classificatie van syndroom in meerdere klassen. Hierbij wordt een afzonderlijk GE-model getraind voor elk lokaal gezichtssegment. Door deze gesegmenteerde aanpak toe te passen op gezichtsfoto’s van een controlegroep en individuen die tot 13 verschillende syndroomklassen behoren, wordt de nauwkeurigheid van de classificatie verbeterd. Door middel van saliency maps die de bijdrage van elk gezichtssegment aan de modelbeslissing illustreren, verbeteren we de verklaarbaarheid van het model, en aan de hand van ablatiestudies onderzoeken we welk gezichtssegment de meeste unieke informatie bevat. De voorgestelde methode moedigt het gebruik van geavanceerde segment- gebaseerde GDL-methoden voor 3D-gezichtsbeeldvorming in klinische genetica aan.

Naast de GE, stellen we een laag-dimensionele metrische ruimte voor, clinical face phenotype space (CFPS) genoemd, die het bereik van gezichtsdysmorfisme dat aanwezig is in 51 verschillende en diverse syndromen alsook algemene gezichtsvariaties modelleert. Hiertoe stellen we een geometrische autoencoder voor en combineren deze met een singuliere waarden ontbinding. Het model leert tegelijkertijd gezichtsvormvariatie en -reconstructie, op een ongesuperviseerde manier, en gesuperviseerde onderscheiding van groepen op basis van syndroomlabels. Bovendien zijn, om de verklaarbaarheid te bevorderen, experimenten ontworpen om de volgende eigenschappen van CFPS’en te illustreren: hun vermogen om 1) classificatie en clustering van syndromen te verbeteren in vergelijking met een lineaire baseline, 2) te generaliseren naar nieuwe syndromen, en 3) de fenotypische relatie tussen verwante genetische ziekten te weergeven, wat betekent dat clusters van fenotypisch vergelijkbare aandoeningen functionele relaties tussen genen weerspiegelen. Door gebruik te maken van deze eigenschappen kunnen individuen zonder bevestigde diagnose snel met elkaar en met bestaande fenotypische groepen in de ruimte worden vergeleken, waardoor hun positie wordt bepaald in een spectrum van bekende relaties tussen fenotype en klinische en moleculaire diagnose. De ruimte kan dus worden gebruikt om hypothetische klinische en moleculaire diagnoses voor te stellen. Dit kan variantinterpretatie in een genome wide next-generation sequencing analysis ondersteunen of direct naar gerichte sequencing als onderdeel van een klinische diagnostische opwerking.

Datum:1 sep 2018 →  27 okt 2022
Trefwoorden:Facial Dynamics, Computer Vision, Deep Learning, Autism Facial Dynamics, Facial Dynamics in Infants
Disciplines:Psychiatrie en psychotherapie, Verpleegkunde, Andere paramedische wetenschappen, Klinische en counseling psychologie, Andere psychologie en cognitieve wetenschappen
Project type:PhD project