Deep Learning technieken voor de detectie en segmentatie van tumorletsels met behulp van PET en MRI

Hoog performante computersystemen, samen met de beschikbaarheid van grote datasets, laten toe om “deep learning” technieken meer en meer te gebruiken voor medische beeldverwerking waarbij momenteel “convolutional neural networks” (CNN) het meest worden toegepast. Het belangrijkste doel van dit proefschrift was om de klinische toepasbaarheid van CNN-modellen te verruimen waarbij deze modellen ook kunnen worden toegepast voor de automatische detectie en segmentatie van borsttumoren op basis van magnetische resonantie beeldvorming (MRI) en van hersentumoren met behulp van positron emissie tomografie (PET). De automatische en tijdbesparende tumordetectie en segmentatie die we met deze CNN-modellen kunnen bekomen, zal een verdere kwantitatieve analyse van tumorletsels vergemakkelijken en daardoor bijdragen tot een betere opvolging van de ziekteprogressie en behandeling. Daarnaast hebben we een nieuwe CNN-gebaseerde benadering ontwikkeld om beter om te kunnen gaan met ontbrekende MRI data, zodat hersentumoren nog altijd met hoge nauwkeurigheid kunnen worden gesegmenteerd ondanks het feit dat een deel van MRI data ontbreekt die voor de training van het model werden gebruikt. De verschillende hoofdstukken van deze thesis kunnen dan ook als volgt worden samengevat.

Zoals reeds aangegeven, hebben we in Hoofdstuk 3 een CNN-gebaseerde methode ontwikkeld zodat de segmentatie van hersentumoren op basis MRI data nog steeds nauwkeurig kan gebeuren, ook wanneer er minder MRI data beschikbaar zijn, hetgeen vaak gebeurt bij klinische MRI data van patiënten. Er werd een “Leraar-Leerling” benadering voorgesteld om kennis te distilleren vanuit het leraar model en dit door te geven naar het leerling model zodat een verrijkt leerling model werd verkregen. Hierbij werd het leraar model getraind met een uitgebreidere set MRI data, terwijl het leerling model een beperktere set MRI data kreeg aangereikt maar wel kennis overgedragen kreeg van het leraar model. Onze bevindingen toonden aan dat dit leerling model met een beperkte set MRI data een hogere accuraatheid behaalde voor de segmentatie van hersentumoren in vergelijking met een standaard CNN-model dat ook getraind was met dezelfde, beperkte set MRI-data.

In Hoofdstuk 4 hebben we CNN-modellen toegepast om radiologen te helpen bij het segmenteren van borsttumoren op basis van T1 gewogen, dynamische, en contrast versterkte MR beelden. Drie onafhankelijke CNN-modellen werden getraind voor automatische tumorsegmentatie waarbij verschillende combinaties van MR beelden werden gebruikt als input. Deze automatische segmentaties werd ook visueel geïnspecteerd en gescoord volgens een 4-puntensysteem. Op basis van deze visuele scores werd een visuele ensemble-selectie toegepast waarbij, van de drie segmentaties aangeleverd door de verschillende CNN-modellen, de segmentatie met de hoogste visuele score werd weerhouden. Deze visuele ensemble-selectie resulteerde in segmentaties van de tumorletsels waarbij in 77% van de gevallen geen verdere aanpassingen nodig waren of minder dan 25% van het totale aantal snedes diende te worden aangepast. Zodoende behaalde deze benadering een hogere nauwkeurigheid dan elk van de afzonderlijke CNN-modellen en een nauwkeurigheid die vergelijkbaar is met de overeenkomst tussen 2 radiologen. Dit betekent dat deze benadering zeker klinisch bruikbaar is om werklast van handmatige segmentaties door radiologen aanzienlijk te verminderen.

In Hoofdstuk 5 hebben we een CNN-model gebruikt om de klinische workflow voor de analyse van FET-PET-beelden te ondersteunen. Naast automatische detectie en segmentatie van hersentumoren, werd ook het juiste achtergrondgebied gesegmenteerd met behulp van een “multi-label” CNN-model. Dit model kon de maximale captatie van de speurstof door het letsel en de gemiddelde achtergrondopname zeer nauwkeurig bepalen, hetgeen resulteerde in een tumor-tot-achtergrond verhouding die zeer goed overeenkwam met een volledig handmatige bepaling. Bovendien leverden de segmentaties van de letsels door het CNN-model een geschat tumorvolume op dat het tumorvolume op basis van handmatige segmentatie zeer goed benaderde.

Om het onderzoek dat was gepland voor de hoofdstukken 3, 4 en 5 te ondersteunen, werd in hoofdstuk 2 eerst een evaluatie gemaakt van twee veelgebruikte CNN-architecturen, DeepMedic en U-Net. Meer bepaald werd de impact onderzocht van verschillende modelconfiguraties op de nauwkeurigheid van op MRI gebaseerde segmentaties van hersentumoren. Naast de voor het publiek beschikbare BraTS 2018 MRI data, werden ook interne MRI data gebruikt om de generaliseerbaarheid van vooraf getrainde CNN-modellen te beoordelen. Op basis van de verkregen resultaten hebben we gekozen voor een U-Net-architectuur voor de verdere ontwikkeling van onze CNN-modellen waarbij we telkens de optimale modelconfiguratie uit hoofdstuk 2 hebben gebruikt als uitgangspunt om de CNN-modellen te trainen die werden toegepast in de andere hoofdstukken.

Met de CNN-modellen die in het kader van dit proefschrift werden ontwikkeld, hebben we “deep learning” dichter bij de clinici en routinematig klinisch gebruik willen brengen, zodat de tijd die nodig is voor een nauwkeurige, handmatige segmentatie door een radioloog of nucleair geneeskundige aanzienlijke kan worden verminderd. Hierdoor wordt ook een kwantitatieve analyse van MR- en PET-beelden naar de toekomst toe op grotere schaal mogelijk.