Resource-beperkt machinaal leren in het computercontinuüm

Netwerkdetectiesystemen en ML/AI-toepassingen ontsluiten een wereld van mogelijkheden, gevoed door enorme datastromen. Terwijl traditioneel ML-applicaties uitsluitend werden ingezet op een cloudgebaseerde infrastructuur, hebben nauwkeurigheidsgerichte modellen moeite om gelijke tred te houden met de alomtegenwoordigheid en de realtime-eisen. Latentie-kritieke toepassingen zoals NLP-chatbots, gezichtsherkenning en stemassistenten verleggen de grenzen en vereisen tijdige respons naast nauwkeurigheid. Gecentraliseerd leren brengt ook privacyproblemen met zich mee, omdat vastgelegde gegevens onbedoelde persoonlijke informatie kunnen bevatten en gebruikers de controle verliezen nadat ze zijn verzameld. Vanuit het perspectief van de serviceproviders stijgen de kosten van ML/AI-inferentie om gebruikersvragen te beantwoorden en zullen naar verwachting 90% van de totale cloudinfrastructuurkosten uitmaken. De voordelen van het distribueren van training en inferentie van ML/AI-applicaties over mobiele, edge- en IoT-apparaten dichter bij de gegevensbron zijn dus duidelijk vanuit het perspectief van zowel de consument als de aanbieder.

De drang naar de edge, mobiele apparaten en IoT-apparaten brengt zijn eigen uitdagingen met zich mee, namelijk (i) de apparaten zijn beperkt in termen van geheugen en verwerkingscapaciteit in vergelijking met de cloudinfrastructuur, (ii) IoT en mobiele apparaten hebben een beperkt energiebudget afhankelijk van de batterijcapaciteit en kan daardoor beperkte taken uitvoeren en (iii) de verbinding met de cloudinfrastructuur is niet altijd betrouwbaar en verbonden via netwerken met hoge bandbreedte. Deze brede reeks uitdagingen manifesteert zich op verschillende manieren in verschillende paradigma's voor de implementatie van ML/AI-applicaties, namelijk (i) gedistribueerde modeltraining en op het apparaat, (ii) gevolgtrekking op het apparaat en (iii) distributie van intelligentie over het computercontinuüm. Dit proefschrift belicht de uitdagingen in deze paradigma's en behandelt deze met drie belangrijke bijdragen. 

De eerste bijdrage is een adaptief raamwerk voor contextbewuste gevolgtrekking in mobiele/cloud-architecturen. Het zet modulaire softwarecomponenten adaptief in om de applicatiedoelen en context (netwerk, geheugen) aan te passen, waardoor de modelplaatsing tussen mobiel en cloud wordt geoptimaliseerd. Onze voorgestelde oplossing is geëvalueerd met een real-world voedselbeeldherkenningstoepassing van onze industriële partner en past zich tijdens runtime aan aan veranderende doelen, waardoor de serverbelasting wordt verminderd en de schaalbaarheid wordt vergroot in vergelijking met statische implementaties.

De tweede bijdrage is FaultBit, een veelzijdige toolkit voor foutdetectie in industriële machines op basis van eendimensionale, cyclo-stationaire en stationaire signalen verzameld van IoT-apparaten. FaultBit maakt gebruik van machine learning en diepgaande systeemherconfiguratie van de IoT-apparaten en sensoren om efficiënte gegevensverzameling, compressie en classificatie via netwerken met beperkte bandbreedte te bereiken. Evaluatie van verschillende gebruiksscenario's toont een hoge nauwkeurigheid aan, vergelijkbaar met die bereikt met onbewerkte gegevens, een batterijlevensduur van meerdere jaren en een aanzienlijke vermindering van de netwerkbandbreedtevereisten. 

De laatste bijdrage van dit proefschrift presenteert een op zichzelf staande leeraanpak op het apparaat die de zonnestralingswaarden van elk tijdslot voorspelt met een weegfactor die specifiek voor elk tijdslot wordt geleerd. Deze aanpak heeft een grotere nauwkeurigheid bij het voorspellen van de stralingswaarden, met maximaal 13% per tijdslot en gemiddeld 4,5% per dag. De lage energieoverhead van training op het apparaat wordt ruimschoots gecompenseerd door deze energiewinst. 

De bijdragen van dit proefschrift vergemakkelijken de inzet van ML/AI-applicaties in het hele computercontinuüm en optimaliseren deze implementaties om de weg vrij te maken voor een meerjarige levensduur van IoT-apparaten, energieneutraliteit te bereiken voor toepassingen voor het oogsten van energie en adaptieve herconfiguratie van de implementatie in dynamische scenario’s waarmee we te maken krijgen. Implementatie van applicaties op heterogene apparaten in het computercontinuüm.