Analyseren van computerveiligheid op het web met visuele analyse.

Goede onderzoekspraktijken vormen de basis voor geldige, betrouwbare en geloofwaardige onderzoeksresultaten. In de context van webbeveiligingsonderzoek benadrukt het belang van metingen die de empirische gegevens leveren voor het analyseren en verbeteren van beveiliging op het web de noodzaak om deugdelijke datasets en methoden te gebruiken die het mogelijk maken om deze metingen nauwkeurig, volledig, representatief en transparant uit te voeren.
In dit doctoraat bespreken we drie gevalstudies in webbeveiliging die verwant zijn aan de discipline van meta-onderzoek, waarin deze onderzoekspraktijken kritisch worden geëvalueerd en nieuwe methoden worden voorgesteld om de manier waarop onderzoek wordt uitgevoerd te verbeteren en te verfijnen. De drie gepresenteerde gevalstudies dragen bij aan een kritische analyse van huidige datasets of systemen voor webbeveiliging die algemeen als betrouwbaar worden beschouwd, terwijl we ook verbeterde methoden voorstellen naast het bespreken van overwegingen met betrekking tot datasets.

In het eerste deel van het proefschrift presenteren wij onze eerste studie, rond het analyseren en verbeteren van ranglijsten van de populairste websites of domeinnamen op het internet. Deze ranglijsten vormen een belangrijke gegevensbron voor veel studies in webbeveiliging, privacy en internetmetingen. Wij tonen hoe de eerder vaak gebruikte ranglijsten potentieel ongewenste eigenschappen bezitten die de deugdelijkheid, geldigheid en reproduceerbaarheid van onderzoek in gevaar brengen. Wij stellen ook de nieuwe Tranco-ranglijst voor die deze eigenschappen verbetert. 

In het tweede deel van het proefschrift presenteren wij twee studies over grootschalige geautomatiseerde besluitvormingssystemen. Deze worden gezien als essentiële instrumenten voor het verwerken van veiligheidsgerelateerde beslissingen op schaal, en worden vaak ingezet om kritieke beveiligingstaken af te handelen. Echter, zelfs foutenpercentages die laag zijn op een relatieve schaal kunnen zich vertalen in een hoog foutenaantal in absolute termen, wat aanzienlijke schade kan veroorzaken. In onze tweede studie ontwikkelen we een hybride aanpak om botsingen op te lossen tussen goedaardige en kwaadaardige domeinen die door het Avalanche-botnet worden gegenereerd en gebruikt. Aangezien foutieve beslissingen zouden leiden tot respectievelijk het ongerechtvaardigd neerhalen van websites en het risico dat het botnet opnieuw opduikt, schakelen wij een menselijke onderzoeker in voor die domeinnamen waar het geautomatiseerde model het minst zeker is. Deze aanpak vermindert de fouten die het gevolg zijn van blind vertrouwen in het geautomatiseerde besluitvormingssysteem. In onze derde studie auditeren wij de handhaving door Facebook van zijn zelfontwikkelde beleid inzake politieke advertenties. Wij vinden dat zelfs eenvoudige regels voor het opsporen van advertenties die in strijd zijn met het beleid niet worden toegepast, terwijl veel goedaardige advertenties ten onrechte worden verwijderd, wat erop wijst dat Facebooks handhaving onnauwkeurig is. Ons onderzoek onthult de beperkingen van grootschalige geautomatiseerde besluitvormingssystemen en stelt de geschiktheid ervan voor systemen met een belangrijke maatschappelijke impact in vraag.