Flexibele en zwakke supervisietechnieken voor leren

Methoden voor anomaliedetectie hebben als doel voorbeelden te identificeren die niet voldoen aan het verwachte gedrag. Om verschillende redenen wordt anomaliedetectie typisch aangepakt door gebruik te maken van ongesuperviseerde methodes die reële anomalie-scores toewijzen op basis van verschillende heuristieken. Men kan bijvoorbeeld aannemen dat anomalieën zich bevinden in gebieden met een lage dichtheid en de negatieve log-likelihood berekenen als anomalie-score.

Omdat anomalie-scores vaak moeilijk te interpreteren zijn, hebben eindgebruikers classificatielabels nodig (d.w.z. anomalie ja/nee) voor besluitvorming. Men moet een geschikte beslissingsdrempel instellen om voorbeelden met hoge scores als anomalieën aan te duiden. Het vinden van zo’n drempel vereist echter toegang tot gelabelde voorbeelden om de kwaliteit van de voorspelde classificatielabels te evalueren, wat onhaalbaar is bij ongesuperviseerde anomaliedetectie. Bovendien heeft de bestaande literatuur zich voornamelijk gericht op het meten van de kwaliteit van de anomalie-scores via op rangschikking gebaseerde metrieken (bijv. AUROC), wat grotendeels het probleem negeert van hoe classificatievoorspellingen moeten worden afgeleid. Hier vullen we deze lacune aan door drie nieuwe methodes voor te stellen om scores om te zetten in classificatievoorspellingen.

Een natuurlijke vraag bij de classificatievoorspellingen van een detector is: hoe waarschijnlijk is het dat een voorspelling verandert wanneer een detector wordt getraind op gegevens die onderhevig zijn aan een lichte verstoring? Omdat ongesuperviseerde detectoren de beslissingsgrens niet kunnen verfijnen door gebruik te maken van gelabelde voorbeelden, hebben ze dikwijls een hoge onzekerheid in voorspellingen. Kleine veranderingen in de trainingsset zouden dus vaak een andere beslissingsgrens opleveren, wat op zijn beurt de classificatievoorspelling van sommige testvoorbeelden zou omkeren. Deze onzekerheid maakt het moeilijk om een detector in praktijksituaties in te zetten, omdat het het vertrouwen van de eindgebruiker in de cruciale voorspellingen aantast. Omdat de bestaande literatuur dit probleem grotendeels negeert, vullen we deze lacune aan door een ongesuperviseerde methode te introduceren om de onzekerheid van een detector in voorspellingen te kwantificeren.

Hoewel het kwantificeren van onzekerheid essentieel is, hebben eindgebruikers ook een betrouwbare manier nodig om te beoordelen of ze op een voorspelling van een detector kunnen vertrouwen. Men moet dus de vraag beantwoorden: is de onzekerheid van de detector laag genoeg om op zijn voorspelling te vertrouwen? Dit valt onder het gebied van Leren met Afwijzing, waarbij het model wordt toegestaan om zich te onthouden van een beslissing (dat wil zeggen, het uitstellen of “afwijzen”) wanneer de onzekerheid te hoog is, zodat eindgebruikers de output kunnen vertrouwen wanneer de detector een voorspelling doet. Traditioneel vertrouwen methodes met afwijzing op het evalueren van het risico (of equivalent, de kosten) van verkeerde voorspellingen om het afwijzingsmechanisme te ontwerpen, wat gelabelde voorbeelden vereist. Omdat er geen ongesuperviseerde methode voor afwijzing bestaat, vullen we deze lacune aan en stellen we het eerste ongesuperviseerde anomaliedetectiealgoritme met afwijzing voor.