Analoog berekenen in geheugen en het verbreken van digitale nummerrepresentaties

De versnelling van de MVMs-operatie die wordt geleverd door GPUs is van groot belang geweest voor het succes van DNNs. Door hoge parallelle verwerking en grote geheugenbuffers om de gewichten en activaties van DNNs op te slaan, zijn GPUs nog steeds het belangrijkste platform om DNNs op te trainen en te implementeren. Omdat de meeste GPUs zijn ontworpen voor 32-bits drijvendekommaaritmetiek, is het standaard voor moderne DNNs om uitgevoerd te worden met 32-bits gewichten en activaties.

Echter, recente kwantificatie-oplossingen voor DNNs-inferentie hebben laten zien dat netwerken met verminderde precisie gewichten en activaties soortgelijke nauwkeurigheid kunnen bereiken. Door deze kwantificatie-oplossingen te exploiteren, kunnen digitale neurale netwerkversnellers, zoals Google TPU’s, Microsoft BrainWave of Nvidia Hopper-architectuur, significante tijd- en energiebesparingen behalen in vergelijking met conventionele GPUs. Echter, aangezien deze digitale versnellers gebonden zijn aan de vooruitgang van de CMOS-technologie, zijn de winsten die met deze digitale versnellers bereikt kunnen worden niet in staat om de groei van recente DNNs] te volgen. Om deze beperking te overwinnen, ontstaan er onconventionele niet-Von Neumann-architecturen voor neurale netwerkversnellers. Daaronder is de MVM-versneller die ACIM gebruikt een radicaal voorbeeld om de prestaties van DNNs te verbeteren door een drastische reductie van gegevensverplaatsing en energieverbruik in vergelijking met traditionele architectuur.

Desondanks hebben vele ingebouwde niet-idealen en het gebrek aan expliciete algorithmische ondersteuning voor ACIM tot nu toe voorkomen dat analoge neurale netwerken even betrouwbaar zijn als hun digitale tegenhangers. Of ACIM gebaseerde neurale netwerken even nauwkeurig kunnen zijn als digitale tegenhangers blijft onzeker. In deze thesis ontwikkelen we het argument dat, bovenop de niet-idealen van ACIM, een deel van deze verminderde betrouwbaarheid is gerelateerd aan de onmogelijkheid van ACIM om aan de aritmetische aannames van digitale datatypen te voldoen. Door niet aan deze aannames te voldoen, faalt ACIM om de DNNs die het implementeert het volledige potentieel te laten zien dat digitale alternatieven tonen. Door aangepaste DNN-kwantificatieoplossingen, laten we zien dat het corrigeren van deze aannames en het juist benutten van de aritmetische capaciteiten van ACIM leidt tot verbeterde prestaties van DNN en een toegenomen weerstand tegen ACIM-niet-idealen.

Door deze aritmetische visie uit te breiden naar digitale DNNs, laten we zien dat bit-slicing, een ontwerpstrategie die vaak wordt gebruikt in ACIM-ontwerp, kan worden gebruikt om bit-niveau aritmetische structuren te onthullen binnen vooraf getrainde drijvende komma-DNNs. Door gebruik te maken van post-training pruningtechnieken op deze structuren, laten we zien dat nieuwe optimalisatiepaden kunnen worden gebruikt om de efficiëntie van vooraf getrainde DNNs te verhogen.