Diep leren voor natuurlijke taalverwerking

Naarmate de hoeveelheid ongestructureerde tekstgegevens drastisch groeit, neemt ook de behoefte om die tekstgegevens op intelligente wijze te verwerken en verschillende soorten kennis eruit te halen, aanzienlijk toe. Een van de doelen van natuurlijke taalverwerking is het ontwikkelen van algemene en schaalbare methoden die het vermogen hebben om gezamenlijk taken op te lossen, zoals het extraheren van informatie uit grote ongestructureerde gegevens, sentimentanalyse in sociale netwerken en grammaticale analyse voor het opstellen van essays, en het leren van de noodzakelijke tussentijdse representaties van de betrokken taaleenheden. Er zijn echter twee tekortkomingen in de standaardbenaderingen voor dit doel: 1) Vereenvoudiging van de taalaannames: de standaardbenaderingen, b.v. veel woorden, dwingen de gegevens vaak tot een formaat dat compatibel is met een bepaald algoritme, waarbij informatie zoals woordvolgorde en potentiële sentimentsinterpretaties verloren kunnen gaan. 2) Feature-representaties: het bouwen van een machinesysteem vereiste aanzienlijke domeinexpertise om een feature-extractor te ontwerpen die de onbewerkte gegevens kan transformeren in een geschikte feature-representatie zoals part-of-speech-tags, pars-functies. Dit soort transformatie heeft veel tijd gekost om ze te ontwikkelen en te integreren voor elke nieuwe taak die de ontwikkeling en de looptijd van het laatste algoritme belemmert. Bovendien is linguïstisch geïnspireerde functie-engineering niet gemakkelijk overdraagbaar op talen waarvoor de taalhulpmiddelen niet beschikbaar zijn.       Aan de andere kant, deep learning behandelt deze twee tekortkomingen. Diepe leermethoden stellen een machine in staat om direct om te gaan met onbewerkte gegevens en om automatisch de representaties te vinden die nodig zijn voor detectie of classificatie. Met meerdere niveaus van representatie, vormt diepgaand leren dat vaak wordt gerealiseerd met neurale netwerken (bijvoorbeeld terugkerende neurale netwerken) eenvoudige maar niet-lineaire modules die elk de representatie op één niveau in een representatie op een hoger, enigszins meer abstract niveau transformeren. Diepgaand leren is met name geschikt voor machineperceptie-taken waarbij de onbewerkte onderliggende kenmerken niet individueel interpreteerbaar zijn en met succes zijn toegepast in veel NLP-taken. Mijn voorgestelde onderzoeksdoel is het ontwikkelen van leermodellen die automatisch representaties van menselijke taal kunnen induceren, in het bijzonder de structuur en betekenis ervan, om meerdere taaltaken op hoger niveau op te lossen. Mijn werk beoogt 1) innovatieve, principiële manieren aan te reiken om een geschikte representatie van complexe linguïstische unites af te leiden, zoals zinsneden en zinnen; 2) het bouwen van op grafen gebaseerde, biologisch geïnspireerde deep learning frameworks voor NLP; 3) het ontwerpen van representatie van symbolen; 4) uitleggen en visualiseren van diep leren voor NLP. Specifiek zijn mijn toekomstige onderzoeksdoelstellingen en geplande methodologieën als volgt opgelijst: 1) Nieuwe vertegenwoordigingsformulieren voor taaleenheden op hoog niveau       Diepe leermethoden voor taalverwerking hebben veel van hun succes te danken aan neurale netwerktaalmodellen, waarin woorden en andere taaleenheden op hoog niveau worden gerepresenteerd als dichte reële-waarde-vectoren. Een interessante vraag is of de betekenis van complexe linguïstische eenheden, d.w.z. woordsequenties zoals zin, zin en paragraaf, moet worden weergegeven in termen van vectoren. Intuïtief, als een woord in de vorm van een vector wordt weergegeven, lijkt het nog steeds niet voldoende om hun syntactische informatie te verbergen als ze nog steeds een zin of een paragraaf in de vorm van een vector voorstellen. Nieuwe vormen van representatie voor frases en zinnen, bijvoorbeeld wachtrij, stapel of matrix van vectoren, lijkt meer geschikt op het syntactische niveau.       Een interessante methode voor het bovenstaande probleem is om een toewijzing van woorden aan de basiselementen van een grafiek vast te stellen, zoals knooppunten, randen en labels, zodat de taalunits op hoog niveau als een grafiek kunnen worden uitgedrukt. Het voordeel van dergelijke technieken is dat met grafieken, die van nature zijn gebouwd voor verbindingen, de relaties tussen woorden zelf en tussen woorden en linguïstische eenheden op hoog niveau op een duidelijke manier kunnen worden weergegeven. Daarom combineren technieken diep leren en grafieken kunnen verder worden gebruikt bij het verkennen van een nieuwe vorm van vertegenwoordiging op hoog niveau van linguïstische eenheden.       2) Grafisch gebaseerde, biologisch geïnspireerde deep learning frameworks voor NLP       Het is bekend dat het convolutionele neurale netwerk (CNN) een biologisch geïnspireerd model is in Computer Vision, dat zeer effectief is gebleken en het meest wordt gebruikt in diverse computervisie-applicaties. Omgekeerd blijft het biologisch geïnspireerde model voor NLP nog steeds onontdekt. Onlangs zijn er grote inspanningen geleverd om op grafieken gebaseerde deep learning-kaders te ontwikkelen.       Een andere interessante vraag is de relaties op grafiekniveau tussen neuronen, inclusief neuronen op dezelfde laag en verschillende lagen. Een diepgaand leernetwerk is in wezen een gerichte grafiek. Zo kunnen grafiektheorieën over subgrafen, netwerkstromen in een grafiek, enzovoort, worden gebruikt om de verborgen relatie tussen neuronen te verkennen. Het begrijpen van de relatie tussen elk neuron kan nuttig zijn bij het ontwerpen van een nieuw raamwerk voor diep leren. 3) Weergave van symbolen       Natuurlijke taal en symbolen zijn nauw met elkaar verbonden. Symbolen worden gebruikt om de pauze, het einde en sentimenten op te geven. Soms kunnen twee zinnen met exact dezelfde woorden maar verschillende symbolen twee tegengestelde gevoelens weerspiegelen. Recente ontwikkelingen in deep learning voor NLP lijken echter in tegenspraak met de bovenstaande intuïtie. Symbolen vervagen en zijn niet meer nodig tijdens 'redeneren', maar overleven alleen als invoer en uitvoer van deze leermachines. Redeneren met symbolen in natuurlijke taaltoepassingen lijkt een overblijfsel te zijn van een oud verleden.       Een duidelijker begrip van de strikte band tussen gedistribueerde / distributieve representaties en symbolen zal zeker leiden tot radicaal nieuwe diepgaande netwerken. Er is een onderzoek [16] uitgevoerd dat de koppeling legt tussen symbolische representaties en gedistribueerde / distributieve representaties. Het revitaliseren van het interpretatiegebied van symbolen in neurale netwerken helpt bij het bedenken van nieuwe diepe neurale netwerken die bestaande en nieuwe symbolische modellen van klassieke natuurlijke taalverwerkingstaken kunnen exploiteren.       4) Toelichting en visualisatie van deep learning voor NLP       De visualisatie van deep learning voor Computer Vision is deze jaren gevorderd. Neem bijvoorbeeld een afbeelding, de geleerde functies in de eerste laag van representatie vertegenwoordigen typisch de aanwezigheid of afwezigheid van randen bij bepaalde oriëntaties en locaties in de afbeelding. De tweede laag detecteert typisch motieven door bepaalde opstellingen van randen te spotten. De derde laag kan motieven samenvoegen tot grotere combinaties die overeenkomen met delen van bekende objecten, en volgende lagen zouden objecten als combinaties van deze delen kunnen detecteren. Dat van NLP is echter nog niet ontdekt. Elke laag visualiseren in deep learning voor NLP helpt zeker bij het begrijpen van het mechanisme van deep learning voor NLP.