Robotvisie gebruiken om de besturing van een robotarm en rolstoel via een neuraal-implantaat te vergemakkelijken

Brain-machine interface (BMI) realiseert de directe communicatie tussen de hersenen en de computer. Met de robotarm kan BMI mensen die lijden aan ruggenmergletsel helpen autonomie te herstellen. Hoewel er vruchtbare resultaten worden bereikt op het gebied van invasieve brein-machine interfaces, blijven er nog een groot aantal uitdagingen bestaan. Het signaal van het BMI systeem is grof en bevat veel ruis. Het is moeilijk voor het BMI-systeem alleen om een nauwkeurige greep te krijgen. Om het bovenstaande probleem op te lossen, willen we computervisie en BMI combineren om een 'hybride' intelligent systeem te bouwen om de grijptaak voor patiënten te realiseren. Computer vision based grijpen heeft al een lange weg afgelegd, wat zeer uitdagende taken kan realiseren. CNN-gebaseerde methoden getraind op een grootschalige gesimuleerde dataset kunnen nauwkeurig de waarschijnlijkheid van krachtsluiting van de greep inschatten. Met een dieptecamera kan de robot zelfs objecten vastleggen die voorheen onbekend waren. Bovendien is het grijpen van planning zeer volwassen zodat we gemakkelijk de greep kunnen bereiken met de hoogste kans op krachtsluiting. Op deze manier hoeft BMI alleen maar een commando op hoog niveau te leveren (bijvoorbeeld feature selection), en dan kan het computer vision systeem de controle overnemen en het nauwkeurige grijpen bereiken op basis van de contextinformatie.