Random Bin Picking van Onbekende Objecten: Ontwikkeling van een Modulaire Systeemarchitectuur op basis van Synthetische Datasets en Deep Learning

Grijpen is een kerntaak die vaak door een robotsysteem dient uitgevoerd te worden en reeds op grote schaal wordt toegepast in productie, geneeskunde, logistiek en exploratief wetenschappelijk onderzoek. Het verwijderen van onbekende objecten uit een container (EN: random bin picking) blijft echter een uitdaging voor robots vanwege beperkingen in perceptie, situationeel bewustzijn, en besturing.

In dit proefschrift presenteert de auteur een systeemarchitectuur voor random bin picking dat gebouwd is op synthetische datasets en bestaat uit drie modules: grijpsimulatie, neuraal netwerk en grijpuitvoering. Het voorgestelde systeemarchitectuur verzamelt enorme datasets die miljoenen grijpvoorbeelden van diverse grijpers in simulatie bevatten, en traint neurale netwerken die de grijpprincipes leren voor de toegepaste grijper om vervolgens mogelijke grijpposities te kunnen detecteren in de echte wereld. Zowel visuele als kracht-koppelfeedback zijn geïntegreerd in de geslotenlusbesturing ter optimalisatie van de reële grijptesten.

Een van de belangrijkste bijdragen in het onderzoek is een veelzijdige simulator die grijptesten voor verscheidene grijpers kan simuleren. Deze verzamelt synthetische grijpvoorbeelden om grijpmethoden te ontwikkelen die toegepast kunnen worden in reële situaties. Voor het simuleren van een complexe grijper worden het contactmodel en de kracht-moment vectoren gevolgd door een reeks suboppervlakken die vervormbaar zijn volgens door de mens ontworpen principes, waardoor ze beter presteren dan veel conventionele grijpsimulators. De simulator kan scènes weergeven met gestapelde objecten, in plaats van de frequent voorkomende geÏsoleerde objecten in bestaande methodes, wat impliceert dat de synthetische grijpscènes van de voorgestelde simulator beter overeenstemmen met praktijksituaties.

Verder ontwikkelt dit onderzoek neurale netwerken om verschillende grijpparameters en grijphaalbaarheid voor het grijpen van willekeurige objecten met meerdere grijpers, variërend van een zevenlaags lightgewicht CNN tot een 52-laags diep neuraal netwerk. De architectuur en complexiteit van het gebruikte neurale netwerk zijn voornamelijk afhankelijk van de eigenschappen van de grijpparameters van de toegepaste grijper. De effecten van diverse netwerkarchitecturen, diepte, kernelgrootte en andere parameters worden onderzocht. De architecturen van de ontwikkelde neurale netwerken kunnen een traditioneel lineair regressiemodel, een diepe topologie met grijpgerelateerde attention modules of een encoder-decoderstructuur zijn. De geschiktheid van een neuraal netwerk wordt bepaald op basis van de kenmerken van elke onderzochte grijper, de voorspellingsfout van het neurale netwerk en de computationele complexiteit van de gewenste grijpmethode.

Verder biedt het voorgestelde systeemarchitectuur closed-loop grijpmethoden in zowel SE(2) met een neerwaartse grijprichting als SE(3) met flexibele grijprichtingen afhankelijk van de grijper en de robot. Er werden verscheidene vergelijkende testen opgezet zowel in simulatie als in de reële wereld, waaronder de schatting van de grijpkwaliteit voor geïsoleerde objecten en verzamelingen van ongestructureerde, opeengepakte voorwerpen, alsook kort- en langdurende pickopdrachten. De voorgestelde grijpmethoden behalen hogere grijpsuccespercentages dan de huidige beschikbare state-of-the-art grijpmethoden.

Daarnaast wordt een nieuw criterium bestaande uit negen niveaus gepresenteerd om de moeilijkheidsgraad van pickopdrachten te definiëren rekening houdend met de complexiteit en distributie van de doelobjecten. In tegenstelling tot wat frequent voorkomende begrippen zoals “een verzameling van willekeurig opeengepakte voorwerpen”, “een reeks gestapelde objecten”, “objecten met willekeurige poses” laten uitschijnen, worden in gepubliceerd onderzoek en open-source grijpdatasets expliciete vergelijkingen gedefinieerd om de complexiteit en distributie van objecten te berekenen. Voor experimenten met andere grijpers kunnen nieuwe voorwerpen en objectverzamelingen gedefinieerd worden op basis van vergelijkbare principes zodat er bijgevolg een relatief eerlijke evaluatie van een grijpmethode kan plaatsvinden tijdens vergelijkende testen.