< Terug naar vorige pagina

Project

CUMULUS: 3D objectherkenning, lokalisatie en activiteitsmonitoring op basis van puntenwolken (CUMULUS)

Het assortiment van commercieel beschikbare 3D sensoren is in de voorbije jaren sterk uitgebreid, en hun prijs is vaak sterk gedaald. Sensoren gebaseerd op principes zoals LIDAR, Time-of-Flight of gestructureerd licht meten de omgeving op in de vorm van een 3D puntenwolk. In zo'n 3D puntenwolk zit een schat aan informatie over de omgeving, die kan geïnterpreteerd worden voor bijvoorbeeld de detectie en herkenning van objecten. 

Zowel op het gebied van 3D puntenwolk sensoren als de software tools en algoritmes die gebruikt worden om deze data te verwerken is er reeds een uitgebreid aanbod aanwezig, en dit wordt gebruikt in diverse toepassingen. In dit project willen we dit breed gamma aan bestaande technologie grondig analyseren en toepassen op een aantal relevante gevalstudies aangebracht door de deelnemende industriële partners. We zullen hierbij met name kijken naar objectherkenning, activiteitsherkenning en lokalisatie op basis van 3D puntenwolken. 

Enkele vragen die we in dit project willen beantwoorden: 

  • Welke bijkomende mogelijkheden bieden deze puntenwolksensoren t.o.v. de reguliere sensoren? Wat is de kostprijs, robuustheid, onderhoudbaarheid van deze sensoren? Welke calibratieprocedures zijn hiervoor nodig?
  • Welke software bestaat er om de data van verschillende sensoren om te vormen tot relevante informatie zoals lokalisatie, objectherkenning, kaartopbouw, … ? Hoe nauwkeurig en betrouwbaar is deze informatie in realistische omstandigheden (regen, mist, interferentie, ...)?
  • Op welke hardware (CPU, GPU, PLC) kan ik deze software gebruiken?
  • De verschillende sensoren en softwaretechnieken zullen toegepast worden op enkele gevalstudies binnen de maritieme en de logistieke nijverheid, de landbouw en de maakindustrie.
Datum:1 dec 2019 →  30 nov 2021
Trefwoorden:3D object recognition, point clouds
Disciplines:Visuele data-analyse
Resultaten:

In dit project werd een overzicht gemaakt van beschikbare 3D puntenwolk sensoren en (open source) software bibliotheken voor het verwerken van 3D puntenwolken. 

Daarnaast werd in samenspraak met de deelnemende bedrijven een reeks validaties uitgewerkt die het nut van puntenwolk sensoren illustreren in specifieke bedrijfscontexten. Zo werden o.a. volgende cases bestudeerd:

  • 6D pose schatting en tracking van objecten in een productie-omgeving
  • 3D persoonsdetectie voor veiligheidsmonitoring in een productie-omgeving
  • sorteren van items op een transportband met een RGB-D line scanner
  • lokalisatie en mapping op waterwegen met behulp van een sensor box met lidar, GNSS en IMU
  • semantische puntenwolk segmentatie van lidar data
  • detectie van obstakels op de weg in solid-state lidar puntenwolk data
  • detectie van wegmarkeringen in lidar data op wegen en luchthavens

Voor meer informatie, zie de projectpagina (https://iiw.kuleuven.be/onderzoek/eavise/cumulus/home).