< Terug naar vorige pagina

Project

Opweg naar een autonome vliegende cameraman

Dit doktoraatsonderzoek richt zich op de ontwikkeling van een vliegend autonome cameraman. We willen het filmen van events compleet autonoom maken door een menselijke cameraploeg te vervangen door autonome Pan-Tilt-Zoom camera’s en UAV’s voorzien van een camera. De director zal ontwikkeld worden door onze collega’s van VISICS welke de autonome cameraman high level instructies zal geven. Deze high level instructies zullen niet meer zijn dan commando’s als: film acteur A vanuit een schoudershot, film acteur B in close up,… Hierdoor zal een event, zoals bijvoorbeeld een muziek optreden of een sport wedstrijd, real time gefilmd kunnen worden met een minimum aan menselijke bijdrage. Dit onderzoek richt zich volledig op de autonome cameraman waarin een “unmanned aerial vehicle” (UAV), voorzien van een PTZ camera en microfoon geautomatiseerd wordt zodat deze volledig autonoom een event kan filmen. De UAV zal de acteur volledig autonoom volgen onder de gevraagde hoek om zo beelden te maken die tot nu toe onmogelijk waren.

 

De drie grote uitdagingen die moeten overwonnen worden in dit project zijn: Real-Time persoon detectie en tracking, topologische lokalisatie en visual servoing.

 

De eerste taak is het implementeren van een Real-Time persoon detector en -tracker op embedded hardware. Door de brede definitie van acteur in dit project (bv. presentator, rockster, wielrenner), hebben we een snelle persoon detector en tracker nodig om het juiste object in beeld te houden, omdat de objecten alsook de camera’s kunnen bewegen. Het tracken doorheen de tijd kan gebeuren met bekende “tracking-by-detection” algoritmes, maar voor deze specifieke applicatie hebben we te maken met extreme condities zoals variërende kijkhoeken en de gelimiteerde rekenkracht van het embedded systeem. We werken met een embedded systeem zodat het geheel kan gemonteerd worden onder een UAV om deze zo volledig autonoom te maken.

 

Het is belangrijk dat elke camera-unit of UAV zijn viewpoint weet, toch is het voor deze applicatie niet nodig om de exacte metrische locatie te weten van elke camera. De kwaliteit van de opgenomen beelden is veel belangrijker dan de exacte locatie. Om beelden te maken onder bepaalde kijkhoeken, opgegeven door de director is het wel nodig dat elke camera-unit zijn relatieve locatie kent t.o.v. andere units en de actie. Hiervoor zal een topologische lay-out van de camera-units voldoende zijn. Daarom zullen we een topologisch model ontwikkelen voor de (dynamische) omgeving in welke elke camera-unit zich zal kunnen lokaliseren.

 

De laatste moeilijkheid in het project is visual servoing. We willen dat de UAV’s heel vloeiend vliegen zodat we beelden van topkwaliteit kunnen maken, hiervoor hebben we een goed controlesysteem nodig. Omdat de UAV’s 6 vrijheidsgraden hebben en de PTZ camera hier nog eens 3 vrijheidsgraden aan toevoegt, is het zeker niet triviaal om dit controlesysteem te ontwikkelen. Doordat in deze applicatie de beelden belangrijker zijn dan de exacte locatie, zullen we gebruik maken van image-based visual servoing (IBVS) i.p.v de veel gebruikte position-based visual servoing (PBVS).

 

Het eerste doel wat we willen bereiken is het filmen van een les of presentatie met een statische PTZ camera welke autonoom pan, tilt en zoomt om de spreker te volgen. Hierna zullen we deze applicatie uitbreiden naar het volgen van een persoon met een UAV voorzien van een PTZ camera en het uiteindelijke doel is het filmen van een event met meerdere samenwerkende UAV’s.

 

 

Datum:1 okt 2013 →  26 mrt 2018
Trefwoorden:autonomous camera crew
Disciplines:Nanotechnologie, Ontwerptheorieën en -methoden
Project type:PhD project