Bijzondere filmbeelden met drones dankzij algoritme (video)

In de film Skyfall zitten spectaculaire beelden waarin James Bond zijn tegenstander probeert te neutraliseren op het dak van een trein die door de woestijn rijdt. Dit was een extreem dure scène om te filmen, door het benodigde personeel, materiaal en technologie. Meerdere cameramensen waren er uren mee bezig op verschillende locaties. Er moest zelfs een camera op een kraan op het dak van de trein worden geplaatst voor close-up shots. 

Tobias Nägeli, een onderzoeker in het Advanced Interactive Technologies Lab van ETH Zürich, is er van overtuigd dat dergelijke scènes makkelijker kunnen worden gefilmd. Samen met researchers van de TU Delft, in het bijzonder dr. Javier Alonso-Mora (Autonomous Multi-Robots Lab), en de ETH spin-off Embotech, heeft hij een algoritme ontwikkeld waarmee een aantal drones samen, maar onafhankelijk, scènes kunnen filmen op de manier waarop de regisseur dat wil.

Controle

Drones worden al een aantal jaren gebruikt in de filmindustrie, maar goede camerabeelden vereisen meestal twee ervaren experts – eentje om de drone te besturen en eentje om de camerahoek te controleren. Dit is moeilijk en duur. Er zijn ook commerciële camera-drones die een van te voren bepaald personage onafhankelijk kunnen volgen. Maar dit betekent dat de regisseur de controle over de camerahoek verliest en ook de mogelijkheid om meerdere mensen tegelijk in één beeld te hebben. Daarom hebben de researchers een intuïtief systeem ontwikkeld.

Om dit uit te leggen, kan men de analogie maken met robotstofzuigers: daarbij wordt niet het exacte pad gespecificeerd dat de robot moet nemen, maar simpelweg het einddoel: dat de kamer aan het eind van het proces schoon moet zijn. Als je deze analogie doortrekt naar de filmwereld, betekent dit dat de regisseur zich niet bezig hoeft te houden met waar de drone of een specifiek tijdstip precies is. Het gaat er om dat de uiteindelijke beelden voldoen aan de verwachtingen.

Vertaling

Het proces van ‘vertaling’ tussen cinematograaf en de drone is de taak van het ontwikkelde algoritme. Parameters zoals de camerahoek, de te volgen persoon, of tracking shots kunnen vooraf worden vastgelegd. Om veiligheidsredenen worden deze parameters gecombineerd met ruimtelijke begrenzingen waarbinnen de drone vrij kan bewegen. Het precieze te volgen pad – en de timing van de richtingsveranderingen – worden door de drone 50 maal per seconde herberekend, waarbij GPS-sensoren de benodigde data leveren.

Sport en inspecties

De algoritmes zouden overigens voor het eerst kunnen worden gebruikt buiten de filmstudio, bijvoorbeeld bij sportuitzendingen op televisie. Dat is immers een werkgebied met een enorme vraag naar dynamische shots. Maar handmatig bestuurde film-drones kunnen een gevaar voor de sporters betekenen.

De algoritmes zouden ook kunnen worden gebruikt bij de inspectie van industriële faciliteiten; bijvoorbeeld in het geval van windturbines die met drones worden onderzocht op defecten. En in het transport zou het mogelijk zijn om luchtcorridors te definiëren die je kunt gebruiken om bloed of donororganen veilig te transporten in een noodgeval. De drone zou onafhankelijk het snelste en veiligste pad kunnen vinden binnen zo’n corridor.

Nägeli T, Alonso-Mora J, Domahidi A, Rus D, Hilliges O: Real-Time Motion Planning for Aerial Videography With Real-Time Dynamic Obstacle Avoidance and Viewpoint Optimization. IEEE Robotics and Automation Letters. 2017, 2.3: 1696-1703, doi: 10.1109/LRA.2017.2665693

Nägeli T, Meier L, Domahidi A, Alonso-Mora J, Hilliges O:. Real-time Planning for Automated Multi-View Drone Cinematography. ACM Transactions on Graphics, 2017. 36: 132, doi: 10.1145/3072959.3073712