Het ‘virtualiseren’ van de omgeving kan machines helpen om beter in 3D te zien

Stel je de spits voor in een stadsstraat: auto’s en fietsen razen voorbij, voetgangers haasten zich over een drukke stoep, je ogen moeten zich het ene moment aanpassen aan de felle etalages en het volgende moment aan een donkere tunnel. Ons brein doet dit zonder dat we ons bewust zijn van de complexe processen die zich op dat moment afspelen. Het is echter een lastige klus voor machines met 3D-sensorsystemen – zoals bijvoorbeeld zelfrijdende auto’s.

In een artikel in Nature Communications meldt een onderzoeksgroep van het Computational 3D Imaging and Measurement Lab aan de Universiteit van Arizona dat ze een belangrijke stap hebben gezet om machines te voorzien van ‘supermenselijk 3D-zicht’.

In plaats van simpelweg de mogelijkheden van menselijk 3D-zicht na te bootsen, ontwikkelt het team van Florian Willomitzer methoden om 3D-sensoren aanzienlijk te verbeteren. Ze moeten beelden met een hogere resolutie en hogere snelheid kunnen vastleggen, waardoor het beeldopnameproces bestand wordt tegen uitdagende omstandigheden zoals sterk reflecterende oppervlakken.

“Mensen hebben al een ingebouwd 3D-camerasysteem: het stereoscopische zicht van onze twee ogen,” aldus Willomitzer. “Een van onze doelen is om computers en machines in staat te stellen beter in 3D te zien dan welk mens dan ook. Dit is cruciaal voor een groot aantal technologische uitdagingen, zoals betrouwbare navigatie van zelfrijdende auto’s, nauwkeurige begeleiding tijdens robotchirurgie of verbeterde sensorische mogelijkheden bij industriële inspectie en biomedische beeldvorming.”

Mat of reflecterend

Om die doelstellingen te bereiken, moet 3D-beeldvorming een hardnekkig probleem overwinnen: de meeste geavanceerde 3D-sensoren zijn geoptimaliseerd voor het afbeelden van ofwel matte ofwel reflecterende oppervlakken. In tegenstelling hiermee kennen scènes uit de echte wereld een breed scala aan oppervlaktereeflectiviteiten die ergens tussen die twee uitersten in liggen. Dit is waar de meeste 3D-beeldvormers tekortschieten.

“Denk aan het interieur van een auto of een woonkamer,” zei Willomitzer. “Die omgevingen bevatten spiegelende materialen, zoals spiegels, glas of gepolijst metaal, naast diffuse oppervlakken, zoals muren, stof en meubels.”

Hetzelfde geldt voor robotchirurgie, aangezien een operatiegebied doorgaans glinsterende vloeistoffen en vochtig weefsel bevat, evenals diffuse oppervlakken zoals de huid. 3D-detectietechnieken die al die oppervlakken even goed kunnen meten, zijn extreem moeilijk te ontwikkelen.

Het idee van het team is gebaseerd op een uitbreiding van de zogenaamde deflectometrie – een beproefde techniek die de vorm van spiegelende oppervlakken meet door te observeren hoe een patroon op een scherm vervormt bij reflectie op het reflecterende oppervlak. Om zeer complexe vormen met deflectometrie te meten, moeten de schermen echter erg groot zijn om een ​​breed scala aan hoekoriëntaties van het oppervlak te bestrijken, legt Willomitzer uit.

Voor toepassingen zoals het inspecteren van vers gespoten carrosserieën heeft dit zelfs geleid tot tunnelvormige schermconstructies die groot genoeg zijn om de hele auto te omvatten. Dergelijke oplossingen zijn duur, niet draagbaar en doorgaans beperkt tot specifieke taken.

Laserscannen

De oplossing die het team van Willomitzer heeft ontwikkeld, is even eenvoudig als effectief: in plaats van grote schermen te gebruiken, wordt de gehele omgeving van de te meten spiegelende objecten omgezet in een ‘virtueel scherm’.

“We kunnen een laserscanner gebruiken om alles in de ruimte vast te leggen, inclusief objecten met spiegelende, glanzende en matte oppervlakken, evenals matte muren. Vervolgens gebruiken we onze algoritmes om de diffuse van de spiegelende oppervlakken te scheiden en kunnen we uiteindelijk alle gemeten diffuse delen van de scène gebruiken als een virtueel scherm voor de deflectometrie-meting van de spiegelende delen”, aldus eerste auteur Aniket Dashpute.

“Dit stelt ons in staat om alles in die ruimte te hergebruiken als een gigantisch scherm – in feite wordt alles om je heen een virtueel scherm,” voegde Willomitzer eraan toe.

In plaats van een conventionele camera, die de hele scène frame voor frame vastlegt, gebruiken de onderzoekers een neuromorfische eventcamera, die alleen de belangrijke delen van de meting vastlegt met een zeer hoge tijdsresolutie. Hierdoor kunnen 3D-video’s van scènes met gemengde reflectie en bewegende objecten met hoge framesnelheden worden opgenomen.

“De eventcamera kan zeer uiteenlopende lichtniveaus aan – van heel zwak tot extreem helder,” aldus Jiazhang Wang, tweede auteur. “Hierdoor kunnen we alle objectoppervlakken in een scène met hoge nauwkeurigheid meten, ondanks de enorme variaties in oppervlaktereeflectiviteit.”

De methode is momenteel gedemonstreerd in een laboratoriumopstelling, maar Willomitzer gaf aan dat de technologie schaalbaar is naar elke gewenste toepassing. “Schaalbaarheid is een belangrijke vereiste voor het brede spectrum aan 3D-beeldvormingstoepassingen,” zei hij, “van het meten van kleine, glanzende bloedvaten tijdens een operatie tot het digitaliseren van complete kamers of gebouwen.”

Co-auteurs van het artikel zijn James Taylor, promovendus aan het Wyant College of Optical Sciences; Oliver Cossairt, adjunct-hoogleraar elektrotechniek en computerwetenschappen aan de Northwestern University; en Ashok Veeraraghavan, hoogleraar elektrotechniek en computerwetenschappen aan de Rice University.

⚠️ Geen vacatures gevonden.