Verborgen objecten zien

MIT-onderzoekers hebben een augmented reality-headset gebouwd die de drager röntgenzicht geeft.

De headset combineert computervision en draadloze perceptie om automatisch een specifiek item te lokaliseren dat aan het zicht is onttrokken, misschien in een doos of onder een stapel, en de gebruiker vervolgens te begeleiden om het te pakken.

Het systeem maakt gebruik van radiofrequentiesignalen (RF), die door materialen als kartonnen dozen, plastic containers of houten scheidingswanden heen kunnen om items te vinden die zijn gelabeld met RFID-tags.

De headset begeleidt de drager terwijl deze door een kamer loopt naar de locatie van het item, dat verschijnt als een transparante bol in de AR-interface. Als de gebruiker het item heeft gepakt, verifieert de headset, X-AR genaamd, dat het het juiste object is.

Toen de onderzoekers X-AR testten in een magazijnachtige omgeving, kon de headset verborgen items gemiddeld tot op 9,8 centimeter nauwkeurig lokaliseren. En het verifieerde het oppikken met een nauwkeurigheid van 96 procent.

Rommelig?

X-AR kan magazijnmedewerkers helpen bij het snel vinden van items op rommelige planken of weggestopt in dozen, of door het exacte item voor een bestelling te identificeren wanneer er veel vergelijkbare objecten in dezelfde bak zitten. Het kan ook worden gebruikt in een productiefaciliteit om technici te helpen de juiste onderdelen te vinden om een product te assembleren.

“Ons hele doel met dit project was om een ARy-systeem te bouwen waarmee je dingen kunt zien die onzichtbaar zijn – dingen die zich in dozen of om hoeken bevinden – en daarbij kan het je ernaartoe leiden en je echt laten zien de fysieke wereld op manieren die voorheen niet mogelijk waren”, zegt Fadel Adib, senior auteur van een paper op X-AR.

Een AR-headset uitbreiden

Om een augmented reality-headset met röntgenblik te maken, moesten de onderzoekers eerst een bestaande headset uitrusten met een antenne die kon communiceren met RFID-gelabelde items. De meeste RFID-lokalisatiesystemen gebruiken meerdere antennes die meters van elkaar verwijderd zijn, maar hier was één lichtgewicht antenne nodig die voldoende bandbreedte kon bereiken om met de tags te communiceren.

“Een grote uitdaging was het ontwerpen van een antenne die op de headset zou passen zonder een van de camera’s te bedekken of de werking ervan te belemmeren. Dit is erg belangrijk, omdat we alle specificaties op het vizier moeten gebruiken”, zegt teamlid Aline Eid.

Het team nam een eenvoudige, lichtgewicht lusantenne en experimenteerde door de antenne taps toe te laten lopen en openingen toe te voegen, beide technieken die de bandbreedte vergroten. Omdat antennes meestal in de open lucht werken, hebben de onderzoekers deze geoptimaliseerd voor het verzenden en ontvangen van signalen wanneer ze aan het vizier van de headset zijn bevestigd.

Nadat het team een effectieve antenne had gebouwd, concentreerde het zich op het gebruik ervan om items met RFID-tags te lokaliseren.

Ze maakten gebruik van een techniek die bekend staat als synthetische apertuurradar (SAR), vergelijkbaar met hoe vliegtuigen objecten op de grond in beeld brengen. X-AR neemt metingen met zijn antenne vanuit verschillende gezichtspunten terwijl de gebruiker door de kamer beweegt, en combineert die metingen vervolgens. Op deze manier werkt het als een serie antennes, waarbij metingen worden gecombineerd om een apparaat te lokaliseren.

X-AR gebruikt visuele gegevens van het zelfvolgend vermogen van de headset om een kaart van de omgeving samen te stellen en de locatie binnen die omgeving te bepalen. Terwijl de gebruiker loopt, berekent het van elke locatie de waarschijnlijkheid dat de RFID-tag zich er bevindt. De kans is het grootst op de exacte locatie van de tag, dus deze informatie wordt gebruikt om het verborgen object te lokaliseren.

In de experimenten bleek het goed te werken, omdat mensen zich veel verplaatsen. Daardoor kan je metingen doen vanaf veel locaties en een item nauwkeurig lokaliseren.

Zodra X-AR het item heeft gelokaliseerd en de gebruiker het oppakt, moet de headset verifiëren dat de gebruiker het juiste object heeft gepakt. Maar nu staat de gebruiker stil en beweegt de antenne van de headset niet, dus kan het SAR niet gebruiken om de tag te lokaliseren.

Als de gebruiker het item oppakt, beweegt de RFID-tag echter mee. X-AR kan de beweging van de RFID-tag meten en de handvolgfunctie van de headset gebruiken om het item in de hand van de gebruiker te lokaliseren. Vervolgens controleert het of de tag de juiste RF-signalen verzendt om te verifiëren dat dit het juiste object is.

De onderzoekers gebruikten de holografische visualisatiemogelijkheden van de headset om deze informatie op een eenvoudige manier voor de gebruiker weer te geven. Zodra deze de headset opzet, gebruiken ze menu’s om een object te selecteren uit een database met getagde items. Nadat het object is gelokaliseerd, wordt het omgeven door een transparante bol zodat de gebruiker kan zien waar het zich in de kamer bevindt. Vervolgens projecteert het apparaat de baan naar dat item in de vorm van voetstappen op de vloer, die dynamisch kunnen worden bijgewerkt terwijl de gebruiker loopt.