Schroefje kwijt? RFusion vindt hem wel! (video)

Het RFusion-prototype dat de onderzoekers ontwikkelden, is gebaseerd op RFID-tags, goedkope, batterijloze tags die aan een item kunnen worden geplakt en signalen reflecteren die door een antenne worden verzonden. Omdat RF-signalen door de meeste oppervlakken kunnen dringen, kan RFusion een getagd item in een stapel lokaliseren.

Met behulp van machine learning stelt de robotarm automatisch de exacte locatie van het object in, verplaatst de items erop, pakt het object vast en controleert of het het juiste heeft opgepikt. De camera, antenne, robotarm en AI zijn volledig geïntegreerd, zodat RFusion in elke omgeving kan werken zonder een speciale opstelling.

Hoewel het vinden van verloren voorwerpen nuttig is, zou RFusion in de toekomst veel bredere toepassingen kunnen hebben, zoals het sorteren van stapels om bestellingen in een magazijn uit te voeren, het identificeren en installeren van componenten in een autofabriek, of het helpen van een oudere persoon bij het uitvoeren van dagelijkse taken in huis, hoewel het huidige prototype nog niet snel genoeg is voor deze toepassingen.

"Dit idee om items te kunnen vinden in een chaotische wereld is een open probleem waar we al een paar jaar aan werken. Het hebben van robots die dingen onder een stapel kunnen zoeken, is tegenwoordig een groeiende behoefte in de industrie. Op dit moment kun je dit zien als een Roomba op steroïden, maar op korte termijn zou dit veel toepassingen kunnen hebben in productie- en magazijnomgevingen", zegt senior auteur Fadel. 

Signalen verzenden

RFusion begint met het zoeken naar een object met behulp van zijn antenne, die signalen van de RFID-tag weerkaatst om een ​​bolvormig gebied te scannen waarin de tag zich bevindt. Het combineert die bol met de camera-invoer, die de potentiële ocatie van het object vernauwt. Het item kan bijvoorbeeld niet op een leeg stuk tafel liggen.

Zodra de robot een algemeen idee heeft van waar het item zich bevindt, moet hij zijn arm echter breed door de kamer zwaaien en aanvullende metingen doen om de exacte locatie te bepalen. Dit is nog traag en inefficiënt.

De onderzoekers gebruikten bevestigende leertechnieken om een ​​neuraal netwerk te trainen dat het traject van de robot naar het object kan optimaliseren. Bij bevestigende leertechnieken wordt het algoritme met vallen en opstaan ​​getraind met een beloningssysteem.

"Dit is ook hoe ons brein leert. We worden beloond van onze leraren, van onze ouders, van een computerspel, enz. Hetzelfde gebeurt bij bevestigende leertechnieken. We laten de agent fouten maken of iets goed doen en dan straffen of belonen we het netwerk. Zo leert het netwerk iets dat voor het netwerk heel moeilijk te modelleren is", zegt Adib.

In het geval van RFusion werd het optimalisatie-algoritme beloond toen het het aantal bewegingen beperkte dat het moest maken om het item te lokaliseren en de afstand die het moest afleggen om het op te halen.

Zodra het systeem precies de juiste plek identificeert, gebruikt het neurale netwerk gecombineerde RF- en visuele informatie om te voorspellen hoe de robotarm het object moet grijpen, inclusief de hoek van de hand en de breedte van de grijper, en of het eerst andere items moet verwijderen . Het scant ook de tag van het item nog een laatste keer om er zeker van te zijn dat het het juiste object heeft opgepakt.

Samenvatten en begrijpen

De onderzoekers testten RFusion in verschillende omgevingen. Ze begroeven een sleutelhanger in een doos vol rommel en verstopten een afstandsbediening onder een stapel spullen op een bank.

Maar als ze alle cameragegevens en RF-metingen naar het versterkingsleeralgoritme zouden voeren, zou het systeem overweldigd zijn. Dus, gebruikmakend van de methode die een GPS gebruikt om gegevens van satellieten te consolideren, vatten ze de RF-metingen samen en beperkten ze de visuele gegevens tot het gebied recht voor de robot.

De aanpak werkte goed: RFusion had een slagingspercentage van 96 procent bij het ophalen van objecten die volledig verborgen waren onder een stapel. "Soms, als je alleen vertrouwt op RF-metingen, zal er een item buiten de boot vallen, en als je alleen op visie vertrouwt, zal er soms een fout van de camera zijn. Maar als je ze combineert, gaan ze elkaar corrigeren. Dat maakte het systeem robuust."

In de toekomst hopen de onderzoekers de snelheid van het systeem te verhogen, zodat het soepel kan bewegen, in plaats van periodiek te stoppen om metingen uit te voeren. Hierdoor kan RFusion worden ingezet in een snelle productie- of magazijnomgeving.