Nieuw algoritme laat robot zelfstandig leren (video)

‘Oefening baart kunst’ lijkt vooral een menselijke aangelegenheid. Maar kan een robot die net aan de slag is gegaan in een onbekende omgeving er ook wat mee? Wel volgens onderzoekers van MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) en The AI Institute. Hun nieuwe algoritme helpt robots zelfstandig oefenen om beter te kunnen worden.

In een vorige maand op de Robotics: Science and Systems Conference gepresenteerd onderzoek kwamen de onderzoekers op de proppen met hun ‘Estimate, Extrapolate, and Situate’ (EES)-algoritme. Dit nieuwe algoritme stelt robots in staat om zelfstandig te oefenen, waardoor ze mogelijk beter worden in het uitvoeren van algemene taken als het vegen van de vloer of het plaatsen van objecten.

Vision-systeem

EES maakt gebruik van een vision-systeem dat de omgeving van de robot in kaart brengt en de bewegingen volgt. Vervolgens schat het algoritme in hoe betrouwbaar de robot een handeling uitvoert en of het de moeite waard is om meer te oefenen. Het EES-algoritme voorspelt hoe goed de robot de algemene taak zou kunnen uitvoeren als hij die specifieke vaardigheid zou verfijnen door te oefenen. Het vision-systeem controleert vervolgens na elke poging of die vaardigheid correct is uitgevoerd.

Talent

Volgens de onderzoekers zou het nieuwe algoritme een robot kunnen helpen zich te verbeteren – zonder menselijke tussenkomst. Het nieuwe algoritme maakt het mogelijk in een redelijke tijd beter te worden in specifieke vaardigheden met tientallen of honderden datapunten. Dat is veel beter dan de duizenden of miljoenen samples die een standaard algoritme voor reinforcement learning nodig heeft.

Het talent van het algoritme voor efficiënt leren kwam naar voren bij onderzoek met viervoeter Spot van Boston Dynamics bij The AI Institute. De robot had maar een paar uur oefenen nodig om zich manipulatietaken eigen te maken. Hierbij richt het algoritme zich op de vraag welke vaardigheden binnen de ‘bibliotheek’ van de robot, op dat moment het nuttigst zijn om te oefenen.

Beperkingen

Zo leerde Spot zichzelf in ongeveer 3 uur bijvoorbeeld hoe hij een bal en een ring veilig op een schuine tafel kon plaatsen. In een andere test leerde het algoritme de robot om binnen 2 uur beter te worden in het opvegen van speelgoed in een prullenbak. In beide gevallen zou dat op andere manieren waarschijnlijk meer dan 10 uur per taak in beslag hebben genomen.

EES zou uiteindelijk kunnen helpen bij het stroomlijnen van autonoom oefenen van robots in een nieuwe omgeving. Maar voor nu zijn er een paar beperkingen. Om te beginnen zijn in het onderzoek lage tafels gebruikt, zodat de robot de objecten beter kon zien. Ook is een handvat ge-3D-print dat het makkelijker maakte voor Spot om de borstel vast te pakken. Bovendien detecteerde de robot sommige voorwerpen niet en identificeerde voorwerpen op de verkeerde plek.

Download hier de publicatie van het onderzoek: https://arxiv.org/pdf/2402.15025. Voor de doe-het-zelver: de code van het algoritme vind je hier: https://github.com/bdaiinstitute/predicators/releases/tag/planning-to-practice-ees