AI kan niet klokkijken

Ondanks hun indrukwekkende capaciteiten hebben grote taal‑ en beeldmodellen moeite met iets wat voor mensen vanzelfsprekend is: het aflezen van de tijd van een analoge klok.

Voor een recente studie is een dataset samengesteld van 43.000 afbeeldingen van klokken met verschillende aangegeven tijden. Vier modellen werden getest op hoe goed zij de correcte tijd konden aflezen. De initiële prestaties waren teleurstellend. Nadat de modellen werden bijgetraind met een extra set van 5.000 afbeeldingen uit de dataset leek de nauwkeurigheid te stijgen, maar bij een nieuwe verzameling afbeeldingen daalde de prestatie opnieuw aanzienlijk.

De onderzoekers gingen verder met experimenteren door klokken te vervormen of de wijzers anders vorm te geven – bijvoorbeeld door pijlen toe te voegen aan de uiteinden. Hoewel dergelijke variaties voor mensen nauwelijks een hinderpaal vormen, zagen de modellen bij dergelijke aanpassingen sterk verminderde prestaties. Het bleek dat een fout in het herkennen van één component – bijvoorbeeld het identificeren van de korte in plaats van de lange wijzer – leidde tot grotere fouten in de ruimtelijke interpretatie van de klok en uiteindelijk tot een onjuiste tijdsafleiding.

Context

De studie wijst erop dat het vermogen om analoge tijd af te lezen niet simpelweg een kwestie is van visuele herkenning van vormen, maar een complexe combinatie van objectidentificatie, ruimtelijke oriëntatie en contextuele interpretatie. Voor AI‑systemen kan dit functioneren als een miniatuurevenbeeld van grotere perceptieproblemen in real‑world toepassingen zoals medische beeldanalyse of autonome voertuigen, waar vergelijkbare fouten dramatische gevolgen zouden kunnen hebben.

De bevindingen benadrukken dat modellen die in gecontroleerde of vertrouwde situaties goed presteren, niet automatisch robuust zijn in onbekende of licht gewijzigde scenario’s. Het bevestigt opnieuw dat generalisatie – het vermogen om goed te functioneren buiten de specifieke trainingsdata – een cruciale barrière blijft in de ontwikkeling van geavanceerde AI‑systemen.

Hoewel de technologie zich blijft ontwikkelen en AI‑systemen steeds complexere taken aankunnen, laat dit soort onderzoek zien dat zelfs ogenschijnlijk eenvoudige perceptietaken verborgen uitdagingen bevatten. Kortom, er is meer werk nodig om ervoor te zorgen dat multimodale modellen ook daadwerkelijk betrouwbare en algemeen toepasbare sensoren worden in uiteenlopende technische omgevingen.