Computer helpt dove kinderen met leren gebarentaal

Met een computer die automatisch gebaren herkent, kunnen dove en slechthorende kinderen hun 'gebarenschat' sneller uitbreiden. Jeroen Lichtenauer en Jeroen Arendsen promoveerden op op automatische gebarenherkenning aan de TU Delft.

Drie promovendi hielden zich de afgelopen jaren aan de TU Delft tegelijkertijd bezig met gebarentaal. Een van hen is Jeroen Arendsen: 'Er is eigenlijk nog heel weinig bekend over de perceptie van gebarentaal. Het doel van dit onderzoek was dan ook het uitbreiden van onze kennis over de menselijke waarneming van gebaren. Het blijkt bijvoorbeeld dat gebarentaalgebruikers na het begin van een handbeweging slechts een kort gedeelte hoeven te zien om te weten dat het een gebaar is en wat het betekent.'

Automatische herkenning

De verkregen inzichten vanuit de menselijke perceptie kunnen vervolgens worden gebruikt voor de ontwikkeling van technologie voor het automatisch herkennen van gebaren met camera's en computers. Bij het Delftse onderzoek leidde dit tot een opvallende toepassing van automatische gebarenherkenning: een Elektronische Leeromgeving (ELo) voor dove en slechthorende kinderen.

Plaatjes

In samenwerking met de NSDSK (Nederlandse Stichting voor het Dove en Slechthorende Kind) ontwikkelden de Delftenaren een computer die real time gebaren kan herkennen en daardoor kan worden gebruikt om dove en slechthorende kinderen sneller nieuwe gebaren te leren.
Bij een getoond plaatje moesten de kinderen, in de leeftijd van drie tot zes jaar, het juiste gebaar maken. De computer moest dat vervolgens beoordelen. Arendsen: 'En dat is behoorlijk moeilijk, want een computer raakt bijvoorbeeld veel makkelijker in de war van irrelevant gefrunnik dan mensen.'

Begrijpelijk

Collega-promovendus Jeroen Lichtenauer (faculteit EWI) zorgde ervoor dat de gemaakte gebaren werden omgezet in informatie die begrijpelijk is voor een computer. Arendsen hield zich als Industrieel Ontwerper meer bezig met de mensgerichte aspecten. Gineke ten Holt vervulde als derde promovendus een brugfunctie tussen deze twee disciplines.

Gebarenschat

Uit nader onderzoek bleek dat de Elektronische Leeromgeving ook echt werkt. De 'gebarenschat' van de kinderen die ermee hadden geoefend, nam meer toe dan bij een controlegroep. Dit gold overigens alleen voor de wat oudere kinderen.
Of de ELo ook daadwerkelijk in de praktijk zal worden toegepast, is volgens Arendsen nog onzeker. 'Dit hangt onder meer af van financiële en organisatorische zaken.'

links en info
www.jeroenarendsen.nl/seeing-signs
http://jeroenarendsen.nl/2006/08/recording-ngt-signs-elo/
http://ict.ewi.tudelft.nl/index.php?option=com_sections&id=56&Itemid=120
http://jeroenarendsen.nl/publications/
www.delta.tudelft.nl/nl/archief/artikel/gebarencomputer-studeert-bij-elektro/16048