Machine herkent gebarentaal

Terwijl je een berichtje tikt herkent de computer de taal die je gebruikt. Binyam Gebrekidan Gebre heeft een computerprogramma gemaakt dat het zelfde kunstje uit kan halen bij gebarentalen. Dit is een eerste stap voor het maken van automatische vertalingen van gebarentaalvideo’s.

Voor de studie van gebarentalen – natuurlijke talen die hand- en lichaamsbewegingen en gezichtsuitdrukkingen gebruiken om betekenis over te dragen – is het nodig om grote verzamelingen video’s te transcriberen. Dat kost veel tijd en dus ook veel geld. Het Max Planck Institute for Psycholinguistics in Nijmegen heeft daarom een project opgezet om gebarentaal automatisch uit te schrijven.

Een moeilijke taak, licht Binyam toe: "Gebarentaalgebruikers hebben allemaal een eigen stijl en ze zien er ook anders uit. Kleren, huidskleur, grootte van de handen, persoonlijke stijl – de computer moet leren om daar doorheen te kijken. Ook de opname van de video’s verschilt sterk – het camerastandpunt, de belichting, de afstand. Ook dit compliceert de leertaak voor de computer."

Binyam zocht aansluiting bij de machine learning groep van het Institute for Computer and Information Science van de Radboud University, waar hij 9 februari promoveert.

Machine learning

Het eerste probleem dat Binyam tackelde was dat van automatisch taalherkenning. "Een machine moet weten wat voor taal het is voor die kan beginnen te vertalen." Er zijn veel verschillende gebarentalen en net zoals er Nederlandse, Duitse en Britse gebarentaal is, heeft ook Ethiopië, waar Binyam van origine vandaan komt, zijn eigen gebarentaal.

Het programma dat hij maakte, weet zes verschillende talen te onderscheiden met een zekerheid van 84 procent. "Dat is een hoog getal, zeker als je bedenkt dat we de computer slechts data hebben gegeven van vier gebaarders per taal. De nauwkeurigheid van het programma zal zeker toenemen als er meer ingevoerd worden," legt de informaticus uit. "We hebben het probleem opgelost door de computer een verzameling te laten maken van karakteristieke pixelpatronen die voorkomen in de video’s. Daarna gaven we het programma filmpjes van bekende talen en zo wist het programma de pixelpatronen te koppelen aan de naam van de taal."

Videozoekmachine

Andere onderwerpen die Binyam in zijn proefschrift behandelt, zijn de herkenning van wie aan het woord is in een video, en wat de betekenisvolle gedeelten zijn van een spraakgebaar. Zegt die persoon iets, of krabt hij aan zijn neus? Dat mag makkelijk zijn voor een mens, voor een machine is dat een hele klus.

Het onderzoek zal in de toekomst gebarentaalonderzoekers helpen om video’s uit te werken en kan gebruikt worden voor een zoeksysteem op basis van gebaren, of real time vertaling van gebarentaal in gesproken of geschreven. "Maar het doorzoeken van de inhoud van video’s is ook van groot belang voor zoekmachinebouwers als Google."

Binyam Gebrekidan Gebre

Binyam Gebrekidan Gebre (1983, Mekelle, Ethiopië) haalde zijn bachelor in Computer Science and Engineering aan het Mekelle Institute of Technology. Met een Erasmus Mundus Mastersbeurs kwam hij naar Frankrijk en de UK om de verwerking van natuurlijke taal en taaltechnologie te studeren. Hij studeerde af op automatische woordherkenning in het Amhaars, een semitische taal die in Ethiopië wordt gesproken. Het onderzoek naar het geautomatiseerd herkennen van gebaren van beeldopnamen werd ondersteund door Clara, een Marie Curie ITN. Momenteel werk Gebre als data-analist voor het rekencentrum in Garching (RZG), een computing center van het Max Planck Genootschap.

Op dit moment zoeken het Max Planck Institute for Psychollinguistics en de Radboud Universiteit nieuwe proefpersonen die vloeiend gebarentaal ‘spreken’. Meer informatie Contact via mailto:gebarentaalmpi@gmail.com