Categories: Actueel

Machine herkent gebarentaal

Voor de studie van gebarentalen – natuurlijke talen die hand- en lichaamsbewegingen en gezichtsuitdrukkingen gebruiken om betekenis over te dragen – is het nodig om grote verzamelingen video’s te transcriberen. Dat kost veel tijd en dus ook veel geld. Het Max Planck Institute for Psycholinguistics in Nijmegen heeft daarom een project opgezet om gebarentaal automatisch uit te schrijven.

Een moeilijke taak, licht Binyam toe: "Gebarentaalgebruikers hebben allemaal een eigen stijl en ze zien er ook anders uit. Kleren, huidskleur, grootte van de handen, persoonlijke stijl – de computer moet leren om daar doorheen te kijken. Ook de opname van de video’s verschilt sterk – het camerastandpunt, de belichting, de afstand. Ook dit compliceert de leertaak voor de computer."

Binyam zocht aansluiting bij de machine learning groep van het Institute for Computer and Information Science van de Radboud University, waar hij 9 februari promoveert.

Machine learning

Het eerste probleem dat Binyam tackelde was dat van automatisch taalherkenning. "Een machine moet weten wat voor taal het is voor die kan beginnen te vertalen." Er zijn veel verschillende gebarentalen en net zoals er Nederlandse, Duitse en Britse gebarentaal is, heeft ook Ethiopië, waar Binyam van origine vandaan komt, zijn eigen gebarentaal.

Het programma dat hij maakte, weet zes verschillende talen te onderscheiden met een zekerheid van 84 procent. "Dat is een hoog getal, zeker als je bedenkt dat we de computer slechts data hebben gegeven van vier gebaarders per taal. De nauwkeurigheid van het programma zal zeker toenemen als er meer ingevoerd worden," legt de informaticus uit. "We hebben het probleem opgelost door de computer een verzameling te laten maken van karakteristieke pixelpatronen die voorkomen in de video’s. Daarna gaven we het programma filmpjes van bekende talen en zo wist het programma de pixelpatronen te koppelen aan de naam van de taal."

Videozoekmachine

Andere onderwerpen die Binyam in zijn proefschrift behandelt, zijn de herkenning van wie aan het woord is in een video, en wat de betekenisvolle gedeelten zijn van een spraakgebaar. Zegt die persoon iets, of krabt hij aan zijn neus? Dat mag makkelijk zijn voor een mens, voor een machine is dat een hele klus.

Het onderzoek zal in de toekomst gebarentaalonderzoekers helpen om video’s uit te werken en kan gebruikt worden voor een zoeksysteem op basis van gebaren, of real time vertaling van gebarentaal in gesproken of geschreven. "Maar het doorzoeken van de inhoud van video’s is ook van groot belang voor zoekmachinebouwers als Google."

Binyam Gebrekidan Gebre

Binyam Gebrekidan Gebre (1983, Mekelle, Ethiopië) haalde zijn bachelor in Computer Science and Engineering aan het Mekelle Institute of Technology. Met een Erasmus Mundus Mastersbeurs kwam hij naar Frankrijk en de UK om de verwerking van natuurlijke taal en taaltechnologie te studeren. Hij studeerde af op automatische woordherkenning in het Amhaars, een semitische taal die in Ethiopië wordt gesproken. Het onderzoek naar het geautomatiseerd herkennen van gebaren van beeldopnamen werd ondersteund door Clara, een Marie Curie ITN. Momenteel werk Gebre als data-analist voor het rekencentrum in Garching (RZG), een computing center van het Max Planck Genootschap.

Op dit moment zoeken het Max Planck Institute for Psychollinguistics en de Radboud Universiteit nieuwe proefpersonen die vloeiend gebarentaal ‘spreken’. Meer informatie Contact via mailto:gebarentaalmpi@gmail.com

Redactie Engineersonline

Recent Posts

Nieuwe isolatieweerstandstesters van Fluke 1535 i 1537

Megaohmmeters op batterijen. Het aanbod werkplaatsuitrusting van TME omvat onder meer professionele apparaten van Fluke.…

2 dagen ago

Op het juiste niveau: innovatie door de HCX oliepeilglazen-serie

De HCX oliepeilglazen van Elesa+Ganter bieden een geavanceerde oplossing voor industrieel onderhoud en productie. Deze…

2 dagen ago

Fusie-energieapparaat bereikt temperatuur van 37 miljoen graden

Een kleinschalig en compact apparaat, Fuze, gebouwd door de Amerikaanse startup Zap Energy heeft plasma…

3 dagen ago

Festo BionicBee  vliegt autonoom in een zwerm

Al 15 jaar is het Festo Bionic Learning Network gefascineerd door vliegen. Het team heeft…

3 dagen ago

Het eind van de kwantumtunnel

Kwantummechanische verschijnselen zoals radioactief verval, of algemener: ‘tunnelen’, vertonen intrigerende wiskundige patronen. Twee onderzoekers aan…

3 dagen ago

Nanofotonische glasvezelsensor-oplossing om het ultrakleine te detecteren

Een nieuwe ultragevoelige glasvezelsensor kan deeltjes met een diameter tot 50 nanometer detecteren. In de…

3 dagen ago