UvA videozoekmachine weer ‘als beste getest'

Bij een evaluatie die het Amerikaanse National Institute of Standards and Technology (NIST) jaarlijks uitvoert, kwam de videozoekmachine van de Universiteit van Amsterdam als beste uit de test. De zoekmachine is ontwikkeld door een team informatici van de Universiteit van Amsterdam (UvA) en Euvision Technologies, onder leiding van Cees Snoek.

Uitdaging

Om de nauwkeurigheid te meten, moeten de zoekmachines videofragmenten vinden in een verzameling van honderden uren aan online clips, waarin bijvoorbeeld een collegezaal, een baby of een doelpunt aanwezig is. De wetenschappelijke uitdaging zit hem in het automatisch interpreteren van de beeldinhoud zodat de zoekmachine precies kan bepalen wat er waar en wanneer gebeurt in de digitale video.

Teamlid Koen van de Sande legt uit: "Video's  vinden op YouTube gaat goed zolang de inhoud van tevoren door iemand is beschreven in tekst, maar het vinden van fragmenten in beschreven of onbeschreven video is onmogelijk. Daarvoor is geavanceerde beeldherkenning nodig. Onze software kijkt naar de pixels, begrijpt de inhoud en vertaalt op die manier de pixels naar beschrijvende tekst."  NIST bepaalt voor elk automatisch gevonden fragment of het voldoet aan de zoekopdracht. 

Deep learning

Om de beeldbeschrijving zo precies mogelijk te maken gebruiken de Amsterdammers een techniek die bekend staat als ‘deep learning'. Teamlid Daniel Fontijne leerde de videozoekmachine aan de hand van vele voorbeelden hoe verschillende objecten er uit zien in plaats ze van tevoren te specificeren. De lerende zoekmachine maakt verder gebruik van efficiënt geprogrammeerde neurale netwerken, geavanceerde grafische kaarten en nationale computerfaciliteiten. De informatici presenteren de videozoekmachine tijdens een door NIST georganiseerde workshop in november.

Kijk hier voor een overzicht van de evaluaties die NIST heeft uitgevoerd in de concept zoektaak (semantische indexering): http://trecvid.nist.gov/.

Bron:  Faculteit Natuurwetenschappen, Wiskunde en Informatica, Universiteit van Amsterdam