1 mei. 2019
2 minuten
Een kartonnen bordje met daarop een kleurrijke print. Meer hadden onderzoekers van de Faculteit Industriële Ingenieurswetenschappen niet nodig om een slimme camera voor de gek te houden. Voor alle duidelijkheid: Wiebe Van Ranst, Simen Thys en Toon Goedemé van de onderzoeksgroep Embedded and Artificially Intelligent Vision Engineering (Eavise) hebben geen kwade bedoelingen. Integendeel. Hun onderzoek wil net de zwakke punten van intelligente detectiesystemen blootleggen.
"Slimme detectiesystemen maken gebruik van patroonherkenning", begint professor Goedemé, hoofd van de onderzoeksgroep. "Ze bestaan uit een camera, die beelden registreert, en software die de beelden automatisch interpreteert. Als je die systemen traint met beelden van verschillende mannen en vrouwen, dan slagen ze er na verloop van tijd in om mensen te herkennen en hen te onderscheiden van om het even welk object. Ook al verschillen we van grootte, haarkleur, of gelaat: het algoritme identificeert ons als mens."
"Slimme detectiesystemen zijn daardoor erg geschikt voor beveiliging. Ze geven zelfs automatisch een signaal zodra er zich een indringer in het zicht van de camera’s begeeft, ook al probeert die zich te verstoppen. Vroeger had je daarvoor bewakers nodig die urenlang naar schermen moesten turen. Een saaie job, die ondertussen stilaan verleden tijd is."
Miljoenen parameters
Toch zijn slimme detectiesystemen niet onfeilbaar. Soms hebben ze het moeilijk om bepaalde patronen te herkennen. Wereldwijd proberen onderzoekers de achilleshiel van detectiesystemen bloot te leggen. Kleine veranderingen volstaan daarvoor. Zo kan je met een kartonnen nepbril een gezichtsherkenningssysteem helemaal in de war brengen. Het team van professor Goedemé gaat nog een stapje verder. Masterstudent Simen Thys en postdoc Wiebe Van Ranst zijn er in geslaagd om Yolo te misleiden (You only look once, één van de meest populaire algoritmes om objecten en personen te detecteren).
De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om Yolo beet te nemen: wie het bordje draagt, wordt onzichtbaar voor het systeem. Heel bijzonder, volgens professor Goedemé. "Er waren al tests met mensen die een T-shirt droegen met de afbeelding van een vogel. Het algoritme herkende geen persoon, maar detecteerde wel een vogel. Ons patroon, dat nota bene door artificiële intelligentie ontworpen is, maakt mensen onzichtbaar. Wie het bordje draagt, wordt niet gedetecteerd, noch als mens, noch als object. Hoe het komt dat precies dit patroon Yolo om de tuin heeft geleid, weten we niet. Algoritmes maken nu eenmaal gebruik van miljoenen parameters. Voor ons is dit een zwarte doos."
Wapenwedloop
De onderzoekers zijn enthousiast, maar waarschuwen meteen voor andere beveiligingslekken. "Hoe het nu verder moet? Simpel. We hebben een kwetsbaarheid vastgelegd. Nu moet het lek gedicht worden. In dit geval zou je het algoritme kunnen aanleren dat mensen die een identiek bordje vasthouden ook mensen zijn. Op zich is dit lek dus eenvoudig te dichten. Alleen mag je ervan uitgaan dat Yolo nog andere zwakke punten heeft. Een plaat met een print is eigenlijk een minimale aanpassing. Iedereen houdt wel eens iets in zijn handen. Er zijn met andere woorden waarschijnlijk nog andere patronen die het systeem kunnen misleiden. Of we ooit alle beveiligingslekken kunnen dichten? Dat denk ik niet. Ik zei het al: zo’n algoritme is een black box. Dit is het begin van een wapenwedloop."
Anderen lazen ook
