EO

Onderzoekers maken zichzelf onzichtbaar voor intelligente camera’s (video)

01 mei 2019 om 10:55 uur

De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om het intelligente detectiesysteem beet te nemen.

Een kartonnen bordje met daarop een kleurrijke print. Meer hadden onderzoekers van de Faculteit Industriële Ingenieurswetenschappen niet nodig om een slimme camera voor de gek te houden. Voor alle duidelijkheid: Wiebe Van Ranst, Simen Thys en Toon Goedemé van de onderzoeksgroep Embedded and Artificially Intelligent Vision Engineering (Eavise) hebben geen kwade bedoelingen. Integendeel. Hun onderzoek wil net de zwakke punten van intelligente detectiesystemen blootleggen.


"Slimme detectiesystemen maken gebruik van patroonherkenning", begint professor Goedemé, hoofd van de onderzoeksgroep. "Ze bestaan uit een camera, die beelden registreert, en software die de beelden automatisch interpreteert. Als je die systemen traint met beelden van verschillende mannen en vrouwen, dan slagen ze er na verloop van tijd in om mensen te herkennen en hen te onderscheiden van om het even welk object. Ook al verschillen we van grootte, haarkleur, of gelaat: het algoritme identificeert ons als mens."


"Slimme detectiesystemen zijn daardoor erg geschikt voor beveiliging. Ze geven zelfs automatisch een signaal zodra er zich een indringer in het zicht van de camera's begeeft, ook al probeert die zich te verstoppen. Vroeger had je daarvoor bewakers nodig die urenlang naar schermen moesten turen. Een saaie job, die ondertussen stilaan verleden tijd is."

 

Miljoenen parameters

Toch zijn slimme detectiesystemen niet onfeilbaar. Soms hebben ze het moeilijk om bepaalde patronen te herkennen. Wereldwijd proberen onderzoekers de achilleshiel van detectiesystemen bloot te leggen. Kleine veranderingen volstaan daarvoor. Zo kan je met een kartonnen nepbril een gezichtsherkenningssysteem helemaal in de war brengen. Het team van professor Goedemé gaat nog een stapje verder. Masterstudent Simen Thys en postdoc Wiebe Van Ranst zijn er in geslaagd om Yolo te misleiden (You only look once, één van de meest populaire algoritmes om objecten en personen te detecteren).


De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om Yolo beet te nemen: wie het bordje draagt, wordt onzichtbaar voor het systeem. Heel bijzonder, volgens professor Goedemé. "Er waren al tests met mensen die een T-shirt droegen met de afbeelding van een vogel. Het algoritme herkende geen persoon, maar detecteerde wel een vogel. Ons patroon, dat nota bene door artificiële intelligentie ontworpen is, maakt mensen onzichtbaar. Wie het bordje draagt, wordt niet gedetecteerd, noch als mens, noch als object. Hoe het komt dat precies dit patroon Yolo om de tuin heeft geleid, weten we niet. Algoritmes maken nu eenmaal gebruik van miljoenen parameters. Voor ons is dit een zwarte doos."

 

Wapenwedloop

De onderzoekers zijn enthousiast, maar waarschuwen meteen voor andere beveiligingslekken. "Hoe het nu verder moet? Simpel. We hebben een kwetsbaarheid vastgelegd. Nu moet het lek gedicht worden. In dit geval zou je het algoritme kunnen aanleren dat mensen die een identiek bordje vasthouden ook mensen zijn. Op zich is dit lek dus eenvoudig te dichten. Alleen mag je ervan uitgaan dat Yolo nog andere zwakke punten heeft. Een plaat met een print is eigenlijk een minimale aanpassing. Iedereen houdt wel eens iets in zijn handen. Er zijn met andere woorden waarschijnlijk nog andere patronen die het systeem kunnen misleiden. Of we ooit alle beveiligingslekken kunnen dichten? Dat denk ik niet. Ik zei het al: zo'n algoritme is een black box. Dit is het begin van een wapenwedloop."

 

Gerelateerd nieuws

Groot lek in chips niet aangepakt door Intel

Groot lek in chips niet aangepakt door Intel

Ondanks de ontdekking van een lek in chips van Intel die afgelopen mei bekend werd gemaakt door de VU in Amsterdam, blijkt dat de chips kwetsbaar blijven door onvolledige en gebrekkige aanpassingen door de chipsfabrikant…

Brug nodig? AI ontwerpt hem wel

Brug nodig? AI ontwerpt hem wel

Grote ontwerpuitdagingen vereisen een creatieve en onderzoekende manier van beslissingen nemen: een vaardigheid waarin mensen uitblinken. Tot nog toe kon AI dit niet. Als ingenieurs AI gebruiken, passen ze het toe op een…

Miljoenen voor onderzoek naar digital twins

Miljoenen voor onderzoek naar digital twins (video)

6 universiteiten en 12 industriële partners gaan samen onderzoek doen naar digital twins. Doel is het ontwerp, de productie en het onderhoud van dit soort systemen te verbeteren. NWO ondersteunt het onderzoek met 4…

Webshop

webshop

 

Gratis nieuwsbrief

EOL

 

Product van de maand

RSS
Compacte vergrendelmagneten bestand tegen hoge dwarskrachten

Onlangs heeft Magnet Schultz een doorontwikkeling van de serie G SC X geïntroduceerd onder de naam G SC X … B01.

Focus op

ABB BV
ABB BV

Machineveiligheid, systemen en componenten

B&R Industriële Automatisering BV *
B&R Industriële Automatisering BV *

Perfection in Automation

Elobau Benelux BV *
Elobau Benelux BV *

creating sustainable solutions

Pilz Nederland
Pilz Nederland

Voor industriële (veilige) automatiseringsoplossingen

Ringspann Benelux BV
Ringspann Benelux BV

Partner in aandrijf- en opspantechniek

Rotero Holland BV
Rotero Holland BV

Stappenmotor - Servomotor - Elektro Magneet

Download gratis engineering boeken

A gratis boeken downloaden

 

Agenda

18 november 2019, Arnhem - Doorwerth

TRAINING ATEX 114

20 november 2019, Tiel

Nationale Cobot Dag

Op de Nationale Cobot Dag demonstreren zeker 9 cobotmerken wat ze kunnen.

Meer agendapunten »