EO

Onderzoekers maken zichzelf onzichtbaar voor intelligente camera’s (video)

01 mei 2019 om 10:55 uur

De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om het intelligente detectiesysteem beet te nemen.

Een kartonnen bordje met daarop een kleurrijke print. Meer hadden onderzoekers van de Faculteit Industriële Ingenieurswetenschappen niet nodig om een slimme camera voor de gek te houden. Voor alle duidelijkheid: Wiebe Van Ranst, Simen Thys en Toon Goedemé van de onderzoeksgroep Embedded and Artificially Intelligent Vision Engineering (Eavise) hebben geen kwade bedoelingen. Integendeel. Hun onderzoek wil net de zwakke punten van intelligente detectiesystemen blootleggen.


"Slimme detectiesystemen maken gebruik van patroonherkenning", begint professor Goedemé, hoofd van de onderzoeksgroep. "Ze bestaan uit een camera, die beelden registreert, en software die de beelden automatisch interpreteert. Als je die systemen traint met beelden van verschillende mannen en vrouwen, dan slagen ze er na verloop van tijd in om mensen te herkennen en hen te onderscheiden van om het even welk object. Ook al verschillen we van grootte, haarkleur, of gelaat: het algoritme identificeert ons als mens."


"Slimme detectiesystemen zijn daardoor erg geschikt voor beveiliging. Ze geven zelfs automatisch een signaal zodra er zich een indringer in het zicht van de camera's begeeft, ook al probeert die zich te verstoppen. Vroeger had je daarvoor bewakers nodig die urenlang naar schermen moesten turen. Een saaie job, die ondertussen stilaan verleden tijd is."

 

Miljoenen parameters

Toch zijn slimme detectiesystemen niet onfeilbaar. Soms hebben ze het moeilijk om bepaalde patronen te herkennen. Wereldwijd proberen onderzoekers de achilleshiel van detectiesystemen bloot te leggen. Kleine veranderingen volstaan daarvoor. Zo kan je met een kartonnen nepbril een gezichtsherkenningssysteem helemaal in de war brengen. Het team van professor Goedemé gaat nog een stapje verder. Masterstudent Simen Thys en postdoc Wiebe Van Ranst zijn er in geslaagd om Yolo te misleiden (You only look once, één van de meest populaire algoritmes om objecten en personen te detecteren).


De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om Yolo beet te nemen: wie het bordje draagt, wordt onzichtbaar voor het systeem. Heel bijzonder, volgens professor Goedemé. "Er waren al tests met mensen die een T-shirt droegen met de afbeelding van een vogel. Het algoritme herkende geen persoon, maar detecteerde wel een vogel. Ons patroon, dat nota bene door artificiële intelligentie ontworpen is, maakt mensen onzichtbaar. Wie het bordje draagt, wordt niet gedetecteerd, noch als mens, noch als object. Hoe het komt dat precies dit patroon Yolo om de tuin heeft geleid, weten we niet. Algoritmes maken nu eenmaal gebruik van miljoenen parameters. Voor ons is dit een zwarte doos."

 

Wapenwedloop

De onderzoekers zijn enthousiast, maar waarschuwen meteen voor andere beveiligingslekken. "Hoe het nu verder moet? Simpel. We hebben een kwetsbaarheid vastgelegd. Nu moet het lek gedicht worden. In dit geval zou je het algoritme kunnen aanleren dat mensen die een identiek bordje vasthouden ook mensen zijn. Op zich is dit lek dus eenvoudig te dichten. Alleen mag je ervan uitgaan dat Yolo nog andere zwakke punten heeft. Een plaat met een print is eigenlijk een minimale aanpassing. Iedereen houdt wel eens iets in zijn handen. Er zijn met andere woorden waarschijnlijk nog andere patronen die het systeem kunnen misleiden. Of we ooit alle beveiligingslekken kunnen dichten? Dat denk ik niet. Ik zei het al: zo'n algoritme is een black box. Dit is het begin van een wapenwedloop."

 

Gerelateerd nieuws

Interacties waargenomen tussen Rydbergatomen en gevangen ionen

Interacties waargenomen tussen Rydbergatomen en gevangen ionen

Twee bouwstenen voor kwantumcomputers zijn zogeheten Rydbergatomen en gevangen ionen. Tot nu toe zijn deze systemen, die elk hun eigen voordelen hebben, onafhankelijk bestudeerd, maar natuurkundigen van het UvA-Institute…

Humanoïde robot leert gebarentaal

Humanoïde robot leert gebarentaal

Onderzoekers van het Robotica Lab van de afdeling Systems Engineering and Automation van de UC3M hebben een humanoïde robot geprogrammeerd om in gebarentaal te communiceren.

Nieuwe aerogel schroeft prestaties zonnecollectoren op

Nieuwe aerogel schroeft prestaties zonnecollectoren op

Aan het MIT is een materiaal ontwikkeld dat zo perfect transparant is dat zonnecollectoren ineens meer dan 200 graden celsius kunnen opwekken. Dat maakt de collectoren geschikt voor de verwarming van woningen en voor…

Webshop

webshop

 

Gratis nieuwsbrief

EOL

 

Product van de maand

RSS
MVK Fusion veldbusmodule

... is de uitnodiging tot het standaardiseren van modulaire eenheden en opent de deur naar een één-module-strategie

Focus op

ABB BV
ABB BV

Machineveiligheid, systemen en componenten

B&R Industriële Automatisering BV *
B&R Industriële Automatisering BV *

Perfection in Automation

Elobau Benelux BV *
Elobau Benelux BV *

creating sustainable solutions

Pilz Nederland
Pilz Nederland

Voor industriële (veilige) automatiseringsoplossingen

Ringspann Benelux BV
Ringspann Benelux BV

Partner in aandrijf- en opspantechniek

Rotero Holland BV
Rotero Holland BV

Stappenmotor - Servomotor - Elektro Magneet

Tosec
Tosec

Specialist in plaatbewerking

Download gratis engineering boeken

A gratis boeken downloaden

 

Agenda

30 juli 2019, Vianen

Praktijkdag Performance Level (PL) ISO 13849-1

Na de theoriedag PL/SIL of module 4: Ontwerpen besturingstechnische veiligheidsmaatregelen van de...

Meer agendapunten »