EO

Onderzoekers maken zichzelf onzichtbaar voor intelligente camera’s (video)

01 mei 2019 om 10:55 uur

De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om het intelligente detectiesysteem beet te nemen.

Een kartonnen bordje met daarop een kleurrijke print. Meer hadden onderzoekers van de Faculteit Industriële Ingenieurswetenschappen niet nodig om een slimme camera voor de gek te houden. Voor alle duidelijkheid: Wiebe Van Ranst, Simen Thys en Toon Goedemé van de onderzoeksgroep Embedded and Artificially Intelligent Vision Engineering (Eavise) hebben geen kwade bedoelingen. Integendeel. Hun onderzoek wil net de zwakke punten van intelligente detectiesystemen blootleggen.


"Slimme detectiesystemen maken gebruik van patroonherkenning", begint professor Goedemé, hoofd van de onderzoeksgroep. "Ze bestaan uit een camera, die beelden registreert, en software die de beelden automatisch interpreteert. Als je die systemen traint met beelden van verschillende mannen en vrouwen, dan slagen ze er na verloop van tijd in om mensen te herkennen en hen te onderscheiden van om het even welk object. Ook al verschillen we van grootte, haarkleur, of gelaat: het algoritme identificeert ons als mens."


"Slimme detectiesystemen zijn daardoor erg geschikt voor beveiliging. Ze geven zelfs automatisch een signaal zodra er zich een indringer in het zicht van de camera's begeeft, ook al probeert die zich te verstoppen. Vroeger had je daarvoor bewakers nodig die urenlang naar schermen moesten turen. Een saaie job, die ondertussen stilaan verleden tijd is."

 

Miljoenen parameters

Toch zijn slimme detectiesystemen niet onfeilbaar. Soms hebben ze het moeilijk om bepaalde patronen te herkennen. Wereldwijd proberen onderzoekers de achilleshiel van detectiesystemen bloot te leggen. Kleine veranderingen volstaan daarvoor. Zo kan je met een kartonnen nepbril een gezichtsherkenningssysteem helemaal in de war brengen. Het team van professor Goedemé gaat nog een stapje verder. Masterstudent Simen Thys en postdoc Wiebe Van Ranst zijn er in geslaagd om Yolo te misleiden (You only look once, één van de meest populaire algoritmes om objecten en personen te detecteren).


De onderzoekers hielden een kartonnen bord van 40 op 40 centimeter voor hun lichaam, met daarop een kleurrijke print. Dat volstond om Yolo beet te nemen: wie het bordje draagt, wordt onzichtbaar voor het systeem. Heel bijzonder, volgens professor Goedemé. "Er waren al tests met mensen die een T-shirt droegen met de afbeelding van een vogel. Het algoritme herkende geen persoon, maar detecteerde wel een vogel. Ons patroon, dat nota bene door artificiële intelligentie ontworpen is, maakt mensen onzichtbaar. Wie het bordje draagt, wordt niet gedetecteerd, noch als mens, noch als object. Hoe het komt dat precies dit patroon Yolo om de tuin heeft geleid, weten we niet. Algoritmes maken nu eenmaal gebruik van miljoenen parameters. Voor ons is dit een zwarte doos."

 

Wapenwedloop

De onderzoekers zijn enthousiast, maar waarschuwen meteen voor andere beveiligingslekken. "Hoe het nu verder moet? Simpel. We hebben een kwetsbaarheid vastgelegd. Nu moet het lek gedicht worden. In dit geval zou je het algoritme kunnen aanleren dat mensen die een identiek bordje vasthouden ook mensen zijn. Op zich is dit lek dus eenvoudig te dichten. Alleen mag je ervan uitgaan dat Yolo nog andere zwakke punten heeft. Een plaat met een print is eigenlijk een minimale aanpassing. Iedereen houdt wel eens iets in zijn handen. Er zijn met andere woorden waarschijnlijk nog andere patronen die het systeem kunnen misleiden. Of we ooit alle beveiligingslekken kunnen dichten? Dat denk ik niet. Ik zei het al: zo'n algoritme is een black box. Dit is het begin van een wapenwedloop."

 

Gerelateerd nieuws

Rathenau Manifest: Stel nu 10 ontwerpeisen aan de digitale samenleving van morgen

Rathenau Manifest: Stel nu 10 ontwerpeisen aan de digitale samenleving van morgen

Met de doorbraak van ‘immersieve’ technologieën, zoals augmented reality, virtual reality en spraakcomputers, gaat de digitale samenleving een nieuwe fase in. De fysieke en digitale wereld raken meer dan ooit met…

Dodelijk ongeval in kalksteenfabriek: OM eist 1.5 ton euro boete

Dodelijk ongeval in kalksteenfabriek: OM eist 1,5 ton euro boete

De dienst van een werknemer van een kalksteenfabriek zat er bijna op. Vermoedelijk wilde hij nog een laatste klus afmaken. Daarbij ging hij een draaiende machine in, zonder dat de beveiliging aansloeg. Dit werd de…

KIT werkt aan compacte radarsensoren voor de industrie

KIT werkt aan compacte radarsensoren voor de industrie

Radarsystemen worden al lang gebruikt in vliegtuigen en schepen. Nu worden ze in toenemende mate toegepast in auto's voor met name de 'korte afstand'. Dankzij de grote vooruitgang die de afgelopen jaren in…

Webshop

webshop

 

Gratis nieuwsbrief

EOL

 

Product van de maand

RSS
Veilige Laserscanner PSENscan | Nu ook verticaal te gebruiken

De veiligheids- laserscanner PSENscan is nu ook geschikt voor het beveiligen van de gebieden die verticale toepassingen...

Focus op

ABB BV
ABB BV

Machineveiligheid, systemen en componenten

B&R Industriële Automatisering BV *
B&R Industriële Automatisering BV *

Perfection in Automation

Elobau Benelux BV *
Elobau Benelux BV *

creating sustainable solutions

Pilz Nederland
Pilz Nederland

Voor industriële (veilige) automatiseringsoplossingen

Ringspann Benelux BV
Ringspann Benelux BV

Partner in aandrijf- en opspantechniek

Rotero Holland BV
Rotero Holland BV

Stappenmotor - Servomotor - Elektro Magneet

Download gratis engineering boeken

A gratis boeken downloaden

 

Agenda

2 november 2020, online

Hoppenbrouwers 'Leren & Werken event'

Event over de kansen en opleidingsmogelijkheden binnen het technische installatiebedrijf Hoppenbrouwers.

3 november 2020, Vianen

Masterclass Machineveiligheid XL

3, 4, 10, 11 november 2020

5 november 2020, online

EMVT Kennisdag

Toepassers en ontwikkelaars op het gebied van vermogenselektronica en elektromagnetisme delen hun kennis...

Meer agendapunten »