3D-ultrasoonsensor maakt autonome mobiele robots veiliger

Het Noorse bedrijf Sonair wil met 3D-ultrasoonsensoren die zijn gebaseerd op ADAR (‘acoustic detection and ranging’) technologie een einde maken aan de hegemonie van LiDAR bij obstakeldetectie van autonome mobiele robots (AMR’s). Eind dit jaar moet de veiligheidscertificering rond zijn.

Sonair maakte aardig wat herrie op de afgelopen Automate beurs in Detroit, al zal niemand daar in letterlijke zin ook maar iets van hebben gehoord. De sensortechnologie waarmee ze de concurrentie willen aangaan met de traditionele LiDAR-detectiesystemen voor een veilige navigatie van autonome mobiele robots is namelijk gebaseerd op ultrasone geluidsgolven. En dan niet in een 1D- of 2D-configuratie, zoals we die kennen voor relatief eenvoudige toepassingen voor nabijheidsdetectie, zoals parkeersensoren in auto’s of het vermijden van botsingen bij AGV’s. Maar in 3D, waarbij één enkel sensorsysteem met een 180° x 180° gezichtsveld (Field of View, FoV) een halve bol met een straal van vijf meter real-time bestrijkt.

Akoestische arrays

Het grote gezichtsveld van het 3D-sensorsysteem is mogelijk door toepassing van een array van in dit geval zestien sensoren die zijn verdeeld over een 2D-oppervlak. Arrays van ultrasoonsensoren worden al jaren gebruikt in sonar en medische imaging. Ook in die toepassingen zijn ze verspreid over een 2D-oppervlak en kan door analyse van de tijdverschillen tussen de signalen, die door al die afzonderlijke sensoren worden ontvangen, de 3D-invalshoek en afstand nauwkeurig worden bepaald. Dat betreft echter toepassingen in water (bij sonar) of een waterige omgeving (bijvoorbeeld echo’s van een baby in de baarmoeder). Om een dergelijk concept ook in lucht te implementeren moesten twee belangrijke uitdagingen worden opgelost: een veel kleinere afstand tussen de afzonderlijke sensoren en beamforming, het (softwarematige) focussen van geluidssignalen.

Traag geluid

Een vuistregel voor het nauwkeurig kunnen bepalen van de positie van een object met een array van ultrasoonsensoren is dat de afstand tussen twee sensoren de helft (of minder) is dan de golflengte van het uitgezonden geluid. Is die afstand groter, dan kunnen de uitgezonden en ontvangen signalen dusdanig interacteren dat er in verschillende richtingen verstoringen optreden. Deze zogenaamde λ/2-regel levert in water, waar het geluid met een snelheid van 1500 m/s doorheen raast, een tussenafstand op van 9,4 mm bij een 80 kHz signaalfrequentie. In de lucht, waar de snelheid van het geluid ‘maar’ 343 m/s is, kom je voor die 80 kHz uit op een afstand van niet meer dan 2,1 mm.

PiëzoMEMS

De productie van met name het transducergedeelte in de sensor op een dergelijk kleine schaal is mogelijk door toepassing van MEMS-technologie. In het geval van de ultrasoontransducers hebben we het dan over MUT’s: ‘micromachined ultrasonic transducers’. Het MiNaLab, dat onderdeel is van het Noorse SINTEF-onderzoekscentrum, werkt al meer dan twintig jaar aan MEMS met piëzo-elektrisch materiaal, de piëzoMEMS. In het geval van de transducers levert dat PMUT’s (‘piezoelectrical micromachined ultrasonic transducers’) op, die veel kleiner zijn dan commercieel verkrijgbare transducers. Zo heeft een door het MiNaLab geproduceerde 3×3 PMUT-array (dus negen transducers) dezelfde footprint als de kleinste ultrasoontransducers, die momenteel op de markt verkrijgbaar zijn.

Beamforming

De tweede uitdaging voor de toepassing van arrays van sensoren is beamforming, een containerbegrip voor het focussen van signalen in plaats van ze in allerlei richtingen uit te zenden. Beamforming wordt toegepast bij onder meer draadloze communicatie, radar en sonar. Waar dat in het verleden alleen mogelijk was met hulp van mechanische systemen (bijvoorbeeld roterende antennes bij radars), kan dat ook door digitale signaalverwerking worden gerealiseerd, dus zonder bewegende onderdelen. De alsmaar voortschrijdende ontwikkelingen in hardware rekenkracht en signaalverwerking maken het inmiddels mogelijk om softwarematig beamforming in te zetten bij real-time toepassingen, zoals objectdetectie met behulp van de PMUT-arrays.

Snelle productontwikkeling

Wereldwijd zijn er maar een paar instituten, die expertise in huis hebben op het gebied van zowel de productie van PMUT’s als signaalverwerking van sensorarrays. Een daarvan is SINTEF, dat een kleine vijf jaar geleden in een project de mogelijkheden van arrays van ultrasoonsensoren voor het tracken en detecteren van objecten onderzocht. Die bleken dermate spectaculair dat in 2022 Sonair is opgericht om dit concept door te ontwikkelen tot concrete producten. Hiervoor nam het bedrijf een wereldwijde licentie op de PMUT-technologie van SINTEF voor de toepassing van 3D-ultrasoonsensoren in lucht. 

In samenwerking met datzelfde SINTEF en ook onderzoekers van de Universiteit van Oslo en de Technische Universiteit van Denemarken is een prototype ontwikkeld, dat vorig jaar is gepresenteerd. Het eerste commerciële product zal naar verwachting einde 2025 op de markt komen.

Halve benen

De ADAR-sensor ziet ten opzichte van een typische 2D LiDAR-veiligheidsscanner in een AMR veel meer. Waar je met LiDAR in een typische situatie met personen op de werkvloer in een magazijn alleen een deel van de benen van een persoon in één horizontaal vlak ziet, detecteert de ADAR-sensor de hele persoon in 3D. Dat komt ten goede aan de veiligheid. Stel dat die persoon wat voorover staat, dan kan een arm of hoofd dichterbij zijn dan de benen. Met LiDAR zie je dat niet.

Een enkele ADAR-sensor biedt een volledig gezichtsveld van 180° x 180° en een bereik van vijf meter voor de veiligheidsfunctie van de robot. De gespecificeerde precisie is ±2 cm voor de afstand en voor de hoek is dat 2° (als het object zich in het centrum van het blikveld bevindt) tot 10° (aan de randen van het blikveld). De meetfrequentie is 20 Hz en het het ultrasoonsignaal heeft een frequentie van 70 tot 85 kHz. De responstijd is 100 ms. Er kunnen 128 zones als presets worden ingegeven, waarvan er drie gelijktijdig kunnen worden gemonitord (één veilige beschermingszone en twee waarschuwingszones).

Het energieverbruik van de sensor is met 5 W en stuk lager dan bij systemen met LiDAR. Dat heeft grotendeels te maken met de veel grotere hoeveelheid energie die bij LiDAR nodig is voor het genereren van de laserbundel en het scanproces. Bovendien is er een flink verschil in de efficiency van de dataverwerking. Bij LiDAR (puntenwolken) en ook vision (objectherkenning) worden miljoenen datapunten gegenereerd, terwijl 3D-ultrasoonensoren meer gerichte datapunten voor objectdetectie leveren. Dit vermindert de belasting van de processor en maakt een snellere verwerking mogelijk.

Een ander voordeel ten opzichte van LiDAR (en ook optische technieken als vision) is dat de ultrasoontechniek ongevoelig is voor veranderingen in belichting. Het maakt niet uit of er wordt gemeten in een stoffige omgeving, in mistige condities, aan transparante materialen of juist oppervlakken die sterk reflecteren. 

Systeemoplossing

Voordat je denkt, ‘ha handig zo’n apparaatje van 54 mm x 104 mm x 25 mm (H x B x D), dat kan ik zo op mijn AMR monteren’ is het zaak om te weten dat de sensor is ontworpen om samen te werken met 2D-beeldgegevens (uit bijvoorbeeld vision) en AI voor optimale robotnavigatie. Die combinatie is nodig om te komen tot een zeer betrouwbaar navigatiesysteem dat de veiligheid van interacties tussen mens en robot verhoogt, ook in complexe, dynamische omgevingen met meerdere objecten.

Potentiële klanten zijn bijvoorbeeld fabrikanten van AMR’s en andere robotsystemen, die in toekomstige productgeneraties de sensor kunnen integreren in hun systeem. Vorig jaar zomer is een early acces programma van start gegaan, waarin meer dan 20 bedrijven de ADAR hebben gevalideerd voor toepassing binnen hun producten. Daar zijn inmiddels de eerste pre-orders uitegerold voor producten van ondermeer AMR’s en autonome robots voor de schoonmaakindustrie.

Veiligheid

De ADAR-sensor is ontwikkeld om inzetbaar te zijn in toepassingen tot PL d volgens ISO13849-1 en tot SIL 2 volgens EN/IEC 62061. Aangezien de sensor bedoeld is voor obstakeldetectie, is ook EN/IEC 61496-1:2020 (Veiligheid van machines – Aanrakingsvrije elektrische beveiligingsinrichtingen) van belang. Deze norm definieert onder meer de eisen voor het ontwerp, de constructie en het testen van sensoren die worden gebruikt voor obstakeldetectie.

Momenteel beoordeelt de certificeringsinstantie Exida de naleving van deze normen en zorgt het voor de SIL-verificatie van het hard- en softwareontwerp van het product. Naar verwachting is het externe test- en certificeringsproces tegen het einde van 2025 voltooid.

Marktkansen

Sonair ziet voor 3D-objectdetectie de grootste kans in de snel groeiende AMR-markt op het gebied van onder meer industriële magazijnrobots en logistiek. Een trend binnen dit segment is de overgang van AGV’s naar volledig automatische AMR’s. De strengere veiligheidseisen voor AMR’s maken betere sensoren noodzakelijk. Ook de kosten van sensoren vormen een knelpunt voor de groei van AMR’s, wat Sonair denkt op te kunnen lossen met het ADAR-sensorsysteem, dat naar eigen zeggen 50% tot 80% goedkoper is dan bestaande oplossingen.

Ondertussen wordt er ook al nagedacht over andere toepassingen. Zo is het denkbaar dat kleine sensoren als deze ook kunnen worden toegepast in handsets of wearables als aanvulling op of vervanging van op druk gebaseerde systemen voor haptische feedback. Daarvoor wordt nu nog gewerkt met aanraaksensoren. Nadat je iets aanraakt, meet de sensor de druk en wordt op basis daarvan een actie in gang gezet, zoals het stil zetten van een cobot. Met de ultrasoonsensoren ben je dat een stap voor. Zodra de cobot in de buurt komt, of je je hand naar de cobot uitsteekt, kan het robotsysteem daarop anticiperen. Even afwachten of we daar nog wat meer over gaan horen….

www.sonair.com