Data analyseren met het oor

Bij grote en complexe datasets kan geluid een aanvulling zijn op visualisatie. Door data te vertalen naar toonhoogte, volume of ritme kunnen patronen en afwijkingen hoorbaar worden die in grafieken minder snel opvallen. Volgens onderzoeker Stephen Roddy kan deze vorm van datasonificatie belangrijker worden naarmate datasets verder groeien.

Datasonificatie is het omzetten van data in geluid. Een eenvoudig voorbeeld is een parkeersensor: naarmate een auto dichter bij een obstakel komt, volgen de pieptonen elkaar sneller op. De bestuurder hoeft daarvoor niet naar een display te kijken.

Volgens Stephen Roddy, onderzoeker en docent aan University College Cork, ligt de belangrijkste meerwaarde van geluid echter bij complexe datasets. Waar een grafiek de aandacht van een gebruiker naar een specifiek deel van de informatie stuurt, kan het gehoor meerdere informatiestromen tegelijk verwerken.

Twee manieren om data hoorbaar te maken

Roddy onderscheidt onder meer twee technieken: audificatie en Parameter-Mapping Sonification (PMSon).

Bij audificatie wordt een bestaand datasignaal omgezet naar een frequentiebereik dat het menselijk oor kan waarnemen. Bij laagfrequente signalen kan dat bijvoorbeeld door de data sneller af te spelen. Veranderingen die in de oorspronkelijke tijdschaal nauwelijks waarneembaar zijn, worden daardoor hoorbaar.

Een bekend voorbeeld is het geluid van zwaartekrachtsgolven. Onderzoekers van LIGO zetten in 2015 signalen van een botsing van twee zwarte gaten om naar het hoorbare frequentiebereik. Het resultaat was een korte, oplopende toon.

PMSon werkt anders. Daarbij worden afzonderlijke variabelen uit een dataset gekoppeld aan eigenschappen van geluid, zoals toonhoogte, volume of het gebruikte instrument. Daarmee kunnen verschillende parameters gelijktijdig worden weergegeven.

Afwijkingen kunnen hoorbaar worden

Een toepassing van PMSon is het zogenaamde Brain Stethoscope. Daarbij werden 18 kanalen van een EEG naar geluid vertaald. Normale hersenactiviteit werd weergegeven als een relatief zacht achtergrondgeluid, terwijl epileptische activiteit als een veel opvallender geluid naar voren kwam.

In een onderzoek konden medische studenten op basis van het geluid aanvallen herkennen die optraden tijdens een EEG.

Ook bij genetische data wordt met sonificatie geëxperimenteerd. DNA bestaat uit vier basen, die aan verschillende muzikale eigenschappen kunnen worden gekoppeld. Mutaties en andere patronen kunnen daardoor als veranderingen in het geluid worden weergegeven.

Het gaat daarbij niet om muziek als eindproduct, maar om een andere manier om informatie beschikbaar te maken voor menselijke waarneming.

Netwerkproblemen horen

Roddy gebruikt sonificatie zelf onder meer voor netwerkmonitoring. In een testomgeving voor low-power wide-area networks (LPWAN) werden tien datastromen tegelijkertijd gevolgd.

De toestand van het netwerk werd daarbij vertaald naar geluid. Een normaal functionerend netwerk produceerde relatief rustige, aangename klanken. Technische problemen leidden tot afwijkende en dissonantere geluiden. Een operator kan zo een verandering in de netwerkconditie opmerken zonder voortdurend meerdere grafieken te hoeven bekijken.

Een vergelijkbare aanpak werd toegepast op data uit Dublin. Transport-, verkeers- en weergegevens werden met behulp van een machine-learningmodel verwerkt en vervolgens omgezet naar muzikale patronen.

Aanvulling op AI

Datasonificatie betekent volgens Roddy niet dat mensen grote datasets voortaan handmatig met hun oren moeten analyseren. AI kan juist een belangrijke rol spelen bij het voorbewerken van de data.

Een AI-model kan grote hoeveelheden gegevens filteren en relevante patronen selecteren. Sonificatie kan vervolgens de informatie die voor een menselijke gebruiker relevant is hoorbaar maken. Daarmee ontstaat een combinatie waarbij de machine de hoeveelheid informatie reduceert en de mens de resterende informatie via het gehoor beoordeelt.

Dat kan vooral interessant zijn wanneer meerdere variabelen tegelijkertijd veranderen en een traditionele grafiek moeilijk leesbaar wordt.

Rol in toekomstige netwerken

Roddy verwacht dat sonificatie ook bij toekomstige communicatienetwerken een rol kan spelen. Hij koppelt dit aan de ontwikkeling richting 6G en wat hij het ‘Internet of Sounds’ noemt.

In zulke netwerken kunnen grote aantallen sensoren continu gegevens uitwisselen. Naarmate het aantal datastromen en de snelheid waarmee die veranderen toenemen, wordt het lastiger om de toestand van een netwerk uitsluitend met dashboards en grafieken te bewaken.

Geluid kan daar een extra interface vormen. Niet als vervanging van visualisatie, maar als tweede kanaal waarmee een operator afwijkingen kan signaleren terwijl de ogen voor andere taken beschikbaar blijven.

De techniek is daarmee vooral interessant op plaatsen waar veel gegevens gelijktijdig beschikbaar zijn en snelle menselijke interpretatie nodig is. Dat kan variëren van telecom- en IoT-netwerken tot medische monitoring en wetenschappelijke meetgegevens.