17 feb. 1999
2 minuten
Onderzoekers van het Centrum Wiskunde & Informatica (CWI) in Amsterdam zetten vraagtekens bij het wijdverspreide idee dat het netwerk de bottleneck in Big Data is. Ze ontwikkelden een nieuwe databank-architectuur die de meest relevante data continu door een ringnetwerk van een groot aantal machines rondpompt. Deze experimentele Data Cyclotron-architectuur is sneller en heeft een hogere doorvoersnelheid dan systemen die data van een traditioneel schijfsysteem lezen en schrijven.
Met moderne hardware kan data veel sneller door een netwerk worden verstuurd dan van een schijf gelezen. De onderzoekers benutten deze trend om een snelle en efficiënte databank-architectuur te kunnen maken. Ze compenseren de geheugenbeperking van een losse machine door het geheugen van alle computers in een ring te verbinden en dit als snel opslagmedium te gebruiken. De meest relevante data staan niet meer op één centrale locatie maar worden constant door de netwerkring gepompt. Gezien een vuistregel voor databanksystemen die stelt dat 80% van de query’s uitgevoerd kan worden met slechts 20% van de totale hoeveelheid data, zijn de relevante data nu veel sneller beschikbaar. Daarnaast kan elke computer in het netwerk van de Data Cyclotron-architectuur profiteren van deze grote datastroom.
Score van opvragingen
Om te bepalen wat de meest gebruikte data zijn, houdt het systeem een score bij van het aantal opvragingen per datafragment. Deze techniek is gebaseerd op een datastroom die dynamisch is samengesteld uit de datafragmenten met de hoogste scores. Hoe groot de set is hangt af van de vraag naar de data in het netwerk, zodat de capaciteit altijd optimaal wordt benut.
De Data Cyclotron is vooral geschikt voor business analytics, data mining en web-log tracing. De Data Cyclotron-architectuur is ontwikkeld op de SciLens-machine, een grootschalig experimenteel databankplatform dat sinds 2011 op het CWI in gebruik is.
Big Data-onderzoek is onderdeel van onderzoeksthema Informatie van het CWI. Deze onderzoekslijn ontwikkelt methoden en technologieën om betekenisvolle informatie te genereren uit grote hoeveelheden data. CWI-onderzoeker Rómulo Gonçalves promoveerde vrijdag 22 maart op zijn onderzoek naar Data Cyclotron aan de Universiteit van Amsterdam.
‘The Data Cyclotron: Juggling Data and Queries for a Data Warehouse Audience‘. Rómulo Gonçalves (CWI):
homepage CWI Database Architectures groep
homepage Rómulo Gonçalves
Anderen lazen ook
