Sterrenkijken in de cloud

De Square Kilometre Array is een internationaal project dat tot doel heeft de grootste radiotelescoop ter wereld te bouwen. De telescoop moet uiteindelijk meer dan een vierkante kilometer aan meetoppervlakte bestrijken, verspreid over Australië en Zuid-Afrika. Deze telescoop genereert onvoorstelbare hoeveelheden data – in de orde van honderden gigabit per seconde –  die vrijwel real-time geanalyseerd moeten worden. Om dit te kunnen realiseren gaan MonetDB Solutions en CWI samen een systeem ontwikkelen dat moet garanderen dat het dataverwerkingsproces correct en efficiënt blijft werken, ook bij een groeiend datavolume en de complexe query’s die daaruit voortkomen. Daarnaast moet het systeem ervoor zorgen dat de software en algoritmes in het dataverwerkingsproces veilig uitgebreid en verbeterd kunnen worden.

Open source

Het databasemanagementsysteem is een kritische component in het verwerken van deze sterrenkundige data. Het team zal hiervoor MonetDB gebruiken. Dit kolomgebaseerde databasemanagementsysteem is open source en geoptimaliseerd voor de analyse van big data. Voor dit project wordt gebruik gemaakt van de geïntegreerde functionaliteit voor R en Python voor snelle statistische data-analyse, en de MonetDB Data Vaults-extensie voor het beheren van externe bestanden.

Het AstroCompute in the Cloud-programma is opgezet door de SKA Organization en Amazon Web Services om de ontwikkeling van gereedschappen en technieken voor grote datavolumes uit moderne telescopen te versnellen. Het totale systeem moet uiteindelijk gaan draaien in de cloud bij Amazon Web Services. Amazon stelt hiervoor 1 petabyte aan opslagruimte beschikbaar. Het project zal naar verwachting eind 2016 gereed zijn.