Diep neurale netwerken (DNN’s) kunnen bijna alles leren, zoals hoe ze ons kunnen verslaan in onze eigen spelletjes. Het probleem is dat voor het trainen van AI-systemen telkens dagenlang grote supercomputers of datacenters nodig zijn. Wetenschappers van het T.J. Watson Research Center van IBM denken dat ze daar drastische verandering in kunnen brengen met ‘resistive processing units’, theoretische chips waarom CPU’s zijn gecombineerd met niet-vluchtig geheugen. Die zouden de datasnelheden exponentieel kunnen versnellen en resulteren in systemen die taken kunnen uitvoeren als spraakherkenning en vertaling in alle wereldtalen, volgens het team.
Waarom kost AI-learning zoveel computerkracht en -tijd? Het probleem is dat moderne neurale netwerken, zoals Google’s DeepMind of IBM Watson miljarden taken parallel moeten uitvoeren. Dat vraagt om enorm veelvuldige geheugentoegang door de CPU, wat snel toeneemt gedurende miljarden cyclussen. De researchers overwogen het gebruik van nieuwe opslagtechnieken, zoals resistive RAM, waarmee permanent data kunnen worden opgeslagen op DRAM-achtige snelheden. Maar ze kwamen uiteindelijk met het plan voor een nieuw type chip, resistive processing unit (RPU) genaamd, waarbij grote hoeveelheden RAM direct op een CPU worden aangebracht.
Dergelijke chips kunnen data even snel ophalen als ze ze kunnen verwerken en dat vermindert de vereiste trainingstijd en -computerkracht drastisch. "Deze massale parallelle RPU-architectuur kan versnellingsfactoren van 30 000 behalen ten opzichte van state-of-the-art microprocessoren … problemen die momenteel dagen training kosten op een cluster van duizenden machines op datacenter-afmetingen, kunnen nu binnen enkele uren worden afgewerkt op een enkele RPU accelerator", volgens de onderzoekers Tayfun Gokmen en Yurii Vlasov.
De onderzoekers denken dat het mogelijk is om dergelijke chips te maken in normale CMOS-technologie, maar voorlopig bevinden RPU’s zich nog in de researchfase. Bovendien moet ook de techniek erachter – zoals resistive RAM – nog commercieel beschikbaar komen. Maar het bouwen van chips met snel lokaal geheugen is een logisch idee en het zou tot een aanzienlijke versnelling kunnen leiden van taken als beeldverwerking, taalbeheersing en grootschalige data-analyse.