TU/e-onderzoekers hebben een neuromorfisch apparaat ontwikkeld dat on-chip-training kan uitvoeren, waardoor het overbodig is om getrainde modellen naar de chip over te brengen. Dit zou kunnen leiden tot efficiëntere AI-chips in de toekomst.
Grootschalige neurale netwerkmodellen vormen de basis van veel AI-gebaseerde technologieën zoals neuromorfische chips, die geïnspireerd zijn op het menselijk brein. Het trainen van deze netwerken kan omslachtig, tijdrovend en energie-inefficiënt zijn, omdat het model vaak eerst op een computer wordt getraind en vervolgens naar de chip wordt overgebracht. Dit beperkt de toepassing en efficiëntie van neuromorfische chips.
Net als neurale netwerken zijn neuromorfische chips geïnspireerd op hoe de hersenen werken, maar in de chips wordt de imitatie naar een nieuw niveau getild. Wanneer in de hersenen de elektrische lading in een neuron verandert, kan het elektrische ladingen naar aangesloten neuronen sturen. Neuromorfische chips bootsen dit proces na.
“In een neuromorfische chip zitten memristors, circuit devices die kunnen ‘onthouden’ hoeveel elektrische lading er in het verleden doorheen is gestroomd”, zegt Van de Burgt. “En dit is precies wat nodig is voor een apparaat dat gemodelleerd is op hoe neuronen in de hersenen informatie opslaan en met elkaar praten.”
Neuromorfisch addertje
Maar er zit een neuromorfisch addertje onder het gras – en dat heeft te maken met de twee manieren waarop mensen hardware op basis van neuromorfische chips trainen. Bij de eerste manier wordt de training gedaan op een computer en worden de gewichten van het netwerk toegewezen aan de hardware van de chip. Het alternatief is om de training in-situ of op de hardware te doen, maar de huidige memristors moeten één voor één worden geprogrammeerd en vervolgens op fouten worden gecontroleerd. Dit is nodig omdat de meeste memristors stochastisch zijn en het onmogelijk is om het apparaat te updaten zonder het te controleren.
“Dit kost tijd, energie en rekenkracht. Om de energie-efficiëntie van neuromorfische chips echt te benutten, moet de training direct op de neuromorfische chips worden gedaan”, zegt Van de Burgt. En dat is wat het team heeft bereikt.
De training met twee lagen
De grootste uitdaging was het integreren van de belangrijkste componenten die nodig zijn voor on-chip training op een enkele neuromorfische chip. “Een belangrijke taak was bijvoorbeeld het integreren van de elektrochemische random-access memory (EC-RAM) componenten”, zegt Van de Burgt. “Dit zijn de componenten die de elektrische ladingopslag en het zenden van het signaal nabootsen, wat neuronen in de hersenen doen.”
De onderzoekers maakten een neuraal netwerk met twee lagen op basis van EC-RAM-componenten gemaakt van organische materialen. Zij testten de hardware met een evolutie van het veelgebruikte trainingsalgoritme backpropagation met gradient descent. “Het conventionele algoritme wordt vaak gebruikt om de nauwkeurigheid van neurale netwerken te verbeteren, maar dat is niet compatibel met onze hardware. Daarom bedachten we onze eigen versie”, zegt eerste auteur Tim Stevens.
De toekomstige behoefte
Hoewel de onderzoekers hebben aangetoond dat de nieuwe trainingsaanpak werkt, is het de volgende logische stap om de neurale netwerken groter, gedurfder en beter te maken. “We hebben laten zien dat dit werkt voor een klein netwerk met twee lagen”, zegt Van de Burgt. “Nu willen we de industrie en andere grote onderzoekslaboratoria erbij betrekken, zodat we veel grotere netwerken van hardware-apparaten kunnen bouwen en deze kunnen testen met levensechte dataproblemen.”
Met de volgende stap kunnen de onderzoekers aantonen dat deze systemen zeer efficiënt zijn in het trainen en uitvoeren van bruikbare neurale netwerken en AI-systemen. “We willen deze technologie graag in verschillende praktijkgevallen toepassen”, zegt Van de Burgt.