De DeepMind-groep van Google is erin geslaagd een neuraal netwerk te bouwen dat is voorzien van geheugen. Daarmee is dat netwerk in staat om bijvoorbeeld op de metrokaart van Londen de kortste route te kiezen.

Het is een nieuwe stap in de verdere ontwikkeling van de lerende, neurale computers nu de Google DeepMind-groep onder leiding van Dennis Hassabis erin is geslaagd daar computergeheugen aan toe te voegen. Zij publiceerde er vandaag over in het tijdschrift Nature.

De architectuur van het neurale netwerk met geheugen.

Neurale netwerken krijgen de data aan de hand waarvan ze moeten leren van buiten ingevoerd, om vervolgens een bepaalde uitkomst te produceren, en dat in een eindeloze herhaling. De toevoeging van het geheugen maakt dat het neurale netwerk nu tussentijds resultaten kan opslaan, andere bewerkingen kan uitvoeren om de opgeslagen data vervolgens weer te benutten. Dat is niet veel anders dan wat een gewone computer doet, maar bij neuraal netwerk was dat tot nu toe nog niet mogelijk.

De uitbreiding met een geheugen stelt het neurale netwerk in staat om nieuwe taken te verrichten, bijvoorbeeld het uitrekenen van de kortste route op de metrokaart van London tussen Victoria Station en Tottenham Court Rd. Geen rocketscience, de klassieke computer kan dat al sinds de jaren ’70, maar tot op heden voor het neurale netwerk een vrijwel onmogelijke taak.

Het nieuwe neurale netwerk van Google-DeepMind kan in het geheugen kijken, data uitlezen in elke gewenste volgorde en data wegschrijven op geheugenplaatsen die het neurale netwerk niet meer nodig heeft: er is sprake van dynamisch gebruik van het geheugen.

Het blijkt dat het met geheugen uitgeruste neurale netwerk vragen als ‘Schapen zijn bang voor wolven. Gertrude is een schaap. Muizen zijn bang voor katten. Waar is Getrude bang voor?’ significant beter kan beantwoorden dan neurale netwerken zonder geheugen.

Het netwerk schrijft eerst elk knooppunt weg in het geheugen, en zoekt vervolgens wat de kortste verbinding is van het ene naar het andere station. Klik hier voor een grotere afbeelding.

Een andere taak die het neurale netwerk met geheugen beter uitvoerde was het zoeken van de kortste weg op de metrokaart van Londen. Na twee miljoen trainingssessies had het neurale netwerk zonder een geheugen een score van slechts 38%, het neurale netwerk met geheugen scoorde na één miljoen trainingssessies 98,8%.

Als gezegd, gewone computers haalden die score al in 1970, maar met het belangrijke verschil dat die er speciaal voor waren geprogrammeerd, terwijl het neurale netwerk het resultaat behaalt louter op basis van training, zonder ervoor geprogrammeerd te zijn.

De verwachting is nu dat de nieuwe machine van Google-DeepMind het neurale netwerk geschikt maakt voor big-data toepassingen waar redeneren een rol speelt, zoals het geven van commentaar bij videobeelden of tekstanalyse.

Openingsfoto: de opdracht om op de metrokaart van Londen de kortste route tussen twee stations te vinden.