Door de opmars van het online shoppen hebben traditionele winkels het behoorlijk zwaar. Een nieuwe technologie moet ze helpen hun inkomsten te vergroten door de emoties van hun klanten te lezen.

tekst Jim Heirbaut
illustratie VicarVision


Klinkt dit bekend? Je dwaalt door een grote doe-het-zelfzaak, tussen lange rijen met duizenden verschillende artikelen op zoek naar dat ene bijzondere schroefje. Geen idee waar te beginnen. Wanhopig struin je door de zaak om een medewerker te vinden die je kan helpen. In de toekomst komt zo iemand misschien wel uit zichzelf naar je toe. Je zoekende blik wordt dan namelijk herkend door een intelligente camera aan het plafond, waardoor bij de dichtstbijzijnde beschikbare medewerker een belletje afgaat. Die begeeft zich met gezwinde spoed naar rij E, schap 26, waar jij loopt te zoeken.
 

Emotie herkennen

Een van de partijen die vooroplopen met technieken om automatisch de emoties van gezichten te herkennen, is VicarVision. Het in Amsterdam gevestigde bedrijf ontwikkelde software die op videobeelden gezichten lokaliseert en herkent welke emotie daarop te zien is, zoals blijdschap, angst, boosheid en verbazing. En niet alleen dat; ook geslacht en leeftijd van de eigenaar van het gezicht haalt deze zogeheten FaceReader eruit.

Helemaal perfect gaat dat nog niet, bleek toen we het systeem onlangs mochten testen. Afhankelijk van de belichting en de hoek waaronder het gezicht van de verslaggever werd bekeken, schoot het van ‘man, vrolijk, 45 jaar’ naar ‘man, verbaasd, 28 jaar’. Toch belooft het systeem een welkome nieuwe manier te zijn voor winkeliers om beter in te spelen op het gedrag van hun klanten.


Winkels onder druk

Dat winkelketens graag willen weten welke emoties klanten hebben bij een bepaald kledingrek of een bepaalde reclame-uiting, zal geen verrassing zijn. Op basis hiervan kunnen ze bijvoorbeeld hun winkel anders indelen, zodat de klant beter wordt bediend en de winkel uiteindelijk meer verkoopt.

En dat is nodig ook. Want het gaat niet bepaald van een leien dakje met traditionele winkels. In de afgelopen jaren gingen bekende ketens als V&D en Kijkshop failliet, terwijl anderen worstelen om het hoofd boven water te houden. We stappen met zijn allen nu eenmaal veel minder vaak een fysieke winkel binnen en klikken in plaats daarvan onze garderobe of boekenverzameling bij elkaar bij Amazon, Zalando en Coolblue.

Dus dan wil je de mensen die nog wél naar een echte winkel gaan zo goed mogelijk bedienen. En om dat te kunnen doen, wil je dingen weten als: wat is het gedrag van de klant in de winkel? Hoe oud zijn de klanten? Welk deel is man, welk deel vrouw? Hoe lang blijven ze in de winkel? En bij welke plekken blijven ze langer of korter hangen?
 

Beddenzaak

Op dit moment wordt de speciaal op de retailsector toegesneden dienst Vicar Analytics al in verschillende winkels in Nederland getest. Onlangs zijn een aantal proefprojecten succesvol afgerond. Zo draaide er een Vicar Analytics-systeem in een beddenzaak. ‘Daar keken we naar de ingang, op welke bedden mensen gingen liggen, hoe lang ze dat deden, hoe de bezoekersstromen lopen, gaan mensen rechts of links ...’, zegt drs. Tjerk Kostelijk van VicarVision. Een andere pilot liep in een bioscoop, waar het bedrijf onder meer een emotiecamera plaatste in een koelkast met blikjes frisdrank, om over langere tijd te meten wie die drankjes koopt.




Wat is voorgrond?

De Vicar Analytics-camera kan in één keer de emoties van alle gezichten binnen bereik van de camera bepalen. Hoe werkt dat? Om te beginnen probeert de software in de digitale kleurenbeelden eerst de achtergrond – grofweg de dingen die stilstaan en dus geen gezichten kunnen bevatten – te scheiden van de voorgrond. Om dit te doen, neemt de camera eerst een tijdje alleen waar. Hierna blijkt uit de veranderingen tussen opeenvolgende beelden in welke regionen van het beeld dingen stilstaan en waar iets beweegt. Een bewegend ding zou een gezicht kunnen zijn; over de rest maakt de software zich niet meer druk.

Als is bepaald welke regio’s in beeld tot de voorgrond behoren, kan het neurale netwerk daar verder op inzoomen, op zoek naar menselijke gezichten. Hier komen deep-learning-technieken om de hoek kijken, waarmee Vicar Analytics goede resultaten boekt. ‘Het heeft de kunstmatige intelligentie echt in een stroomversnelling gebracht. Deep learning is nu een jaar of vier breed beschikbaar, maar het verslaat alle andere technieken die ervóór kwamen met gemak. Dat is wel revolutionair te noemen.’


Duizenden foto's

Voorheen ging de FaceReader in een beeld van een gezicht op zoek naar bijvoorbeeld lijnen en de hoeken die ze maken, om daaruit te destilleren of de persoon in kwestie lacht of boos kijkt. Met deep learning is die analyse niet meer nodig. Het neurale netwerk wordt eerst getraind met duizenden foto’s van lachende mensen. Hoe meer lachende mensen dit systeem heeft gezien, hoe betrouwbaarder het netwerk zelf een nieuw gezicht als lachend kan bestempelen. Op diezelfde manier is het systeem getraind op neutrale, boze en verbaasde gezichten. ‘Het neurale netwerk bestaat uit miljoenen ‘neuronen’ en verbindingen, dus hoe dat tot die kennis komt, is lastig te achterhalen. Maar het werkt goed.’

 

Het volledige verhaal over emotieherkenning lezen?

Wil je het volledige verhaal over emotieherkenning uit het juninummer van De Ingenieur lezen? Koop dan de digitale versie voor € 7,50, of neem - met een flinke korting van 25 % - een digitaal jaarabonnement van 12 nummers voor € 69,-.