Facebook gebruikt beeldherkenningssoftware voor het identificeren van wat er op een geüploade foto staat. De software zet er woorden bij en de schermlezer leest ze voor aan blinden en slechtzienden. Die krijgen zo een indruk van wat er op de foto staat. Dit is het prille begin van het beter betrekken van blinden bij het behoorlijk visueel ingestelde sociale medium.


Elke dag plaatsen mensen zo’n 2 miljard foto’s op het sociale medium Facebook. Het is ook leuk om de belevenissen van je vrienden of familie aan de andere kant van de wereld te kunnen zien. Helaas is er ook een groep mensen die niets heeft aan deze functie: blinden en slechtzienden.


Leuke dingen missen

Zij zijn aangewezen op een schermlezer, software die de tekst op een computerscherm voorleest. Handig, maar bij Facebook leverde dat tot nog toe alleen een computerstem op met de tekst ‘foto’, zodra er een foto in beeld verscheen. Daar heeft een blinde natuurlijk niets aan. Sterker nog, dat roept een gevoel van frustratie op, van ‘leuke dingen moeten missen’.


Neuraal netwerk

Daar doet Facebook nu iets aan. Het introduceert automatic alternative text, een geautomatiseerde manier om woorden aan een foto toe te kennen. Hierbij gebruikt Facebook zijn beeldherkenningssoftware, gebaseerd op een neuraal netwerk dat aan machine learning doet. De software krijgt miljoenen voorbeeldfoto’s te zien, waardoor hij steeds een beetje beter wordt in het herkennen van wat er op de foto is te zien. (Facebook gebruikt die ook voor andere toepassingen; lees het artikel Facebook meet bevolkingsdichtheid).

Er is een groep mensen die niets heeft aan de foto's van Facebook: blinden en slechtzienden

Het resultaat zal iets zijn als: ‘Deze afbeelding bevat waarschijnlijk drie mensen, lachend, buiten.’ Dat lijkt misschien nog wat summier, maar omdat in Facebook-foto’s vaak personen getagd zijn, krijgt de blinde gebruiker toch vrij redelijk mee wat er op de foto te zien is. Want de schermlezer noemt ook de namen van de personen op de foto. (Voor andere voorbeelden zie de screenshots in het openingsbeeld).


Sociale context

Facebook heeft bijna een jaar gewerkt om de service in deze vorm beschikbaar te kunnen stellen. De grootste uitdaging daarbij was het vinden van de juiste balans tussen enerzijds de behoefte van mensen aan informatie over de foto en anderzijds over de juiste sociale context van het beeld. De meeste mensen willen bijvoorbeeld gewoon weten wie op de foto staat en wat ze doen. Maar soms is het juist de achtergrond van de plaat die de foto betekenis geeft (lees ook: Kunstmatige intelligentie leert humor begrijpen).

De automatic alternative text-optie is vooralsnog alleen beschikbaar op Engelstalige schermlezers, maar Facebook is van plan om de optie ook voor andere talen uit te rollen.

Facebook laat in deze video zien hoe het werkt:


Lees voor meer details deze uitgebreide blog van Facebook-medewerkers.


Openingsbeeld: Facebook.