Gebarentaal is lastig te volgen voor wie de taal niet machtig is. Google werkt aan een app die dat moet veranderen. 

Handgebaren zijn belangrijk voor alledaagse communicatie. We begrijpen ze in de regel zonder moeite. Maar voor een computer is het lastig om ze te zien en te interpreteren. Daarvoor zijn de gebaren vaak niet nadrukkelijk genoeg. Bovendien is lang niet altijd de hele hand te zien (bij een handddruk bijvoorbeeld) en zijn er te weinig contrasten. 
 

Conversatie

Gebarentaal is nog vele stappen ingewikkelder. Er bestaat weliswaar software die gebaren kan 'lezen', maar die werkt alleen op een krachtige computer. Google werkt nu aan een telefoon-app die hetzelfde kan, in realtime, en het gebaar in gesproken tekst vertaalt. Vooralsnog werkt het alleen met basale gebaren, maar de techniek kan volgens Google de basis vormen voor een vertaalprogramma voor (Amerikaanse) gebarentaal die doven gebruiken. Het bedrijf heeft dat dinsdag bekendgemaakt in een blogtekst. 

Een driedimensionale weergave van een hand in realtime op een mobiele telefoon. De witte punten zijn de markers, diepte wordt aangegeven in grijstinten. 


Handpalm

​Beeldherkenningsprogramma's hebben in de regel moeite om handen te vinden. Waar gezichten grote contrasten hebben, met de ogen en de mond, daar is voor het zien van de handen vaak extra informatie nodig, over bijvoorbeeld de positie van de armen of de romp.

Het nieuwe systeem, ontwikkeld door Google-ingenieurs Valentin Bazarevski en Fan Zhang, gaat eerst op zoek naar de handpalm. Die is volgens de makers eenvoudiger te spotten dan de vingers, omdat die laatste beweeglijker zijn. Als de palm is getraceerd, plaatst het systeem 21 virtuele markers op zowel de palm als op de vingerkootjes en -toppen. Daarmee kunnen vervolgens de bewegingen worden gevolgd. 

Een eenvoudig algoritme kan de gebaren vervolgens herkennen, bijvoorbeeld door de gemeten kromming van of de afstand tussen de vingers te vergelijken met de 30.000 gebaren waarmee het systeem is getraind. Inmiddels slaagt de beeldherkenning erin om in 95,7 procent van de gevallen de palm juist te localiseren, zeggen de makers.

Telgebaren herkent hij inmiddels in diverse talen en ook eenvoudige gebaren als een opgestoken duim of een boks, met gesloten vuist. Hoe het werkt in het donker, is onduidelijk.

 


Open source

Het gaat vooralsnog om basistechnologie. Google heeft de volledige code gepubliceerd, in de hoop dat andere partijen de techniek verder ontwikkelen en in apps verwerken.

Beelden: Google