Informatici van de Universität Basel hebben een nieuwe methode ontwikkeld voor het zoeken naar foto's en video’s in grote databases. De gebruiker maakt met de hand een ruwe schets, waarna het programma vitrivr op zoek gaat naar afbeeldingen in de database die daar op lijken. De software van de Zwitsers is open source en dus vrij toegankelijk voor anderen om toepassingen mee te ontwikkelen.


Het zal velen bekend voorkomen: je hebt een plaatje in je hoofd dat je ergens hebt gezien, maar je kunt het nergens terugvinden. Vandaag de dag kun je dan praktisch vergeten dat je die afbeelding ooit nog tevoorschijn zult kunnen toveren.

Daar hopen informatici uit Zwitserland verandering in te brengen. Ze presenteren de software vitrivr, waarmee de gebruiker op eenvoudige wijze kan zoeken naar foto’s, tekeningen en zelfs video’s. Het enige dat hiervoor nodig is, is het maken van een schets van de afbeelding op een tablet of interactief papier.


Verfijnen

Het programma levert vervolgens een reeks plaatjes die lijken op de schets. Als de gebruiker in deze verzameling nog niet direct het gezochte plaatje ziet staan, kan deze de zoekopdracht verder verfijnen door in één van de gevonden plaatjes extra details te tekenen. Dan kan de software een nog betere selectie maken uit de beelden van de database.
 

User interface van het programma vitriver. Linksboven de handmatige schets. Bron: Universität Basel


Video's

Het bijzondere is verder dat vitrivr (dat een subtiele verwijzing lijkt te zijn naar het Engelse retrieve, wat ‘terugvinden’ betekent) niet alleen te gebruiken is voor afbeeldingen, maar ook voor video’s. Daartoe behandelt het programma stilstaande beelden uit de video’s als plaatjes. De gebruiker kan ook aangeven welke richting bepaalde objecten in de video op bewegen.


Ruime selectie

De vitrivr-software is zo ontworpen dat na de eerste zoekactie een ruime selectie komt bovendrijven, gebaseerd op kleuren, vormen en de beweegrichting van objecten. De software is open source en staat dus iedereen ter beschikking die er iets mee wil.


Deze video geeft een goed beeld van hoe vitrivr werkt:


Eigenschappen

Op de achtergrond werkt het vitriver-systeem met bepaalde opvallende eigenschappen van plaatjes. 'Tijdens het vullen van de database wordt elk plaatje geanalyseerd en daarbij worden de belangrijkste eigenschappen vastgelegd, zoals kleuren, vormen en texturen', zegt projectleider prof. dr. Heiko Schuldt van de Universität Basel. Wanneer een gebruiker later een schets maakt, haalt de software daaruit direct ook de belangrijkste eigenschappen en daarop worden vervolgens gezocht in de database. 'De zoektocht vindt dus plaats in de feature space, de eigenschappen-ruimte.'


Watermerk

Vitrivr wordt hier en daar al gebruikt in Zwitserland. Zo zijn historici er al mee aan de slag gegaan. Zij gebruiken de software voor het bepalen van de leeftijd en herkomst van oude documenten, aan de hand van watermerken. 'Elke papierfabriek had vroeger zijn eigen watermerk, dat ook nog om de zoveel tijd veranderde. Nu is daar een vuistdik boek van, waar die historici doorheen moeten bladeren. Onze software maakt dat klusje veel eenvoudiger', zegt Schuldt.


Sport

Een andere toepassing ligt in de sport. Voetbalcoaches leggen vaak staand voor een whiteboard aan de spelersgroep uit hoe ze moeten spelen. Met cirkels en pijlen wordt dan bijvoorbeeld een aanval over de linkervleugel uitgebeeld. Schuldt: 'Stel je nu eens voor dat die coach met wat snelle schetsen een paar bestaande videofragmenten van voetbalwedstrijden kan oproepen, dan gaat het veel meer leven voor zijn spelers.'

Het ontwikkelen van vitrivr valt binnen een groter, Europees project Imotion.
 

Openingsfoto Martin Graf Photography