Het Koninklijk Concertgebouworkest begint komend weekeinde aan een test met een partituurvolger: via een webapp kan het publiek de muziekpartijen van de verschillende instrumenten realtime volgen.

De app, ontwikkeld door de Oostenrijkse Johannes Kepler-universität, herkent de muziek en koppelt deze met behulp van software aan het juiste punt in de partituur. Op elk moment tijdens het concert kan de luisteraar de app erbij pakken om een visuele ondersteuning te krijgen. ‘De partituur helpt mensen om te horen welke instrumenten wanneer spelen’, zegt ir. Cynthia Liem, een van de leiders van dit PHENICX-project.

De proef op 7 februari in het Concertgebouw in Amsterdam wordt de eerste keer dat gebruikers de partituurvolger proberen. De onderzoekers willen kijken of mensen ermee uit de voeten kunnen en het iets vinden toevoegen. De dertig proefpersonen krijgen een tablet mee en zitten op de achterste rij. ‘We willen de rest van de bezoekers niet storen met de schermen’, licht Liem toe. ‘Het zou kunnen dat beeldschermen uiteindelijk gemeengoed worden. In een concertzaal in Philadelphia zijn mobieltjes bijvoorbeeld al toegestaan.’
 
Toegankelijker
Liem studeerde zelf zowel aan het conservatorium als aan de TU Delft, een combinatie die goed van pas komt bij het project. ‘We willen klassieke muziek toegankelijker maken voor een algemeen publiek. Tegenwoordig ontdekken veel meer mensen klassieke muziek via tv en social media, maar de stap naar een concert bijwonen maken ze niet vaak. We onderzoeken of techniek daarbij kan helpen.’

De partituurvolger is dan ook de eerste stap in een hele reeks vernieuwende technieken die Liem en collega’s onderzoeken. De volgende stappen richten zich op alternatieve visualisaties van een uitvoering en op beeld- en geluidsherkenning, wat uiteindelijk het publiek de mogelijkheid moet geven individuele instrumenten of muzikanten er uit te kunnen lichten. ‘Het lostrekken van bepaalde instrumenten uit livemuziek blijkt al dertig jaar erg lastig. Zeker als alle instrumenten tegelijkertijd dezelfde frequentie aanhouden, is het moeilijk om alleen de cello of viool eruit te halen. Bovendien zit er in het luisteren van muziek een groot deel bij de ontvanger: wanneer iemand let op een bepaald instrument hoort hij dat ook beter. Dat soort psychologische factoren zijn niet triviaal met software te verwezenlijken.’

Toch proberen de onderzoekers het. Wat helpt, is beeldherkenning, waarnaar de TU Delft veel onderzoek doet. Op beelden van het concert is te zien wanneer een muzikant speelt of rust. Aan de hand daarvan kan een audio-analyse, ontwikkeld door de Spaanse Universitat Pompeu Fabra, bepalen of er een muziekpartij geïsoleerd moet worden. ‘Toch blijkt ook het herkennen van een spelende muzikant lastig. Veel gezichtsherkenningssoftware werkt bijvoorbeeld alleen als het onderwerp recht de camera inkijkt. Dat is in de concertzaal nooit zo. Bovendien overlappen de mensen op beeld vaak.’

Uiteindelijk kozen de onderzoekers om de positie van het hoofd als leidend te nemen; als iemand speelt, is de lichaamspose anders dan in rust.
Of het onderzoek tot gebruikersapps zal leiden, is nog onduidelijk. Maar het Koninklijk Concertgebouworkest heeft al interesse. Gepersonaliseerde dvd-registraties van de concerten, waarbij een kijker zelf kan kiezen om de muziek en beelden van één specifieke muzikant te volgen zijn een idee. ‘Maar de techniek is ook heel nuttig voor het productieproces’, denkt Liem. ‘Een editor kan bijvoorbeeld de keuze maken om op cruciale momenten één iemand te volgen.’

Credit lead image: Ronald Knapp