Nederlandse onderzoekers schreven inzendingen voor het AI-songfestival, waarbij de computer deelnam aan het creatieve proces. Twee teams uit Nederland doen mee aan de wedstrijd: Team "Can AI Kick It" in samenwerking met onder andere Universiteit Utrecht en Universiteit van Amsterdam en Team COMPUTD / Shuman&Angel-Eye in samenwerking met Maastricht University. In totaal doen dertien teams uit Europa en Australië mee aan de wedstrijd. De vereiste is dat de inzendingen gemaakt zijn met behulp van kunstmatige intelligentie (AI).

Het Eurovisie songfestival is dit jaar afgelast wegens de corona-pandemie. Maar gelukkig is er het AI-songfestival als alternatief. Aan de hand van deep learning-modellen leerden de onderzoekers de computer wat een melodie is. Vervolgens maakte de computer nieuwe melodieën die dienden als de bouwstenen voor het lied.
 

Melodie

'We hebben echt met een enorm team gewerkt: Utrecht Universiteit, Universiteit van Amsterdam en het VPRO MediaLab', vertelt Anja Volk, een van de onderzoekers van de Universiteit Utrecht en lid van team "Can AI Kick It", 'in Utrecht hebben we vooral gewerkt aan de melodie en onderzoekers aan de Universiteit van Amsterdam hebben voornamelijk gezorgd voor de bas met akkoorden en de tekst en ook deels voor de melodie.'

Het team van onderzoekers gebruikten computermodellen die gebaseerd waren op deep learning. Daarbij leerde de computer wat een melodie is, een baslijn of een tekst uit een bepaalde dataset. Uiteindelijk heeft de bekende Nederlandse rapper Willie Wartaal de uitkomsten gebruikt om een nummer te maken samen met teamlid Janne Spijkervet van de Universiteit van Amsterdam.
 

Ierse liederen

Utrechtse Masterstudenten hebben onder leiding van informatici Volk en Iris Ren aan de melodie gewerkt als onderdeel van een cursus. Het model dat ze hiervoor gebruikten was al eerder ontwikkelt door onderzoekers in Engeland. Het werd gebruikt om te kijken of een computer een Iers-klinkend lied kon leren schrijven als deze Ierse liederen heeft gekregen als invoerdata. En met ditzelfde model probeerde Utrechtse wetenschappers Nederlandse volksliederen te genereren. 
 

250 songfestivalnummers

Voor het AI-songfestival kregen de deelnemende teams een dataset van 250 songfestivalnummers. 'Dit klinkt misschien veel, maar voor een deep learning-model is dit echt te weinig', legt Volk uit. Daarom hebben de masterstudenten als extra invoerdata Nederlandse volksliederen gebruikt. Ze zochten hierbij naar de goede verhouding tussen de songfestivalnummers en de Nederlandse volksliederen om melodieën te krijgen die wat betreft stijl bij het songfestival pasten.
 

Synthetische stem

Uiteindelijk produceerden de onderzoekers van de Universiteit Utrecht en van de Universiteit van Amsterdam op deze manier meer dan vierhonderd melodieën. Willie Wartaal kon deze niet allemaal beluisteren en daarom kwamen de onderzoekers met de zogeheten catchiness analyser. Dit is een programma dat een voorselectie maakt van de resultaten door analytisch de belangrijkste kenmerken uit de winnende nummers van voorgaande jaren te halen.

De melodieën gegenereerd door de computer vormden, samen met de baslijnen en de teksten van de Amsterdamse onderzoekers, de bouwstenen voor het nummer dat Willie Wartaal samen met het team uiteindelijk in elkaar heeft gezet.

Van te voren heeft het team afgesproken dat een deel van de door AI gegenereerde onderdelen intact moesten blijven tijdens het creatieve proces van de rapper. Ze hebben bijvoorbeeld de computer geleerd de stem van de rapper te imiteren. En deze synthetische stem komt terug in het nummer.

Het proces van het schrijven en opnemen van de inzending is te zien in een vijfdelige webserie.

Het team liet verschillende resultaten van de computer horen aan Willie Wartaal in het proces om een nummer te schrijven. Foto: VPRO.

 

Dierengeluiden

Volk heeft alle inzendingen al beluisterd. 'Het is heel leuk om te luisteren naar wat de andere landen gemaakt hebben', aldus Volk, 'Ik ben vooral benieuwd om straks te zien wat voor modellen en extra invoerdata de andere teams gebruikt hebben.' Omdat de dataset van 250 nummers te klein was, zijn alle teams creatief omgegaan met het uitbreiden van deze dataset. Het Australische team heeft daarvoor zelfs dierengeluiden gebruikt. Het is één van de middelen hoe de verschillende landen het nummer een eigen karakter geven.

 

Stemmen

Net zoals bij het echte songfestival zal zowel een vakjury, een panel van AI-experts, en het publiek stemmen voor de winnaar. De teams hebben precies moeten documenteren wat het aandeel is van de computer. Deze documenten neemt de vakjury mee in zijn beoordeling. Alle inzendingen zijn online te luisteren.

Tot 10 mei kon het publiek stemmen op de nummers en op 12 mei om 20.30 uur werd de winnaar bekendgemaakt. De uitslag was te bekijken via de live stream van de VPRO. Alle deelnemende teams waren via een live verbinding aanwezig zijn bij deze feestelijke onthulling gepresenteerd door Lieven Scheire. 

 

Uitslag

De winnaar van de wedstrijd was het Australische team "Uncanny Valley". De audio-samples van dierengeluiden waren een succes bij het publiek. Ze wonnen het allereerste AI songfestival met hun liedje "Beautiful the World". Het Nederlandse team "Can AI Kick It" werd derde, en het Nederlandse team COMPUTD/Shuman&Angel-Eye werd vijfde. 

 

Foto's: VPRO