Met deze nieuwe tool leg je letterlijk de woorden in iemands mond.
In KIJK 4/2019 hebben we het uitgebreid over deepfakes gehad: nepvideo’s die door kunstmatige intelligentie nauwelijks van echt zijn te onderscheiden. Zo kun je bijvoorbeeld de Amerikaanse president Donald Trump iets heel anders laten zeggen dan hij eigenlijk deed. Maar, zo legde post-doctoraal onderzoeker Sven Charleer van de KU Leuven uit: het maken van een echt overtuigende deepfake is geen eitje.
Daar lijkt nu verandering in te komen. Softwarebedrijf Adobe Research, Stanford University, de Max Planck Institute for Informatics en Princeton University hebben de handen ineengeslagen om de deepfakes-technologie weer een stap verder te brengen. Zo introduceren ze in hun paper een nieuwe tool waarmee je gesproken tekst in filmpjes kunt wijzigen door simpelweg nieuwe woorden te typen in een transcript.
Lees ook:
Combineren
Hoewel het met deze tool heel gemakkelijk is om filmpjes te veranderen, was het maken van de software zelf nog een hels karwei voor de onderzoekers. Allereerst scanden ze verschillende video’s op fonemen, belangrijke klanken waaruit een woord bestaat. Deze matchten ze met bijbehorende gezichtsuitdrukkingen. Vervolgens maakten ze 3D-modellen van de onderkant van de gezichten op de filmpjes.
Met deze data trainden ze hun kunstmatige intelligentie. Wanneer de onderzoekers nu de tekst in het transcript van de video aanpassen, combineert het systeem de klanken, gezichtsuitdrukkingen en 3D-modellen om een deepfake te creëren.
Een groep van 138 vrijwilligers kreeg de nepfilmpjes onder ogen. Iets minder dan 60 procent van de deelnemers geloofde dat de deepfakes echt waren. Dat klinkt vrij laag, maar ‘slechts’ 80 procent van de vrijwilligers gaf aan te geloven dat de originele, onveranderde video’s echt waren…
Ethische kwestie
De technologie werkt overigens nog niet optimaal. Zo kan de kunstmatige intelligentie de woorden wel aanpassen, maar de intonatie niet en is er nog 40 minuten aan bronmateriaal nodig om een geloofwaardige deepfake te maken. Maar wellicht zijn deze problemen op te lossen door meer onderzoek te doen.
In hun paper erkennen de wetenschappers dat de technologie gevaren met zich meebrengt. Je kunt politici gemakkelijk woorden in de mond leggen. Maar ze noemen ook de nuttige toepassingen van de technologie. Zo denken ze dat de tool handig kan zijn bij de editing van films. Of bij nasynchronisatie in reclames. Want we weten allemaal hoe irritant het is als het beeld niet gelijk loopt met het geluid…
Bronnen: Text-based Editing of Talking-head Video (PDF), The Verge
Ben je geïnteresseerd in de wereld van wetenschap & technologie en wil je hier graag meer over lezen? Word dan lid van KIJK!