Van kiekjes van Marilyn Monroe en Dalí tot de Mona Lisa. Een slim A.I.-systeem doet deze stilstaande beelden op behoorlijk realistische wijze bewegen.
Kunstmatige intelligentie flikt het weer. Na ons omver geblazen te hebben met deepfakes, brengt een slim A.I.-systeem nu stilstaande beelden tot leven. Onderzoekers van het Samsung A.I. Center in Moskou toverden zo foto’s van onder meer Marilyn Monroe, Salvador Dalí, Rasputin en Einstein, en zelfs de Mona Lisa om tot een geanimeerde versie van zichzelf. Indrukwekkend en een beetje creepy.
Lees ook:
Mona en Marilyn
Het A.I.-systeem haalt de foto of het portret van het te animeren gezicht door een zogenaamde face landmark tracker. Die bepaalt de locatie en omvang van de ogen, wenkbrauwen, neus, lippen en kaaklijn. In het meest ambitieuze geval heeft het systeem slechts één beeld nodig om de ‘technologische magie’ in gang te zetten. Maar hoe meer materiaal het systeem heeft om mee te werken, des te vloeiender en realistischer het eindresultaat.
Uit een gigantische dataset pikt het systeem vervolgens videomateriaal van bewegende koppies die op basis van die landmarks het meest met het beeld (of de beelden) gemeen hebben. Dat videomateriaal dient als studerend voor de uiteindelijke animatie. In het filmpje hieronder kun je zien hoe dat eruit ziet:
Generative Adversarial Network
Net als bij deepfakes, wordt er voor dit systeem gebruik gemaakt van een zogenaamd Generative Adversarial Network (GAN). Dat bestaat uit twee neurale netwerken: de generator en de discriminator. Die twee dagen elkaar als het ware uit om de best mogelijke animatie te maken. De generator maakt de bewegende beelden, en de discriminator bepaalt of ze realistisch genoeg zijn.
Zo ontstaat er een feedback loop, met als resultaat – als het goed is – een redelijk realistisch bewegend koppie. Als de discriminator een gezicht niet echt genoeg vindt lijken, bouwt de generator harder aan een animatie om het netwerk van de authenticiteit van het gezicht te overtuigen.
Zo realistisch als sommige deepfakes die we tegenwoordig zien, zijn de bewegende portretten nog niet – wat gebeurt er met Einstein’s haar? Maar ja, als we nu hier zijn, hoe ziet deze technologie er dan over een aantal jaar uit? Kunnen we onze eigen ogen nog wel vertrouwen?
Het onderzoek werd gepubliceerd op pre-printserver arXiv.org.
Bronnen: arXiv.org, Samsung via Pocket-lint, New Atlas
Beeld: Samsung, Egor Zakharov/Youtube
Ben je geïnteresseerd in de wereld van wetenschap & technologie en wil je hier graag meer over lezen? Bestel dan hier ons nieuwste nummer. Abonnee worden? Dat kan hier!