Komt gedachtelezen dichterbij? Het lijkt erop. Een computer kan de tekst van een verhaal dat iemand hoort uit diens hersenactiviteit halen.

Stel dat je iemands gedachten kon lezen. Wat zou jij doen? Je zou ermee iemand kunnen versieren, ruzies vermijden en vriendschappen sluiten. Of een verhaal uit iemands hoofd halen. Dat laatste is nu daadwerkelijk gebeurd. Onderzoekers van de University of Texas in Austin (VS) hebben met behulp van kunstmatige intelligentie (AI) de hersenactiviteit van personen vertaalt naar een tekst. En dat blijkt redelijk te kloppen. Zo is te lezen in Nature Neuroscience.

Lees ook:

• Grafeensensors brengen mind control dichterbij
• Implantaat vertaalt breinsignalen direct naar woorden
• Deze machine ‘weet’ aan wie jij denkt

Hard trainen

Het ontwikkelde computeralgoritme wordt een semantische decoder genoemd. Hij is gebaseerd op een taalmodel zoals ook intelligente chatbots als ChatGPT en Google’s Bard dat gebruiken. De decoder moest wel nog worden getraind voor hij in staat was de hersenactiviteit te vertalen.

Elk van de zeven deelnemers moesten daarom tot wel 16 uur in een fMRI-hersenscanner liggen terwijl ze aandachtig luisterden naar podcasts. De AI leerde zo om woorden en zinnen te associëren met een bepaalde hersenactiviteit.

Voor de gek houden

Toen volgde de proef op de som. De kandidaten moesten opnieuw in de hersenscanner gaan liggen. Dit keer luisterden ze naar een verhaal. De tekst die de semantische decoder vervolgens op basis van de breinactiviteit fabriceerde, bleek niet een letterlijke weergave van het verhaal, maar zat wel redelijk in de buurt. Zo werd “Ik heb mijn rijbewijs nog niet” vertaalt als “Ze is nog niet eens begonnen met rijden.” Hieronder meer voorbeelden:

Gedachtelezen is het dus nog net niet, al scheelt het niet veel. En dus werpt de methode wat ethische kwesties op. Hoe zit het bijvoorbeeld met de privacy? Daar hebben de onderzoekers een weerwoord op. Zo geven ze aan dat je toch echt eerst een intensieve training moet ondergaan voor de computer de juiste gegevens uit de je hoofd kan ‘halen’. Van een willekeurige voorbijganger de gedachten ‘lezen’ gaat dus niet. Bovendien kun je de computer makkelijk voor de gek houden door tijdens het luisteren naar een verhaal even ergens anders aan te denken.

Draagbaar maken

Kortom, op dit moment hoeven we ons nog geen zorgen te maken. Maar de onderzoekers willen de hersenactiviteitdecoder wel verder ontwikkelen. Bijvoorbeeld door hem draagbaar te maken (dat kan door in plaats van fMRI een andere brein-beeldvormingstechniek te gebruiken) en meer uren te trainen, zodat hij nog beter leert associëren.

Vervolgens kent de decoder ook daadwerkelijk toepassingen. Mensen die niet kunnen spreken (in geval van een beroerte of spierziekte ALS bijvoorbeeld), zouden hiermee toch kunnen communiceren met anderen. Of je zou met je gedachten apparaten kunnen aansturen.

Woordfrequentie

“De onderzoekers maken slim gebruik van moderne AI-technieken om taal te decoderen vanuit fMRI-metingen”, vertelt neurocomputerwetenschapper Harm Brouwer van de Universiteit van Tilburg. “Waar dit soort brein-computer-interface-modellen voorheen enkel letterreeksen, woorden of korte zinnetjes konden decoderen, is deze nieuwe methode in staat om relatief lange stukken tekst uit de hersenactiviteit te halen.”

Ook neurowetenschapper Michel van Putten van de Universiteit van Twente is onder de indruk van de studie. “De onderzoekers laten voor het eerst zien dat het mogelijk is om met een niet-invasieve manier (dus zonder implantaat) taal ‘af te luisteren’.”

Een van de uitdagingen was volgens hem de gemiddelde woordfrequentie van de Engelse taal: iets meer dan twee woorden per seconde. “Dit terwijl MRI tot op periodes van 10 seconden meet. De hersenactiviteit in die periode wordt dus door wel twintig woorden veroorzaakt. Des te knapper dat de decoder toch een redelijke tekst wist te produceren. Dat deed hij door onder meer de meest waarschijnlijke woordvolgordes te genereren.”

Frisse wind

Toepassingen bij patiënten met communicatieproblemen zijn volgens Van Putten overigens nog wel ver weg. “Mede omdat bij deze mensen de hersengebieden die betrokken zijn bij taal anders kunnen functioneren. Maar interessant is het zeker.”

Tenslotte vindt Brouwer het leuk dat het team ook probeert na te gaan of er specifieke hersengebieden zijn die bijdragen aan het succesvol decoderen. “Ondanks dat er geen grote verschillen worden gevonden, biedt dit perspectief een broodnodige frisse wind in de AI-wereld van de neurowetenschappen.”

Bronnen: Nature Neuroscience, University of Texas at Austin via EurekAlert!

Beeld: Nolan Zunk/University of Texas at Austin

Ben je geïnteresseerd in de wereld van wetenschap & technologie en wil je hier graag meer over lezen? Word dan lid van KIJK!