HOME KLANKEN STEM PROJECT ONDERZOEK

Over het project

Het MRI-spraakzienproject van Nederlandse klanken is geïnspireerd op het Engelse Seeing Speech project (Lawson et al. 2018).

Het team:

Het project is een samenwerking tussen docenten, onderzoekers, studenten en technici van het Donders Centre for Cognitive Neuroimaging, Donders Institute for Brain, Cognition and Behaviour, Humanities lab letteren, Max Planck Instituut, het Centre for Language Studies van de Radboud Universiteit (Faculteit Letteren) en Radboud in’to Languages, alle te Nijmegen.

Voor vragen kunt u contact opnemen met Imme Lammertink of Sophie Plattel.

Hoe zijn de video’s gemaakt?

MRI

In de basis hebben we een MRI-methode gebruikt die al sinds 1973 bestaat (“Radial Imaging”). Deze methode is bedacht door Nobelprijswinnaar Paul Lauterbur. Met deze methode wordt er iedere 3,5 milliseconde een afbeelding gemaakt. De afbeeldingen worden telkens vanuit een net iets andere richting gemaakt zodat er een 2D-afbeelding ontstaat. Dit gebeurt 5 minuten lang. Bij deze manier van scannen, maken we gebruik van de “Golden Angle” trick (zie voor een wetenschappelijke uitleg bijvoorbeeld Feng, 2022). De video’s zijn gemaakt met een framerate van 20 afbeeldingen per seconde en door middel van temporal regularization was het vervolgens mogelijk om de bewegende beelden te creëren.

Audio

De audio-opnamen zijn in de scanner gemaakt en later bewerkt om het harde geluid van de scanner weg te filteren:
  1. In een eerste stap is de audio automatisch opgeschoond met een AI-model (https://huggingface.co/spaces/ResembleAI/resemble-enhance). Instellingen: CFM op 128; Denoise Before Enhancement aanvinken. Het resultaat is 2 audiobestanden: Denoised en Enhanced. Meestal klinkt Denoised beter. Bij Enhanced gaat het model vaak "hallucineren".
  2. Sommige audiobestanden hadden na deze eerste stap nog steeds artefacten. Deze bestanden zijn handmatig opgeschoond met stop band filters in Praat (Boersma & Weenink, 2025). De volgende stappen werden daarbij gezet:
    1. Eerst het spectrogram inspecteren om de begin- en eindtijd en de frequentieband van de noise te vinden.
    2. Alleen de filter(s) toepassen waar nodig, dus niet over het hele bestand, en ook niet tijdens klinkers. De klinkers zijn doorgaans luid genoeg zodat de noise niet opvalt. Filters tijdens stemloze medeklinkers hoor je niet echt als je de frequentieband niet te breed zet.
    3. Herhalen totdat alle artefacten uit het bestand zijn.
  3. Een enkele keer was het ook nodig om een medeklinker te cross-splicen.

Acknowledgements

Voor het bouwen van de website en het onderzoek naar ervaringen van NT2'ers in het gebruik van de video’s, hebben we een beurs ontvangen van Fonds Maatschappelijk onderzoek in de Neerlandistiek (2025).

De basis voor de survey naar de ervaringen van NT2'ers in het gebruik van de video’s is gelegd in de bachelorscripties van Mila van Dinten, Nienke Hilhorst, Alex Lambeek, Jip Pepers en Kim Servaas (studenten Nederlandse Taal en Cultuur aan de Radboud Universiteit, 2024-2025).

Referenties

Boersma, P., & Weenink, D. (2025). Praat: doing phonetics by computer [Computer program]. Retrieved from https://www.praat.org.

Feng L. Golden-Angle Radial MRI: Basics, Advances, and Applications. J Magn Reso n Imaging. 2022 Jul;56(1):45-62. doi: 10.1002/jmri.28187. Epub 2022 Apr 9. PMID: 35396897; PMCID: PMC9189059.

Lawson, E., J. Stuart-Smith, J.M. Scobbie, S. Nakai (2018). Seeing Speech: an articulatory web resource for the study of Phonetics. University of Glasgow. Geraadpleegd op 18 november 2025 https://seeingspeech.ac.uk

Extra informatie over Nederlandse klanken:

Leufkens, Sterre & Alex Hebing (2018). Webapplicatie: Moedertaal in NT2 (MoedINT2). Geraadpleegd op 4 december 2025. https://www.moedint2.nl

Website Meertaligheid en Taalstoornissen. Geraadpleegd op 4 december 2025. https://meertaligheidentaalstoornissenvu.weebly.com