Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-4980
Main Title: Analyzing the perception of natural music with EEG and ECoG
Translated Title: Methoden zur Untersuchung von Musikwahrnehmung mit EEG und ECoG
Author(s): Sturm, Irene
Advisor(s): Blankertz, Benjamin
Referee(s): Blankertz, Benjamin
Müller, Klaus-Robert
Curio, Gabriel
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: Brain states during real-word experiences have attracted growing research interest in the past two decades. Listening to music is one example of an on-going real-world experience that, on the one hand, relies on structured auditory input, on the other hand, often involves strong emotional responses. Since, obviously, the brain is the mediator between sound wave and subjective experience, it is an interesting question whether the comparative analysis of brain signals and music signals is a way to understand this fascinating process. Electrophysiological recordings of the brain are particularly suited for this, as they other a temporal resolution in the millisecond range, a time scale that potentially gives access to the processing of the fine details of the rapidly changing musical surface. Deriving, however, interpretable information from electrophysiological signals recorded during music listening is a challenging task. Extracting stimulus-related brain activity from the electroencephalogram typically requires averaging of a high number of stimulus repetitions. If full-length pieces of music are presented, and, moreover, the unique listening experience is of interest, more sensitive methods for extracting neural activity from the continuous brain signal are required. This thesis makes several contributions toward the development of such methods, by addressing relevant issues that arise whenever brain signals are analyzed in combination with music signals. Taking advantage of the compelling properties of invasive ECoG recordings, the first part of this thesis presents a simple, but efficient method to derive a detailed reflection of an original rock song in the brain signal. A core contribution of this thesis aims at further promoting the more widely applicable recording modality of (scalp) EEG for investigating the relationship between music signal and brain signal. Utilizing an evoked brain response to low-level constituents of music, i.e., to note onsets, we propose a multi-variate regression-based method for mapping the continuous EEG signal back onto the music signal. This so-called stimulus reconstruction approach is highly suitable for EEG recordings of the presentation of full-length, acoustically very complex music pieces. The resulting stimulus reconstructions can be used to determine the level of Cortico- Acoustic Correlation (CACor): the degree of synchronization of the brain signal with the stimulus. Through CACor, this thesis explores the potential of the stimulus reconstruction approach in several music-related research scenarios. A simple, repetitive sound stimulus is used to demonstrate the connection from the extracted brain signatures to canonical ERP components. Subsequently, the method is applied in a more complex setting that relates to auditory stream segregation. We first demonstrate that three monophonic semi-musical stimuli can be reconstructed from the listener's EEG. Next, we show to what extent such learned mappings can be utilized to trace a neural correlate of the separate streams that the listener perceives when the three voices play together forming a polyphonic semi-musical sound pattern. Finally, we progress to the most 'natural' experimental setting in this context: the analysis of EEG recordings during listening to 'real' music without a specific task. We examine CACor for a range of naturalistic music and non-music sounds. We show that diffeerences between stimuli with respect to observed significant CACor can be related to their acoustic/higher-level musical properties. Finally, with a complementary analysis of behavioral reports of perceived tension we provide first evidence on the experiential relevance of the observed relationship between brain signal and music signal.
Das Interesse an der Frage, wie unser Gehirn die komplexen Reize, die in unserer Umwelt auf uns einströmen, verarbeitet, ist in den letzten zwei Dekaden stetig gewachsen. Musikhören, ein Teil unseres Alltags, beginnt mit solch einem komplex strukturierten auditorischen Reiz und führt zu einem subjektiven, oft emotionalen Empfinden. Die vermittelnde Rolle des Gehirns in diesem Prozess ist offensichtlich. Unklar jedoch ist, inwiefern der Vergleich zwischen Gehirnsignalen und Musiksignalen Aufschluss geben kann über den Weg von der Schallwelle zum persönlichen Hörerlebnis. Elektrophysiologische Messverfahren wie Elektroenzephalogramm (EEG) und Elektrokortikogramm (ECoG) sind ideal für eine detaillierte Untersuchung von Musikverarbeitung im Gehirn, da ihre Zeitauflösung im Millisekundenbereich liegt. Aus den Gehirnströmen eines musikhörenden Menschen interpretierbare Informationen zu ziehen, ist jedoch eine datenanalytische Herausforderung. Typischerweise werden reiz-spezifische Muster im EEG sichtbar gemacht, indem gemittelte Zeitkurven vieler Wiederholungen eines Stimulus betrachtet werden. Wenn lange, komplexe Musikstücke präsentiert werden sollen, und, darüber hinaus, das individuelle Hörerlebnis von Interesse ist, sind alternative Methoden nötig, um Informationen aus den kontinuierlichen Gehirnsignalen zu extrahieren. Die vorliegende Dissertation liefert eine Reihe von Beiträgen, die typische Probleme der kombinierten Analyse von Musik- und Gehirnsignalen thematisieren und Lösungsansätze vorschlagen. Die erste in dieser Arbeit beschriebene Studie nutzt die besondere Datenqualität des invasiven ECoG und stellt eine einfache, aber effektive Methode vor, um ein hochdifferenziertes Abbild der mehrdimensionaler Struktur eines Rockmusikstücks in den Gehirndaten sichtbar zu machen. Ein weiterer Beitrag dieser Arbeit zielt darauf ab, durch Fortschritte in der Datenanalyse das wesentlich universaler anwendbare EEG für die vergleichende Analyse von Gehirnsignal und Musiksignalen auszunutzen. Ausgehend von sogenannten `obligatorischen' evozierten Potentialen auf einzelne Töne, wird eine multi-variate Analysemethode vorgestellt, die die neurale Representation der Abfolge von Tönen eines Musikstücks extrahiert. Diese Methode zur `Stimulusrekonstruktion' eignet sich für die Anwendung auf kontinuierlichen EEG-Daten und stellt somit eine Alternative zu konventionellen Methoden dar. Mittels dieser neuralen Repräsentation kann der Cortico-Acoustic Correlation Coefficient (CACor) bestimmt werden, der als Maß für die Synchronisation von EEG-Signal und Musiksignal dient. Konkrete Anwendungsbeispiele, die vorgestellt und diskutiert werden, sind (i) ein Vergleich der mit der vorgeschlagenen Methode extrahierten kortikalen Signaturen mit konventionell ermittelten ereigniskorrelierten Potentialen, der in Falle eines einfachen repetitiven Stimulus möglich ist. Des weiteren wird (ii) die Methode auf Daten aus einer komplexeren Hörsituation evaluiert, nämlich anhand einer Musik-Variante des `Cocktail-Party-Problems' mit dem das Phänomen der auditory stream separation (ASS) erforscht werden kann. Die letzte Studie (iii) evaluiert die vorgestellte Methode in einer annähernd alltagsähnlichen Hörsituation: Versuchspersonen hören, unbeschwert von einer Aufgabe, eine Auswahl von Musikstücken und anderen naturalistischen Geräuschen während ihr EEG aufgezeichnet wird. Die Analysen zeigen, dass unterschiedliche Ausprägungen von CACor während verschiedener Hörbeispiele durch akustische und musikspezifische Merkmale erklärt werden können. Eine komplemetäre Untersuchung behavioraler Messungen erlebter Spannung in der Musik gibt erste Hinweise darauf, dass die durch CACor evidente Synchronisierung des Gehirnsignals mit dem Musiksignal in Verbindung steht mit dem subjektiven Musikerleben.
URI: http://depositonce.tu-berlin.de/handle/11303/5292
http://dx.doi.org/10.14279/depositonce-4980
Exam Date: 9-Dec-2015
Issue Date: 2016
Date Available: 4-Feb-2016
DDC Class: DDC::500 Naturwissenschaften und Mathematik::500 Naturwissenschaften::500 Naturwissenschaften und Mathematik
Subject(s): EEG data analysis
music perception
electroencephalogram
electrocortiography
auditory neuroscience
EEG-Analyse
Musikwahrnehmung
Elektroenzephalogramm
Elektrokortikogramm
auditorische Neurowissenschaften
EEG
ECoG
Creative Commons License: https://creativecommons.org/licenses/by/4.0/
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Softwaretechnik und Theoretische Informatik » Publications

Files in This Item:
File Description SizeFormat 
sturm_irene.pdf14,68 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.