Analyzing the perception of natural music with EEG and ECoG

dc.contributor.advisorBlankertz, Benjamin
dc.contributor.authorSturm, Irene
dc.contributor.grantorTechnische Universität Berlinen
dc.contributor.refereeBlankertz, Benjamin
dc.contributor.refereeMüller, Klaus-Robert
dc.contributor.refereeCurio, Gabriel
dc.date.accepted2015-12-09
dc.date.accessioned2016-02-04T16:26:21Z
dc.date.available2016-02-04T16:26:21Z
dc.date.issued2016
dc.description.abstractBrain states during real-word experiences have attracted growing research interest in the past two decades. Listening to music is one example of an on-going real-world experience that, on the one hand, relies on structured auditory input, on the other hand, often involves strong emotional responses. Since, obviously, the brain is the mediator between sound wave and subjective experience, it is an interesting question whether the comparative analysis of brain signals and music signals is a way to understand this fascinating process. Electrophysiological recordings of the brain are particularly suited for this, as they other a temporal resolution in the millisecond range, a time scale that potentially gives access to the processing of the fine details of the rapidly changing musical surface. Deriving, however, interpretable information from electrophysiological signals recorded during music listening is a challenging task. Extracting stimulus-related brain activity from the electroencephalogram typically requires averaging of a high number of stimulus repetitions. If full-length pieces of music are presented, and, moreover, the unique listening experience is of interest, more sensitive methods for extracting neural activity from the continuous brain signal are required. This thesis makes several contributions toward the development of such methods, by addressing relevant issues that arise whenever brain signals are analyzed in combination with music signals. Taking advantage of the compelling properties of invasive ECoG recordings, the first part of this thesis presents a simple, but efficient method to derive a detailed reflection of an original rock song in the brain signal. A core contribution of this thesis aims at further promoting the more widely applicable recording modality of (scalp) EEG for investigating the relationship between music signal and brain signal. Utilizing an evoked brain response to low-level constituents of music, i.e., to note onsets, we propose a multi-variate regression-based method for mapping the continuous EEG signal back onto the music signal. This so-called stimulus reconstruction approach is highly suitable for EEG recordings of the presentation of full-length, acoustically very complex music pieces. The resulting stimulus reconstructions can be used to determine the level of Cortico- Acoustic Correlation (CACor): the degree of synchronization of the brain signal with the stimulus. Through CACor, this thesis explores the potential of the stimulus reconstruction approach in several music-related research scenarios. A simple, repetitive sound stimulus is used to demonstrate the connection from the extracted brain signatures to canonical ERP components. Subsequently, the method is applied in a more complex setting that relates to auditory stream segregation. We first demonstrate that three monophonic semi-musical stimuli can be reconstructed from the listener's EEG. Next, we show to what extent such learned mappings can be utilized to trace a neural correlate of the separate streams that the listener perceives when the three voices play together forming a polyphonic semi-musical sound pattern. Finally, we progress to the most 'natural' experimental setting in this context: the analysis of EEG recordings during listening to 'real' music without a specific task. We examine CACor for a range of naturalistic music and non-music sounds. We show that diffeerences between stimuli with respect to observed significant CACor can be related to their acoustic/higher-level musical properties. Finally, with a complementary analysis of behavioral reports of perceived tension we provide first evidence on the experiential relevance of the observed relationship between brain signal and music signal.en
dc.description.abstractDas Interesse an der Frage, wie unser Gehirn die komplexen Reize, die in unserer Umwelt auf uns einströmen, verarbeitet, ist in den letzten zwei Dekaden stetig gewachsen. Musikhören, ein Teil unseres Alltags, beginnt mit solch einem komplex strukturierten auditorischen Reiz und führt zu einem subjektiven, oft emotionalen Empfinden. Die vermittelnde Rolle des Gehirns in diesem Prozess ist offensichtlich. Unklar jedoch ist, inwiefern der Vergleich zwischen Gehirnsignalen und Musiksignalen Aufschluss geben kann über den Weg von der Schallwelle zum persönlichen Hörerlebnis. Elektrophysiologische Messverfahren wie Elektroenzephalogramm (EEG) und Elektrokortikogramm (ECoG) sind ideal für eine detaillierte Untersuchung von Musikverarbeitung im Gehirn, da ihre Zeitauflösung im Millisekundenbereich liegt. Aus den Gehirnströmen eines musikhörenden Menschen interpretierbare Informationen zu ziehen, ist jedoch eine datenanalytische Herausforderung. Typischerweise werden reiz-spezifische Muster im EEG sichtbar gemacht, indem gemittelte Zeitkurven vieler Wiederholungen eines Stimulus betrachtet werden. Wenn lange, komplexe Musikstücke präsentiert werden sollen, und, darüber hinaus, das individuelle Hörerlebnis von Interesse ist, sind alternative Methoden nötig, um Informationen aus den kontinuierlichen Gehirnsignalen zu extrahieren. Die vorliegende Dissertation liefert eine Reihe von Beiträgen, die typische Probleme der kombinierten Analyse von Musik- und Gehirnsignalen thematisieren und Lösungsansätze vorschlagen. Die erste in dieser Arbeit beschriebene Studie nutzt die besondere Datenqualität des invasiven ECoG und stellt eine einfache, aber effektive Methode vor, um ein hochdifferenziertes Abbild der mehrdimensionaler Struktur eines Rockmusikstücks in den Gehirndaten sichtbar zu machen. Ein weiterer Beitrag dieser Arbeit zielt darauf ab, durch Fortschritte in der Datenanalyse das wesentlich universaler anwendbare EEG für die vergleichende Analyse von Gehirnsignal und Musiksignalen auszunutzen. Ausgehend von sogenannten `obligatorischen' evozierten Potentialen auf einzelne Töne, wird eine multi-variate Analysemethode vorgestellt, die die neurale Representation der Abfolge von Tönen eines Musikstücks extrahiert. Diese Methode zur `Stimulusrekonstruktion' eignet sich für die Anwendung auf kontinuierlichen EEG-Daten und stellt somit eine Alternative zu konventionellen Methoden dar. Mittels dieser neuralen Repräsentation kann der Cortico-Acoustic Correlation Coefficient (CACor) bestimmt werden, der als Maß für die Synchronisation von EEG-Signal und Musiksignal dient. Konkrete Anwendungsbeispiele, die vorgestellt und diskutiert werden, sind (i) ein Vergleich der mit der vorgeschlagenen Methode extrahierten kortikalen Signaturen mit konventionell ermittelten ereigniskorrelierten Potentialen, der in Falle eines einfachen repetitiven Stimulus möglich ist. Des weiteren wird (ii) die Methode auf Daten aus einer komplexeren Hörsituation evaluiert, nämlich anhand einer Musik-Variante des `Cocktail-Party-Problems' mit dem das Phänomen der auditory stream separation (ASS) erforscht werden kann. Die letzte Studie (iii) evaluiert die vorgestellte Methode in einer annähernd alltagsähnlichen Hörsituation: Versuchspersonen hören, unbeschwert von einer Aufgabe, eine Auswahl von Musikstücken und anderen naturalistischen Geräuschen während ihr EEG aufgezeichnet wird. Die Analysen zeigen, dass unterschiedliche Ausprägungen von CACor während verschiedener Hörbeispiele durch akustische und musikspezifische Merkmale erklärt werden können. Eine komplemetäre Untersuchung behavioraler Messungen erlebter Spannung in der Musik gibt erste Hinweise darauf, dass die durch CACor evidente Synchronisierung des Gehirnsignals mit dem Musiksignal in Verbindung steht mit dem subjektiven Musikerleben.de
dc.identifier.urihttps://depositonce.tu-berlin.de/handle/11303/5292
dc.identifier.urihttp://dx.doi.org/10.14279/depositonce-4980
dc.language.isoenen
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/en
dc.subject.ddc500 Naturwissenschaften und Mathematikde
dc.subject.otherEEG data analysisen
dc.subject.othermusic perceptionen
dc.subject.otherelectroencephalogramen
dc.subject.otherelectrocortiographyen
dc.subject.otherauditory neuroscienceen
dc.subject.otherEEG-Analysede
dc.subject.otherMusikwahrnehmungde
dc.subject.otherElektroenzephalogrammde
dc.subject.otherElektrokortikogrammde
dc.subject.otherauditorische Neurowissenschaftende
dc.subject.otherEEGde
dc.subject.otherECoGde
dc.titleAnalyzing the perception of natural music with EEG and ECoGen
dc.title.translatedMethoden zur Untersuchung von Musikwahrnehmung mit EEG und ECoGde
dc.typeDoctoral Thesisen
dc.type.versionacceptedVersionen
tub.accessrights.dnbfreeen
tub.affiliationFak. 4 Elektrotechnik und Informatik::Inst. Softwaretechnik und Theoretische Informatikde
tub.affiliation.facultyFak. 4 Elektrotechnik und Informatikde
tub.affiliation.instituteInst. Softwaretechnik und Theoretische Informatikde
tub.publisher.universityorinstitutionTechnische Universität Berlinen

Files

Original bundle
Now showing 1 - 1 of 1
Loading…
Thumbnail Image
Name:
sturm_irene.pdf
Size:
14.33 MB
Format:
Adobe Portable Document Format
Description:
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
5.75 KB
Format:
Item-specific license agreed upon to submission
Description:

Collections