Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-5582
Main Title: Brain-computer interfaces for cognitive neuroscience and advanced mental state assessment
Translated Title: Hirn-Computer-Schnittstellen für die kognitiven Neurowissenschaften und für fortgeschrittene Detektion mentaler Zustände
Author(s): Schultze-Kraft, Matthias
Referee(s): Blankertz, Benjamin
Haynes, John-Dylan
Müller, Klaus-Robert
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: Advancements in machine learning in combination with fundamental research in cognitive neuroscience have put forth application areas for brain-computer interfaces (BCIs) that go beyond communication and control. The ability to decode covert mental states and intentions from the electroencephalogram (EEG) in real-time – hence, to study the "brain at work" – establishes the basis for multifaceted applications of non-control BCIs. In this thesis, the use of such BCIs is demonstrated with two independent studies which both have different research directions and serve different purposes. While the first study follows what has been the traditional path of BCI research, namely the development of an application for people, the second study strikes a new path by engaging in the hitherto unsought approach to use a closed-loop BCI as a research tool for cognitive neuroscience. The first study aims for the classification of operator workload as it is expected in many real-life workplace environments. Brain-signal based workload predictors, based on modulations of the power of theta and alpha oscillations in the EEG associated with workload changes, were explored. The predictors differed with respect to the level of label information required for training, including an entirely unsupervised approach. This was made possible by employing stateof- the-art EEG spatial filtering methods from machine learning. Mean classification accuracies above 90% were achieved with the supervised predictors and 82% with the unsupervised approach. The findings show that workload states can be successfully differentiated from brain signals, even when less and less information from the experimental paradigm is used, thus paving the way for real-world applications in which label information may be noisy or entirely unavailable. The second study investigates the role of the readiness potential (RP), a slow cortical potential that starts more than 1 second before spontaneous, voluntary movements. Despite decades-long research in cognitive neuroscience, it has yet remained unclear whether the onset of the RP triggers a chain of events that unfolds in time and cannot be cancelled or whether people can cancel movements after onset of the RP. In this study, this question was addressed in a realtime experiment in which subjects were required to terminate their decision to move upon seeing a stop signal. This signal was elicited by a BCI that had been trained to detect RPs in the ongoing EEG. It was found that subjects could indeed cancel intended movements after the onset of the RP, however only up to a point of no return at approximately 200 ms before movement onset. The finding that the onset of the RP does not trigger a ballistic process that cannot be stopped throws some light on the controversial debate regarding the role of the RP in movement preparation.
Fortschritte im Maschinellen Lernen und Erkenntnisse in den Kognitiven Neurowissenschaften haben neue Anwendungsmöglichkeiten für Hirn-Computer-Schnittstellen (HCS) hervorgebracht, die über die gängigen Kommunikationsanwendungen hinaus gehen und auf der Echtzeit-Erkennung verdeckter mentaler Zustände und Absichten im Elektroenzephalogramm (EEG) basieren. Diese Dissertation demonstriert dies anhand von zwei unabhängigen Studien, die jeweils unterschiedliche Forschungsziele haben. Während sich die erste Studie mit der traditionellen Entwicklung einer personenbezogenen Anwendung beschäftigt, schlägt die zweite Studie einen neuen Pfad ein und verfolgt das Ziel, HCS direkt als Werkzeug für Forschung in den Kognitiven Neurowissenschaften einsetzen zu können. Die erste Studie strebt die Klassifizierung von Arbeitslast an, wie sie in vielen Arbeitsplatzumgebungen zu erwarten ist. Dazu wurden verschiedene Arbeitslast-Prädiktoren untersucht, die auf Energiemodulationen von theta- und alpha-Oszillationen im EEG beruhen, welche mit Änderungen von Arbeitslast einhergehen, einschliesslich eines komplett nicht-überwachten Prädiktors. Um dies zu ermöglichen, wurden allerneueste Methodenentwicklungen aus dem Maschinellen Lernen benutzt. Mit den überwachten Methoden wurden durchschnittliche Klassifizierungsgenauigkeiten von über 90% erreicht, mit dem nicht-überwachten Ansatz 82%. Diese Ergebnisse zeigen, dass Arbeitslast-Zustände anhand von Hirnsignalen erfolgreich differenziert werden können, selbst wenn zunehmend weniger Information über das experimentelle Paradigma benutzt wird. Damit ist der Weg geebnet für Praxisanwendungen, wo Kennsatz-Information oft verrauscht oder erst gar nicht vorhanden ist. Die zweite Studie untersucht die Funktion des Bereitschaftspotentials (BP), ein EEG-Signal, das mehr als 1 Sekunde vor spontanen, absichtlichen Bewegungen beginnt. Trotz jahrzentelanger Forschung herrscht noch Unklarheit darüber, ob das Einsetzen des BP eine Ereignisskette in Gang setzt, die sich nicht mehr aufhalten lässt oder ob Menschen eine Bewegung selbst nach Einsetzen des BP stoppen können. Diese Frage wurde in einem Echtzeit-Experiment untersucht, in dem Versuchsteilnehmer aufgefordert wurden, eine Entscheidung für eine Bewegung zurück zu ziehen, sobald ein Stoppsignal erschien. Dieses Signal wurde von einer HCS gesteuert, die zuvor darauf trainiert worden war, das Einsetzen von BPs im EEG zu erkennen. Das Experiment ergab, dass Versuchsteilnehmer Bewegungen selbst nach Einsetzen des BP stoppen konnten, jedoch nur bis zu einem Umkehrgrenzpunkt, der bei ungefähr 200 ms vor Einsetzen der Bewegung lag. Die Erkenntniss, dass das Einsetzen des BP nicht einen ballistischen, d.h. unaufhaltbaren, Prozess in Gang setzt, leistet einen Beitrag zur Aufklärung der kontroversen Debatte bezüglich der Rolle des BP.
URI: http://depositonce.tu-berlin.de/handle/11303/5995
http://dx.doi.org/10.14279/depositonce-5582
Exam Date: 23-Sep-2016
Issue Date: 2016
Date Available: 22-Nov-2016
DDC Class: DDC::500 Naturwissenschaften und Mathematik::570 Biowissenschaften; Biologie::570 Biowissenschaften; Biologie
DDC::000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::004 Datenverarbeitung; Informatik
Subject(s): brain-computer interface
electroencephalogram
machine learning
cognitive neuroscience
Hirn-Computer Schnittstelle
Elektroenzephalogramm
maschinelles Lernen
kognitive Neurowissenschaften
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Softwaretechnik und Theoretische Informatik » Fachgebiet Neurotechnologie » Publications

Files in This Item:
File Description SizeFormat 
schultze-kraft_matthias.pdf8.22 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.