Thumbnail Image

Machine learning techniques for neurotechnology with applications for healthy users and patients

Höhne, Johannes

Fortschritte in der Neurotechnologie basieren auf der Aufnahme und Analyse von Hirnaktivität. Gehirn-Computer Schnittstellen (engl. Brain-Computer Interfaces, BCIs) stellen ein sehr aktives Forschungsfeld innerhalb der Neurotechnologie dar. BCIs ermöglichen es, Hirnaktivität direkt in Steuersignale zu übersetzen und schaffen damit einen Kommunikationsweg, der unabhängig von Muskelaktivität ist. Ein Hauptziel dieser Forschung ist es, Menschen zu helfen die aufgrund von neuronalen Erkrankungen wie dem Schlaganfall oder der Amyotrophe Lateralsklerose (ALS) nicht mehr eigenständig kommunizieren können. BCIs können diesen gelähmten Patienten ermöglichen, einen Teil ihrer Kommunikationsfähigkeit zurück zu erlangen, indem sie über ihre Hirnströme mit der Umwelt interagieren. Diese Dissertation trägt dem Fortschritt von BCIs auf drei verschiedenen Weisen bei. Zunächst werden zwei neuartige auditorische BCI Paradigmen – genannt PASS2D und CharStreamer – beschrieben und über Online-Studien mit gesunden Versuchspersonen evaluiert. Beide Paradigmen basieren auf Ereigniskorrelierten Potentialen (engl. Event Related Potentials, ERPs) und ermöglichen eine intuitive und schnelle Kommunikation mit dem BCI für Nutzer mit Sehstörungen. Während bisherige auditorische BCI Paradigmen in ihrer Anwendung sehr kompliziert sind, kann der CharStreamer mit einer Anweisung so einfach wie "bitte konzentrieren Sie sich auf den Buchstaben den Sie auswählen möchten" genutzt werden. Zusätzlich untersuchen zwei Offline-Studien, wie sich die Stimuluseigenschaften sowohl auf die ERPs, als auch auf die Genauigkeit und die Benutzerfreundlichkeit eines BCIs auswirken. Die genannten Studien weisen weiterhin darauf hin, dass die bisher üblichen Datenanalyseverfahren zu ERP-basierten BCI Paradigmen suboptimal sind. ERP Daten weisen bestimmte Informationen auf, die bei allgemein verwendeten Linearen Diskriminanzanalyse (LDA) nicht berücksichtigt werden. Der zweite maßgebliche Beitrag dieser Thesis befasst sich daher mit neuartigen Methoden, die zu einer verbesserten Datenanalyse führen. Es wird gezeigt, dass Neuroimaging Daten – insbesondere EEG Daten aus BCI Experimenten – eine intrinsische Subklassenstruktur aufweisen. Dazu wird eine neue Methode des Maschinellen Lernens entwickelt, die eine solche Subklassenstruktur verwerten kann – Relevance Subclass LDA (RSLDA). RSLDA ermöglicht sowohl eine verbesserte Klassifikationsgenauigkeit als auch eine verbesserte Interprätation der zugrundeliegenden Struktur in den Daten. Beide Aspekte sind sehr vorteilhaft und zeigen, dass RSLDA für eine Vielzahl von Klassifikationsproblemen im Bereich Neuroimaging und darüber hinaus geeignet ist. Als dritter Beitrag wird eine BCI Studie mit schwer gelähmten Patienten durchgeführt. Es wird gezeigt dass es mit der Anwendung von modernen Methoden des Maschinellen Lernens möglich ist, ein hoch flexibles BCI System bei diesen Patienten anzuwenden. Dadurch kann eine zuverlässig BCI Steuerung innerhalb von nur wenigen Sitzungen ermöglicht werden. Diese Studie zeigt außerdem erstmals, dass die Kommunikation über das BCI schneller und zuverlässiger sein kann als über andere Unterstützungstechnologien, welche auf Muskelaktivität basieren. Es wird dabei für einen Patienten erstmalig gezeigt, dass die neuronalen Signale einer versuchten Bewegung erkannt werden können, bevor die muskuläre Aktivität messbar ist.
Advances in Neurotechnology are based on the recording and analysis of brain activity. Brain- Computer Interfaces (BCIs) constitute a very active research area within Neurotechnology. BCIs make it possible for brain activity to be directly translated into control commands and thus enable a communication channel that is independent of muscle control. One major goal of this research is to help people who cannot communicate independently, due to neural diseases such as stroke or Amyotrophic Lateral Sclerosis (ALS). BCIs may help these patients with advanced paralysis regain their communication abilities by using their minds to interact with their surroundings. This thesis contributes to the developments of BCIs in three ways. Firstly, novel auditory BCI paradigms – named PASS2D and CharStreamer – are described and evaluated in online studies with healthy users. Both paradigms are based on Event Related Potentials (ERPs) and provide an intuitive and fast communication with BCI for users with impaired vision. While prior auditory BCI paradigms are rather complicated to use, the CharStreamer can be operated with instructions as simple as "please attend to the letter that you want to spell". Additionally, two offline studies investigate the impact of stimulus properties on the ERPs, and the performance and usability of a BCI system. However, the above mentioned studies also indicate that the state-of-the-art analysis pipeline for ERP-based BCI paradigms might be suboptimal, as ERPs exhibit additional label information which is not exploited in a Linear Discriminant Analysis (LDA). Therefore, the second main contribution of this thesis deals with methodological improvements which yield more accurate data analysis than state-of-the-art methods. It is shown that neuroimaging data – in particular EEG data arising from BCI paradigms – exhibit intrinsic subclass structure, which can be exploited in a meaningful way. A novel Machine Learning method – called Relevance Subclass LDA (RSLDA) – is developed and tested on multiple EEG and fMRI data sets. It is shown that RSLDA yields increased classification accuracy, as well as a better interpretation of the underlying structure in the data. Both aspects are highly favorable, suggesting that RSLDA is suitable for various classification problems within neuroimaging and beyond. Thirdly, a BCI study is conducted with severely motor-impaired individuals. It is shown that the application of modern Machine Learning methods allows to set up a highly flexible BCI system for patients with severe paralysis. This enables to achieve significant BCI control within a very small number of sessions. Moreover, this study shows that communication via BCI can be faster and more robust than communication with other assisted technology which is based on muscle activity. This shows for the first time that the neuronal signals of an attempted motor execution can be detected prior to the muscular movement of a patient.