Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-11587
For citation please use:
Main Title: Driver mental states detection during highly automated driving by decoding brain signals
Translated Title: Erkennung der mentalen Zustände von Fahrer beim hochautomatisierten Fahren durch Analyse der Hirnsignale
Author(s): Zhang, Xixie
Advisor(s): Rötting, Matthias
Referee(s): Rötting, Matthias
Lu, Bao-Liang
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
URI: https://depositonce.tu-berlin.de/handle/11303/12787
http://dx.doi.org/10.14279/depositonce-11587
License: https://creativecommons.org/licenses/by/4.0/
Abstract: In contrast to manual driving, highly automated driving may relieve the driver from active driving and observing activities. However, undertaking different non-driving tasks while highly automated driving could lead to variations in driver’s mental workload and vigilance levels. This has great influence on driver’s ability and performance to take over control of the vehicle when requested. Therefore, the overall goal of the work is to investigate methods to measure driver’s mental workload and vigilance passively (by decoding brain signals) as that potentially improves driver’s ability for take-over request in urgent situations. To achieve this, three separate studies were carried out. The first study was aimed at validating a task-independent workload classifier with EEG in well-controlled laboratory. In this study, a new methodology was investigated and verified to predict workload levels in different tasks. More specifically, an individual classifier was trained on a standardized workload-inducing task in the calibration phase, and then applied to data from five other cognitive tasks each inducing two workload levels. Results showed that a direct transfer across tasks was not optimal to separate high and low workload levels with acceptable accuracy, however, significant differences were found in the classifier outputs between two conditions of five tasks after applying this task-independent classifier. It was implied to look at the classifier output on a continuous scale as an indication of the actual workload level, rather than just take the binary classification accuracy into consideration. Moreover, it was possible to calibrate a single classifier on a standardized workload-inducing task and apply this classifier to other tasks to obtain meaningful results on workload levels. This greatly simplifies the calibration process of different tasks and enables an easy implementation of real-time and continuous workload detection with EEG for future real-world applications. Based on the results from the first study, the task-independent workload classifier was then applied in the second study to classify workload levels of different non-driving tasks during highly automated driving. In this study, detection of vigilance with EEG and the impact of different workload levels on vigilance were also investigated with an auditory oddball task. It was proven that the simplified task-independent workload classifier was able to indicate mental workload of non-driving tasks with classifier outputs, which can significantly differentiate between classes. This task-independent workload classifier was demonstrated as an applicable tool in more realistic and practical scenarios. Moreover, oddball task results indicated the feasibility of detecting signal perception with EEG, thus inferring driver’s vigilance level based on this. Besides, higher mental workload induced by non-driving tasks resulted in deteriorated vigilance to detect target stimuli, and this variation in target stimuli detection confirmed the influence of workload on driver’s vigilance level. Finally, on the basis of the feasibility of task-independent workload classifier, an online study of workload detection is conducted in the third study, which investigated the effect of real-time warning based on workload measurement on the reaction in take-over request. This study examined the impact of feedback appearance on driver’s take-over performance in a simulated highly automated driving scenario. Results indicated that it was possible to identify driver’s workload level in real time with the task-independent workload classifier. Furthermore, online feedback to overload condition was proven to be useful in improving driver’s take-over performance. In addition, subjective ratings on feedback appearance also confirmed its positive effect. From these three studies we could conclude that, it is possible to measure driver’s mental workload and vigilance levels during highly automated driving by decoding brain signals, and this supports the improvement of driver’s take-over performance. The outcomes of these studies could contribute to the design of driver-vehicle-interaction in highly autonomous driving by identifying driver’s mental states during mode transition, and thus enhance the safety and user experience of drivers.
Im Vergleich zum manuellen Fahren kann das hochautomatisiertes Fahren den Fahrer vom aktiven Fahren und Beobachten der Umgebung entlasten. Das Ausführen verschiedener Nebenaufgaben während des hochautomatisierten Fahrens kann jedoch zur Variation der mentalen Beanspruchung und der Vigilanz des Fahrers führen. Dies hat großen Einfluss auf die Fähigkeit und Leistung des Fahrers, auf Anfrage die Kontrolle über das Fahrzeug zu übernehmen. Daher besteht das Ziel dieser Arbeit vor allem darin, Methoden zur passiven Messung der mentalen Beanspruchung und Vigilanz des Fahrers (durch Analyse von Gehirnsignalen) zu untersuchen, da dies möglicherweise die Fähigkeit des Fahrers zur Übernahme in dringenden Situationen verbessert. Um dies zu erreichen, wurden drei separate Studien durchgeführt. Die erste Studie zielte darauf ab, einen aufgabenunabhängigen Beanspruchung-Klassifikator mit EEG in einem gut kontrollierten Labor zu validieren. In dieser Studie wurde eine neue Methodik untersucht und verifiziert, um die mentale Beanspruchung in verschiedenen Aufgaben zu messen. Insbesondere wurde ein individueller Klassifikator in der Kalibrierungsphase auf eine standardisierte Beanspruchung-induzierende Aufgabe trainiert und dann auf Daten von fünf anderen kognitiven Aufgaben angewendet, die jeweils zwei Beanspruchungsstufen hatten. Die Ergebnisse zeigten, dass eine direkte Übertragung zwischen Aufgaben nicht optimal war, um hohe und niedrige Beanspruchungsstufen mit akzeptabler Genauigkeit zu trennen. Es gab jedoch signifikante Unterschiede in den Klassifizierungsausgaben zwischen zwei Bedingungen der fünf Aufgaben nach Anwendung dieses aufgabenunabhängigen Klassifikators. Es wurde impliziert, die Klassifizierungsausgabe auf einer kontinuierlichen Skala als Hinweis auf die tatsächliche Beanspruchung zu betrachten, anstatt nur die Genauigkeit der binären Klassifizierung zu berücksichtigen. Darüber hinaus war es möglich, einen individuellen Klassifikator für eine standardisierte Beanspruchung-induzierende Aufgabe zu kalibrieren und diesen Klassifikator auf andere Aufgaben anzuwenden, um aussagekräftige Ergebnisse für Beanspruchungsstufe zu erhalten. Dies vereinfacht den Kalibrierungsprozess für verschiedene Aufgaben erheblich und ermöglicht eine einfache Implementierung der echtzeitigen und kontinuierlichen Erkennung der mentalen Beanspruchung mit EEG für zukünftige reale Anwendungen. Basierend auf den Ergebnissen der ersten Studie wurde dann in der zweiten Studie der aufgabenunabhängige Beanspruchung-Klassifikator angewendet, um die Beanspruchungsstufen verschiedener Nebenaufgaben während des hochautomatisierten Fahrens zu klassifizieren. In dieser Studie wurden die Messung der Vigilanz mit EEG und auch die Auswirkungen unterschiedlicher Beanspruchungsstufen auf die Vigilanz mit einer auditorischen Oddball-Aufgabe untersucht. Es wurde nachgewiesen, dass der vereinfachte aufgabenunabhängige Beanspruchung-Klassifikator in der Lage war, die mentale Beanspruchung mit Klassifizierungsausgaben anzuzeigen, die signifikant zwischen Klassen unterscheiden können. Dieser aufgabenunabhängige Beanspruchung-Klassifikator wurde als anwendbares Werkzeug in realistischen und praktischen Szenarien demonstriert. Darüber hinaus zeigten die Ergebnisse der Oddball-Aufgabe, dass es möglich ist, die Signalwahrnehmung mit EEG zu erfassen und daraus auf der Grundlage der Vigilanz des Fahrers zu schließen. Außerdem führte eine höhere mentale Beanspruchung, die durch Nebenaufgaben verursacht wurde, zu einer verminderten Vigilanz bei der Erkennung von Zielreizen, und diese Variation bei der Erkennung von Zielreizen bestätigte den Einfluss der mentalen Beanspruchung auf das Wachsamkeitsniveau des Fahrers. Auf der Grundlage der Machbarkeit eines aufgabenunabhängigen Beanspruchung-Klassifikators wird schließlich in der dritten Studie eine Online-Studie zur Erkennung der mentalen Beanspruchung durchgeführt, in der die Auswirkung einer Echtzeitwarnung, auf der Grundlage der Beanspruchungsklassifizierung, auf die Reaktion bei Übernahmeanfragen untersucht wurde. Diese Studie untersuchte die Auswirkungen des Auftretens der Rückmeldungen auf die Übernahmeleistung des Fahrers in einem simulierten hochautomatisierten Fahrszenario. Die Ergebnisse zeigten, dass es möglich war, die Beanspruchungsstufen des Fahrers in Echtzeit mit dem aufgabenunabhängigen Beanspruchung-Klassifikator zu identifizieren. Darüber hinaus haben sich die Online-Rückmeldungen zum Überlastungszustand als nützlich erwiesen, um die Übernahmeleistung des Fahrers zu verbessern. Außerdem bestätigten subjektive Bewertungen des Auftretens der Rückmeldungen auch seine positive Wirkung. Aus diesen drei Studien konnten wir schließen, dass es möglich ist, die mentale Beanspruchung und Vigilanz des Fahrers während des hochautomatisierten Fahrens durch Analyse von Gehirnsignalen zu messen, und dadurch die Übernahmeleistung des Fahrers zu verbessern. Die Ergebnisse dieser Studien könnten zur Gestaltung der Fahrer-Fahrzeug-Interaktion beim hochautonomen Fahren beitragen, indem sie die mentalen Zustände des Fahrers beim Wechseln der Modus identifizieren und daher die Sicherheit und das Benutzererlebnis des Fahrers verbessern.
Subject(s): driver mental states
mental workload
vigilance
highly automated driving
brain signals
mentale Zustände des Fahrers
mentale Beanspruchung
Vigilanz
hochautomatisiertes Fahren
Hirnsignale
Issue Date: 2021
Date Available: 31-Mar-2021
Exam Date: 23-Feb-2021
Language Code: en
DDC Class: 158 Angewandte Psychologie
TU Affiliation(s): Fak. 5 Verkehrs- und Maschinensysteme » Inst. Psychologie und Arbeitswissenschaft » FG Mensch-Maschine-Systeme
Appears in Collections:Technische Universität Berlin » Publications

Files in This Item:
zhang_xixie.pdf
Format: Adobe PDF | Size: 8.48 MB
DownloadShow Preview
Thumbnail

Item Export Bar

This item is licensed under a Creative Commons License Creative Commons