Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-1990
Main Title: Übersteigertes Vertrauen in Automation: Der Einfluss von Fehlererfahrungen auf Complacency und Automation Bias
Translated Title: Overtrust in Automation: The Impact of Failure Experience on Complacency and Automation Bias
Author(s): Bahner, Jennifer Elin
Advisor(s): Manzey, Dietrich
Granting Institution: Technische Universität Berlin, Fakultät V - Verkehrs- und Maschinensysteme
Type: Doctoral Thesis
Language: German
Language Code: de
Abstract: Durch die zunehmende Zuverlässigkeit automatisierter Systeme konnte in den vergangenen Jahren eine Vielzahl potenzieller Fehlerquellen der Mensch-Maschine Interaktion reduziert werden. Zugleich sind dadurch jedoch auch neue Risiken entstanden: Gerade bei hoch reliablen automatisierten Systemen besteht die Gefahr eines übersteigerten Vertrauens in das System, wobei complacency und automation bias mögliche Folgen auf Verhaltensebene darstellen. Complacency stammt aus dem Kontext klassischer monitoring-Aufgaben. Zu verstehen ist darunter eine unzureichende Überwachung oder Überprüfung der Automation, die zu einem Übersehen kritischer Systemzustände führen kann. Demgegenüber stammt das Konzept automation bias aus dem Kontext der Nutzung von Entscheidungsassistenzsystemen. Gefasst werden darunter zwei verschiedene Fehlertypen: Während commission Fehler darin bestehen, dass ein Operateur einer fehlerhaften Empfehlung eines Assistenzsystems folgt, äußern sich omission Fehler darin, dass kritische Systemzustände übersehen werden, sofern diese vom Assistenzsystem nicht angezeigt werden. Trotz der engen konzeptuellen Nähe von complacency und automation bias, sind die Phänomene bislang nur getrennt voneinander empirisch untersucht worden. Zentrales Anliegen der vorliegenden Arbeit war es, methodische Schwächen bisheriger Studien zu überwinden und einen Beitrag zu einer empirisch fundierten Klärung der Konzepte complacency und automation bias sowie des Bezugs der Konzepte untereinander zu leisten. Darüber hinaus wurden mögliche Gegenmaßnahmen im Sinne von Automationsfehlern im Training untersucht. Zwei experimentelle Studien (jeweils N = 24) wurden durchgeführt, wobei eine Mikrowelt als Versuchsumgebung diente, in der die Probanden bei der Detektion, Diagnose und Behebung von Fehlfunktionen einer Prozessteuerung durch ein Assistenzsystem unterstützt wurden. In der ersten Studie wurde der Einfluss von Fehldiagnosen im Training untersucht, während im zweiten Experiment der Einfluss von Systemausfällen im Fokus stand. Die Ergebnisse dieser beiden Studien lassen folgende Schlussfolgerungen zu: 1) Complacency stellt im Sinne einer unzureichenden Überwachung eine Ursache für omission Fehler und im Sinne einer unzureichenden Überprüfung einen beitragenden Faktor für die Entstehung von commission Fehlern dar. 2) Die Erfahrung von Automationsfehlern während des Trainings reduziert das Auftreten von complacency, verhindern es jedoch nicht gänzlich. 3) Automationsfehler wirken spezifisch: Während Fehldiagnosen im Training zu einer verbesserten Überprüfung der Diagnosefunktion des Assistenzsystems führen, bleibt die Überwachung der Alarmfunktion dadurch unbeeinflusst. Demgegenüber führen Ausfälle des Assistenzsystems im Training später zu einer vermehrten Überwachung der Alarmfunktion, nicht aber zu einer verbesserten Diagnoseüberprüfung. Dies gilt es bei der Gestaltung von Trainingsmaßnahmen zu berücksichtigen.
Over the past few years the increasing reliability of automated systems has led to a decrease of potential sources of error in human-machine interaction. Yet, at the same time, new risks have evolved: Particularly for highly reliable automation, there is a risk of over-trust in automation with complacency and automation bias as potential behavioural consequences. The concept of complacency originates from classical monitoring settings and refers to an insufficient monitoring or cross-checking of the automation which might lead to the miss of critical system states in case of automation failure. In contrast, the concept of automation bias originates from settings where decision aids are used and refers to two different error types: The first one involves so called commission errors, i. e. when operators follow a recommendation of an automated aid even though this recommendation is wrong. The second one has been described as omission error which occurs when operators do not monitor the system and fail to notice problems if the automated aid fails to alert them. Despite the close conceptual relation, complacency and auto-mation bias have only been investigated independently of each other so far. The main objective of the present work was to overcome methodological weaknesses of the available research and to contribute to an empirical clarification of the two concepts complacency and automation bias, and their interrelation. Furthermore, preventive countermeasures in terms of automation failures during training were investigated. Two experiments (each N = 24) were conducted with a micro world serving as a task environment. In this task environment the detection, diagnosis and management of occurring faults in a process control task were assisted by an automated decision aid. The first experiment served to investigate the impact of experiences of false diagnoses of this aid whereas the second experiment focussed on the impact of experiences of automation misses during training. The following conclusions can be drawn from the results of these studies: 1) Complacency in terms of an insufficient monitoring represents a possible cause for omission errors while complacency in terms of an insufficient verification contributes to the occurrence of commission errors. 2) The experience of automation failures during training reduces complacency. However, this intervention does not prevent complacent behaviour completely. 3) Automation failures exhibit a specific effect: While false diagnoses during training enhance the operators’ verification behaviour with regard to the diagnostic function of the aid, they do not affect the operators monitoring behaviour with regard to the aid’s alarm function. Yet, automation misses during training enhance the monitoring of the alarm function but do not af-fect the verification of the diagnostic function of the decision aid. This specific effect of automation failures has to be considered in the design of training interventions.
URI: urn:nbn:de:kobv:83-opus-20133
http://depositonce.tu-berlin.de/handle/11303/2287
http://dx.doi.org/10.14279/depositonce-1990
Exam Date: 11-Sep-2008
Issue Date: 2-Oct-2008
Date Available: 2-Oct-2008
DDC Class: 150 Psychologie
Subject(s): Assistenzsystem
Automationspsychologie
Human Factors
Mensch-Maschine-Interaktion
Vertrauen
Automation Psychology
Decision Aid
Human Factors
Human-Machine Interaction
Trust
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 5 Verkehrs- und Maschinensysteme » Institut für Psychologie und Arbeitswissenschaft » Publications

Files in This Item:
File Description SizeFormat 
Dokument_44.pdf4,39 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.