Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-3452
Main Title: Verhaltenswirksamkeit von Likelihood Alarmsystemen
Translated Title: Behavioural Effects of Likelihood Alarm Systems
Author(s): Wiczorek, Rebecca
Advisor(s): Manzey, Dietrich
Granting Institution: Technische Universität Berlin, Fakultät V - Verkehrs- und Maschinensysteme
Type: Doctoral Thesis
Language: German
Language Code: de
Abstract: In sicherheitsrelevanten Arbeitsumgebungen kommen Alarmsysteme zum Einsatz, die die Operateure bei Überwachungsaufgaben unterstützen, um es ihnen zu ermöglichen, sich parallelen Arbeitsaufgaben zu widmen. Um das Übersehen kritischer Ereignisse zu vermeiden, verfügen die meisten binären Alarmsysteme über niedrige Schwellen, bei deren Überschreitung ein Alarm ausgelöst wird. Das führt dazu, dass diese Systeme viele falsche Alarme generieren. Die Alarmsysteme werden von den Operateuren als unzuverlässig wahrgenommen. Das kann sowohl zu unsicheren als auch zu unproduktiven Verhaltensweisen führen. Es kommt vor, dass Operateure verlangsamt oder gar nicht mehr auf die Alarme reagieren. Besteht hingegen die Möglichkeit die Diagnosen der Alarmsysteme mithilfe von Zusatzinformationen zu validieren, neigen Operateure dazu, den Großteil der Alarme zu überprüfen. Durch das zeitaufwendige Prüfen werden parallele Arbeitsaufgaben vernachlässigt. Diese Probleme können mit binären Alarmsystemen nicht gelöst werden. Als Alternative wurden deswegen sogenannte Likelihood Alarmsysteme (LAS) vorgeschlagen, die über mehr als zwei Meldungs-Stufen verfügen. Die Stufen des LAS unterscheiden sich bezüglich der Wahrscheinlichkeit, (likelihood) mit der sie tatsächlich ein kritisches Ereignis anzeigen. Dadurch können sie die Operateure besser bei der Entscheidung unterstützen, wie diese auf einen Alarm reagieren sollen. Das Ziel dieser Arbeit ist es, die Auswirkungen von LAS in Bezug auf Sicherheit und Produktivität zu untersuchen. Dazu wurden drei laborexperimentelle Studien mit einer PC-basierten Mehrfachaufgaben-Simulationsumgebung durchgeführt. Die Probanden bearbeiteten mehrere Aufgaben parallel, die kognitive Anforderungen von Leitwartenoperateuren simulierten. Das erste Experiment adressierte die Frage, welchen Nutzen LAS für die Alarm- und die Parallelaufgabe erbringt. Dazu wurde ein dreistufiges LAS mit einem binären Alarmsystem unter der Bedingung mit und ohne Prüfoption verglichen. Das LAS führte sowohl in der Alarm- als auch in der Parallelaufgabe zu einer besseren Leistung als das binäre System, wenn keine Prüfmöglichkeit zur Verfügung stand. Mit Prüfmöglichkeit unterschied sich die Leistung in der Alarmaufgabe nicht zwischen den Systemen und war signifikant besser als ohne Prüfoption. Das binäre System führte unter dieser Bedingung zu einer schlechteren Leistung in der Parallelaufgabe als das LAS. Beim LAS kam es unter beiden Bedingungen zu einer Verhaltensdifferenzierung gegenüber Alarmen und Warnungen, die zu den Unterschieden in der Leistung führten. Im zweiten und dritten Experiment wurde untersucht, wie verschiedene Schwellensetzungen bei LAS sich auf das Verhalten der Probanden und ihre Leistung in beiden Aufgaben auswirken. Verglichen wurden drei LAS mit unterschiedlicher zweiter Schwelle. Sie unterschieden sich in Hinblick auf ihre PPVs (positive predictive value) das heißt, die Wahrscheinlichkeit, mit der sie tatsächlich ein kritisches Ereignis anzeigen. Zusätzlich wurde die Belastung variiert. Im zweiten Experiment stand den Probanden keine Prüfoption zur Verfügung. Im dritten Experiment konnten sie die Diagnosen des LAS validieren. In keinem der Experimente zeigten sich Unterschiede zwischen den drei LAS in Bezug auf die Leistung in der Alarm- oder der Parallelaufgabe. Allerdings führten die drei LAS zu Unterschieden in der Häufigkeit der verschiedenen Fehlerarten, die die Probanden im Umgang mit dem jeweiligen Alarmsystem machten. Die Probanden, die mit dem LAS arbeiteten, welches über die höchste Alarm-PPV verfügte, ignorierten am meisten kritische Ereignisse, was sich unter höherer Belastung noch verstärkte. Das LAS mit der niedrigsten Alarm-PPV führte hingen dazu, dass die Probanden häufiger unnötige Bedienhandlungen ausführten, allerdings nur, wenn eine Prüfoption zur Verfügung stand. Die Schwellensetzung bei LAS hat demnach einen Einfluss auf die Art der Fehler, welche vermehrt von den Probanden im Umgang mit dem jeweiligen Alarmsystem begangen werden. Dieses Wissen kann bei der Implementierung von LAS in der Praxis genutzt werden, um kontextangemessene Designlösungen zu gewährleiten. Der größte Nutzen für Sicherheit und Produktivität ergibt sich aus einer Kombination von LAS mit der Möglichkeit zur Validierung der Diagnosen. Die Schwellensetzung bzw. Wahl der Alarm-PPV sollte in Abhängigkeit der Anforderungen der spezifischen Arbeitsumgebung erfolgen. In sicherheitsrelevanten Kontexten, in denen das Ignorieren kritischer Ereignisse schwerer wiegt als unnötige Handlungen der Operateure, sollte niedrigen Alarm-PPV gewählt werden. Um in der Produktion unnötige, zeitaufwendige Handlungen zu vermeiden, sollte hingegen einer hohen Alarm-PPV der Vorzug gegeben werden.
Alarm systems represent essential elements of all safety related working environments. They are designed to monitor systems or situations, enabling operators to engage in concurrent work tasks. In order to not miss any critical event, engineers usually design alarm systems with (liberal) low threshold settings. As an inevitable consequence, such systems produce a high number of false alarms. When operators realize that most alerts are rather false alarms, it can result in unsafe or unproductive behavior. Operators react slower to a given alarm or completely ignore its occurrence. On the contrary, when they have the possibility to evaluate the alarm by cross-checking with other information, operators tend to validate nearly every given alarm. While controlling the system advices, they neglect their other work tasks. It is impossible to resolve that tradeoff between safety and productivity with the use of classical binary alarm systems. The alternative concept of likelihood alarm systems (LAS) has been proposed as a solution. LAS contain more than two alert stages. Each stage represents a different likelihood for truly indicating a critical event. Thus, LAS can provide a better basis for operators’ decision on when and how to respond to a given alert. The aim of this dissertation project was to investigate the potential benefits of LAS regarding safety and productivity. Within the scope of this dissertation three laboratory studies were conducted with a PC-based multi-task simulation environment. Participants had to perform different tasks simultaneously which simulated the typical cognitive demands of control room operators in a chemical plant. The first experiment addressed the question whether the use of LAS would lead to an increased performance in respect to both, the alert-task and the concurrent tasks. One three-stage LAS was compared with an ordinary binary alarm system under two conditions: with and without cross-check possibilities. Results showed that participants trusted the LAS more than the binary system even though both systems had the same reliability. Performance with the LAS was significantly higher for both the alert-task and the concurrent task when no cross-check option was provided. With a cross-check possibility, both systems likewise led to a significantly higher alert-task performance than without it. However, under this condition the binary system led to a significantly poorer performance in the concurrent task compared to the LAS. When participants operated the LAS in the cross-check condition, they only validated the low likelihood warnings and responded directly to the high likelihood alarms. This behavioral differentiation led to an increase in productivity while maintaining a high level of safety. In the second and third experiment, it was investigated how different threshold settings would influence participants’ behavior and performance of both tasks. By varying the second threshold, three LAS were designed which differed in regard to the PPV (positive predictive value) of the alarms and warnings respectively, i.e. the probability to truly indicate a critical event. These three LAS were compared under different workload conditions. In the second experiment, no cross-check option was available. In the third experiment, participants could cross-check diagnoses. In both experiments, no differences could be found in regard to concurrent task performance. The same was true for the general alert-task performance. However, significant differences with respect to the nature of errors participants committed with the three LAS were revealed. Operating the system with the high alarm-PPV, participants ignored more real critical events. This effect was more pronounced under the high workload condition. In the low alarm-PPV condition, participants committed more unnecessary actions. That was only true when a cross-check option was available. The threshold setting was found to have an important impact on participants’ willingness to commit different types of errors in regard to alarm handling. The three empirical studies produced important results regarding the theoretical knowledge about LAS as well as practical implications with respect to the future use of such systems. With the use of LAS, it is possible to increase the productivity while maintaining high levels of safety. The maximal benefit of LAS can be achieved when operators are given the opportunity to retrieve further information to validate system diagnoses. The critical issue in the concrete design of LAS is the threshold setting because it guides operators’ willingness to take unnecessary actions as well as to ignore real critical events. To avoid the latter behavior, liberal thresholds should be implemented in order to obtain low alarm-PPVs. A high alarm-PPV resulting from a conservative threshold setting is more desirable in order to prevent unnecessary time consuming actions.
URI: urn:nbn:de:kobv:83-opus-37974
http://depositonce.tu-berlin.de/handle/11303/3749
http://dx.doi.org/10.14279/depositonce-3452
Exam Date: 14-Nov-2012
Issue Date: 19-Dec-2012
Date Available: 19-Dec-2012
DDC Class: 500 Naturwissenschaften und Mathematik
Subject(s): Abgestufte Warnungen
Likelihood Alarmsysteme
Mensch-Maschine-Interaktion
Signaldetektionstheorie
Graded Warnings
Human-Machine-Interaction
Likelihood Alarm Systems
Signal Detection Theory
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 5 Verkehrs- und Maschinensysteme » Institut für Psychologie und Arbeitswissenschaft » Publications

Files in This Item:
File Description SizeFormat 
Dokument_22.pdf3.32 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.