Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-5273
Main Title: Modeling modality selection in multimodal human-computer interaction
Subtitle: extending automated usability evaluation tools for multimodal input
Translated Title: Modellierung der Modalitätenwahl bei multimodaler Mensch-Computer-Interaktion
Translated Subtitle: Erweiterung von Tools zur automatischen Usability Evaluation für multimodale Eingabe
Author(s): Schaffer, Stefan
Advisor(s): Möller, Sebastian
Thüring, Manfred
Referee(s): Möller, Sebastian
Thüring, Manfred
Jokinen, Kristiina
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: In this work the following three basic research questions are discussed: (1) can significant effects of modality efficiency and input performance on the selection of input modalities in multimodal HCI be disclosed by unified experimental investigations? (2) Can a utility-driven computational model of modality selection be formed based on empirical data? (3) Can the compiled model for modality selection be utilized for the practical application in the field of automated usability evaluation? Initially, foundations of decision-making in multimodal HCI are discussed, and the state of the art in automatic usability evaluation (AUE) is described. It is shown that there are currently no uniform empirical results on factors influencing modality choice that allow for the creation of a computational model. As part of this work two AUE tools, the MeMo workbench and CogTool, are extended by a newly created computational model for the simulation of multimodal HCI. Aiming at answering the first research question, the empirical part of the thesis describes three experiments with a mobile application integrating touch screen and speech input. In summary the results indicate that modality efficiency and input performance are important moderators of modality choice. The second research question is answered by the derivation of a utility-driven model for input modality choice in multimodal HCI based on the empirical data. The model provides probability estimations of modality usage, based on different levels of the parameters modality efficiency and input performance. Four variants of the model that differ in training data are tested. The analysis reveals a considerable fit for models based on averaged modality usage data. Answering the third research question it is illustrated how the modality choice model can be deployed within AUE tools for simulating multimodal interaction. The multimodal extension as well as the practical utilization of MeMo is depicted, and it is described how unimodal CogTool models of touch screen and speech based interaction can be rendered into multimodal models. A comparison of data generated by simulations with the AUE tools with predictions of the derived modality selection algorithm verifies the correct integration of the model into the tools. The practical application discloses the usefulness of the modality choice model for the prediction of the number of steps and the total time spent to solve specific tasks with multimodal systems. The practical part is concluded by a comparison of Memo and CogTool. Both tools are classified, and an assessment on a subjective basis as well as on the the basis of the quality of predictions is conducted. Summary and outlook condense the added value provided by the thesis, and identify starting points for future work.
In dieser Arbeit werden die folgenden drei grundlegenden Forschungsfragen diskutiert: (1) können durch vereinheitlichte experimentelle Untersuchungen signifikante Auswirkungen der Modalitäteneffizienz und der Performanz der Eingabemodalität auf die Auswahl von Eingabemodalitäten in multimodaler Mensch-Computer Interaktion offengelegt werden? (2) kann auf der Grundlage empirischer Daten ein Utility-gesteuertes Rechenmodell der Modalitätenwahl gebildet werden? (3) Kann das erstellte Modell für die Modalitätenwahl auf dem Gebiet der automatischen Bewertung der Benutzerfreundlichkeit (Usability) praktisch eingesetzt werden? Zunächst werden Grundlagen der Entscheidungsfindung in multimodaler Mensch- Computer-Interaktion diskutiert, und der Stand der Technik in der automatischen Usability Evaluation (AUE) beschrieben. Es wird aufgezeigt, dass bisher keine einheitlichen empirischen Ergebnisse zu Einflussfaktoren der Modalitätenwahl vorhanden sind, die die Erzeugung eines Rechenmodells ermöglichen. Im Rahmen dieser Arbeit werden zwei AUE Werkzeuge, die MeMo Werkbank und CogTool, durch ein neu erstelltes Computermodell zur Simulation von multimodaler Mensch- Computer-Interaktion erweitert. Mit dem Ziel, der Beantwortung der ersten Forschungsfrage, werden im empirischen Teil der Arbeit drei Experimente mit einer mobilen Anwendung beschrieben, welche Touchscreen- und Spracheingabe integriert. Zusammenfassend zeigen die Ergebnisse, dass sowohl die Modalitäteneffizienz als auch die Performanz der Eingabemodalitäten wichtige Einflussfaktoren der Modalitätenwahl sind. Die zweite Forschungsfrage wird durch die Herleitung eines Utility-gesteuerten Modells zur Auswahl von Eingabemodalitäten in multimodaler Mensch-Computer- Interaktion auf der Grundlage der empirischen Daten beantwortet. Das Modell liefert Wahrscheinlichkeitsschätzungen der Modalitätennutzung, basierend auf unterschiedlichen Niveaus der Parameter Modalitäteneffizienz und Performanz der Eingabemodalität. Vier Varianten des Modells, die sich in den Trainingsdaten unterscheiden, werden untersucht. Die Analyse zeigt eine beträchtliche Vorhersagegüte für die Modelle die auf gemittelten Modalitätennutzungsdaten basieren. Zur Beantwortung der dritten Forschungsfrage wird dargestellt, wie das Modell für die Modalitätenwahl zur Simulation multimodaler Interaktion in AUE Werkzeugen eingesetzt werden kann. Die Erweiterungen für Multimodalität sowie die praktische Nutzung von MeMo werden aufgezeigt, und es wird beschrieben, wie unimodale CogTool Modelle für Touchscreen- und sprachbasierte Interaktion in multimodale Modelle überführt werden können. Ein Vergleich der Daten, die durch Simulation mit den AUE Werkzeugen erzeugt werden, mit den Vorhersagen des hergeleiteten Modalitätenwahlalgorithmus, bestätigt die korrekte Integration des Modells in die Werkzeuge. Bei der praktischen Anwendung durch die AUE Werkzeuge erweist sich die Nutzbarkeit des Modells für die Vorhersage der Anzahl von Schritten und der Bearbeitungszeit bestimmter Aufgaben mit multimodalen Systemen. Der praktische Teil wird mit einem Vergleich von Memo und CogTool abgeschlossen bei dem die Werkzeuge zunächst einordnet werden, und dann anhand der Vorhersagegüte sowie subjektiv beurteilt werden. Zusammenfassung und Ausblick kondensieren den Mehrwert dieser Doktorarbeit und zeigen Ansatzpunkte für die zukünftige Forschung auf.
URI: http://depositonce.tu-berlin.de/handle/11303/5653
http://dx.doi.org/10.14279/depositonce-5273
Exam Date: 3-Jun-2016
Issue Date: 2016
Date Available: 24-Jun-2016
DDC Class: DDC::000 Informatik, Informationswissenschaft, allgemeine Werke::000 Informatik, Wissen, Systeme::006 Spezielle Computerverfahren
Subject(s): human-computer interaction
multimodal
modality selection
modeling
Mensch-Computer-Interaktion
multimodal
Modalitätenwahl
Modellierung
Sponsor/Funder: DFG, GRK 1013, Prospektive Gestaltung von Mensch-Technik-Interaktion (prometei)
Creative Commons License: https://creativecommons.org/licenses/by/4.0/
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Softwaretechnik und Theoretische Informatik » Publications

Files in This Item:
File Description SizeFormat 
schaffer_stefan.pdf8.95 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.