Modeling modality selection in multimodal human-computer interaction

dc.contributor.advisorMöller, Sebastian
dc.contributor.advisorThüring, Manfred
dc.contributor.authorSchaffer, Stefan
dc.contributor.grantorTechnische Universität Berlinen
dc.contributor.refereeMöller, Sebastian
dc.contributor.refereeThüring, Manfred
dc.contributor.refereeJokinen, Kristiina
dc.date.accepted2016-06-03
dc.date.accessioned2016-06-24T11:21:25Z
dc.date.available2016-06-24T11:21:25Z
dc.date.issued2016
dc.description.abstractIn this work the following three basic research questions are discussed: (1) can significant effects of modality efficiency and input performance on the selection of input modalities in multimodal HCI be disclosed by unified experimental investigations? (2) Can a utility-driven computational model of modality selection be formed based on empirical data? (3) Can the compiled model for modality selection be utilized for the practical application in the field of automated usability evaluation? Initially, foundations of decision-making in multimodal HCI are discussed, and the state of the art in automatic usability evaluation (AUE) is described. It is shown that there are currently no uniform empirical results on factors influencing modality choice that allow for the creation of a computational model. As part of this work two AUE tools, the MeMo workbench and CogTool, are extended by a newly created computational model for the simulation of multimodal HCI. Aiming at answering the first research question, the empirical part of the thesis describes three experiments with a mobile application integrating touch screen and speech input. In summary the results indicate that modality efficiency and input performance are important moderators of modality choice. The second research question is answered by the derivation of a utility-driven model for input modality choice in multimodal HCI based on the empirical data. The model provides probability estimations of modality usage, based on different levels of the parameters modality efficiency and input performance. Four variants of the model that differ in training data are tested. The analysis reveals a considerable fit for models based on averaged modality usage data. Answering the third research question it is illustrated how the modality choice model can be deployed within AUE tools for simulating multimodal interaction. The multimodal extension as well as the practical utilization of MeMo is depicted, and it is described how unimodal CogTool models of touch screen and speech based interaction can be rendered into multimodal models. A comparison of data generated by simulations with the AUE tools with predictions of the derived modality selection algorithm verifies the correct integration of the model into the tools. The practical application discloses the usefulness of the modality choice model for the prediction of the number of steps and the total time spent to solve specific tasks with multimodal systems. The practical part is concluded by a comparison of Memo and CogTool. Both tools are classified, and an assessment on a subjective basis as well as on the the basis of the quality of predictions is conducted. Summary and outlook condense the added value provided by the thesis, and identify starting points for future work.en
dc.description.abstractIn dieser Arbeit werden die folgenden drei grundlegenden Forschungsfragen diskutiert: (1) können durch vereinheitlichte experimentelle Untersuchungen signifikante Auswirkungen der Modalitäteneffizienz und der Performanz der Eingabemodalität auf die Auswahl von Eingabemodalitäten in multimodaler Mensch-Computer Interaktion offengelegt werden? (2) kann auf der Grundlage empirischer Daten ein Utility-gesteuertes Rechenmodell der Modalitätenwahl gebildet werden? (3) Kann das erstellte Modell für die Modalitätenwahl auf dem Gebiet der automatischen Bewertung der Benutzerfreundlichkeit (Usability) praktisch eingesetzt werden? Zunächst werden Grundlagen der Entscheidungsfindung in multimodaler Mensch- Computer-Interaktion diskutiert, und der Stand der Technik in der automatischen Usability Evaluation (AUE) beschrieben. Es wird aufgezeigt, dass bisher keine einheitlichen empirischen Ergebnisse zu Einflussfaktoren der Modalitätenwahl vorhanden sind, die die Erzeugung eines Rechenmodells ermöglichen. Im Rahmen dieser Arbeit werden zwei AUE Werkzeuge, die MeMo Werkbank und CogTool, durch ein neu erstelltes Computermodell zur Simulation von multimodaler Mensch- Computer-Interaktion erweitert. Mit dem Ziel, der Beantwortung der ersten Forschungsfrage, werden im empirischen Teil der Arbeit drei Experimente mit einer mobilen Anwendung beschrieben, welche Touchscreen- und Spracheingabe integriert. Zusammenfassend zeigen die Ergebnisse, dass sowohl die Modalitäteneffizienz als auch die Performanz der Eingabemodalitäten wichtige Einflussfaktoren der Modalitätenwahl sind. Die zweite Forschungsfrage wird durch die Herleitung eines Utility-gesteuerten Modells zur Auswahl von Eingabemodalitäten in multimodaler Mensch-Computer- Interaktion auf der Grundlage der empirischen Daten beantwortet. Das Modell liefert Wahrscheinlichkeitsschätzungen der Modalitätennutzung, basierend auf unterschiedlichen Niveaus der Parameter Modalitäteneffizienz und Performanz der Eingabemodalität. Vier Varianten des Modells, die sich in den Trainingsdaten unterscheiden, werden untersucht. Die Analyse zeigt eine beträchtliche Vorhersagegüte für die Modelle die auf gemittelten Modalitätennutzungsdaten basieren. Zur Beantwortung der dritten Forschungsfrage wird dargestellt, wie das Modell für die Modalitätenwahl zur Simulation multimodaler Interaktion in AUE Werkzeugen eingesetzt werden kann. Die Erweiterungen für Multimodalität sowie die praktische Nutzung von MeMo werden aufgezeigt, und es wird beschrieben, wie unimodale CogTool Modelle für Touchscreen- und sprachbasierte Interaktion in multimodale Modelle überführt werden können. Ein Vergleich der Daten, die durch Simulation mit den AUE Werkzeugen erzeugt werden, mit den Vorhersagen des hergeleiteten Modalitätenwahlalgorithmus, bestätigt die korrekte Integration des Modells in die Werkzeuge. Bei der praktischen Anwendung durch die AUE Werkzeuge erweist sich die Nutzbarkeit des Modells für die Vorhersage der Anzahl von Schritten und der Bearbeitungszeit bestimmter Aufgaben mit multimodalen Systemen. Der praktische Teil wird mit einem Vergleich von Memo und CogTool abgeschlossen bei dem die Werkzeuge zunächst einordnet werden, und dann anhand der Vorhersagegüte sowie subjektiv beurteilt werden. Zusammenfassung und Ausblick kondensieren den Mehrwert dieser Doktorarbeit und zeigen Ansatzpunkte für die zukünftige Forschung auf.de
dc.description.sponsorshipDFG, GRK 1013, Prospektive Gestaltung von Mensch-Technik-Interaktion (prometei)en
dc.identifier.urihttps://depositonce.tu-berlin.de/handle/11303/5653
dc.identifier.urihttp://dx.doi.org/10.14279/depositonce-5273
dc.language.isoenen
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/en
dc.subject.ddc006 Spezielle Computerverfahrende
dc.subject.otherhuman-computer interactionen
dc.subject.othermultimodalen
dc.subject.othermodality selectionen
dc.subject.othermodelingen
dc.subject.otherMensch-Computer-Interaktionde
dc.subject.othermultimodalde
dc.subject.otherModalitätenwahlde
dc.subject.otherModellierungde
dc.titleModeling modality selection in multimodal human-computer interactionen
dc.title.subtitleextending automated usability evaluation tools for multimodal inputen
dc.title.translatedModellierung der Modalitätenwahl bei multimodaler Mensch-Computer-Interaktionde
dc.title.translatedsubtitleErweiterung von Tools zur automatischen Usability Evaluation für multimodale Eingabede
dc.typeDoctoral Thesisen
dc.type.versionacceptedVersionen
tub.accessrights.dnbfreeen
tub.affiliationFak. 4 Elektrotechnik und Informatik::Inst. Softwaretechnik und Theoretische Informatikde
tub.affiliation.facultyFak. 4 Elektrotechnik und Informatikde
tub.affiliation.instituteInst. Softwaretechnik und Theoretische Informatikde
tub.publisher.universityorinstitutionTechnische Universität Berlinen

Files

Original bundle
Now showing 1 - 1 of 1
Loading…
Thumbnail Image
Name:
schaffer_stefan.pdf
Size:
8.74 MB
Format:
Adobe Portable Document Format
Description:
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
5.75 KB
Format:
Item-specific license agreed upon to submission
Description:

Collections