Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-6424
Main Title: Apples and oranges : a methodological framework for basic research into audiovisual perception
Translated Title: Äpfel und Birnen : ein methodologisches Gerüst für die Grundlagenforschung zur audiovisuellen Wahrnehmung
Author(s): Maempel, Hans-Joachim
Type: Preprint
Language Code: en
Abstract: In recent years, increased efforts have been made to investigate the various aspects of audiovisual perception. In general, highly-specific variables are considered, and specific paradigms and methods are applied. Thus, connecting results of various experiments is not always possible in a systematic manner, and several related research fields still lack comprehensive theories and corresponding strategies. Based on prototypical research questions a methodological framework has been developed that differentiates two ontological realms (a physical and a perceptual), two modalities (sound and vision), and the modal specificity of physical properties and perceptual features. It may be further differentiated by introducing several physical and perceptual processing stages and be extended by introducing perceptual feedback loops and the dimension of time. The framework supports the empirical investigation of well-directed effects and interaction effects based on modally-balanced experimental designs in order to progressively model audiovisual perception. Additionally, methodological issues such as operationalization, design paradigms, optoacoustic congruence and optoacoustic commensurability are discussed. As an example of application, a technical research tool is introduced whose development was exclusively geared to the proposed methodological guidelines and that allows for the experimental investigation of fundamental questions on audiovisual perception: The Virtual Concert Hall.
In den letzten Jahren wurden verstärkt verschiedene Aspekte der audiovisuellen Wahrnehmung erforscht. Dabei wurden zum Teil hochspezifische Variablen untersucht und spezielle Paradigmen und Methoden angewandt. Die entsprechenden Forschungsergebnisse sind daher untereinander schwer anschlussfähig mit der Folge, dass sich über die einzelnen Forschungsfelder hinaus bislang weder eine umfassende Theorie der audiovisuellen Wahrnehmung noch eine gemeinsame Forschungsstrategie formiert hat. Auf der Grundlage prototypischer Forschungsfragen wurde ein methodologisches Gerüst entwickelt, das Unterscheidungen zwischen zwei ontologischen Bereichen (einem physischen und einem perzeptiven), zwei Modalitäten (Hören und Sehen) sowie verschiedenen Stufen modaler Spezifität von physikalischen Eigenschaften und Wahrnehmungsmerkmalen erlaubt. Es kann durch die Einführung mehrerer physikalischer und perzeptiver Verarbeitungsstufen differenziert und durch die Einführung perzeptiver Rückkopplungsmechanismen und der zeitlichen Dimension erweitert werden. Das Gerüst bildet die empirische Untersuchung wohlgerichteter Effekte und Interaktionseffekte auf der Basis modal balancierter Versuchsdesigns ab und soll so zur schrittweisen Modellierung audiovisueller Wahrnehmung beitragen. Darüber hinaus werden potentiell problematische methodologische Aspekte wie Operationalisierung, Design-Paradigmen, optoakustische Kongruenz und optoakustische Kommensurabilität diskutiert. Als Anwendungsbeispiel wird ein technisches Forschungswerkzeug vorgestellt, dessen Entwicklung ausschließlich an den vorgestellten methodologischen Kriterien orientiert war und das die experimentelle Untersuchung grundlegender Fragen audiovisueller Wahrnehmung erlaubt: Der Virtuelle Konzertsaal.
URI: https://depositonce.tu-berlin.de//handle/11303/7131
http://dx.doi.org/10.14279/depositonce-6424
Issue Date: 2017
Date Available: 15-Nov-2017
DDC Class: DDC::100 Philosophie und Psychologie::150 Psychologie::150 Psychologie
DDC::600 Technik, Medizin, angewandte Wissenschaften::600 Technik::600 Technik, Technologie
DDC::700 Künste und Unterhaltung::700 Künste::700 Künste, Bildende und angewandte Kunst
Subject(s): multimodal perception
audiovisual interaction
methodology
virtual reality
room simulation
multimodale Wahrnehmung
audiovisuelle Interaktion
Methodologie
virtuelle Realität
Raumsimulation
Sponsor/Funder: DFG, MA 4343/1-1, Audio-visual perception of acoustical environments
Creative Commons License: https://creativecommons.org/licenses/by/3.0/de/
Notes: This is a preprint of an article accepted for publication in Jahrbuch des Staatlichen Instituts für Musikforschung 2016, ed. by Simone Hohmaier, Mainz et al.: Schott. Estimated publication date: Spring 2018.
Appears in Collections:Simulation and Evaluation of Acoustical Environments (SEACEN) » Publications

Files in This Item:
File Description SizeFormat 
Maempel_Hans-Joachim.pdf472.67 kBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons