Thumbnail Image

Apples and oranges : a methodological framework for basic research into audiovisual perception

Maempel, Hans-Joachim

In recent years, increased efforts have been made to investigate the various aspects of audiovisual perception. In general, highly-specific variables are considered, and specific paradigms and methods are applied. Thus, connecting results of various experiments is not always possible in a systematic manner, and several related research fields still lack comprehensive theories and corresponding strategies. Based on prototypical research questions a methodological framework has been developed that differentiates two ontological realms (a physical and a perceptual), two modalities (sound and vision), and the modal specificity of physical properties and perceptual features. It may be further differentiated by introducing several physical and perceptual processing stages and be extended by introducing perceptual feedback loops and the dimension of time. The framework supports the empirical investigation of well-directed effects and interaction effects based on modally-balanced experimental designs in order to progressively model audiovisual perception. Additionally, methodological issues such as operationalization, design paradigms, optoacoustic congruence and optoacoustic commensurability are discussed. As an example of application, a technical research tool is introduced whose development was exclusively geared to the proposed methodological guidelines and that allows for the experimental investigation of fundamental questions on audiovisual perception: The Virtual Concert Hall.
In den letzten Jahren wurden verstärkt verschiedene Aspekte der audiovisuellen Wahrnehmung erforscht. Dabei wurden zum Teil hochspezifische Variablen untersucht und spezielle Paradigmen und Methoden angewandt. Die entsprechenden Forschungsergebnisse sind daher untereinander schwer anschlussfähig mit der Folge, dass sich über die einzelnen Forschungsfelder hinaus bislang weder eine umfassende Theorie der audiovisuellen Wahrnehmung noch eine gemeinsame Forschungsstrategie formiert hat. Auf der Grundlage prototypischer Forschungsfragen wurde ein methodologisches Gerüst entwickelt, das Unterscheidungen zwischen zwei ontologischen Bereichen (einem physischen und einem perzeptiven), zwei Modalitäten (Hören und Sehen) sowie verschiedenen Stufen modaler Spezifität von physikalischen Eigenschaften und Wahrnehmungsmerkmalen erlaubt. Es kann durch die Einführung mehrerer physikalischer und perzeptiver Verarbeitungsstufen differenziert und durch die Einführung perzeptiver Rückkopplungsmechanismen und der zeitlichen Dimension erweitert werden. Das Gerüst bildet die empirische Untersuchung wohlgerichteter Effekte und Interaktionseffekte auf der Basis modal balancierter Versuchsdesigns ab und soll so zur schrittweisen Modellierung audiovisueller Wahrnehmung beitragen. Darüber hinaus werden potentiell problematische methodologische Aspekte wie Operationalisierung, Design-Paradigmen, optoakustische Kongruenz und optoakustische Kommensurabilität diskutiert. Als Anwendungsbeispiel wird ein technisches Forschungswerkzeug vorgestellt, dessen Entwicklung ausschließlich an den vorgestellten methodologischen Kriterien orientiert war und das die experimentelle Untersuchung grundlegender Fragen audiovisueller Wahrnehmung erlaubt: Der Virtuelle Konzertsaal.
  • This is a preprint of an article accepted for publication in Jahrbuch des Staatlichen Instituts fĂĽr Musikforschung 2016, ed. by Simone Hohmaier, Mainz et al.: Schott. Estimated publication date: Spring 2018.
Creative Commons Attribution 4.0 (CC BY)Creative Commons Attribution 4.0 (CC BY)

Version History

Now showing 1 - 2 of 2
VersionDateSummary
2019-12-17 15:46:13
add publisher metadata
2017-11-13 10:47:32