Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-6424.2
For citation please use:
Main Title: Apples and oranges : a methodological framework for basic research into audiovisual perception
Author(s): Maempel, Hans-Joachim
Type: Book Part
Language Code: en
Abstract: In recent years, increased efforts have been made to investigate the various aspects of audiovisual perception. In general, highly-specific variables are considered, and specific paradigms and methods are applied. Thus, connecting results of various experiments is not always possible in a systematic manner, and several related research fields still lack comprehensive theories and corresponding strategies. Based on prototypical research questions a methodological framework has been developed that differentiates two ontological realms (a physical and a perceptual), two modalities (sound and vision), and the modal specificity of physical properties and perceptual features. It may be further differentiated by introducing several physical and perceptual processing stages and be extended by introducing perceptual feedback loops and the dimension of time. The framework supports the empirical investigation of well-directed effects and interaction effects based on modally-balanced experimental designs in order to progressively model audiovisual perception. Additionally, methodological issues such as operationalization, design paradigms, optoacoustic congruence and optoacoustic commensurability are discussed. As an example of application, a technical research tool is introduced whose development was exclusively geared to the proposed methodological guidelines and that allows for the experimental investigation of fundamental questions on audiovisual perception: The Virtual Concert Hall.
In den letzten Jahren wurden verstärkt verschiedene Aspekte der audiovisuellen Wahrnehmung erforscht. Dabei wurden zum Teil hochspezifische Variablen untersucht und spezielle Paradigmen und Methoden angewandt. Die entsprechenden Forschungsergebnisse sind daher untereinander schwer anschlussfähig mit der Folge, dass sich über die einzelnen Forschungsfelder hinaus bislang weder eine umfassende Theorie der audiovisuellen Wahrnehmung noch eine gemeinsame Forschungsstrategie formiert hat. Auf der Grundlage prototypischer Forschungsfragen wurde ein methodologisches Gerüst entwickelt, das Unterscheidungen zwischen zwei ontologischen Bereichen (einem physischen und einem perzeptiven), zwei Modalitäten (Hören und Sehen) sowie verschiedenen Stufen modaler Spezifität von physikalischen Eigenschaften und Wahrnehmungsmerkmalen erlaubt. Es kann durch die Einführung mehrerer physikalischer und perzeptiver Verarbeitungsstufen differenziert und durch die Einführung perzeptiver Rückkopplungsmechanismen und der zeitlichen Dimension erweitert werden. Das Gerüst bildet die empirische Untersuchung wohlgerichteter Effekte und Interaktionseffekte auf der Basis modal balancierter Versuchsdesigns ab und soll so zur schrittweisen Modellierung audiovisueller Wahrnehmung beitragen. Darüber hinaus werden potentiell problematische methodologische Aspekte wie Operationalisierung, Design-Paradigmen, optoakustische Kongruenz und optoakustische Kommensurabilität diskutiert. Als Anwendungsbeispiel wird ein technisches Forschungswerkzeug vorgestellt, dessen Entwicklung ausschließlich an den vorgestellten methodologischen Kriterien orientiert war und das die experimentelle Untersuchung grundlegender Fragen audiovisueller Wahrnehmung erlaubt: Der Virtuelle Konzertsaal.
URI: https://depositonce.tu-berlin.de/handle/11303/7131.2
http://dx.doi.org/10.14279/depositonce-6424.2
Issue Date: 2019
Date Available: 15-Nov-2017
18-Dec-2019
DDC Class: 150 Psychologie
600 Technik, Technologie
700 Künste, Bildende und angewandte Kunst
Subject(s): multimodal perception
audiovisual interaction
methodology
virtual reality
room simulation
multimodale Wahrnehmung
audiovisuelle Interaktion
Methodologie
virtuelle Realität
Raumsimulation
Sponsor/Funder: DFG, MA 4343/1-1, Audio-visual perception of acoustical environments
License: http://rightsstatements.org/vocab/InC/1.0/
Book Title: Jahrbuch 2016 des Staatlichen Instituts für Musikforschung Preußischer Kulturbesitz
Editor: Hohmaier, Simone
Publisher: Schott Music GmbH & Co. KG
Publisher Place: Mainz
Page Start: 361
Page End: 377
ISBN: 978-3-7957-0078-2
ISSN: 0572-6239
Notes: (c) 2019 Schott Music GmbH & Co. KG. Mit freundlicher Genehmigung
Appears in Collections:FOR 1557 - SEACEN » Publications

Files in This Item:
Maempel_Hans-Joachim.pdf
Format: Adobe PDF | Size: 274.6 kB
DownloadShow Preview

Version History
Version Item Date Summary
2 10.14279/depositonce-6424.2 2019-12-17 15:46:13.061 add publisher metadata
1 10.14279/depositonce-6424 2017-11-13 10:47:32.0
Item Export Bar

Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.