Microphone arrays and sound field decomposition for dynamic binaural recording
| dc.contributor.advisor | Weinzierl, Stefan | |
| dc.contributor.author | Bernschütz, Benjamin | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Weinzierl, Stefan | |
| dc.contributor.referee | Pörschmann, Christoph | |
| dc.contributor.referee | Spors, Sascha | |
| dc.date.accepted | 2016-02-15 | |
| dc.date.accessioned | 2016-04-08T12:13:28Z | |
| dc.date.available | 2016-04-08T12:13:28Z | |
| dc.date.issued | 2016 | |
| dc.description.abstract | This thesis discusses a field-related recording technique based on microphone arrays and orthogonal sound field decomposition that delivers a suitable description for dynamic binaural reproduction. Dynamic binaural reproduction refers to a mostly headphone-based reproduction method that allows for presenting localizable virtual sources and accounts for the head movements of the recipient in order to decouple them from the spatial orientation of the virtual auditory scene. Increased source localization and externalization stability can be regarded as primary advantages compared to classic static binaural reproduction. Spatially stationary or dynamic virtual sound sources can be presented that maintain their spatial positions or move in relation to a fixed external world coordinate system, which is independent from the recipient's head movements. Dynamic binaural reproduction requires either object-based audio production or specific field-related recording techniques. The focus of this thesis lies on the latter. Using microphone arrays paired with orthogonal sound field decomposition appears to be a particularly promising approach for field-related dynamic binaural recording. It is based on an elegant, closed-form mathematical solution and allows accounting for head-tracking in all rotational degrees-of-freedom during the playback of a recorded auditory scene. Theoretically, even translation of the recipient can be considered. The method inherently comprises individualization capabilities by employing individual head-related transfer functions (HRTFs) and allows for point-to-multipoint distribution. Due to the close mathematical relationship with higher-order Ambisonics (HOA), the respective formats and codecs can be used for storage and distribution of the audio data. The theoretical mathematical approach under ideal physical conditions is discussed and a closed-form solution is derived. Due to constraints in technical systems, such as discrete spatial sampling or noise in the signal paths for instance, ideal conditions cannot be maintained in practice. The major constraints are pointed out and their specific impact is analyzed and assessed. Various approaches for improving the transmission characteristics of the system are proposed and evaluated. The perceptual properties under dedicated technical constraints and realistic conditions are assessed in listening experiments. Optimal technical parameters for the system are also determined. It turns out that an array-based system for dynamic binaural recording with satisfying perceptual properties can be realized within reasonable technological and economical limits. | en |
| dc.description.abstract | Die Dissertation behandelt ein feldbezogenes räumliches Audioaufnahmeverfahren, das auf Mikrofonarrays und orthogonaler Schallfeldzerlegung beruht und eine geeignete Beschreibung für dynamische binaurale Wiedergabe liefert. Dynamische binaurale Wiedergabe bezeichnet ein meist kopfhörerbasiertes räumliches Audiowiedergabeverfahren zur Darbietung lokalisierbarer virtueller Schallquellen, das die Kopfbewegung des Rezipienten berücksichtigt, um sie von der räumlichen Orientierung der wiedergegeben virtuellen auditorischen Szene zu entkoppeln. Die wesentlichen Vorteile gegenüber statischer binauraler Wiedergabe bestehen in einer verbesserten Lokalisation und Externalisierung der virtuellen Quellen, sowie der Möglichkeit, statische oder dynamische virtuelle Quellen wiederzugeben, die unabhängig von der Kopfbewegung des Rezipienten ortsfest verbleiben oder sich in Bezug zu einem statischen weltbezogenen Koordinatensystem bewegen. Dynamische binaurale Wiedergabe setzt entweder objektbasierte Audioproduktion oder spezifische feldbezogene Aufnahmeverfahren voraus. Letztere liegen im Fokus dieser Arbeit. Der Einsatz von Mikrofonarrays in Kombination mit orthogonaler Schallfeldzerlegung stellt hierzu einen vielversprechenden Lösungsansatz dar. Das Verfahren beruht auf einer eleganten mathematisch geschlossenen Lösung. Kopfbewegungen des Rezipienten können in allen rotatorischen Freiheitsgraden berücksichtigt werden. In der Theorie lassen sich auch translatorische Freiheitsgrade einbeziehen. Durch Einsatz individueller kopfbezogener Übertragungsfunktionen (HRTFs) kann die Wiedergabe individualisiert werden. Das Verfahren eignet sich für Punkt-zu-Mehrpunkt Übertragung. Aufgrund enger mathematischer Verwandtschaft zum higher-order Ambisonics (HOA) Verfahren, lassen sich die dort eingesetzten Formate und Codecs zur Speicherung und Übertragung der Audiodaten nutzen. Unter Annahme idealer physikalischer Bedingungen wird zunächst der theoretische Ansatz diskutiert und eine mathematisch geschlossene Lösung abgeleitet. Aufgrund verschiedener Einschränkungen in technischen Systemen, wie beispielsweise raumdiskrete Abtastung oder Rauschen in den Signalwegen, sind in der Praxis allerdings keine idealen Bedingungen erzielbar. Die wichtigsten Einschränkungen werden aufgezeigt und ihr jeweiliger Einfluss auf das Systemverhalten untersucht. Verschiedene Methoden zur Verbesserung der Übertragungseigenschaften werden diskutiert. In Hörversuchen werden perzeptive Eigenschaften des Systems im Hinblick auf spezifische technische Einschränkungen sowie realistische Bedingungen evaluiert. Ferner werden optimale Systemparameter ermittelt. Es zeigt sich, dass arraybasierte Systeme für die feldbezogene dynamische Binauralaufnahme mit guten perzeptiven Eigenschaften unter vertretbarem technischen und wirtschaftlichen Aufwand realisierbar sind. | de |
| dc.description.sponsorship | BMBF, 1707X08, Analysis and Synthesis of the Directional Acoustic Properties of Rooms (ASAR) | en |
| dc.description.sponsorship | BMBF, 17009X11, Microphone Arrays for Room Acoustics and Auralization (MARA) | en |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/5407 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-5082 | |
| dc.language.iso | en | en |
| dc.rights.uri | https://creativecommons.org/licenses/by/4.0/ | en |
| dc.subject.ddc | 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten | de |
| dc.subject.ddc | 621 Angewandte Physik | de |
| dc.subject.other | microphone arrays | en |
| dc.subject.other | sound field decomposition | en |
| dc.subject.other | binaural technology | en |
| dc.subject.other | spatial audio | en |
| dc.subject.other | sound recording | en |
| dc.subject.other | mikrofonarrays | de |
| dc.subject.other | Schallfeldzerlegung | de |
| dc.subject.other | Binauraltechnik | de |
| dc.subject.other | 3D-Audio | de |
| dc.subject.other | Aufnahmetechnik | de |
| dc.title | Microphone arrays and sound field decomposition for dynamic binaural recording | en |
| dc.title.translated | Mikrofonarrays und Schallfeldzerlegung für die dynamische Binauralaufnahme | en |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | free | en |
| tub.affiliation | Fak. 1 Geistes- und Bildungswissenschaften::Inst. Sprache und Kommunikation | de |
| tub.affiliation.faculty | Fak. 1 Geistes- und Bildungswissenschaften | de |
| tub.affiliation.institute | Inst. Sprache und Kommunikation | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |