A system for expressive spectro-spatial sound synthesis
| dc.contributor.author | Coler, Henrik von | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Weinzierl, Stefan | |
| dc.contributor.referee | Puckette, Miller | |
| dc.contributor.referee | Schwarz, Diemo | |
| dc.date.accepted | 2020-12-10 | |
| dc.date.accessioned | 2021-03-25T10:59:51Z | |
| dc.date.available | 2021-03-25T10:59:51Z | |
| dc.date.issued | 2021 | |
| dc.description.abstract | The GLOOO system is a holistic digital musical instrument for spatial sound synthesis, considering a control device, a real time synthesis algorithm with a related modeling procedure and the integration of sound reproduction systems. Statistical Spectral Modeling is introduced as a novel method for transferring a sample library of musical instrument sounds into a data model for the application in expressive synthesis systems. A custom sample library of anechoic violin sounds has been produced to generate the model used within this project. Centerpiece of the instrument is a multi-channel synthesis software, implementing the Statistical Spectral Synthesis algorithm in C++. All spectral components of the synthesis software are dynamically routed to multiple outputs and sent to a third party spatial rendering software. This allows the realization of Spectro-Spatial Sound Synthesis - the integrated spectral synthesis of sound with dynamic spatial distribution properties, controlled through a set of shared control parameters. Expressive control over synthesis and spatialization is enabled through a custom-designed haptic developed in an interdisciplinary team. Within a user study, participants had the opportunity to create individual mappings between interface and spatial synthesis, using a visual programming environment. Control and synthesis parameters of the system as well as the mapping strategies of different users were investigated. Results show a preference for specific sensor units of the control device and for specific connections between control and synthesis parameters. Case examples reveal different mapping types, including the high confidence mapper, the exploring mapper and the confused mapper. The full system can be considered an environment for further studies on human-computer interaction in musical contexts. | en |
| dc.description.abstract | Das G LOOO System ist ein holistisches digitales Musikinstrument für räumliche Klangsynthese, in welchem ein Kontrollgerät, ein Synthesealgorithmus mit zugehörigem Modellierungsverfahren sowie die Einbindung von Lautsprechersystemen berücksichtigt werden. Statistical Spectral Modeling wird als neue Methode vorgestellt, um eine Sample-Bibliothek von Musikinstrumentenklängen in ein spektrales Klangmodell für die Verwendung in expressiven Echtzeitynthesesystemen zu überführen. Eine Datenbank mit hallfreien Violinenklängen, welche explizit auf dieses Verfahren zugeschnitten ist, wurde für die Nutzung mit dem Analysesystem produziert. Zentraler Bestandteil des Instruments ist eine Synthese-Software, in welcher der Statistical Spectral Synthesis Algorithmus in der Programmiersprache C++ implementiert ist. Diese Software bietet eine hohe Anzahl von Ausgangskanälen für die einzelnen Komponenten der spektralen Synthese. Die Ausgänge des Synthesizers werden an eine vorhandene Rendering-Software geleitet, mittels der sich die spektralen Komponenten dynamisch verräumlichen lassen. Der Begriff Spectro-Spatial Sound Synthesis beschreibt die dadurch ermöglichte Form der Synthese, in der spektrale und räumliche Eigenschaften auf einer frühen Ebene durch einen gemeinsamen Strom von Kontrolldaten gesteuert werden. Für die expressive Kontrolle von Synthese und Verräumlichung wurde von einem interdisziplinären Team ein haptisches Interface entwickelt. Im Rahmen einer Nutzerstudie wurden von Teilnehmer*innen über eine visuelle Programmierumgebung individuelle Verknüpfungen zwischen dem Interface und dem räumlichen Synthesesystem hergestellt. In der Auswertung der Ergebnisse zeigen sich Präferenzen für bestimmte Verbindungen und Komponenten des Interfaces. Darüber hinaus lassen sich die Strategien der Teilnehmer*innen während dieses Vorgangs analysieren. In Fallbetrachtungen wurden die Nutzertypen High Confidence Mapper, Exploring Mapper und Confused Mapper identifiziert. Das gesamte System eignet sich darüber hinaus für weitere Studien zur Mensch-Computer-Interaktion im musikalischen Kontext. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/12531 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-11350 | |
| dc.language.iso | en | en |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-sa/4.0/ | en |
| dc.subject.ddc | 006 Spezielle Computerverfahren | de |
| dc.subject.other | sound synthesis | en |
| dc.subject.other | spatial audio | en |
| dc.subject.other | human computer interaction | en |
| dc.subject.other | musical interface | en |
| dc.subject.other | Klangsynthese | de |
| dc.subject.other | Raumklang | de |
| dc.subject.other | Mensch-Computer-Interaktion | de |
| dc.subject.other | musikalisches Interface | de |
| dc.title | A system for expressive spectro-spatial sound synthesis | en |
| dc.title.translated | Ein System für expressive spektral-räumliche Klangsynthese | en |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | free | en |
| tub.affiliation | Fak. 1 Geistes- und Bildungswissenschaften::Inst. Sprache und Kommunikation::FG Audiokommunikation | de |
| tub.affiliation.faculty | Fak. 1 Geistes- und Bildungswissenschaften | de |
| tub.affiliation.group | FG Audiokommunikation | de |
| tub.affiliation.institute | Inst. Sprache und Kommunikation | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |