Steered mixture-of-experts for image and light field representation, processing, and coding

dc.contributor.advisorLambert, Peter
dc.contributor.advisorSikora, Thomas
dc.contributor.authorVerhack, Ruben
dc.contributor.grantorTechnische Universität Berlinen
dc.contributor.grantorGhent University, Belgiumen
dc.contributor.refereeWallendael, Glenn van
dc.contributor.refereeObermeyer, Klaus
dc.contributor.refereeGuillemot, Christine
dc.contributor.refereeMacq, Jean-François
dc.contributor.refereeWauters, Tim
dc.date.accepted2020-04-28
dc.date.accessioned2020-12-18T13:44:39Z
dc.date.available2020-12-18T13:44:39Z
dc.date.issued2020
dc.description.abstractVirtual reality for camera-recorded scenes is fundamentally different from the VR experience of, for example, computer games. The problem is much more challenging due to the scene's lack of geometric knowledge. Currently, 360-degree video is the primary form of immersive experience of camera-recorded images (CC-VR), but it is not yet sufficient for a full VR experience. More specifically, viewers can only look around, but the location of their head is fixed. As such, there is a great interest in overcoming these limitations, thus giving the viewer the ability to navigate between objects in a large complex space and even walk through doors. This thesis proposes a new universal method for displaying and encoding a wide range of image modalities designed in a future-proof manner to enable CC-VR in the future. First, a theoretical explanation is given about requirements for such experiences and the shortcomings of the current paradigms. The new representation is then illustrated for lower-dimensional images (eg images) and further applied to more immersive image modalities (eg 360 ° images and light fields). Finally, an encoding method is presented to efficiently store, transmit and broadcast such images.en
dc.description.abstractDie virtuelle Realität für mit der Kamera aufgenommene Szenen unterscheidet sich grundlegend von der VR-Erfahrung von beispielsweise Computerspielen. Das Problem ist aufgrund des Mangels an geometrischem Wissen in der Szene viel schwieriger. Derzeit ist 360-Grad-Video die primäre Form des immersiven Erlebens von mit Kamera aufgenommenen Bildern (CC-VR), reicht jedoch noch nicht für ein vollständiges VR-Erlebnis aus. Betrachter können sich nämlich nur umschauen, aber die Position ihres Kopfes ist festgelegt. Daher besteht ein großes Interesse daran, diese Einschränkungen zu überwinden, sodass der Betrachter in einem großen komplexen Raum zwischen Objekten navigieren und sogar durch Türen gehen kann. Diese Arbeit schlägt eine neue universelle Methode zur Anzeige und Codierung einer Vielzahl von Bildmodalitäten vor, die zukunftssicher gestaltet sind, um CC-VR in Zukunft zu ermöglichen. Zunächst wird eine theoretische Erklärung zu den Anforderungen an solche Erfahrungen und den Mängeln der aktuellen Paradigmen gegeben. Die neue Darstellung wird dann für Bilder mit niedrigeren Dimensionen (z. B. Bilder) dargestellt und weiter auf immersivere Bildmodalitäten (z. B. 360 ° -Bilder und Lichtfelder) angewendet. Schließlich wird ein Codierungsverfahren vorgestellt, um solche Bilder effizient zu speichern, zu übertragen und zu senden.de
dc.identifier.isbn978-94-6355-367-4
dc.identifier.urihttps://depositonce.tu-berlin.de/handle/11303/11386
dc.identifier.urihttp://dx.doi.org/10.14279/depositonce-10270
dc.language.isoenen
dc.rights.urihttp://rightsstatements.org/vocab/InC/1.0/en
dc.subject.ddc600 Technik, Technologiede
dc.subject.otherlight fielden
dc.subject.othervirtual realityen
dc.subject.othermixture-of-expertsen
dc.subject.otherimage codingen
dc.subject.othervideo codingen
dc.subject.othervirtuelle Realitätde
dc.subject.otherExpertenmischungde
dc.subject.otherBildkodierungde
dc.subject.otherVideokodierungde
dc.titleSteered mixture-of-experts for image and light field representation, processing, and codingen
dc.title.subtitlea universal approach for immersive experiences of camera-captured scenesen
dc.title.translatedSteered Mixture-of-Experts für die Repräsentation, Verarbeitung und Codierung von Bildern und Lichtfeldernde
dc.title.translatedsubtitleein universeller Ansatz für das immersive Erlebnis von Szenen aufgenommen mit Kamerasde
dc.typeDoctoral Thesisen
dc.type.versionacceptedVersionen
tub.accessrights.dnbfreeen
tub.affiliationFak. 4 Elektrotechnik und Informatik::Inst. Telekommunikationssysteme::FG Nachrichtenübertragungde
tub.affiliation.facultyFak. 4 Elektrotechnik und Informatikde
tub.affiliation.groupFG Nachrichtenübertragungde
tub.affiliation.instituteInst. Telekommunikationssystemede
tub.publisher.universityorinstitutionTechnische Universität Berlinen

Files

Original bundle
Now showing 1 - 1 of 1
Loading…
Thumbnail Image
Name:
verhack_ruben.pdf
Size:
42.66 MB
Format:
Adobe Portable Document Format
Description:
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
4.9 KB
Format:
Item-specific license agreed upon to submission
Description:

Collections