Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-5209
Main Title: Rendering-optimized compression of depth signals for 3D video
Translated Title: Rendering-optimierte Kompression von Tiefensignalen für 3D Video
Author(s): Merkle, Philipp
Advisor(s): Wiegand, Thomas
Referee(s): Wiegand, Thomas
Ohm, Jens-Rainer
Sjöström, Mårten
Granting Institution: Technische Universität Berlin
Type: Doctoral Thesis
Language Code: en
Abstract: The topic of this thesis originates from the fields of 3D video and video compression. It is particularly related to multiview video plus depth (MVD) as a 3D video representation that comprises both texture and geometry information of the scene, on the one hand, and to the H.265/High Efficiency Video Coding (HEVC) standard, on the other hand. Video coding algorithms like HEVC are highly optimized for the statistics and the subjective perception of natural video and, consequently, not fully suitable for the efficient compression of depth signals. In this thesis, a rendering-optimized coding method for depth signals as part of the 3D video extension of HEVC (3D-HEVC) is developed and studied. The approach is motivated by the observation that the characteristics of depth signals differ from those of natural video signals. In this regard, the results of a comparative, statistical analysis reveal that depth signals particularly feature sharp edges along object borders and large areas of nearly constant or slowly varying values, while video signals contain more higher frequency textures. Another relevant aspect is that distortions in video and depth signals have a considerably different effect on the perceived 3D video quality. The depth information in MVD serves to render perspectively consistent views, such that depth errors impair the resulting subjective quality only indirectly through geometry distortions in rendered views. In consideration of these specific depth characteristics, a consistent coding algorithm is developed based on the approach of approximating the signal of a depth block by geometric modeling functions. The coding algorithm essentially consists of two complementary modules that have been optimized for a high depth coding efficiency in terms of minimal artifacts in rendered views, namely a set of intra and inter-component prediction modes and a residual coding method in the spatial domain. The advantages of the developed method are demonstrated by a detailed study of different configurations and applications. Overall, a considerable improvement in the quality of synthesized views is achieved by preserving relevant depth features substantially better. This applies to both extending and completely replacing the conventional intra coding by the geometry-based depth coding method — the former has been adopted in the 3D-HEVC standard and the latter bridges the gap to 3D computer graphics applications.
Das Thema dieser Arbeit stammt aus den Fachgebieten 3D-Video und Videokompression. Sie bezieht sich einerseits auf Multiview Video plus Depth (MVD) als 3D-Repräsentation die sowohl Textur- als auch Geometrieinformationen der Szene umfasst und andererseits auf den H.265/High Efficiency Video Coding (HEVC) Standard. Algorithmen zur Videokodierung wie HEVC sind hochgradig auf die Statistik und die subjektive Wahrnehmung von natürlichem Video optimiert und infolgedessen nur bedingt zur effizienten Kompression von Tiefensignalen geeignet. In dieser Arbeit wird ein Rendering-optimiertes Kodierverfahren für Tiefensignale als Teil der 3D-Video Erweiterung von HEVC (3D-HEVC) entwickelt und untersucht. Der Ansatz ist durch die Beobachtung motiviert, dass sich die Eigenschaften von Tiefensignalen von denen natürlicher Videosignale unterscheiden. Diesbezüglich zeigen die Ergebnisse einer vergleichenden, statistischen Analyse, dass sich Tiefensignale insbesondere durch scharfe Kanten entlang der Objektgrenzen und große Bereiche mit annähernd konstanten oder sich langsam verändernden Werten auszeichnen, während Videosignale mehr höherfrequente Texturen aufweisen. Ein weiterer wichtiger Aspekt ist, dass sich Verzerrungen in Video- und Tiefensignalen sehr unterschiedlich auf die wahrgenommene 3DVideoqualität auswirken. Die Tiefeninformation in MVD dient dazu perspektivisch konsistente Ansichten zu rendern, so dass Fehler in den Tiefen die resultierende subjektive Qualität nur indirekt durch Geometrieverzerrungen in den gerenderten Ansichten beeinträchtigen. Unter Berücksichtigung dieser spezifischen Tiefenmerkmale, wird ein konsistenter Kodieralgorithmus, basierend auf dem Ansatz, das Signal eines Tiefenblocks durch geometrische Modellierungsfunktionen zu approximieren, entwickelt. Der Kodieralgorithmus besteht im Wesentlichen aus zwei aufeinander abgestimmten Modulen, die für eine hohe Kodiereffizienz, im Sinne von minimalen Artefakten in gerenderten Ansichten, optimiert wurden, nämlich einer Reihe von Intra- und Interkomponenten-Prädiktionsmodi und einem Verfahren zur Restfehlerkodierung im Ortsbereich. Die Vorteile des entwickelten Verfahrens werden durch eine ausführliche Untersuchung unterschiedlicher Konfigurationen und Anwendungen aufgezeigt. Insgesamt wird eine erhebliche Verbesserung der Qualität von synthetisierten Ansichten erzielt, indem relevante Tiefenmerkmale wesentlich besser erhalten bleiben. Dies gilt sowohl für die Erweiterung als auch das vollständige Ersetzen der konventionellen Intrakodierung durch das geometriebasierte Tiefenkodierverfahren — ersteres ist in den 3D-HEVC Standard übernommen worden und letzteres schlägt eine Brücke zu 3D-Computergrafik-Anwendungen.
URI: http://depositonce.tu-berlin.de/handle/11303/5580
http://dx.doi.org/10.14279/depositonce-5209
Exam Date: 9-Jun-2016
Issue Date: 2016
Date Available: 22-Jun-2016
DDC Class: DDC::600 Technik, Medizin, angewandte Wissenschaften::620 Ingenieurwissenschaften::620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
Subject(s): 3D video coding
high efficiency video coding
multiview video plus depth
depth intra coding
inter component prediction
3D Videokodierung
HEVC
MVD
Intrakodierung von Tiefenkarten
Interkomponenten-Prädiktion
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Telekommunikationssysteme » Publications

Files in This Item:
File Description SizeFormat 
merkle_philipp.pdf31.53 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.