Loading…
Filling disocclusions in extrapolated virtual views using advanced texture synthesis methods
Köppel, Martin
Stereoscopic Three Dimensional (3-D) video technologies have been established in the mainstream. Many cinemas already show movies in 3-D. Due to the higher visual information, 3-D video technology is increasingly used in other application areas, e.g. medical and logistical applications. However, the need to wear additional glasses to create a 3-D impression for the viewer is regarded as a major obstacle for 3-D video in home environments. The same applies to medical technology where surgery devices or safety goggles hinder the use of additional 3-D glasses. New technologies such as autostereoscopic displays, however, allow the viewer to receive a 3-D impression without the need to wear additional glasses by showing a number of slightly different views (currently 5-32) simultaneously. Since usually only a few real cameras (1-3) are available, the missing views must be calculated. For this purpose, Depth Image-based Rendering (DIBR) can be used to synthesize a number of different perspectives of the same scene, e.g., from a Multiview Video plus Depth (MVD) representation. This MVD format consists of video and depth sequences for a limited number of original camera views of the same natural scene. An inherent problem of the view synthesis concept is the fact that image information which is occluded in the original views may become visible, especially in extrapolated views beyond the viewing range of the original cameras. The presented approaches synthesize these disoccluded textures. The synthesizers achieve visually satisfying results by taking spatial and temporal consistency measures into account. For this purpose, solutions for sequences with both static and dynamic backgrounds are presented. Detailed experiments show significant objective and subjective gains of the proposed methods in comparison to state-of-the-art approaches.
Stereoskopische 3-D Technologien haben sich mittlerweile im Mainstream etabliert. Viele Kinos zeigen bereits Filme in 3-D. Aufgrund des hohen visuellen Informationsgehaltes werden 3-D Video Technologien zudem immer häufiger in medizinische und logistische Applikationen integriert. Die Notwendigkeit, eine zusätzliche Brille tragen zu müssen, um einen 3-D Eindruck beim Betrachter zu erzeugen, wird jedoch als großes Hindernis für die Etablierung von 3-D Video im Heimbereich betrachtet. Ähnliches gilt für die Medizintechnik, wo Operationsgeräte oder Schutzbrillen die Verwendung zusätzlicher 3-D Brillen behindern. Neue Technologien, wie autostereoskopische Displays, ermöglichen es dem Zuschauer mittlerweile einen 3-D Eindruck zu vermitteln, ohne dass dieser eine zusätzliche Brille tragen muss. Hierbei werden mehrere Ansichten (derzeit 5-32) einer Szene aus leicht verschobenen Blickwinkeln ausgestrahlt. Da oft nur wenige (1-3) originale Kamerapositionen vorliegen, müssen die Ansichten für die fehlenden Positionen errechnet werden. Hierfür können Depth Image-based Rendering (DIBR) Verfahren verwendet werden. Diese synthetisieren eine Anzahl von unterschiedlichen Perspektiven der gleichen Szene, beispielsweise für das Multiview-Video-plus-Tiefe (MVD) Format. Das MVD Format besteht aus einer begrenzten Anzahl von Videosequenzen derselben Szene und deren zugehörigen Tiefenkarten. Ein Kernproblem beim Rendern mit wenigen Ansichten und den zugehörigen Tiefenkarten besteht jedoch darin, dass in den virtuellen Ansichten Bereiche sichtbar werden, die in allen Originalansichten verdeckt sind. Die vorgestellten Ansätze synthetisieren diese aufgedeckten Bereiche. Die Synthesizer berechnen die neuen Texturen unter Berücksichtigung räumlicher und zeitlicher Kohärenzen. Es werden Syntheseverfahren für Sequenzen mit statischen und dynamischen Hintergründen vorgestellt. Detaillierte Experimente zeigen, dass die vorgestellten Verfahren erhebliche objektive und subjektive Gewinne im Vergleich zu Verfahren erzielen, die dem aktuellen Stand der Technik entsprechen.
