Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-1113
Main Title: 3D-Kopfposenschätzung in monochromatischen Videosequenzen geringer Auflösung
Translated Title: 3D Head Pose Estimation in Monochromatic, Low Resolution Video Sequences
Author(s): Gründig, Martin
Advisor(s): Hellwich, Olaf
Granting Institution: Technische Universität Berlin, ehemalige Fakultät VI - Bauingenieurwesen und Angewandte Geowissenschaften
Type: Doctoral Thesis
Language: German
Language Code: de
Abstract: Diese Arbeit befasst sich mit modellbasierten Bildverarbeitungsansätzen zur Detektion und Tracking der Position und Orientierung von menschlichen Köpfen bezüglich einer Kamera in allen 6 Freiheitsgraden. Durch die Kombination und Modifikation verschiedener bestehender Ansätze sowie die Entwicklung neuer Techniken wird ein automatisiertes System zur Detektion und Tracking der Kopfpose in monochromatischen Videosequenzen geringer Auflösung vorgestellt. Der vorgestellte Ansatz besteht aus einer Initialisierungsphase und einer Trackingphase. Im Zuge der Initialisierung wird die Kopfpose detektiert, ohne dass Vorwissen über das Aussehen und die Pose des Kopfes. Die Initialisierung ist begrenzt auf ein Orientierungsfenster von +/- 20° Abweichung von einer Frontalansicht. In der Trackingphase bestehen keine Restriktionen bezüglich der Kopforientierungen, es sind jedoch Näherungswerte für die Pose erforderlich. Die Leistungsfähigkeit unterschiedlicher merkmalsbasierter und texturbasierter Techniken wurde bezüglich variabler Beleuchtung, variabler Auflösung, Kopfbewegungen unterschiedlicher Geschwindigkeit und unterschiedlichen Testpersonen untersucht. Bei einer Auflösung der Köpfe von 100x60 Pixel im Bild wurde in der Initialisierung eine Detektionsrate von 79,19% bei einer False-Positive-Rate von 4,2% erzielt. Die erreichten Genauigkeiten bei Initialisierung und Tracking sind <5° für Rotationen und 25mm für Translationen. Der größte Beitrag dieser Arbeit liegt im Bereich der beleuchtungs- und personeninvarianten Modellierung der Gesichtstextur unter Berücksichtigung der Gesichtssymmetrie. In diesem Zusammenhang wurden 2 neue Ansätze entwickelt. Die Erscheinung der Gesichter in den Bildern wird modelliert über ein 3D Kopfmodell in Zusammenhang mit einem Texturmodell. Unter der Annahme von lambertscher Reflexion und Gesichtssymmetrie wird sowohl analytisch als auch experimentell nachgewiesen, dass Texturdifferenzen zwischen linker und rechter Gesichtshälfte auf einer Linie (eindimensionaler Untervektorraum) im hochdimensionalen Raum der Gesichtstexturen liegen. Im Gegensatz dazu liegen die Gesichtstexturen selbst in einem dreidimensionalen Untervektorraum. Es wird somit gezeigt, dass durch die Verwendung von Texturdifferenzen die Modellierung der Textur eines variabel beleuchteten Gesichtes auf ein eindimensionales Problem reduziert werden kann. In einem ähnlichen Ansatz wird gezeigt dass ein personeninvariantes Gesichtstexturmodell erhalten werden kann wenn der Quotient zwischen linker und rechter Gesichtshälfte als Texturrepräsentation herangezogen wird. Diese Erkenntnisse sind auch für andere Anwendungen der Computer Vision von Interesse. Vor allem der Einsatz für eine beleuchtungsinvariante Gesichtserkennung erscheint viel versprechend und wäre zu untersuchen.
This thesis investigates model based image processing approaches to detect and track the position and orientation of a human head with respect to a camera in all 6 degrees of freedom. Through the combination and modification of different existing approaches as well as the invention of new techniques a fully automated system to detect and track the head pose (position and orientation) in low resolution video sequences is being presented. The presented approach consists of an initialization stage and a tracking stage. During the initialization the head pose is detected without any information about appearance and approximate pose of the head. The initialization is restricted to an orientation window of +/- 20° deviation from a frontal view. During the tracking stage no restrictions with respect to head orientations apply but approximate values are necessary. The performance of different feature based and texture based techniques is being evaluated with respect to varying illumination, low image resolution, fast movements and varying users. The head usually covering about 100 x 60 pixel, a detection rate of 79,19% at a false positive rate of 4,2% could be achieved during the initialization. The achieved accuracy for initialization and tracking is <5 .in rotation and 25mm in translation. The main contributions of this work lie in the field of illumination and person invariant modelling of face texture using face symmetry. 2 new techniques have been developed. The appearance of faces in images are modelled by a 3D head model in conjunction with a texture model. Assuming lambertian reflection and face symmetry, it is shown analytically as well as in experiments that texture differences between the left and the right half of a face under varying illumination do lie on a line (1 dimensional subspace) in the high-dimensional space of face textures, while the textures themselves lie in a 3 dimensional subspace. This shows that by using texture differences the modelling of face illumination can be reduced to a one dimensional problem. In a similar way it is shown that a person invariant face texture model can be received if the quotient between the left and the right half of the texture is used as a representation. These new findings could also be of increased interest for other applications in computer vision. Especially the use in illumination invariant face recognition seems promising and remains to be investigated.
URI: urn:nbn:de:kobv:83-opus-10107
http://depositonce.tu-berlin.de/handle/11303/1410
http://dx.doi.org/10.14279/depositonce-1113
Exam Date: 18-Feb-2005
Issue Date: 28-Jun-2005
Date Available: 28-Jun-2005
DDC Class: 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
Subject(s): 3D Kopfmodell
Geringe Auflösung
Kopfpose
Symmetrie
Video Tracking
3D Head model
Head Pose
Low resolution
Symmetry
Video Tracking
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 6 Planen Bauen Umwelt » Publications

Files in This Item:
File Description SizeFormat 
Dokument_20.pdf11,96 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.