Please use this identifier to cite or link to this item: http://dx.doi.org/10.14279/depositonce-3468
Main Title: Calibration and Multipath Mitigation for Increased Accuracy of Time-of-Flight Camera Measurements in Robotic Applications
Translated Title: Erhöhung der Messgenauigkeit von Time‐of‐Flight‐Kameras mittels Kalibrierung und Kompensation von Mehrwegreflexionen
Author(s): Fuchs, Stefan
Advisor(s): Hellwich, Olaf
Granting Institution: Technische Universität Berlin, Fakultät IV - Elektrotechnik und Informatik
Type: Doctoral Thesis
Language: English
Language Code: en
Abstract: Die unter dem Titel "Calibration and Multipath Mitigation for Increased Accura- cy of Time-of-Flight Camera Measurements in Robotic Applications - Erhöhung der Messgenauigkeit von Time-of-Flight-Kameras in der Robotik mittels Kalibrierung und Kompensation von Mehrwegreflexionen" in englischer Sprache verfasste Dissertation diskutiert die systematischen Messfehler einer Time-of-Flight-(ToF)-Kamera und stellt zwei Ansätze zur Kompensation dieser Fehler vor. ToF-Kameras sind aktive, bildgebende Flächensensoren, die Grauwertbilder und Tiefenbilder mit einer Framerate von bis zu 50 Hz liefern. Diese Sensoren eignen sich nicht nur zur zweidimensionalen Bildverarbeitung sondern ermöglichen dreidimensionale Perzeption und wecken damit ein grosses Interesse in der Robotik. Diese Arbeit widmet sich den charakteristischen Messfehlern und entwirft ein passendes Fehlermodell. Der Fokus liegt auf zwei Fehlergruppen, die aufgrund ihrer Art der Entstehung unabhängig voneinander betrachtet und behandelt werden. Erstens werden die typischen, distalen intrinsischen Messfehler der ToF-Kamera beschrieben. Diese sind bedingt durch eine von der Theorie abweichende Realisierung des Messprozesses. Zweitens werden die ausserhalb der Kamera verursachten Mehrwegreflexionen analysiert. Zunächst entwirft die Dissertation ein Fehlermodell und einen entsprechenden Kalibrierprozess, welcher die so genannten distalen intrinsischen Parameter der Kamera identifiziert. Die ToF-Kamera ist naturgemäss auch ein bildgebender Sensor und am Endeffektor des Roboters befestigt. Daher müssen in mehreren Schritten neben den distalen Parametern ebenso die lateralen intrinsischen und extrinsischen Kameraparameter bestimmt werden. Deshalb sucht die Dissertation ein umfassendes Kalibrierverfahren, welches alle Kenngrössen in einem Schritt ermittelt - einzig auf der Grundlage der gemessenen Tiefenbilder ohne Extrahieren von Bildmerkmalen. Die Mehrwegreflexion ist von der Messumgebung abhängig und lässt sich a-priori nicht charakterisieren. Da sich das zur Messung notwendige Infrarotlicht ungehindert in der Szene ausbreitet, fangen Kamerapixel bereits mehrfach reflektiertes Licht ein. Dies schlägt sich in einem um Zentimeter verfälschten Messwert nieder. Die Arbeit beschreibt die Entstehung dieses Phänomens mit einem einfachen Modell. Hierbei werden ähnlich zu Radiosity- und Ray-Tracing-Verfahren der Computergrafik die Signalpfade der Kamerapixel zurückverfolgt. Dadurch lässt sich die zusätzliche, störende Signalkomponente pro Pixel schätzen und der Messwert korrigieren. Die Verbesserung der Messgenauigkeit durch beide Ansätze wird am Roboter experimentell untersucht. Die Verwendung dreier unterschiedlicher ToF-Kameras unterstreicht die Allgemeingültigkeit der implementierten Verfahren. Die Kalibrierergebnisse zeigen die Eignung des ToF-Fehlermodell zur Kompensation der systematischen Fehler. Allerdings ist der vorgeschlagene einstufige Kalibrieransatz in Robustheit und Genauigkeit der herkömmlichen Vorgehensweise unterlegen. Insgesamt wird eine Genauigkeit des ToF-Kamerasystems am Roboter von besser als 10 mm und 0.5 Grad erzielt. Die erfolgreiche Kompensation der Mehrwegreflexion um bis zu 80 % wird mit Experimenten zur Eigenbewegungsschätzung nachgewiesen. Abschliessend wird ein Nachweis zur Anwendungsmöglichkeit der Kalibrierung am Beispiel einer "Griff-in-die-Kiste"-Applikation gegeben.
This dissertation entitled "Calibration and Multipath Mitigation for Increased Ac- curacy of Time-of-Flight Camera Measurements in Robotic Applications" discusses the systematic measurement errors of a Time-of-Flight (ToF) camera and introduces two approaches to compensate for these errors. ToF cameras are active, imaging sensors, which provide depth images and monochromatic images with a frame rate up to 50 Hz. These devices allow not only for two-dimensional computer vision algorithms but also for three-dimensional perception and, thus, they arouse great interest in robotics. This work addresses the characteristic measurement errors and designs an appropriate error model. It focuses on two classes of errors, which are considered independently of each other. First, the typical, distal intrinsic ToF measurement errors are described. These are caused by the imperfect implementation of the measurement process. Second, the multipath reflections generated outside of the camera are analysed. To begin with, the dissertation designs a ToF camera error model and a corresponding calibration procedure that identifies the so-called distal intrinsic parameters. The ToF camera naturally is an imaging sensor and attached to the tool- centre-point of the robot. Besides the distal parameters, therefore, also the lateral intrinsic and the extrinsic parameters have to be identified in several steps. For this reason, the dissertation explores a holistic calibration procedure that calculates all parameters in one step - solely based on the depth images and managed without image feature extraction. Multipath depends on the vicinity of the sensor and cannot be characterised in advance. The infrared light unhamperedly propagates in the scene, hence, the cam- era pixels receive light that is reflected multiple times. This immanent phenomenon causes errors in the range of several centimetres. The dissertation explains the origination of multipath by means of an uncomplex model. For this purpose, the signal paths of the individual camera pixels are traced back similar to radiosity and ray-tracing approaches. This procedure allows for a calculation of the additional, interfering signal component and, thus, for a correction of the measurement. The improvement factor of the measurement accuracy thanks the two approaches is investigated experimentally. The usage of three distinct ToF devices accentuates the general validity of the approaches. The calibration outcomes demonstrate that the ToF error model is suited to compensate for the systematic errors. The one- step calibration procedure, however, is inferior to the common photogrammetric methods in terms of robustness and accuracy. In total, the accuracy of the robotic ToF camera system is better than 10 mm and 0.5 deg. The successful compensation for the multipath-related error by as much as 80 % is proved by means of ego- motion estimation experiments. Finally, a Bin-Picking application is presented, which provides evidence for the practicality of the ToF camera calibration.
URI: urn:nbn:de:kobv:83-opus-37748
http://depositonce.tu-berlin.de/handle/11303/3765
http://dx.doi.org/10.14279/depositonce-3468
Exam Date: 4-Jul-2012
Issue Date: 21-Dec-2012
Date Available: 21-Dec-2012
DDC Class: 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten
Subject(s): Bildverarbeitung
Kamerakalibrierung
Mehrwegreflexionen
ToF-Kamera
Calibration
Computer vision
Multipath
Robotics
ToF camera
Usage rights: Terms of German Copyright Law
Appears in Collections:Technische Universität Berlin » Fakultäten & Zentralinstitute » Fakultät 4 Elektrotechnik und Informatik » Institut für Technische Informatik und Mikroelektronik » Publications

Files in This Item:
File Description SizeFormat 
Dokument_46.pdf13.2 MBAdobe PDFThumbnail
View/Open


Items in DepositOnce are protected by copyright, with all rights reserved, unless otherwise indicated.