Analyzing and improving image-based 3D surface reconstruction challenged by weak texture or low illumination
| dc.contributor.advisor | Hellwich, Olaf | |
| dc.contributor.author | Aldeeb, Nader H. | |
| dc.contributor.grantor | Technische Universität Berlin | en |
| dc.contributor.referee | Hellwich, Olaf | |
| dc.contributor.referee | Hinz, Stefan | |
| dc.contributor.referee | Rottensteiner, Franz | |
| dc.date.accepted | 2020-10-28 | |
| dc.date.accessioned | 2020-12-08T14:36:30Z | |
| dc.date.available | 2020-12-08T14:36:30Z | |
| dc.date.issued | 2020 | |
| dc.description.abstract | Image-based 3D reconstruction is a photogrammetric technique that recovers the real 3D world from its 2D images. It has become an active research field in computer vision because of its application in numerous areas, including science, medicine, culture, military, architecture, and entertainment. The principle that stands behind image-based 3D reconstruction is called triangulation. It is used to determine the location of a point in the real 3D world based on its projections in two or more 2D images. Hence, for a successful triangulation, it is important to know the exact projections of 3D points in 2D images. This is usually inferred through image correspondences and matching features between multiple views of the target object. Unfortunately, feature detection and matching algorithms usually fail in some challenging surfaces, like those of weakly-textured and weakly-illuminated objects. As a result, completeness and accuracy of the estimated 3D geometry for objects of such challenging surfaces can be low (containing deficiencies like virtual holes and outliers). Meshing techniques are usually used to repair these deficiencies and fill holes in the generated reconstructions. However, none of them approaches to only fill virtual holes and avoid negligent filling of real holes that are physically present in the 3D objects. This happens because both types of holes look similar in point clouds. This poses an ambiguity in deciding which hole should be filled and which must be left as it is. To solve this ambiguity problem, this thesis first proposes a simple approach for the detection of holes in point clouds. Then it investigates different statistical measures for automatic classification of these detected holes in point clouds. According to our knowledge, hole classification has not been addressed beforehand. Experiments show that most of the holes in the reconstructions of evaluated objects are accurately identified and classified using the proposed approaches. Point-cloud deficiencies are inherent when trying to reconstruct objects of challenging surfaces. This thesis investigates a variety of indirect solutions for improving the performance of 3D reconstruction techniques that are based on images containing objects of challenging surfaces. A new method to enhance image-based 3D reconstruction of weakly-textured surfaces is proposed. The idea behind it is to enhance the contrast of images, especially in weakly-textured regions, before feeding them to the reconstruction pipeline. Image contrast is enhanced using a recently proposed approach for noise reduction. The dynamic range of the generated denoised images has to be squeezed to the limited 8-bit range that is used by the standard 3D reconstruction pipelines. Dynamic range squeezing is a very critical process and can lead to loss of relevant information since many intensities in the original range will no longer be available in the limited target range. To this end, this thesis proposes a new tone-mapping approach that is based on Contrast Limited Adaptive Histogram Equalization (CLAHE). It amplifies the local contrast adaptively to effectively use the limited target range. At the same time, it uses a limit to prevent local noise from being amplified. Using the proposed approach leads to a significant improvement of up to 400% in the completeness of the evaluated 3D reconstructions. To improve 3D reconstruction under low illumination, this thesis proposes a simple solution for reviving hidden features in dark images before feeding them into 3D reconstruction pipelines. Nowadays, many approaches for improving the visibility of details in dark images exist. However, according to our knowledge, none of them fulfills the requirements for a successful 3D reconstruction. The proposed approach aims not only to enhance the visibility but also the contrast of features in dark images. Experiments conducted using challenging data sets of dark images demonstrate a significant improvement of generated 3D models in terms of visibility, completeness, and accuracy. It also shows that the proposed methodology outperforms state-of-the-art approaches that tackle the same problem. | en |
| dc.description.abstract | Die bildbasierte 3D-Rekonstruktion ist eine photogrammetrische Technik, die die reale 3D-Welt aus ihren 2D-Bildern wiederherstellt. Sie ist zu einem sehr aktiven Forschungsfeld im Bereich der Computer Vision geworden aufgrund seiner Anwendung in zahlreichen Bereichen wie Wissenschaft, Medizin, Kultur, Militär, Architektur und Unterhaltung. Das Prinzip, das hinter der bildbasierten 3D-Rekonstruktion steht, heißt Triangulation. Sie wird verwendet, um die Position eines Punktes in der realen 3D-Welt auf der Grundlage seiner Projektionen in zwei oder mehr 2D-Bildern zu bestimmen. Für eine erfolgreiche Triangulation ist es daher wichtig, die genauen Projektionen von 3D-Punkten in 2D-Bildern zu kennen. Dies wird in der Regel durch Bildkorrespondenzen und übereinstimmende Merkmale zwischen mehreren Ansichten des Zielobjekts abgeleitet. Leider versagen Feature-Erkennungs- und Matching-Algorithmen normalerweise bei einigen schwierigen Oberflächen, wie die von schwach texturierten und schwach beleuchteten Objekten. Infolgedessen kann die Vollständigkeit und Genauigkeit der geschätzten 3D-Geometrie für Objekte mit solch anspruchsvollen Oberflächen gering sein (mit Mängeln wie virtuellen Löchern und Ausreißern). Das Meshing-Verfahren wird normalerweise verwendet, um diese Mängel zu beheben und Löcher in den erzeugten Rekonstruktionen zu füllen. Keine von ihnen versucht jedoch, nur virtuelle Löcher zu füllen und das fahrlässige Füllen von realen Löchern, die physisch in den 3D-Objekten vorhanden sind, zu vermeiden. Dies geschieht, weil beide Arten von Löchern in Punktwolken ähnlich aussehen. Dies stellt eine Zweideutigkeit bei der Entscheidung dar, welches Loch gefüllt werden soll und welches unverändert bleiben muss. Um dieses Mehrdeutigkeitsproblem zu lösen, wird in dieser Arbeit zunächst ein einfacher Ansatz für die Erkennung von Löchern in Punktwolken vorgeschlagen. Dann werden verschiedene statistische Maße zur automatischen Klassifizierung dieser erkannten Löcher in Punktwolken untersucht. Nach unserem Kenntnisstand wurde die Klassifikation von Löchern bisher in keiner anderen Arbeit behandelt. Experimente zeigen, dass die meisten Löcher in den Rekonstruktionen der ausgewerteten Objekte mit den vorgeschlagenen Ansätzen genau identifiziert und klassifiziert werden. Punktwolkenmängel sind inhärent, wenn man versucht, Objekte mit schwierigen Oberflächen zu rekonstruieren. In dieser Arbeit wird eine Vielzahl indirekter Lösungen zur Verbesserung der Leistung von 3D-Rekonstruktionstechniken untersucht, die auf Bildern basieren, die Objekte mit schwierigen Oberflächen enthalten. Es wird eine neue Methode zur Verbesserung der bildbasierten 3D-Rekonstruktion von schwach texturierten Oberflächen vorgeschlagen. Die Idee dahinter ist es, den Kontrast der Bilder, insbesondere in schwach strukturierten Regionen, zu verbessern, bevor sie in die Rekonstruktionspipeline eingespeist werden. Der Bildkontrast wird durch einen kürzlich vorgeschlagenen Ansatz zur Rauschunterdrückung verbessert. Der dynamische Bereich der erzeugten entrauschten Bilder muss auf den begrenzten 8-Bit-Bereich, der von den Standard-3D-Rekonstruktionspipelines verwendet wird, reduziert werden. Die Komprimierung des dynamischen Bereichs ist ein sehr kritischer Prozess und kann zum Verlust relevanter Informationen führen, da viele Intensitäten im ursprünglichen Bereich nicht in den limitierten Zielbereich abbildbar sind. Zu diesem Zweck wird in dieser Arbeit ein neuer Tone-Mapping-Ansatz vorgeschlagen, der auf der Contrast Limited Adaptive Histogram Equalization (CLAHE) basiert. Er verstärkt den lokalen Kontrast adaptiv, um den begrenzten Zielbereich effektiv zu nutzen. Gleichzeitig verwendet er eine Begrenzung, um zu verhindern, dass lokales Rauschen verstärkt wird. Die Anwendung des vorgeschlagenen Ansatzes führt zu einer signifikanten Verbesserung der Vollständigkeit der ausgewerteten 3D-Rekonstruktionen um bis zu 400%. Um die 3D-Rekonstruktion unter schwacher Beleuchtung zu verbessern, wird in dieser Arbeit eine einfache Lösung zur Wiederbelebung verborgener Merkmale in dunklen Bildern vorgeschlagen, bevor diese in 3D-Rekonstruktionspipelines eingespeist werden. Heutzutage gibt es viele Ansätze zur Verbesserung der Sichtbarkeit von Details in dunklen Bildern. Nach unserem Kenntnisstand erfüllt jedoch keiner davon die Voraussetzungen für eine erfolgreiche 3D-Rekonstruktion. Der vorgeschlagene Ansatz zielt darauf ab, nicht nur die Sichtbarkeit, sondern auch den Kontrast von Merkmalen in dunklen Bildern zu verbessern. Experimente, die mit anspruchsvollen Datensätzen von dunklen Bildern durchgeführt wurden, zeigen eine signifikante Verbesserung der generierten 3D-Modelle in Bezug auf Sichtbarkeit, Vollständigkeit und Genauigkeit. Es zeigt auch, dass die vorgeschlagene Methode dem Stand der Technik entsprechende Ansätze, die dasselbe Problem angehen, übertrifft. | de |
| dc.identifier.uri | https://depositonce.tu-berlin.de/handle/11303/11983 | |
| dc.identifier.uri | http://dx.doi.org/10.14279/depositonce-10863 | |
| dc.language.iso | en | en |
| dc.rights.uri | http://rightsstatements.org/vocab/InC/1.0/ | en |
| dc.subject.ddc | 004 Datenverarbeitung; Informatik | de |
| dc.subject.other | 3D reconstruction | en |
| dc.subject.other | hole detection | en |
| dc.subject.other | hole classification | en |
| dc.subject.other | weakly textured objects | en |
| dc.subject.other | dark image enhancement | en |
| dc.subject.other | image segmentation | en |
| dc.subject.other | tone mapping | en |
| dc.subject.other | noise suppression | en |
| dc.subject.other | gradient estimation | en |
| dc.subject.other | 3D-Rekonstruktion | de |
| dc.subject.other | Bildsegmentierung | de |
| dc.subject.other | Dunkelbildverbesserung | de |
| dc.subject.other | Bildrauschenreduzierung | de |
| dc.title | Analyzing and improving image-based 3D surface reconstruction challenged by weak texture or low illumination | en |
| dc.title.translated | Analyse und Verbesserung der bildbasierten 3D-Oberflächenrekonstruktion herausgefordert durch schwache Textur oder niedrige Ablichtung | de |
| dc.type | Doctoral Thesis | en |
| dc.type.version | acceptedVersion | en |
| tub.accessrights.dnb | free | en |
| tub.affiliation | Fak. 4 Elektrotechnik und Informatik::Inst. Technische Informatik und Mikroelektronik::FG Computer Vision & Remote Sensing | de |
| tub.affiliation.faculty | Fak. 4 Elektrotechnik und Informatik | de |
| tub.affiliation.group | FG Computer Vision & Remote Sensing | de |
| tub.affiliation.institute | Inst. Technische Informatik und Mikroelektronik | de |
| tub.publisher.universityorinstitution | Technische Universität Berlin | en |