Loading…
Grammar-guided reconstruction of semantic 3D building models from airborne LiDAR data using half-space modeling
Wichmann, Andreas
For several years, digital 3D city models have taken a central role in a number of different tasks. These models are used in urban and regional planning, surveying, and navigation and telecommunication technology. They also enable in the environmental field precise analyses and simulations of pollutant, flood, and noise propagation. For many applications, realistic building models are an essential component of a 3D city model. Their manual reconstruction provides good results but is associated with a very high time expenditure. In order to meet the high demand for building models and the increased demands on their level of detail, research has been recently conducted to develop various (semi-)automatic reconstruction methods for the time-efficient and cost-effective generation of 3D building models. The goal of designing an automatic building reconstruction method, which fully meets the high demands of the present day, has, however, not yet been achieved. The reasons for this are manifold; a major reason is, for example, the large number of different and complex roof shapes.
In this thesis, a new approach to the fully automatic reconstruction of semantic 3D building models based on airborne LiDAR data is presented. The approach is characterized by a strong integration of building knowledge, which is automatically derived during the reconstruction. The derivation of building knowledge is carried out by employing a grammar whose production rules are applied in several bottom-up and top-down phases. In the selection process of the applicable production rules, methods of reinforcement learning from the field of machine learning are utilized. Thereby, it is taken into account that in complex roof structures and neighboring buildings similar roof elements or roof structures often occur multiple times. Through the application of the grammar, knowledge about the buildings is derived. This knowledge is modeled for each building in a separate multi-scale knowledge graph. The use of the grammar, together with the multi-scale knowledge graphs, in alternating bottom-up and top-down phases provides a reliable and robust derivation of further building knowledge.
The grammar-guided method for deriving building knowledge can generally be integrated also into already existing data-driven reconstruction methods to improve their performance. This procedure is demonstrated exemplarily for a data-driven reconstruction based on binary space partitioning.
In order to reduce the search space for the automatic derivation of building knowledge, a method for the automatic segmentation of roof surfaces is presented. It uses the building points of the underlying data set and employs the principles of surface growing. However, not only the measured height values of the point cloud are incorporated in this procedure, but additionally also virtual points, which are automatically generated during segmentation. As a result, segments can also grow below other roof surfaces, whereby the derivation of building knowledge and the construction of 3D building models are considerably simplified.
For the construction of 3D building models, a method based on half-space modeling is presented. It utilizes the building knowledge in the multi-scale knowledge graphs to define and combine half-spaces, whose hyperplanes result from the segments of the point cloud. In this way, buildings of arbitrary complexity are described in canonical form. The resulting building models have the property that they are always both geometrically and topologically correct. The building geometry of the reconstructed 3D building models can be enriched by the semantic information of the multi-scale knowledge graphs. Thereby, also the need for semantic 3D building models is satisfied.
In general, the requirements for reconstructed building models depend on the individual application. To take this into account, two methods are presented which can optionally be executed during the reconstruction. The first method is concerned with the reconstruction of small roof elements (e.g., dormers or chimneys) in order to increase the level of detail of insufficiently detailed building models. It does not reconstruct multiple occurrences of roof elements of similar shape individually from one another, but jointly by means of an ICP (iterative closest point) based method. As a result, also those roof elements are recognized and reconstructed which taken individually would not have been reconstructed. The second method recognizes the frequently occurring regularities in buildings and renders them more strongly in the reconstructed models. For this, divisive clustering methods are applied, both in a local and a global context, to the hyperplanes of the half-spaces that are used to define the half-space models in canonical form. The resulting well-shaped building models are particularly suitable for visualization purposes.
Finally, the presented reconstruction method together with the resulting building models is evaluated using a benchmark data set and compared with other current state-of-the-art building reconstruction approaches. The results show that the presented method is robust and transferable to different building shapes and regions, and that the resulting 3D building models have a high quality with regard to their completeness and correctness.
Seit mehreren Jahren nehmen digitale 3D-Stadtmodelle in verschiedenen Aufgabenstellungen eine zentrale Rolle ein. Sie werden unter anderem in der Stadt- und Raumplanung, im Vermessungswesen und in der Navigations- und Telekommunikationstechnik eingesetzt. Zudem ermöglichen sie im Umweltbereich präzise Analysen und Simulationen zur Ausbreitung von Hochwasser, Lärm und Schadstoffen. Ein für viele Anwendungszwecke wesentlicher Bestandteil von 3D-Stadtmodellen sind realitätsgetreue Gebäudemodelle. Deren manuelle Rekonstruktion bietet gute Ergebnisse, ist aber mit einem sehr hohen Zeitaufwand verbunden. Um der hohen Nachfrage nach Gebäudemodellen und den gestiegenen Anforderungen an deren Detailierungsgrad nachzukommen, hat man sich in den letzten Jahren mit ihrer zeiteffizienten und kostengünstigen Erzeugung beschäftigt und einige (semi-) automatische Rekonstruktionsmethoden entwickelt. Das Ziel ein Verfahren zur automatischen Gebäuderekonstruktion zu entwerfen, das den hohen Ansprüchen der heutigen Zeit gerecht wird, wurde bislang jedoch noch nicht vollständig erreicht. Die Ursachen hierfür sind vielfältig; z.B. ist ein wesentlicher Grund die große Anzahl unterschiedlicher und komplexer Dachformen.
In der vorliegenden Arbeit wird ein neuer Ansatz zur vollautomatischen Rekonstruktion von semantischen 3D-Gebäudemodellen auf der Basis von luftgestützten LiDAR-Daten vorgestellt. Der Ansatz zeichnet sich durch eine starke Integration von Gebäudewissen aus, welches während der Rekonstruktion automatisch abgeleitet wird. Die Ableitung von Gebäudewissen erfolgt über eine Grammatik, deren Produktionsregeln in mehreren Bottom-Up- und Top-Down-Phasen angewendet werden. Bei der Selektierung der anzuwendenden Produktionsregeln werden Methoden des bestärkenden Lernens aus dem Bereich des maschinellen Lernens eingesetzt. Dadurch wird berücksichtigt, dass in komplexen Dachstrukturen und benachbarten Gebäuden oftmals ähnliche Dachelemente oder Dachstrukturen mehrfach vorkommen. Das durch die Anwendung der Grammatik abgeleitete Gebäudewissen wird für jedes Gebäude in jeweils einem multiskaligen Wissensgraphen modelliert. Der Einsatz der Grammatik zusammen mit den Wissensgraphen in sich abwechselnden Bottom-Up- und Top-Down-Phasen ermöglicht eine zuverlässige und robuste Ableitung von weiterem Gebäudewissen.
Das durch eine Grammatik geleitete Verfahren zur Ableitung von Gebäudewissen lässt sich generell auch in bereits existierende datengetriebene Rekonstruktionsverfahren zu deren Vorteil integrieren. Demonstriert wird dies exemplarisch anhand einer datengetriebenen Rekonstruktion, die auf einer binären Raumpartitionierung (engl. binary space partitioning) basiert.
Um den Suchraum für die automatische Ableitung von Gebäudewissen zu verringern, wird eine Methode zur automatischen Segmentierung von Dachflächen vorgestellt. Sie verwendet die Gebäudepunkte des zugrundeliegenden Datensatzes und die Prinzipien des Oberflächenwachstums (engl. surface growing). Es werden jedoch nicht nur die gemessenen Höhenwerte der Punktwolke in diesem Prozess berücksichtigt, sondern zusätzlich auch virtuelle Punkte, die während der Segmentierung automatisch erzeugt werden. Dies ermöglicht das Wachstum von Segmenten auch unterhalb anderer Dachflächen, wodurch die Ableitung von Gebäudewissen und die Konstruktion der 3D-Gebäudemodelle wesentlich vereinfacht werden.
Für die Konstruktion der 3D-Gebäudemodelle wird ein Verfahren basierend auf der Halbraummodellierung vorgestellt. Es nutzt das Gebäudewissen in den multiskaligen Wissensgraphen für die Definition und Kombination von Halbräumen, deren Hyperebenen sich aus den Segmenten der Punktwolke ergeben. Auf diese Weise werden Gebäude beliebiger Komplexität in kanonischer Form beschrieben. Die daraus abgeleiteten Gebäudemodelle haben die Eigenschaft, dass sie sowohl geometrisch als auch topologisch immer korrekt sind. Die Gebäudegeometrie der rekonstruierten 3D-Gebäudemodelle lässt sich durch die semantischen Informationen der multiskaligen Wissensgraphen anreichern. Dadurch wird auch der Bedarf an semantischen 3D-Gebäudemodellen befriedigt.
Generell hängen die Anforderungen an rekonstruierten Gebäudemodellen von der individuellen Anwendung ab. Um dies zu berücksichtigen werden zwei Verfahren vorgestellt, die optional während der Rekonstruktion ausgeführt werden können. Das erste Verfahren beschäftigt sich mit der Rekonstruktion von kleinen Dachelementen (z.B. Gauben oder Schornsteinen), um den Detailierungsgrad von nicht ausreichend detaillierten Gebäudemodellen zu erhöhen. Es rekonstruiert mehrfach und in gleicher Form vorkommende Dachelemente nicht unabhängig voneinander, sondern gemeinsam mittels einer ICP (engl. iterative closest point) basierten Methode. Dadurch werden auch solche Dachelemente erkannt und rekonstruiert, die einzeln für sich genommen nicht rekonstruiert worden wären. Das zweite Verfahren erkennt die in Gebäuden häufig auftretenden Regularitäten und gibt sie in den rekonstruierten Modellen verstärkt wieder. Dazu werden divisive Clusterverfahren sowohl im lokalen als auch im globalen Kontext auf die Hyperebenen der Halbräume der in der kanonischen Form definierten Halbraummodelle angewandt. Die daraus resultierenden formschönen Gebäudemodelle eignen sich insbesondere für Visualisierungszwecke.
Schließlich wird das vorgestellte Rekonstruktionsverfahren mit den daraus resultierenden Gebäudemodellen anhand eines Benchmark-Datensatzes evaluiert und mit anderen aktuellen Gebäuderekonstruktionsverfahren verglichen. Die Ergebnisse zeigen, dass das vorgestellte Verfahren sowohl robust als auch auf unterschiedliche Gebäudeformen und Regionen übertragbar ist, und dass die daraus resultierenden 3D-Gebäudemodelle eine hohe Qualität in Bezug auf deren Vollständigkeit und Korrektheit aufweisen.
