MAV 4 BIM

Automatische 3D Gebäudemodellierung mit kameragestüzten Mikroflugrobotern.

Als Teilprojekt des trinationalen Forschungsprojektes V-MAV zwischen den Universitäten TUM, der Technischen Universität Graz (TUG) und der Eidgenössischen Technischen Hochschule Zürich (ETHZ) beschäftig sich MAV 4 BIM (Micro Aerial Vehicles for Building Information Models) mit der Erstellung von dreidimensionalen Gebäudemodellen aus Bilderserien, die von Mikroflugrobotern (MAVs) aufgenommen wurden. Neben einer semi-automatischen Bildaufnahme stehen vollautomatische Verfahren zur Generierung von hochdetaillierten fotorealistischen Gebäudemodellen im Fokus, die sowohl Außen- als auch Innenräume abdecken und dabei semantische Informationen über einzelne Gebäudeteile enthalten.

Dieses von der Deutschen Forschungsgemeinschaft (DFG) finanzierte Projekt ist Teil von V-MAV (kooperative Micro Aerial Vehicles mit onboard visueller Sensorik), einer Kooperation zwischen dem Lehrstuhl für Methodik der Fernerkundung (TUM),  dem Institut für maschinelles Sehen (TUG) und dem Institute for Visual Computing (ETHZ), dessen Ziel es ist die Fähigkeiten von kameragesteuerten MAVs in den Bereichen Flugverhalten, Autonomie, kooperativer Betrieb, sowie kognitive Fähigkeiten zu erweitern und dabei die Größe von MAVs zu verringern.

Eine praktische Anwendung dieser kameragesteuerten Mikroflugroboter liegt in der automatischen Generierung von 3D Gebäudemodellen. Hierfür müssen Bilderserien mit großem Überlapp vom gewünschten Objekt aus unterschiedlichen Perspektiven aufgenommen werden. Werden MAVs für die Bildaufnahme verwendet, muss eine exakte Flugplanung bisher in händischer Vorarbeit erstellt oder sogar auf eine gänzlich manuelle Steuerung zurückgegriffen werden. Ein Teil des Projektes beschäftigt sich mit einer automatisierten Methode der Bildaufnahme, indem ein Initialmodell des Gebäudes bereits während eines einfachen Überfluges über dem Gebäude auf dem Onboard-Computer des MAVs berechnet wird. Zusätzliche Wegpunkte für die Bildaufnahme, die für eine vollständige und lückenlose Rekonstruktion des Gebäudes benötigt werden, werden auf dem MAV-Computer berechnet und dem Piloten zur Kontrolle über eine drahtlose Verbindung bereitgestellt und dabei visualisiert. Die berechnete Trajektorie vermeidet dabei eine Kollision mit dem Gebäude und Hindernissen in der Umgebung und wird anschließend automatisch von dem MAV abgeflogen.

Ein wichtiger Aspekt in der Gebäudemodellierung ist eine präzise Georeferenzierung um die generierten 3D-Gebäudemodelle in einem gemeinsamen Koordinatensystem darzustellen und auch eine Kombination mit existierenden 3D Stadtmodellen zu ermöglichen. Hierfür werden meist vorweg gut sichtbare Referenzpunkte im Terrain ausgelegt und terrestrisch eingemessen. Diese Punkte müssen anschließend eindeutig in den aufgezeichneten Bildern identifizierbar sein und dienen als Transformation des 3D Modells in ein übergeordnetes Koordinatensystem. Dieses genaue Verfahren setzt allerdings einen hohen manuellen Aufwand voraus oder ist in schlecht zugänglichen Gebieten gar nicht erst durchführbar. Ein höherer Automatisierungsgrad kann durch die Verwendung des integrierten GPS Empfängers erreicht werden. Durch eine automatische Zuweisung von GPS Positionen zu den Bildern kann das berechnete 3D Gebäudemodell zwar automatisch georeferenziert werden, die hohe Fehleranfälligkeit und geringe Genauigkeit der kleinen GPS-Empfänger verhindern jedoch meist eine genaue Georeferenzierung. In diesem Projekt werden neue Methoden entwickelt um eine automatische Georeferenzierung mit Hilfe von korrespondierenden Bildpunkten zwischen MAV Bilder und bereits georeferenzierten Luft- oder Satellitenbilder zu ermöglichen. Das robuste Detektieren und Zuordnen von korrespondierenden Bildpunkten in MAV- und Luftbildpaaren ermöglicht eine höhere Genauigkeit der Georeferenzierung als die integrierten GPS Empfänger der MAVs erreichen können. Wird diese Bildregistrierung direkt auf dem Computer des MAVs berechnet, kann dieses Verfahren ebenfalls zur Positionsbestimmung des MAVs während des Fluges und damit zur Navigation verwendet werden. Dieses Verfahren dient damit als ein zusätzliches Navigationssystem für den Fall eines Versagens des integrierten GPS Empfängers .

Die Rekonstruktion von Gebäuden soll sich hierbei nicht nur auf den Außenbereich konzentrieren, sondern ebenfalls das Gebäudeinnere modellieren. Hierfür werden von der TUG speziell für das V-MAV Projekt Algorithmen für die Navigation von MAVs in unbekannten Umgebungen in Innenräumen entwickelt. Diese während des Fluges im Innenraum aufgenommen Bilderserien sollen anschließend verwendet werden, um das Gebäudeinnere zu modellieren und zusätzlich mit semantischer Information zu versehen, die eine Interpretation der Innenräume erleichtert. Damit abschließend ein vollständiges Gebäudemodell entsteht, müssen die zunächst separaten Innen- und Außenraummodelle miteinander verknüpft werden. Hierzu werden u.a. die semantischen Informationen, wie detektierte Fenster und Türen, aus den Modellen verwendet, um das Innenraummodell in das zugehörige Außenraummodell zu verankern.

Weiterführende Links:
http://www.lmf.bgu.tum.de/vision
https://www.tugraz.at/institute/icg/research/team-fraundorfer/research-projects/v-mav/