MAV 4 BIM

Als Teilprojekt des trinationalen Forschungsprojektes V-MAV zwischen den Universitäten TUM, der Technischen Universität Graz (TUG) und der Eidgenössischen Technischen Hochschule Zürich (ETHZ) beschäftigt sich MAV 4 BIM (Micro Aerial Vehicles for Building Information Models) mit der Erstellung von dreidimensionalen Gebäudemodellen aus Bilderserien, die von Mikroflugrobotern (MAVs) aufgenommen wurden. Neben einer semi-automatischen Bildaufnahme stehen vollautomatische Verfahren zur Generierung von hochdetaillierten, fotorealistischen und georeferenzierten Gebäudemodellen im Fokus, die sowohl Außen- als auch Innenräume abdecken und dabei semantische Informationen über einzelne Gebäudeteile enthalten.

Automatische MAV Flugplanung zur Erstellung von 3D Modellen unter Berücksichtung der semantischen Umgebung

In dieser Arbeit wird eine Methodik für die automatische Flugplanung eines MAVs zur bild-basierten 3D Rekonstruktion eines Objektes vorgestellt, welches die semantischen Eigenschaften der umliegenden Umgebung berücksichtigt. Dicht bebaute urbane Gebiete, sowie eine zunehmende gesetzliche Regulierung für den Einsatz von MAVs erfordern präzise manuelle Flugplanungen von erfahrenen Piloten um vollständige und hochauflösende 3D Rekonstruktionen von größeren Objekten, wie z.B. Gebäude zu erstellen.

Mit der vorgestellten Methodik wird auf Basis von wenigen Überblicksbildern aus einer sicheren Höhe über der zu rekonstruierenden Szene ein semantisches Oberflächenmodell berechnet, welches anschließend zur Berechnung einer optimierten 3D Trajektorie für die 3D Rekonstruktion eines beliebigen Objektes in dieser Szene verwendet wird. Die automatische Berechnung der Trajektorie berücksichtigt nicht nur geometrische Hindernisse in der Umgebung, sondern ebenfalls semantische Eigenschaften von umgebenden Objekten. Die ermöglicht eine Einschränkung des Luftraumes über gefährliche und unzulässige Gebiete, wie z.B. angrenzende Gebäude, Hauptstraßen, Bahntrassen, parkende Autos oder Wasserflächen. Die objektspezifischen Einschränkungen umfassen sowohl strikte Überflugverbote als auch zu vermeidende Überflüge über bestimmte Objekte. Hiermit können beispielsweise Überflüge über bestimmte Objekttypen gänzlich ausgeschlossen werden (z.B. Bahntrassen, angrenzende Gebäude), wobei Überflüge über andere Objekttypen zwar erlaubt, aber möglichst vermieden werden sollen (z.B. Hauptstraßen, Wasserflächen). Die Berechnung der Trajektorie berücksichtigt sowohl die geometrische als auch die semantische Umgebung und erzeugt eine möglichst kurze Trajektorie mit Wegpunkten inkl. Kameraorientierungen zur vollständigen Rekonstruktion des Objektes. Diese Wegpunkte können auf beliebige UAVs und MAVs exportiert werden und anschließend für eine selbstständige Bildaufnahme verwendet werden.

Diese Methodik ermöglicht sichere in situ Befliegungen für die Erstellung von akkuraten und hoch-auflösenden 3D Modellen in komplexen Gebieten ohne zeitaufwendige manuelle Flugplanungen und Vorwissen über die Beschaffenheit der Umgebung.

Koch, T., Körner, M., Fraundorfer, F., 2019. Automatic and Semantically-Aware 3D UAV Flight Planning for Image-Based 3D Reconstruction. Remote Sens. , 11, 1550. [pdf] [bibtex​​​​​​​]

Ergebnisse

Verknüpfung von 3D Gebäudeinnen und -außenmodellen

Diese Arbeit präsentiert einen Ansatz zur automatischen Verknüpfung von nicht-überlappenden 3D Innen- und Außenmodellen eines Gebäudes, welche zuvor mittels bild-basierten 3D Rekonstruktions-Algorithmen erzeugt wurden. In der entwickelten Methode werden korrespondierende geometrische 3D Strukturen, die sowohl Teil des Gebäudeinneren als auch Äußeren sind (wie z.B. Fenster oder Türen), identifiziert und anschließend zur Registrierung beider Teile verwendet. In diesem Kontext wird das Potential von 3D Linien Segmenten hervorgehoben, die als Alternative oder Zusatz von 3D Punktwolken, die aus Structure-from-Motion Algorithmen erzeugt werden, dienen.

Koch, T., Körner, M., Fraundorfer, F., 2016. Automatic Alignment of Indoor and Outdoor Building Models using 3D Line Segments. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPR-WS), 10--18. [pdf] [bibtex]

Ergebnisse

Geo-registrierung von MAV Bildern

Die geringen Qualitäten der onboard GNSS und INS Sensoren begrenzen die Georeferenzierungsgenauigkeit von Mikroflugrobotern und beschränken die direkte Geo-registrierung von MAV Bildsequenzen. Diese Arbeit stellt eine bildbasierte Methodik zur genauen und robusten Geo-registrierung von MAV Bilder(n) vor, indem MAV Bilder mit bereits georeferenzierten Bilddaten (wie Luft- oder Satellitenbilder mitsamt Höhenkarten oder Orthophoto mit zugehörigem DSM) registriert werden. Die Methodik berücksichtigt die erheblichen Unterschiede in Skalierung, Rotation und Bildinhalt von MAV und Luftbildern und zeichnet sich durch eine neuartige dichte Merkmalsextraktion, einer one-to-many Matching Strategie und einer globalen geometrischen Match-Verifikation aus.

Koch, T., Zhuo, X., Reinartz, P., Fraundorfer, F., 2016. A New Paradigm for Matching UAV-and Aerial Images. ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 3, 83-90. [pdf] [bibtex]

Zhuo, X., Koch, T., Kurz, F., Fraundorfer, F., Reinartz, P., 2017. Automatic UAV Image Geo-registration by Matching UAV Images to Georeferenced Image Data. Remote Sensing, 9(4), 376. [pdf] [bibtex]

Publikationen

  • Koch, Tobias; Körner, Marco; Fraundorfer, Friedrich: Automatic and Semantically-Aware 3D UAV Flight Planning for Image-Based 3D Reconstruction. Remote Sensing 11 (13), 2019 mehr…
  • Zhuo, Xiangyu; Koch, Tobias; Kurz, Franz; Fraundorfer, Friedrich; Reinartz, Peter: Automatic UAV Image Geo-Registration by Matching UAV Images to Georeferenced Image Data. Remote Sensing 9 (4), 2017 mehr…
  • Koch, Tobias; Zhuo, Xiangyu; Reinartz, Peter; Fraundorfer, Friedrich: A new Paradigm for Matching UAV and Aerial Images. International Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences (ISPRS) 3, 2016, 83--90 mehr…
  • Koch, Tobias; Körner, Marco; Fraundorfer, Friedrich: Automatic Alignment of Indoor and Outdoor Building Models using 3D Line Segments. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2016 mehr…
  • Koch, Tobias; d'Angelo, Pablo; Kurz, Franz; Fraundorfer, Friedrich; Reinartz, Peter; Körner, Marco: The TUM-DLR Multimodal Earth Observation Evaluation Benchmark. The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2016 mehr…