Ansatz zu Diminished Reality im Anwendungsbereich von GeoARS und Implementierungsbeispiele
Approach to diminished reality in the application area of GeoARS and implemantation examples
Stefan Wiendl, Ulf Kreuziger
In diesem Beitrag wird auszugsweise die Entwicklung einer mobilen Applikation des Forschungs- und Entwicklungsprojekts „SmartLand ADR“ vorgestellt, die Diminished Reality (DR) im Bereich georeferenzierender Augmented-Reality-Systeme (GeoARS) umsetzt. Die Anwendung entfernt und ersetzt Geoobjekte in Echtzeit auf dem Livebild einer Smartphone-Kamera. Dabei werden die Bildbereiche mittels inhaltsbasierter Füllung rekonstruiert, wobei der PixMix-Algorithmus genutzt wird. Zur Maskenerstellung werden eine photogrammetrische Methode basierend auf geodätischen Koordinaten und eine KI-gestützte Segmentierung mittels YOLOv8 kombiniert. Der native C++-PixMix-Algorithmus wird mithilfe des Android Native Development Kits und OpenCV in die Unity-Entwicklungsumgebung integriert. Diese Kombination ermöglicht die Umsetzung von DR auf Mobilgeräten. Die Ergebnisse zeigen das Potenzial der DR-Technologie für praktische Anwendungen und Bürgerbeteiligungsverfahren in der ländlichen Entwicklung. Zukünftige Arbeiten zielen auf die Verbesserung der Genauigkeit und Effizienz der Methoden sowie die Erweiterung der Anwendungsmöglichkeiten ab.
This article presents excerpts from the development of a mobile application for the research and development project “Smart-LandADR”, which implements diminished reality (DR) in the field of georeferenced augmented reality systems (GeoARS). The application removes and replaces geo-objects in real time on the live image of a smartphone camera. The image areas are reconstructed by means of content-based filling, using the PixMix algorithm. A photogrammetric method based on geodesic coordinates and an AI-supported segmentation using YOLOv8 are combined to create masks. The native C++ PixMix algorithm is integrated into the Unity development environment using the Android Native Development Kit and OpenCV. This combination enables the efficient implementation of DR on mobile devices. The results show the potential of DR technology for practical applications and citizen participation processes in rural development. Future work is aimed at improving the accuracy and efficiency of the methods and expanding the range of applications.
Schlüsselwörter: Diminished Reality (DR), georeferenzierende Augmented-Reality-Systeme (GeoARS), PixMix-Algorithmus, inhaltsbasierte Füllung, generative Füllung, kontextuelle Füllung, Echtzeit-Objekterkennung
Keywords: Diminished reality (DR), georeferencing augmented reality systems (GeoARS), PixMix algorithm, generative filling, content-based filling, real-time object detection
DOI: 10.14627/gis.Science.2024.4.3
Der Volltext der aktuellen Artikel (< 3 Monate) aus dem Artikelarchiv steht für
gis-Abonnenten
nach dem Login
zur Verfügung.