Augmented Reality macht Navigieren einfacher - über die Entwicklung einer AR-App unseres BA-Studenten Florian

Florian | Technologie

Florian ist einer unserer sechs BA-Studenten und beschäftigt sich zurzeit mit Augmented Reality Technologien. Das Thema seiner Bachelorarbeit, die er gerade bei uns schreibt, dreht sich darum, in welchen Szenarien Augmented Reality Applikationen Anwendung finden können. Er entwickelte eine AR App zur Indoor-Navigation durch das Gebäude der BA Dresden für das Smartphone und die Microsoft HoloLens und gibt uns hier einen kleinen Einblick in sein Projekt, das er zusammen mit seinem Kommilitonen Tom auch kürzlich bei der langen Nacht der Wissenschaften in Dresden präsentiert hat.

Zwei junge Männer stehen lächelnd hinter zwei Tischen auf der langen Nacht der Wissenschaften im Gebäude der Berufsakeademie in Dresden. Sie präsentieren eine AR-APP zur Indoor-Navigation.
Foto: Martin Budach

Kurze Frage vorab: was ist Augmented Reality?

Mit Augmented Reality (Erweiterte Realität) bezeichnet man eine computergestützte Wahrnehmung, bei der sich die virtuelle und die reale Welt vermischen. Während unter Virtual Reality die Wahrnehmung der reinen virtuellen Welt verstanden werden kann, lässt sich unter Augmented Reality, die um virtuelle Elemente erweiterte Realität verstehen. (Vgl. Wikipedia)

Vereinfacht kann man das auch folgendermaßen beschreiben. Über die betrachtete reale Welt werden in Echtzeit virtuelle (digitale) Text- oder Bildinformationen geblendet und ergänzen das Wahrgenommene. Die Anwendungszwecke sind vielfältig und reichen von der Navigation in der unmittelbaren Umgebung, wie zum Beispiel „Google Maps meets ARbis hin zu Computerspielen, wie die neue AR-Version von Minecraft „Minecraft Earth“, die Microsoft kürzlich auf der Entwicklerkonferenz Build 2019 in Seattle präsentierte.

Jetzt zu unserem Projekt „BA-Navigator“

Jeder Student, der gerade sein Studium begonnen hat und zum ersten Mal das Gebäude der Berufsakademie in Dresden betritt, kennt dieses Problem. Die Räume des Gebäudes sind in kurzer Zeit schwer zu finden. Dabei verfällt so mancher Student in Panik, wobei ihm womöglich mehrere Fragen durch den Kopf schießen. Wo finde ich den Raum 3.205? In welchem Stockwerk befindet sich der Raum? Muss ich dem rechten oder linken Gang folgen? Und, wo geht’s auf kürzestem Weg zum Kaffeeautomaten? Genau diese Fragen stellten wir uns auch, als wir das Gebäude der BA zum ersten Mal betraten. Im Verlauf unseres Studiums der Medieninformatik sollten uns die Fragen noch weiter beschäftigen. Wir entwickelten zunächst eine AR-Anwendung zur Indoor-Navigation für Android-Smartphones. Dabei halfen Technologien wie, libGDX als Framework für 2D und 3D Grafik und native AR Libraries (ARCore, ARKit, u.a.). Zur Erstellung des 3D Gebäudemodells nutzten wir die Grundrisse und Blender - eine freie 3D-Grafiksuite, mit der sich Körper modellieren und animieren lassen. Diese können in 3D-Grafiken, Animationen oder Software systematisiert werden. Studierende der BA Dresden können die App ab sofort nutzen. Optional wird sie zukünftig auch auf iPhones lauffähig sein.

Die Ortung der Nutzer erfolgt mithilfe der WLAN-Access Points. Zusätzlich werden die Handy-Kamera und GPS zur Bestimmung des Standortes genutzt. Zum jeweiligen Standort der Nutzer werden die Räume, die sich in der Nähe befinden (sichtbare Navigations-Nodes) und die zugehörigen gespeicherten Daten angezeigt. So können sich die Nutzer orientieren und erhalten gleichzeitig die nötigen Informationen über die gesuchten Orte im BA-Gebäude.

Auf einem Smartphone wird die AR APP "BA-Navigator" gezeigt.

Weiterentwicklung zur HoloLens-App

Auf Android-Smartphones funktionierte die App bereits. Doch jetzt wollten wir den nächsten Schritt machen. In Zukunft sollte sie auch auf der Microsoft HoloLens lauffähig sein. Die Microsoft HoloLens ist eine sogenannte Mixed Reality- oder auch AR-Brille, die es Nutzern ermöglicht, auf einer natürlichen Benutzeroberfläche (Natural User Interface) interaktive 3D-Projektionen in der unmittelbaren realen Umgebung darzustellen. (Vgl. Wikipedia)

Wir entwickelten also eine Augmented Reality App für die Microsoft HoloLens, die ähnlich wie ein Navigationssystem im Auto funktioniert, sich aber zusätzlich in das echte Sichtfeld des Nutzers integriert. Hierfür konnten wir die Algorithmen gestützte Suche nach dem kürzesten Weg, den sogenannten Pathfinding Algorithmus, den wir für die Smartphone App schon eingesetzt hatten, weiternutzen und auf das Microsoft System anwenden.

Mit der AR-App ist es nun möglich, per Smartphone oder der Microsoft HoloLens innerhalb des Gebäudes der Berufsakademie Dresden zu navigieren, z.B. um einen bestimmten Raum oder den Kaffeeautomaten zu finden. Die nächsten Erstis in der BA können sich nun hoffentlich leichter orientieren, wenn sie von der App Gebrauch machen werden.

App leicht an andere Szenarien anpassbar

Die App ist auch leicht an andere Szenarien anpassbar, wie zum Beispiel die Suche nach einer Ware in einem großen Lagerraum oder die Suche nach der richtigen Haltestelle in einem Verkehrsverbund. Aktuell arbeite ich im Rahmen meiner Bachelorarbeit daran, wie die AR-App im Web auch zukünftig browserbasiert funktionieren kann. Wir berichten hier über die Fortschritte und andere Tech-Themen. Wer auf dem Laufenden bleiben möchte, trägt sich in unseren Newsletter ein.