Tech-Insides: Hinter den Kulissen einer AR-Anwendung

Ein Beitrag von Catherine Heyart, Julien Letellier, Katrina Rizakova und Elisabeth Thielen

Die Forschungsgruppe INKA der Hochschule für Technik und Wirtschaft in Berlin arbeitet seit 1999 am Schnittpunkt zwischen Informatik und Kultur. INKA steht für Informations- und Kommunikationsanwendungen. Seit über 20 Jahren arbeitet die Gruppe in verschiedenen Drittmittelpro- jekten und mit unterschiedlichen Kooperationspartnern, wie Museen, Konzerthäusern und anderen Kultureinrichtungen. Der Fokus liegt auf dem Schaffen von innovativen Zugängen zu Kultur und kulturellen Inhalten unter der Verwendung moderner Technologien.

Beispielsweise entstand 2019 in Kooperation mit dem Museumsverband Brandenburg anlässlich der Feierlichkeiten zur Wiedervereinigung eine augmentierte Broschüre sowie augmentierte Postkarten, die 3D-Scans von Objekten verschiedener Brandenburger Museen zeigen. Daran anschließend sollte für die Sonderausstellung „Bühnenwelten. Eine immersive Ausstellung zu Bühnenmodellen“ des Kleist-Museums in Frankfurt (Oder) (Februar – August 2022) ein augmentierter Katalog sowie eine Begleitanwendung zur Nutzung direkt in der Ausstellung entwickelt werden. Grundlage der Anwendung waren die im Kleist-Museum vorhandenen Bühnenmodelle. Hier soll der Prozess der Anwendungsentwicklung geschildert werden.

Eingesetzte Technologien

Zunächst musste über den Grad der Immersion entschieden werden: Sollen Nutzer:innen noch ihre direkte Umgebung sehen können (Augmented Reality – AR) oder nicht (Virtual Reality – VR)? Während man mit VR in eine andere Welt eintaucht, kann man bei AR noch zusätzlich die Realität und die analogen Bühnenmodelle erleben, während auf dem Bildschirm zusätzliche Inhalte angeboten werden. Wir entschieden uns für eine Augmented-Reality-Anwendung.

Bei der Verwendung von Augmented Reality auf Mobilgeräten gibt es die Unterscheidung zwischen nativer App, die aus einem entsprechenden Store heruntergeladen und installiert werden muss, und webbasiertes AR, bei dem lediglich eine Website aufgerufen und dieser Zugriff auf die Smartphonekamera gewährt werden muss. Vorteile der nativen Anwendung ist, dass diese ohne Datenverbindung genutzt werden kann. Dagegen kann eine Web-AR-Anwendung ohne Installation einer App verwendet werden, benötigt dafür aber eine Internetverbindung. Da es für die Kataloganwendung und die Museumsanwendung unterschiedliche Anforderungen gab, wurden verschiedene Technologien genutzt.

Für die Museumsanwendung wurde eine native Anwendung gewählt. Um Probleme mit zu alten oder unterschiedlichen Smartphone- und Betriebssystemversionen zu verhindern und auch die Nutzeroberfläche auf eine bestimmte Bildschirmgröße ausrichten zu können, wurden im Museum Geräte mit der Anwendung für die Besucher:innen zur Verfügung gestellt. Nutzer:innen können so alle dasselbe erleben, ohne vorher eine Anwendung über ihre mobilen Daten herunterladen zu müssen. Es kann zudem auf eine regelmäßige Ladung der Geräte geachtet werden und Nutzer:innen müssen nicht fürchten, durch die Kamera-intensive AR-Anwendung den Akku ihres eigenen Smartphones zu entleeren.

Für die Kataloganwendung wurde hingegen eine webbasierte Anwendung gewählt. Diese kann unabhängig von der Ausstellung verwendet werden. Im Katalog soll ein Einblick in die Bühnenmodelle nicht nur in Form von Text und Bild, sondern auch via Augmented Reality möglich sein. Beim Scannen der einzelnen Seiten sollen in AR korrespondierende Bühnenmodelle in 3D zu sehen sein. Die Anwendung soll schnell angewandt werden können, ohne einen aufwändigen Download vorab. Die Anwendung wurde so konzipiert, dass möglichst wenig mobile Daten verbraucht werden. So wurden auf den Seiten des Katalogs eher Modelle mit reduzierter Polygonanzahl verwendet.

Vom analogen Bühnenmodell zur digitalen Erweiterung

Nun wurden von einigen Bühnenmodellen 3D-Modelle erstellt. Diese dienen dazu, Aspekte darzustellen, welche die Besucher:innen sonst nicht zu sehen bekommen würden. In einigen Fällen, wie z.B. im Kata- log, entsteht aus einem 2D-Bild mittels AR ein 3D-Modell, welches von unterschiedlichen Winkeln betrachtet werden kann. In der Ausstellung gibt es wiederum animierte 3D-Modelle, welche den Besucher:innen vorführen, wie sich die Bühnenmodelle während einer Vorführung verändern würden. Zur Umsetzung wurden die Techniken Box-Modellierung und Photogrammetrie genutzt.

Die Box-Modellierung eignet sich am besten für statische Objekte, wie zum Beispiel Architektur und Möbel. Mithilfe einer Software, in der einfache geometrische Grundformen platziert werden, erstellt man ein Modell. Die Geometrie eines solchen Objekts in einer 3D-Software wird Mesh genannt und ist unterteilt in einzelne Polygone (Vielecke), die wiederum aus Kanten und schließlich Punkten bestehen.

Anhand eines Referenzbildes werden diese Polygone und deren Punkte mit unterschiedlichen digitalen Werkzeugen verändert – verformt, unterteilt oder verschoben –, bis schließlich die gewünschte Geometrie entsteht. Dieses Verfahren schafft viel Freiheit für Aussehen und Aufbau der Modelle. Sie können komplexe oder einfache Geometrien haben. In unserem Fall sind es bevorzugt kleine Datenmengen und unabhängige Teile, um diese später einzeln animieren zu können.

Der Nachteil dieses Verfahrens ist der hohe Aufwand, da jedes Detail per Hand gebaut werden und auf viele Details geachtet werden muss, um fotorealistisch zu wirken. Während der Phase der Geometrieerstellung sind die Objekte noch farblos und werden anschließend texturiert – sie bekommen Farbe und Struktur. Hierzu werden unterschiedliche Bilder gesammelt und so Texturen erstellt. Sollen die Objekte animiert werden, müssen die zu animierenden Teile Frame für Frame – einzelne Bilder aus einer Animationssequenz – manipuliert werden. Spielt man diese Manipulationen später nacheinander ab, so entsteht eine flüssige Animation.

Bei der Photogrammetrie werden erst aus unterschiedlichen Winkeln ganz viele Fotos des Bühnenmodells gemacht, welche anschließend mittels einer photogrammetrischen Software zu einem 3D-Modell zusammengefasst werden. In diesem Prozess werden die Geometrie (d.h. die Form) und die Textur (d.h. die Farbe und Muster) gleichzeitig erstellt. Das Vorgehen mit Photogrammetrie hat den Vorteil, dass sehr detaillierte und realitätsgetreue Modelle entstehen. Diese Art von Modellen eignet sich deswegen gut dazu, ein Gefühl von Immersion zu vermitteln. Photogrammetrisch erstellte Modelle haben jedoch den Nachteil, dass es sich um eine einzige zusammenhängende Geometrie handelt und sie sich somit nicht gut dazu eignen, animiert zu werden.

Ausblick

Aktuell ist für die Entwicklung der beschriebenen Anwendungen noch sehr viel technisches Know-How erforderlich. In den letzten Jahren hat es allerdings vermehrt Bestrebungen gegeben, diesen Prozess zu vereinfachen und auch Nutzer:innen ohne Programmierkenntnisse über ein Autorensystem zugänglich zu machen. Der Prozess ist vergleichbar mit der Erstellung einer einfachen persönlichen Website: Vor 20 Jahren war dies noch ein komplizierter Prozess, heutzutage kann jede:r mithilfe von Autorensystemen eigene Websites erstellen.

Verschiedene Prototypen solcher Autorensysteme wurden im Rahmen zahlreicher Forschungsprojekte der HTW Berlin bereits entwickelt und kontinuierlich erweitert. Die Augmentierungen im Katalog des Kleist-Museums können bereits durch Anwender:innen ohne Programmierkenntnisse zusammengestellt und getestet werden.

Anders sieht es jedoch bei der hier beschriebenen Ausstellungsanwendung aus. Diese bietet viele Interaktionen und Animationen, die sich bisher nur schwer ohne Programmierkenntnisse verwirklichen lassen. Eine wichtige Forschungsaufgabe besteht daher weiterhin in der Konzipierung von modernen Benutzungsschnittstellen und Werkzeugen für unterschiedliche Anwender:innen.