LiDAR Scanning unter iOS

LiDAR: Neue Technologie für den Einsatz in Apps

In den letzten Jahren konnten man mit Spannung den rasanten technologischen Fortschritt im Bereich Mixed Reality und speziell Augmented Reality beobachten. Besonders Apple scheint ein großes Interesse zu haben, diese Technologien in die Hände der Konsumenten zu bringen. Dafür bekannt “cutting-edge” Technologien für die breite Maße salonfähig machen zu wollen, zog Apple nicht zuletzt durch die Ankündigung ihres Mixed Reality Headsets “Apple Vision Pro” einige Blicke auf sich. Ob Apple mit “Vision Pro” jedoch die breite Masse von Mixed Reality überzeugen kann wird sich zeigen. Speziell im Bereich Augmented Reality legte Apple bereits durch ihr Framework ARKit, die Integration von LiDAR Sensoren in die iPhone Pro und iPad Pro Modelle, sowie der Einführung der neuen Roomplan API vor.
Wir bei Mopius beschäftigten uns im Zuge eines Forschungsprojekts für unseren Kunden “Lehner Lifttechnik” speziell mit den letztgenannten Technologien.

Der LiDAR Sensor im iPhone Pro und iPad Pro nutzt Laserimpulse, um Entfernungen bis zu etwa 5 Meter genau zu messen und räumliche Informationen zu sammeln. Diese Technologie erstellt 3D-Karten der Umgebung und ergänzt die iPhone Kameras, indem sie Tiefeninformationen liefert.
Die Kombination aus Sensordaten des LiDAR Sensors, Kamerabildern und dem Einsatz von künstlicher Intelligenz ermöglicht eine Menge an Anwendungsgebieten für mobile Fotografie und Augmented Reality.
Durch den LiDAR Sensor wird z.B. speziell die Fotografie bei schlechten Lichtverhältnissen bei iPhones verbessert. Außerdem erlaubt es Augmented Reality Anwendungen den Einbezug von räumlichen Informationen um z.B. Hindernisse zu erkennen und die User Immersion noch zu erweitern.
Ein weiteres interessantes Anwendungsgebiet ist die Durchführung von realistischen 3D Scans von Objekten und Umgebungen wie bei dem bereits erwähnten Projekt für “Lehner Lifttechnik”.

Für das Projekt entstand der Prototyp einer nativen iOS App, welche über die Kamera und dem LiDAR Sensor 3D Scans von Stiegen und anderen Umgebungen erstellen kann. Durch eine Kombination der iOS Frameworks MetalKit und ARKit wird eine Punktewolke als Repräsentation der gescannten Umgebung erstellt. Diese Punktewolke kann in der App visualisiert, als Binär-, oder Text-Datei exportiert und somit weiterverarbeitet oder in externen Programmen dargestellt werden.
Diese Punktewolke besteht aus einzelnen Messpunkten, die über ARKit mit dem LiDAR Sensor (Distanz) und der Kamera (Farbwerte der erfassten Punkte) erfasst werden. ARKit hilft dabei den räumlichen Bezug zu den Messpunkten der Scan Session zu bewahren und das eigentliche Scannen durchzuführen. MetalKit wird dabei verwendet um die Punktewolke in der App darzustellen. So kann vor dem Export das gescannte Objekt im echten Raum begutachtet werden.

Im Zuge unserer Recherche haben wir uns auch die bereits erwähnte Apple RoomPlan API angesehen. Roomplan verwendet ARKit, sowie die Kamera und den LiDAR Sensor von iPhone Pro und iPad Pro Geräten um einen parametrisierten 3D Grundriss von einem oder mehreren Räumen zu erstellen. Der erfasste Grundriss enthält Informationen wie Dimensionen der gescannten Räume, sowie im Raum erkannter Objekte. Während die Repräsentation des Scans relativ abstrakt dargestellt wird, können spezifische Objekte durch 3D Modelle oder Texturen ersetzt werden. Der Grundriss kann in weiterer Folge auch für die Weiterverarbeitung oder Visualisierung in externen Programmen verwendet werden. Für unseren Projektprototypen konnten wir die Roomplan API leider nicht verwenden, da diese für das Einscannen von Stiegen leider nicht die nötigen Möglichkeiten bot.

Durch die Einführung des LiDAR Sensors, der Roomplan API, und Entwicklungen in ARKit bringt Apple Augmented Reality Schritt für Schritt in die Hände von Entwicklern und Kunden. Wir sind uns sicher, dass sich in Zukunft viele spannende Anwendungsgebiete entwickeln werden. Nicht zuletzt wegen der Ankündigung von “Apple Vision Pro” werden wir bei Mopius zukünftige Entwicklungen im Bereich Mixed Reality weiterhin mit Spannung beobachten.

Sie interessieren sich für diese Technologie, möchten von uns mehr darüber erfahren oder sind eventuell an einer Demo interessiert? Dann zögern Sie nicht und kontaktieren Sie uns noch heute.

Jetzt anfragen

SHARE THIS POST