Aufnehmen von räumlichem Sound mit ARKit und Bewegen durch virtuelle 3D-Wellenformen

Der Codekünstler Zach Lieberman hat Apples neues ARKit-Framework in iOS 11 genutzt, um eine dreifache Proof-of-Concept-Audio-App zu erstellen, mit der Sound in Augmented Reality aufgezeichnet und durch buchstäbliche Bewegung durch virtuelle 3D-Wellenformen wiedergegeben werden kann.

Hier ist ein kurzes Video, das dies in Aktion zeigt (achten Sie darauf, den Ton einzuschalten)

Schneller Test der Tonaufnahme im Raum und der Wiedergabe durch Bewegen (Video hat Audio!) #Openframeworks pic.twitter.com/GdZcK3rj1L

- zach lieberman (@zachlieberman) 6. September 2017

Er erstellte es mit ARKit und OpenFrameworks, einem Open-Source-C ++ - Toolkit für die kreative Codierung.

Ich kann dies in Museen als eine Art interaktive Kunstinstallation ansehen: Stellen Sie sich vor, Sie nehmen auf diese Weise musikalische Kompositionen mit Noten und Rhythmen auf, die räumliche Muster einnehmen, die Menschen durch Bewegen durch 3D-Wellenformen wiedergeben könnten.

Man könnte sogar eine Installation oder einen speziellen Fitness-Track einrichten, in dem die Leute durch einen Kurs joggen können, um aufgezeichnete Musik zu spielen. Oder wie wäre es mit einer Schnitzeljagd in Augmented Reality, bei der Sie überall im Haus Audio-Hinweise finden müssen?

Die Möglichkeiten sind endlos - wenn Sie mit ARKit räumliches Audio erstellen können, ist es kein Problem, sich Augmented Reality-Wörter, Tweets, Emoji, schwebende Notenblätter usw. vorzustellen.

Hier sind weitere Demos von Zach, die zeigen, wie ARKit Objektpunkte in Echtzeit erkennt.

Schnelltest zur Animation der Punktwolkendaten pic.twitter.com/34mQvuKXNd

- zach lieberman (@zachlieberman) 1. September 2017

Ein weiteres pic.twitter.com/5RSFSzSg5N

- zach lieberman (@zachlieberman) 31. August 2017

Es ist cool, sich die Funktionspunkte anzusehen und das Modell zu sehen, das erstellt wird (danke @xavitribo) pic.twitter.com/8rqObs8seI

- zach lieberman (@zachlieberman) 31. August 2017

Zachs Demo erinnert an die Light Barrier-Serie von Studio Kimchi and Chips, ein Projekt, das mit Hunderten von kalibrierten Videoprojektionen volumetrische Zeichnungen in der Luft erstellt. Wie in dem unten eingebetteten Video gezeigt, werden diese Lichtprojektionen in einem Nebelfeld zusammengeführt, um grafische Objekte zu erstellen, die sich wie in der Zeit durch den physischen Raum bewegen.

Wir haben Ihnen heute die ultimative Mess-App des Entwicklers Rinat Khanov mit dem Namen MeasureKit vorgestellt, mit der Sie nahezu alles messen können, wie beispielsweise die Größe einer Person, den Abstand zu Objekten, den Winkel zwischen zwei Punkten und vieles mehr, indem Sie Ihr iPhone auf Objekte richten.

Wie gefällt Ihnen diese neue ARKit-Demo??