Musik, Kunst und Kultur

Am 25. und 26.03 hatten die Schüler*innen des Wahlpflichtfaches Bildnerische Erziehung und Neue Medien einen Workshop zum Thema „Augmented Reality“. Am ersten Tag suchte wir noch nach Trigger Bildern im Schulhaus, am zweiten Tag konnten wir bereits bewegte 3D Figuren über Smartphone und Tablet augmentieren.

Wie geht das? Was ist Augmented Reality, Virtual Reality, Mixed Reality, Künstliche Intelligenz, „meshing learning“?

Alle diese Fragen wurden im Workshop erörtert, aber nicht nur theoretisch, sondern auch in der Praxis angewandt.

Bobby Rajesh Malhotra (https://bobbyrajeshmalhotra.tumblr.com/)ist selbst Medienkünstler, noch Student in der Abteilung für Digitale Kunst bei Ruth Schnell an der Universität für Angewandte Kunst. Seine Spezialisierung ist das Motion Capturing, Virtual Reality Anwendungen, Game Engines, Augmented Reality Anwendungen, Fotogrammetrie sowie Künstliche Intelligenzen.

Malhotra setzt sich mit politischen Themen auseinander, wie dem Ölpreis, dessen Preisanstieg- und Preisverfallskurve er in einen virtuell erlebbaren Raum verwandelt, „Oilpricecoaster“

(https://bobbyrajeshmalhotra.tumblr.com/post/138993264137/realoilpricecoaster051986012016) ; oder die oder der Misshandlung von Frauen in Indien, welche er in einer simulierten Busfahrt durch die Stadt rekonstruiert, im „Indian Rape Culture Simulator“

(https://bobbyrajeshmalhotra.tumblr.com/post/128770289377/bhenchod).

Neben der künstlerischen Ebene augmentiert Malhotra im Auftrag von Firmen Informationsbroschüren, die virtuelle 3D Figuren und Objekte sichtbar machen.

In einer Arbeit für das CEMM (https://cemm.at) soll in Zusammenarbeit mit Medizinern und Krebsforschern ein virtuell erlebbares Netzwerk, gespeist durch eine Datencloud mit Informationen über Genetik entstehen. Der „Data Diver“ verbindet alle Ärzte der Welt in der Datenwolke, wobei es darum geht Genome zu finden, die Krankheiten verursachen.

Was haben wir jetzt in unserem Workshop gelernt?

Wir haben einmal Triggerbilder im Schulhaus gesucht, denn dies ist der wichtigste Ausgangspunkt für eine gelungene Augmentierung, das Bild sollte möglichst organische Formen beinhalten und starke Kontraste.

Wir erstellten Figuren in 3D mit Adobe Fuse (https://www.adobe.com/at/products/fuse.html), einem Freeware Programm, dann wurden die Figuren in Mixamo (https://www.mixamo.com) verknüpft, wo auf sie Bewegungen appliziert wurden, Tanzbewegungen, sportliche Betätigungen u.a.

Die nächsten Arbeitsschritte erforderten dann Unity (https://unity3d.com), eine Plattform zum Erstellen einer Applikation.

Mit Hilfe eines Target Managers wurde das Triggerbild im 3D Raum mit der bewegten 3D Figur in Beziehung gesetzt. Es wurde eine AR Kamera auf das Objekt im Raum gerichtet, dies wurde im Vuforia Engine(https://www.ptc.com/en/products/augmented-reality) erstellt.

Vuforia ist eine App, die dann sowohl für Android Smartphones als auch für iOS Phones die AR Figur sichtbar machen kann.

X Code (https://developer.apple.com/design/)ist die Applikation, die hilft diese App auf das Smartphone zu übertragen.

Mit einer Testversion dieser App können die augmentierten Avatare bei mir (Petra Suko), bei Oskar Schmölz oder bei Valentin Stempkowski am Handy angesehen werden.

Am zweiten Workshop Tag beschäftigten wir uns mit google deep dream  (google deep dream zoom, inside an artificial brain,), einer künstlichen Intelligenz, die machine learning mit der größten Bilddatenbank der Welt verknüpft. Computer Vision und Machine learning wurde uns zunächst über diesen „Zoom“ nähergebracht, dann konnten wir selbst ausprobieren mit dem google deep dream generator (https://deepdreamgenerator.com) oder mit deepai.org (https://deepai.org/), wo Computerprogramme, die im Hintergrund laufen Bilder miteinander zusammenrechnen zu einem neuen künstlich erzeugten Bild. Hier gibt es unterschiedliche Möglichkeiten, wie Fast Image Transfer, Image Simularity oder CNNMRF ("Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis") .

So wurde z. B. Das Image der Schule mit einem Hundertwasser Bild kombiniert oder die Eingangsfassade mit einer bunten Grafik oder eine Person mit einer weiteren Person zu einer Person gemorpht, die es als solche gar nicht gibt.

Damit ergaben sich viele Fragen der Ethik, da ja über Gesichtserkennungen bereits Kontrollsysteme errichtet werden können, sowie Fälschungen virtueller Natur unkontrollierbar werden können.

Insgesamt wurden viele Themen angeschnitten, Deep Fake, Computerspiele, Mixed Reality Adventure, Robotertechnologie, Computervision, es wurde uns noch ein Projekt für das Kunstmuseum Krems vorgestellt, „Die Welt als Kunstwerk verstehen“, ein Folder für die Ausstellung „Fuck Reality“ im Kunstraum NÖ (https://www.kunstraum.net/de/ausstellungen/41-fuckrealtity gezeigt, sowie ein Club Simulator, auf fotogrammetrischen Aufnahmen beruhend für die Gelbe Forelle https://www.grelleforelle.com/, ein Clublokal wurden vorgestellt.

Danke an den Künstler und vielleicht wird es noch weitere Kooperationen, auch mit unserem Erasmus+ Projektpartnern geben.

Petra Suko