Un artist folosește un iPhone pentru a vizualiza sunete în AR

Zach Lieberman produce sunete. Cu fiecare sunet, o bară se formează pe ecran lăsând în urma ei diferite forme. Pe măsură ce Lieberman mută telefonul înapoi prin norul de bare, sunetele se reiau în ordine inversă ca și cum ar întoarce manual un disc de vinil.

Arată și sună ca un telefon dar care are posibilitatea de a călători printr-un portal temporar, însă Liberman are o altă explicație: el practic înregistrează sunete folosindu-se de spațiu. Realitatea, este bineînțeles ceva mai complicată. Lieberman, care ajută la conducerea Școlii pentru Computație Poetică din New York City, a construit harta reală a sunetelor folosind ARKit de la Apple și instrumentul OpenFrameworks pentru programare. La fel ca și toate aplicațiile construite cu ARKit, Lieberman folosește SLAM (Simultaneous Localization and Mapping) care interconectează datele de la senzorii telefonului și camera foto pentru a construi o hartă de rezoluție joasă pentru limitele și contururile unei încăperi.

Cu această informație obținută despre mediul înconjurător, Lieberman a putut captura sunetele prin intermediul microfonului telefonului, procesează și le vizualizează cu ajutorul aplicației pe care a construit-o, apoi cartografiază ilustrațiile într-o locație exactă în cameră. Poți plasa o fotografie într-o cameră, un cuvânt în alta și poți urmări o urmă formată de undele sonore care apar exact unde telefonul le-a capturat pentru prima dată. Dacă mișcați telefonul de-a lungul de-a lungul planurilor 3D iar telefonul poate funcționa ca un burete, reluând sunetul în față sau în spate în timp real. Redă astfel porțiunea audio care este cea mai apropiată de locația exactă a dispozitivului, spune Lieberman.

În comparație cu aplicațiile strălucitoare pe care dezvoltatorii de jocuri și companiile precum Ikea le creează cu ARKit, experimentul din livingul lui Lieberman se simte ca o schiță nefinisată. Iar în multe moduri, chiar așa este. În forma sa curentă aplicația nu ține minte poziția undelor sonore pe termen nedefinit. Închideți aplicația și o redeschideți, iar ea nu va recunoaște locul exact unde ați cântat “Happy Birthday”. Ea cunoaște unde ați desenat anumite sunete în spațiu relativ cu locul unde ați deschis aplicația. Dar ea nu știe dacă spațiul este în Brooklyn sau la următoarea intersecție sau chiar în această cameră.

Cu toate acestea, aplicația oferă una dintre cele mai evidente și transparente ilustrații despre cum funcționează realitatea augmentată și ce poate să facă. Lieberman, la fel ca și mulți alți artiști, care folosesc realitatea augmentată pentru a produce experiențe noi, vede aplicația sa mai mult ca pe un experiment. Este o modalitate pentru a merge mai departe de experiențele comerciale care apar inevitabil odată cu orice tehnologie nouă și să gândim la un nivel mai critic privind modalitățile în care poate fi folosită.

https://www.wired.com/story/an-artist-uses-an-iphone-to-visualize-sounds-in-ar/

Leave a Reply

Your email address will not be published. Required fields are marked *

+ 2 = 9