結合聲音的互動創作
在近幾年頻繁出現在 ITP 畢業展
成為學生致力於研究的方向
也讓觀眾從視覺-聽覺-觸覺多方位
感受到聲音在數字媒體的可能性
本期將從三個方向告訴你
聲音不只有被聽見的常規模式，
它還有這些表現形式.
底部有分享會報名喲！
教你用創意編程做一個音畫互動賀卡
▲ 通過聲音使作者的3D 半身雕塑變形, Nick Gregg，2018
方向一 ： 聲音可視化
將聲音的屬性可視化，是常見的一種可視化方式，這種方式在 windows98 時代的播放器就已經有了，並沒有特別的稀奇。一段音樂的音高，對應著一個圖片的明度，它的節奏，對應著整個屏幕的節奏...（是不是特別有老年disco的效果）
聲音是不同介質之間的一種隱形連接，金屬和水的聲音可能有各自不同的特點。如何分析材料的聲音特性，並對這一屬性進行可視化，則是設計師發揮的空間。
01
接觸不同材料
呈現不同聲音和圖形
聲音之島
Kexin Lin, Shijie Zhang
⏰ 2018
🔗 http://t.cn/EqyIYvo
這件作品的主要理念是鼓勵人們在日常生活中發現被忽視的美。設計師希望能創造出一種可以激發人類觸覺，視覺和聽覺感受的體驗。
兩位設計師選擇了石頭、金屬、木材、丙烯酸和面料作為設計元素，當接觸到界面上的對象時，將生成反映其屬性的聲音和投影圖形。
▲ 完整視頻
用編程生成圖形以反應聲音的幅度和頻率，實驗過程：
▲ 模擬水波紋效應，將每個聲道的振幅映射到漣漪半徑，以顯示每個物體的開/關狀態
▲ 應用粒子系統來反映聲音的頻率和幅度
▲ 反射低/低音和高/中頻的貝塞爾波
02
液體的交互式聲音表演
Aquatic Synthesis 水生合成
Dan Oved
⏰ 2018
🔗 http://t.cn/EqKWQkJ
這是一個交互式現場表演，它是隨機和人為控制的結合。在液體混合和變化時，根據液體的特性生成聲音。通常在電子音樂中，作曲家會加入隨機性，使聲音更具有機感。
當我們把這種隨機性的來源換成自然的或有機的形式會發生什麼? 該作品通過使用攝像機檢測不同液體的特性以及它們如何緩慢變化來探索這一概念，並將這些變化轉化為聲音。
▲ 完整視頻
方向二 ： 麥克風收聲控制視覺的變化
如果想嘗試更多實時互動的作品，麥克風絕對是你開始這方面探索最快捷的方式，因為我們的手機電腦都自帶麥克風哦。
方向二可以說是方向一的實時互動版本，不同的是聲音來源從靜態的一段音頻，改成了可以捕捉到環境音的麥克風，讓能與人連結、做基於聲音的交互形態成了可能。
03
用聲音感知海洋面臨的噪音汙染
Pandemonium 混亂
Dingwen Kou, Ruyi Chen
⏰ 2018
🔗 http://t.cn/EqKe29m
▲ 屏幕上的鯨魚會根據麥克風收聲而改變路徑
海底世界決不是寂靜的。事實上，人類活動造成的噪聲汙染（例如海洋爆炸和船舶行駛聲）已經嚴重影響了鯨魚的行為（例如溝通或尋找食物），甚至導致它們的死亡。
▲ 通過麥克風收聲，引起的視覺變化
該裝置通過聲音交互的方式，來模擬水聲創傷是如何由人類產生的，以及它是如何影響海洋物種的。
設計師們首先在 3.js 中找到鯨魚 OBJ 模型和海洋模型，再添加路徑點，最後將海洋和鯨魚結合起來。
▲ 點擊圖片，查看完整視頻
方向三 ： 生產聲音，創造樂器
如果說前兩個方向都是被動的接受聲音，那第三個方向讓我們來主動創造聲音。誰說樂器只有鋼琴、小提琴、長笛等管弦樂全家族？為什麼不自己動手 remix 任何想要的聲音，通過硬體和軟體創意編程，我們能將不同的音頻片段與不同的交互拴在一起，從點擊一個小圓圈觸發一條震動音，到拉動一個軟線讓聲音越來越顫動…一切設計由你來做主。
04
一個可穿戴的樂器
線上的情緒
Yihan Chan
⏰ 2017
🔗 http://t.cn/EqOaIiV
▲ 點擊圖片，看完整視頻
這是一個可穿戴的樂器，通過從可伸縮的定製機械裝置中拉出弦，來發出聲音，靈感來自創作者學習不喜歡的樂器的經歷。
在學習古箏的10年中，她被迫做著厭煩的日常練習。不滿意每一次表演的老師，要求她把自己想像成樂器，讓樂器和身體合為一體。所以她創建了一個能從身體拉出弦的樂器，認為這種方式更加容易將自我情感融入到弦上。
05
基於中國樂器的數字視聽裝置
waterFalse
Yuli Cai （此次 p5.js 課程導師）
⏰ 2016
🔗 http://t.cn/EqOXHAi
waterFalse是一個基於數位化性能的交互裝置。它將中國古代的鐘聲和缶（一種打擊樂器）重新構想並結合了數字視聽裝置。
在表演中，藝術家使用不同的拉動姿勢，以不同的聲音紋理逐漸揭示每個缶背後不同的故事。一共捕捉了五種聲音元素，即自然水聲，平移風聲，和尚歌聲，馬頭琴聲音模擬（兩弦蒙古樂器）和女歌劇演唱。
除此之外，它還通過使用水，霧的另一種存在形式，深入挖掘了水與這個項目之間的關係。
在演奏其中一個缶時，它會被激活吹出獨特的霧氣（可以通過後方投影看到）。結合每個缶周圍的反應 LED 燈，為觀眾創造了一種感官，神秘和平和的感覺。
▲ 完整視頻（這麼🐂的老師，真的忍心不報課嗎:）
除了 ITP & IMA 的學生作品
還有來自業界的「聲音」
06
實時交互的視聽表演
Messa di Voce
Golan Levin, Zachary Lieberman
Jaap Blonk, Joan La Barbara
⏰ 2003
🔗 http://www.flong.com/projects/messa/
Messa di Voce 使用的核心技術是集成了實時計算機視覺和語音分析算法的定製軟體系統。電腦通過攝像機來追蹤表演者頭部的位置，同時分析來自表演者的麥克風的音頻信號，顯示各種可視化來響應。
這個項目的核心來自於團隊對音感或語音象徵的興趣，項目的目的是為了激發人們對語音、言語行為和語言的沉浸式環境的意義和效果的質疑。
▲ 點擊圖片，看完整視頻
07
像寫代碼一樣的音樂製作
Song Maker
Chrome Music Lab by Google
⏰ 2018
🔗 http://t.cn/REpAXZE
Chrome Music Lab 是 Google 旗下一個線上音樂教育網站，它的存在是為了讓更多人了解音樂產生的原理。
它是一個允許你選擇兩種不同樂器進行編程的音序器。是一種基於瀏覽器的體驗，支持平板、手機、電腦等多種系統。除此之外，Chrome Music Lab 是一項開源項目，任何開發者可以直接下載 Google 提供的代碼來製作教學工具。
▲ 可以手繪（觸控/滑鼠/鍵盤）出你想要的形狀
▲ 或者通過麥克風「哼」一個音高
看到這麼多聲音交互的可能性
創作出「聲音x視覺」作品也不難
本期分享會
最畢設特邀紐約大學 itp 的 Yuli Cai
教大家做一張豬年🐷聲音互動賀卡
感興趣的同學請掃碼海報報名
👇
結合你的專業玩創意編程
將有無限創作可能
... ...
編輯：COCO、Yuli Cai
審核：葉欣
-
喜歡本文，請讚賞
未經授權 請勿轉載（不免費授權）
點擊原文連結，直接報名！