音樂和視覺元素之間的聯動是創作視聽藝術品的最重要因素之一，尤其是節奏和動作之間的同步，對於今天的流行音樂以及視聽表達至關重要。
2020年9月25日-27日，上科大創藝學院DIV實驗室主辦、DIV實驗室PI西野裕樹（Hiroki Nishino）教授和時任工程師紀晨主持了「看見『律動』——音畫互動音樂」工作坊。工作坊中，指導教師教授學生如何實現一個音畫同步的音序器，並在此基礎上將音序器進一步擴展為交互式音樂應用程式。工作坊把遊戲的「娛樂」元素加入到音樂軟體中，讓玩家以一種玩的方式享受音樂。
3天的工作坊中，15個來自於EE，CS和生物專業的上科大學生，懷揣著對音樂，互動媒體和遊戲的熱忱，把自己學習的編程知識和藝術結合在了一起。
在第一天的講座中，學生們理解了為什麼音樂，畫面的聯動對人的感知有重要意義。而後續的工作坊教學實踐中，學生們學會了初步使用Unity和Garageband，並在Unity裡製作簡單的音樂互動小程序。通過講座和工作坊的實踐，學生在人機互動，Unity音樂遊戲開發基礎，音樂軟體互動設計，3D建模，C#編程，音樂音效製作等多個方面獲得了新的知識和技能。
因為小組成員喜歡吉他和音樂製作，大家以一把吉他為藝術背景，賦予每一根弦一個和弦的音頻。最後還可以聽小組成員製作的整首歌曲。
生活中有很多聲音因為過於稀鬆平常而被我們忽略，但其實他們也可以作為樂器和節拍加入我們的音樂中。Sound in the Life小組成員錄製了生活中可以作為音樂音效的聲音，製作了一個互動混音器，通過點擊按鈕，可以加上或減去「生活中的音效」。
小組成員是民樂的樂手。在這個作品中他們嘗試製作了民樂音序器。玩家可以在某個時間點加上笛子聲或者中國鼓。畫面中的笛子和鼓會隨著節奏舞動。
老師們有不少音樂遊戲的設計經驗，教學方面也循序漸進。workshop中大家一起分享見解、解決問題的氛圍令人十分舒適。我在這個過程中全面認識了這種將遊戲作為媒介的音樂表達方式，這對我來說是一種全新的體驗！
好玩兒！workshop用遊戲把聲音，視覺和交互結合在一起，讓人能夠在其中比較輕鬆地「演奏」出律動。這種「演奏」是一種很奇妙的體驗！
一直都挺喜歡音遊，也很好奇音遊的製作過程。在這次工作坊裡很開心能初步接觸了音遊的製作，並且將自己擅長的民樂融合進去，希望之後有更多類似的工作坊！
很有趣的workshop！把兩大愛好都結合了起來，我極度開心。並且學到了不少Unity的小知識，充實了很多。
Workshop使我第一次接觸到了Unity引擎，以及音樂遊戲的製作。我們團隊在一天的時間內，利用GarageBand，自彈自唱，製作了背景音樂，完成了《吉他與小黃人》。
過程中學習Unity的使用是最為困難的一部分，但在助研小姐姐的幫助下，我們順利地做出了配色很「糖豆人」的動畫。預期的設計中，小黃人會根據背景音樂的節奏、和弦而跳動，由於時間和能力的限制，最終完成了精簡版的Demo。這依然很有成就感~
希望以後能再次參加類似的音樂遊戲製作活動，做出更完美的作品!
19 信院
周濤濤
@上科大
TeamFork
遊戲工作室
Hiroki Nishino 是上海科技大學創意與藝術學院的助理教授。Hiroki教授於2014年獲得新加坡國立大學博士學位，之後他曾在Keio University，Malaysia Imagineering Institute的多媒體實驗室擔任研究員。2016-2020年她在中國臺灣長庚大學的工業設計系擔任助理教授。他的研究方向包括：創意編程，互動設計，聲音合成與處理，計算機音樂程式語言， AR/VR在人文上的應用等等。他曾設計了一門新的電腦音樂程式語言(包括編譯器，有聲音合成功能的虛擬機，時間優化系統)，獲得多次計算機音樂會議最佳論文獎項；他也在AR/VR 的交互技術與應用上有深入的嘗試與研究，曾多次發表ACM，IEEE HCI 方向會議的論文，以及多次獲得研究獎項。
紀晨曾任DIV Lab內Hiroki Nishino教授課題組的工程師/助理研究員。她擁有音頻工程和數字媒體交叉學科背景，在相關創新技術領域開展了廣泛的研究和行業實踐。她的研究興趣在於如何運用計算媒體去幫助人們更好的學習，感受和社交。她探索的方式有：遊戲體驗設計，用戶互動設計，VR / AR。她於2014年獲得諾丁漢大學電氣與電子工程學士學位，並於2020年獲得了史丹福大學音樂與聲學計算機研究中心（CCRMA）的音樂科技碩士學位。她曾在ACM, IEEE會議上發表關於遊戲設計和計算機音樂應用的論文。
上海科技大學創意與藝術學院智能虛擬設計實驗室（DIV Lab）將專注於研究創意產業的更多可能性及更大空間範圍發展創意的過程，讓市民和藝術家、科學家共同參與新型社會互動，在學習和了解技術前提下，共同開展生活方式、智慧城市及娛樂、社會福利和青少年教育領域的各種互動設計。DIV將涵蓋跨學科的研究和實踐領域，包括設計、美術、人機互動、參與式設計、行為改變設計、人工智慧、工程、計算機科學、社會學、人類學、傳播學、商業、文化研究以及其他相關領域的社會創新設計，利用人工智慧和創新技術，提出未來智能生活環境設計的新思路、方法和概念。