作者 | 陳大鑫
剛剛！第28屆ACM國際多媒體會議（ACM MM）最佳論文獎、最佳學生論文獎、最佳demo獎、 最佳開源軟體獎在內的所有多媒體領域大獎都已出爐。
其中最佳論文的一作是來自南開大學Hongru Liang，最佳學生論文的一作是來自西安交大的Wenbo Zheng。
1
ACM MM 2020大會整體情況
2020年ACM Multimedia（簡稱ACM MM）大會由阿里巴巴與義大利佩魯賈大學和香港中文大學共同舉辦，阿里巴巴也是首個獲得ACM MM主辦權的中國企業。
由於疫情原因，2020年是ACM MM 自1993年以來第一次成為純線上的會議。會議收錄的論文成果提前錄製成為視頻，參會者可以不受時空限制，隨時觀看，論文作者將會通過線上會議的形式與參會者進行互動交流。
本屆會議主會共收到論文投稿1694篇，與2019 年相比提升了 81%，也打破了ACM MM 會議的記錄。
最終，會議共收錄論文474（收錄比約 27.9%） 論文幾乎觸及了所有多媒體技術的研究領域。
內容覆蓋Multimedia and Deep learning、 Multimedia Application、Emotional and Social Signals、Multimedia Interpretation等熱門領域。
除論文外，Grand Challenge、Workshop、tutorial 等板塊，為參會者提供了線上互動交流的廣闊平臺。
其中有54%的投稿來自中國，深度學習仍舊是最熱門的話題領域，從視頻內容理解到AI與美，從醫療到競技體育，」改成 「從多媒體內容理解到搜索，從深度學習到深度挖掘，從媒體內容生成AI與美，從醫療健康到體育分析......
截止會議開始，大會註冊人數1097 也是打破的ACM 會議的註冊記錄，疫情之下也是非常難得的。
大會網站：https://2020.acmmm.org/
大會組委會成員
本次大會榮譽主席：
本次大會主席：
其中阿里巴巴集團副總裁、達摩院城市大腦實驗室負責人、IEEE Fellow 華先勝主要領導完成了所有線上會議的籌備工作。
2
最佳論文
論文題目：
《PiRhDy: Learning Pitch-, Rhythm-, and Dynamics-aware Embeddings for Symbolic Music 》
論文作者：Hongru Liang, Wenqiang Lei, Paul Yaozhu Chan, Zhenglu Yang, Maosong Sun, Tat-Seng Chua.
論文地址：https://dl.acm.org/doi/abs/10.1145/3394171.3414032
論文摘要：
目前，確定性嵌入仍然是計算音樂學中深度學習符號音樂的基本挑戰。類似於自然語言，音樂可以被建模為token序列，這促使大多數現有的解決方案來探索利用詞嵌入模型來構建音樂嵌入。
但是，音樂與自然語言有兩個關鍵的區別:
（1）音樂token是多面性的，它包含了音高（pitch）、旋律（rhythm）和動態信息；
（2）音樂上下文（context）是二維的：每個音樂token都依賴於旋律（melodic）上下文和和聲（harmonic）上下文。
在這項工作中，我們提供了一個全面的解決方案：名為PiRhDy的新框架，它無縫地集成了音高、旋律和動態信息。
PiRhDy採用一種分層（hierarchical）的策略，可分解為兩個步驟:
（1） token建模，分開表示音高、旋律和動態信息，並將它們集成為單個token嵌入;
（2）上下文建模，利用旋律和和聲知識訓練token嵌入。
我們對PiRhDy的每個組件和子策略進行了深入研究，並在三個下遊任務中進一步驗證了嵌入的效果——旋律完成、伴奏建議、類型分類。
研究結果表明我們提出的PiRhDy是符號音樂神經方法的重要進展，也展現出PiRhDy作為廣泛的符號音樂應用於預訓練模型的潛力。
PiRhDy架構圖：
融合模塊圖、局部context模塊圖：
3
最佳學生論文
論文題目：
《Learning from the Past: Meta-Continual Learning with Knowledge Embedding for Jointly Sketch, Cartoon, and Caricature Face Recognition》
論文作者：Wenbo Zheng, Lan Yan, Feiyue Wang, Chao Gou.
論文地址：https://dl.acm.org/doi/abs/10.1145/3394171.3413892
論文摘要：本文通過解決抽象的素描，卡通，漫畫和現實照片之間的人臉聯合識別難題，解決了從不同模態學習的挑戰性任務。由於抽象人臉的顯著變化，建立視覺模型來識別這些模式中的數據是一項非常具有挑戰性的工作。
我們提出了一種新的基於知識嵌入的元持續學習框架，用來解決素描、卡通和漫畫人臉聯合識別的任務。
首先，我們提出了一個深度關係網絡來捕捉和記憶不同樣本之間的關係。
其次，我們提出了將圖像與標籤聯繫起來的知識圖譜的構建，作為元學習的指導。然後設計了一種知識嵌入機制，將知識表示融入到網絡中。
最後，為了減輕災難性遺忘，我們使用了一個元連續模型來更新我們的集成模型並提高其預測精度。有了這個元連續模型，我們的網絡可以從過去的知識學進行學習。最後的分類是通過學習比較樣本的特徵從網絡中獲得。
實驗結果表明，與其他SOTA方法相比，我們的方法取得了更好的性能。
網絡框架：
4
最佳Demo獎
論文題目：
《Integrating Event Camera Sensor Emulator》
論文作者：Andrew C. Freeman, Ketan Mayer-Patel
論文地址：https://dl.acm.org/doi/pdf/10.1145/3394171.3414394
論文摘要：
事件攝像機是一種受生物啟發的傳感器，它顛覆了傳統相機的框架式同步特性。Singh等人提出了一種新型的傳感器設計，可以通過連續積分直接測量入射光值、單個像素的感光度可實時調整，從而實現極高的幀速和高動態範圍的視頻捕獲。本文討論了該傳感器的潛在用途，介紹了一個從三維渲染輸入圖像模擬傳感器事件輸出和像素髮射率控制的系統。
5
最佳開源軟體獎
論文題目：
《Cottontail DB: An Open Source Database Systemfor Multimedia Retrieval and Analysis》
論文作者：Ralph Gasser, Luca Rossetto, Silvan Heller, Heiko Schuldt
論文連結：https://dl.acm.org/doi/pdf/10.1145/3394171.3414538
開原始碼：https://github.com/vitrivr/cottontaildb
論文摘要：
多媒體檢索與分析是大數據研究的兩個重要領域。
它們的共同點是使用特徵向量作為媒體對象本身的代理。這些向量與元數據（如文本描述或數字）一起，完整地描述了一個媒體對象，因此必須同時考慮存儲和檢索。 在本文中，我們介紹了Cottontail DB，這是一個開源的資料庫管理系統，它在統一的數據和查詢模型中集成了對標量和向量屬性的支持，同時允許布爾檢索和最近鄰搜索。
我們展示了Cottontail資料庫可以很好地擴展到大的集合和向量維度，並深入了解了它是如何被證明是各種用例（從MRI數據分析到實現文化遺產領域的檢索解決方案）的有價值的工具。
Cottontail DB系統架構圖
6
傑出服務獎
以下三人獲獎：Shuonan Zhang, Ying Chi, Yu Wang
最後，明年ACMMM2021將在中國成都舉辦，大家多投稿去參會啊！
NeurIPS 2020論文接收列表已出，歡迎大家投稿讓更多的人了解你們的工作~