殘差在信息壓縮、深度網絡訓練中都有著非常重要的應用。但如果只是簡單地對原始數據如音樂數據,提取出殘差,並基於此來構造預測模型的話,那麼構造的模型可能還是太粗糙了。
以歌曲來打個比方,如果我們只關注小節的話,則可以把一首歌或多首歌的小節累積起來並進行分析,根據某個準則來聚類,則能得到若干組的小節片段,每個組內的小節片段具有類似的結構和旋律特徵。但我們也可以兩小節兩小節的分析、三小節拆分的分析,甚至半首半首、整首的分析。顯然,這裡的拆分是多尺度的。如果把這組多尺度合併起來,由最大的尺度做底,越往上尺度起細,那疊起來的形狀就像歌手遊鴻明演唱的歌曲《白色戀人》中,描述的金字塔。
作為地球上的八大奇蹟之一,金字塔擁有很多未經證實的傳說,尤其是在能量聚集方面相當的神奇且神秘。而借鑑金字塔的結構,來構造人工智慧模型的思路,一直是層出不窮。比如利用殘差,將多尺度的殘差按串行方式聯接起來的深度學習模型。它有一個更酷的名字,叫拉普拉斯金字塔網絡。也可以在深度學習模型的特徵輸出層上按尺度的大小來並行劃分特徵的粒度,被稱之為特徵金字塔池化(FPP)。還可以在輸入層,按多尺度來構造,也是一種圖像金字塔技術。當然,基於金字塔思路的框架還可以有不少。它都反映了事件的粒度,以及由粗到細的綜合分析策略。
2020年2月6日
白色戀人
填詞:林利南
譜曲:遊鴻明
原唱:遊鴻明
發行時間:2006年
冷空氣 卻清晰
你在南極冰山雪地裡
極光中雪白的肌膚
是哀愁是美麗
為了要 遇見你
我連呼吸都反覆練習
蘭伯特仁慈的冰川
帶領我走向你
零下九十一度的酷寒
滾滾紅塵千年的呼喊
藏在沃斯託克的湖岸
沉靜輕嘆
撒哈拉漫天狂沙
金字塔誰能解答
兵馬俑誰與爭鋒
長城萬裡相逢
人世間悲歡聚散
一頁頁寫在心上
含著淚白色戀人
卻有灰色的年輪
原歌詞地址:
https://baike.baidu.com/item/白色戀人/3657136?fr=aladdin
108. 金字塔 -- 白色戀人/遊鴻明
107. 殘差蝴蝶網 -- 蝴蝶飛呀/小虎隊
106. 蝶形跳連接網 -- 兩隻蝴蝶/龐龍
105. 蝶形網 -- 蝴蝶/王菲
104. 維數摺疊 -- 卷珠簾/霍尊
103. 降維打擊 -- 忘塵谷/劉珂矣
102. 高維空空間 -- 星辰大海/黃霄雲
101. 拓撲的生消 -- 浮光掠影/蘇瑋
100. 高維空間 -- 吃泡麵/曹寅