面試題:CNN的卷積核是單層的還是多層的?

2021-02-24 七月在線實驗室

一般而言,深度卷積網絡是一層又一層的。層的本質是特徵圖, 存貯輸入數據或其中間表示值。

一組卷積核則是聯繫前後兩層的網絡參數表達體, 訓練的目標就是每個卷積核的權重參數組。


描述網絡模型中某層的厚度,通常用名詞通道channel數或者特徵圖feature map數。

不過人們更習慣把作為數據輸入的前層的厚度稱之為通道數(比如RGB三色圖層稱為輸入通道數為3),把作為卷積輸出的後層的厚度稱之為特徵圖數。

卷積核(filter)一般是3D多層的,除了面積參數, 比如3x3之外, 還有厚度參數H(2D的視為厚度1). 還有一個屬性是卷積核的個數N。

卷積核的厚度H, 一般等於前層厚度M(輸入通道數或feature map數). 特殊情況M > H。

卷積核的個數N, 一般等於後層厚度(後層feature maps數,因為相等所以也用N表示)。
卷積核通常從屬於後層,為後層提供了各種查看前層特徵的視角,這個視角是自動形成的。


卷積核厚度等於1時為2D卷積,對應平面點相乘然後把結果加起來,相當於點積運算;
卷積核厚度大於1時為3D卷積,每片分別平面點求卷積,然後把每片結果加起來,作為3D卷積結果;1x1卷積屬於3D卷積的一個特例,有厚度無面積, 直接把每片單個點乘以權重再相加。

歸納之,卷積的意思就是把一個區域,不管是一維線段,二維方陣,還是三維長方塊,全部按照卷積核的維度形狀,對應逐點相乘再求和,濃縮成一個標量值也就是降到零維度,作為下一層的一個feature map的一個點的值!


可以比喻一群漁夫坐一個漁船撒網打魚,魚塘是多層水域,每層魚兒不同。

船每次移位一個stride到一個地方,每個漁夫撒一網,得到收穫,然後換一個距離stride再撒,如此重複直到遍歷魚塘。


A漁夫盯著魚的品種,遍歷魚塘後該漁夫描繪了魚塘的魚品種分布;
B漁夫盯著魚的重量,遍歷魚塘後該漁夫描繪了魚塘的魚重量分布;
還有N-2個漁夫,各自興趣各幹各的;
最後得到N個特徵圖,描述了魚塘的一切!

2D卷積表示漁夫的網就是帶一圈浮標的漁網,只打上面一層水體的魚;
3D卷積表示漁夫的網是多層嵌套的漁網,上中下層水體的魚兒都跑不掉;
1x1卷積可以視為每次移位stride,甩鉤釣魚代替了撒網;

下面解釋一下特殊情況的 M > H:


實際上,除了輸入數據的通道數比較少之外,中間層的feature map數很多,這樣中間層算卷積會累死計算機(魚塘太深,每層魚都打,需要的魚網太重了)。

所以很多深度卷積網絡把全部通道/特徵圖劃分一下,每個卷積核只看其中一部分(漁夫A的漁網只打撈深水段,漁夫B的漁網只打撈淺水段)。

這樣整個深度網絡架構是橫向開始分道揚鑣了,到最後才又融合。

這樣看來,很多網絡模型的架構不完全是突發奇想,而是是被參數計算量逼得。

特別是現在需要在行動裝置上進行AI應用計算(也叫推斷), 模型參數規模必須更小, 所以出現很多減少握手規模的卷積形式, 現在主流網絡架構大都如此。

相關焦點

  • 牛津奇葩面試題:你願意當吸血鬼還是殭屍?(中英文)
    比如,你得想好自己是願意當吸血鬼還是殭屍……今年,牛津大學因為一道面試題讓各大媒體都「驚恐」了一下:「你更願意當殭屍還是吸血鬼?」《泰晤士報》:世界上最讓人驚恐的考試題:吸血鬼還是殭屍。世界最古老最頂尖的高等學府之一英國牛津大學今年出了一道這樣的考題:「你願意當吸血鬼還是殭屍?」此題讓很多英國人大跌眼鏡,《泰晤士報》稱之為「世上最讓人驚恐的考試」,《衛報》說這是「最難」的考題。
  • Google面試官:不給我留提問時間,怎麼給你 hire?
    雖然題目都做出來,但最後還是跪了。反思之後,應該是由於做題太慢,有幾輪只回答了一道題,面試官沒有時間 follow up。如果面試表現不好,FB一般不會直接掛你,很多情況是給你加面機會或者down level。FB 的Coding環節,面試官一般會準備兩道題。這時候如果你只是完美地做出一道題,基本上這輪就跪了。相反,你快速解決兩道題,即便有些小瑕疵,說不定也能過。
  • 面試題:分身乏術如何協調矛盾?
    面試題:中心領導和一位處長在同一時間安排你做工作,你的時間只夠完成一其中一件事情,請問你該怎麼處理。
  • 女面試官:「一口吃掉牛尾巴」是什麼字?高材生機智回答,直接被錄取
    這是一家服裝公司正在面試顧問,當時是一位美女面試官,她看上去特別的溫和,可是對於面試她還是非常的嚴格,在面試的職員的時候,她首先是讓各位求職者自我介紹,隨後進行了筆試,經過了這兩輪的考核後,就只剩下了6位,再這6位當中,面試官再次提出了一個問題,又淘汰了3位,最後也就這3位進行了最後的面試。
  • 面試官:寧字去掉寶蓋頭,是什麼字?女碩士生機智回答被錄取
    現如今,步入職場已然不如老一輩人那麼簡單容易,每一個學生在畢業之後都得面臨著面試的洗禮,更何況現在每年的大學生也都在不斷增加,好的職位顯得尤為緊缺,這些面試官為了招聘到合適的人選,出的招越來越多,提的問題也是越來越特別。這不,女碩士楊紫就在面試過程中遇到了這樣一套特別的難題,還好機智聰明,心思縝密的她拋開常用思維去回答問題,果斷被錄取。
  • 想一個月搞定面試算法?來《九章算法班》!第一節免費試聽!
    想接受系統的面試算法培訓的同學,或想換工作的但是算法比較薄弱的工程師。0算法基礎即可參與學習。主講令狐衝老師,曾就職於超過2家矽谷頂尖IT企業,  北美和國內頂尖IT企業offer數10+,面試人數超過200人。課程大綱由易到難。只要你會任何一門計算機語言即可參加。尤其適合算法基礎相對薄弱的 or 轉專業的 or 想跳槽卻太久沒刷題的同學。分九個章節,系統的講授面試中涉及的算法知識。
  • 面試官:猴子摘桃,打一成語?女大學生回答不出被淘汰
    ,往往面試官出的一些題,讓他們大多都感到很奇葩,很多時候都回答不上來,而最近一位女大學生小美參加了一家公司的面試,結果,面試官出了一道題:猴子摘桃,打一成語?  這時,走來一位面試官,直接領著三位來到了公司的會議室,看了三位的個人簡歷以後,於是,出了幾道理論知識,剛好女大學生小美就是理科專業畢業的,所以,很快就把問題給回答出來了,面試官看三位回答的都很好。
  • 網易遊戲面試題:如何設計一個公平的洗牌算法
    我記得在面試網易遊戲的時候,面試官當時是這樣問我的:「給你一副撲克牌,你能設計一個公平的洗牌算法嗎?」。我當時一懵,只想到了 rand() 函數,用來生成一個隨機數,就給面試官說:「我首先會 0 到 n-1 遍歷給定的數組元素,然後每次生成一個隨機數 rand() % (n - i) ,然後將第 i 個元素與下標為隨機數的元素交換,這樣是不是可以呢?」
  • 城市擁堵,多層道路能否可行
    立體停車場隨處可見        樓房蓋了十幾層,停車場也有很多層,道路多數還是一層,這怎麼得了。有網友說話了。    位於山西省太原的天龍山路,擁有過山車一樣的多層結構,全長30公裡,如今這條路已「名不雙發」。天龍山路沿著山全長30公裡,在接近山頂的地方有三層環狀高架公路,外觀獨特。
  • 面試官:請問,鉛筆姓什麼?回「鉛」的都錯了,女大學生機智回答
    許多面試官的問題也是一樣,一道道智力題迎頭痛擊,讓許多求職者做好的準備付諸流水。這些題真的有那麼難嗎?也許我們把自己放輕鬆,試試跳脫常規思維,也許問題並沒有我們想像那麼複雜。下面跟隨我們一起去看看他們的面試現場!朋友小玲最近剛大學畢業,在學校的時候,小玲是一個各方面都非優異的學生,而且經常抽出空閒時間做一些兼職工作,所以工作經歷還算豐富。
  • 面試技巧:讓考官願意「聽你的話」?
    在國家公務員面試考場中,見解獨到的答題內容、自信從容的語言表達、如沐春風的表情管理,到底哪個才是讓你「高人一等」的必殺技呢?別著急,當你急於尋找所謂「高人一等」的面試必殺技時,不妨抬頭看看考官凝重的神情,每天面對幾十名答題內容千篇一律、語言表達卡頓的考生,或許考官們內心所想沒那麼複雜,讓他們願意聽、聽得進去,方才是成事之道。
  • 拼多多面試題:如何找出連續出現N次的內容?
    【拼多多面試題】兩隻籃球隊進行了激烈的比賽,比分交替上升。
  • 面試官:我兒子是你兒子的爸爸,我是你的誰?美女精闢回答
    無論是在什麼公司什麼部門擔任著什麼工作職務前都要經歷最重要的一個環節,就是要和面試官談話,達到雙向標準,一個是公司方考慮著要不要應聘和面試方要不要受聘。在面試的時候總是會出現一些一個又一個讓人費勁腦汁的問題。
  • 電梯來了:多層公共建築到底能不能設置剪刀梯?
    B:能設,高層逼不得已能設,多層隨便設。搬運一下大家的留言:支持A,不能設的同學:雲霞xx:多層公共建築範圍內大部分類型的建築(如醫,旅,老歌,舞,商,會展等),一般都需要設置封閉樓梯間。在一個防火分區內需要設置兩個安全出口,之間還有距離要求。
  • CNN 10 - April 16, 2020
    https://pmd.cdn.turner.com/cnn/big/cnn10/2020/04/15/caption/ten-0416.cnn_3180051_768x432_1300k.mp4Sorry, the CNN doesn't post the script of this show on website.
  • 面試官:因為這句話,我淘汰了90%的應屆生!
    每年秋招,500強的面試淘汰率高達70%還有花樣百出的面試環節,聽著就頭大電面/群面/壓力面/case面/HR面…這些複雜的面試關卡,讓很多同學苦不堪言企業面試經典題目匯總你還可以得到100+經典面試題目&回答模板,很多題目是每年會反覆出現的,全部都是提分點!
  • 婚禮百科之多層蛋糕的切法
    婚禮百科之多層蛋糕的切法  在西方社會,結婚蛋糕的起源有著和中國的早生貴子同樣的蘊意。結婚蛋糕除了作為婚宴上的一道甜點以外,還擔負著其他重要的使命。婚宴上常有一道切蛋糕的儀式,新人在所有來賓的矚目下,雙手同持一把刀,切開蛋糕。調皮的新人或賓客甚至會互抹或互擲蛋糕,來引發一場蛋糕大戰。
  • 變臉鳥:讓我想到了一個高考題
    這類羽毛上的顏色並不是由色素形成的,而是因為羽毛上羽小枝表面的一些獨特的亞顯微物理結構使入射光線發生散射、折射和多層幹涉,從而產生具有金屬感的虹彩光澤。羽小枝是啥:一片羽毛的結構其實很複雜,包括中間的羽軸、羽軸兩側生長的羽枝、每根羽枝兩側生長的羽小枝以及羽小枝上的羽小鉤等。
  • CNN 10 - October 20, 2020
    本期視頻連結:  https://pmd.cdn.turner.com/cnn/big/cnn10/2020/10/19/caption/ten-1020.cnn_3452938_768x432_1300k.mp4本期內容簡介:Two weeks from Election Day