雷鋒網按：本文原作者為深度好奇研究組，原發表於公眾號「深度好奇AI」（deeplycurious）。雷鋒網(公眾號：雷鋒網)已獲授權轉載。
論文題目：Zooming Network
論文地址：（請戳此處）
設計動機神經網絡模型之所以能夠在人工智慧的各個領域大放異彩，除了憑藉強大的擬合能力和各類梯度下降方法之外，還要依靠網絡結構基於數據信息分布特徵的針對性設計。比如，多層全連接網絡雖然在理論上可以擬合任何函數，實際應用中的效果卻往往差強人意；而另一方面，多層卷積神經網絡由於採用了類似大腦初級視覺皮層信息處理方法的卷積操作與參數共享方法，對圖像信息進行高效的特徵提取（充分利用了圖像中的平移不變性、局部信息連續性），可以使用少得多的參數在圖像處理任務上取得非常好的效果。
我們認為自然語言處理領域尚無一種類似卷積網絡的在圖像處理領域具有奠基作用的模型。究其原因，是我們尚未充分利用自然語言數據和任務天然具有的特徵進行模型結構的改進。自然語言天然地具有如下特徵：1）自然語言（文本）是由一些基本語言單元（如單詞、字、詞）構成的序列；2）語言單元具有層級特徵，低級語言單元可以構成高級語言單元（如多個字可以組成一句或一段文本）；3）語言單元的劃分不是隨機的，而是包含著語者或作者的信息表達策略；4）不同於圖像數據，基本語言單元不具有像素一樣的局部連續性，而是高度信息符號化的。
為了更好地利用上述文本特徵，我們提出了變焦網絡（Zooming Network）的概念。整體上看，變焦網絡由三個主要部分組成：層次化編碼模塊、變焦控制器模塊、符號推理模塊，分別完成針對語言單元特點的編碼過程、解碼過程，以及針對自然語言符號化的推理輔助解碼。我們將該網絡設計應用到長文本序列標註任務上，取得了非常好的效果（f1 score超過bi-LSTM-crf模型10%以上）。
層次化編碼（Hierarchical Encoder）人在閱讀文本時既按照時間順序累積信息，又伴隨著不同級別的信息抽象。這對應著人類語言文字共有的兩個重要特徵：時序化和分級化。我們對與編碼模塊的設計就是利用了這兩個特徵：使用雙向長短時記憶層（bi-LSTM）對單一語言單元層級進行順序地讀取、編碼；使用最大池化操作（max-pooling）模仿人腦由低級語言單元抽象高級語言單元信息的過程。通過層次化編碼，我們賦予每一級每一個語言單元一個向量表示（hierarchical distributed memory），並保留其句段劃分的分界信息。
變焦控制解碼（Zooming controller）變焦控制器本質上是一個序列決策模型。不同於經典的循環神經網絡（RNN）模型：1）變焦控制器每次不是接收單個基本語言單元的信息，而是接收當前位置上的字、句、段三級信息，這樣可以使模型同時掌握細節特徵（detailed local feature）和整體特徵（global feature），以更好地進行狀態更新。2）在每個解碼標籤序列的時刻，變焦控制器可以選擇當前解碼長度，可以選擇輸出任意層級語言單元對應的標籤，而不僅限於基本語言單元（字/字符）。3）在預測標籤之後，讀取位置會自動跳轉到與解碼層級一致的下一語言單元的開頭，而不是直接跳轉到下一個基本語言單元。這種解碼過程使得變焦控制器對文本表徵的閱讀方式更加靈活，在信息分布稀疏的部分可以快速略讀（Zoom out），在信息分布集中的部分可以逐字精讀（Zoom in）。
符號推理（Symbolic reasoning）在解碼過程中，我們可以通過自然語言文本的一些「寫作習慣」特徵和已經預測出的標籤序列，對下文標籤規則推理出一些建議標籤。例如，在大量的垂直領域文本中，常常出現一些有序列舉過程：「1. …… 2. …… 3. ……」。這些有序符號往往成組出現，而且對應內容是等位並列關係，一般具有相同標籤（或者相同結構標籤）。在實際使用過程中，我們會綜合上個序號內容的處理方式，給出下個序號內容處理的最佳路徑並以稀疏向量的形式輸入到變焦控制器內，使其可以更加高效地處理數據。
實驗情況我們將該模型應用到兩組數據的序列標註上：
1）集中式的重點信息抽取：在刑事案件的裁判文書中，對犯罪事件的具體描述提供了整個案件的判決依據，有很重要的分析價值。這些描述往往集中出現，但是由於整個裁判文書的長度多變，案件複雜程度不一，對這些描述的高效抽取既需要快速地略過無關信息，又需要在信息出現的段落進行精細的分析。下圖示例中紅色及藍色的文字表示被Zooming Network抽取出來的部分，不同的顏色則代表不同的犯罪事件標籤。
被告人張三，男，1978年3月17日出生，現因涉嫌犯盜竊罪，於2005年9月21日被羈押，同年10月28日被逮捕，現羈押在北京市海澱區看守所。
北京市海澱區人民檢察院指控被告人張三犯盜竊罪，於2006年6月9日向本院提起公訴。本院依法組成合議庭，公開開庭審理了本案。北京市海澱區人民檢察院指派檢察員武軍出庭支持公訴，被告人李忠士到庭參加訴訟。現已審理終結。
經審理查明：
被告人張三於2001年4月1日，在本市海澱區車道溝10號院東99丙號樓3單元地下室，撬門入室竊取被害人A的現金人民幣1 700元，竊取被害人B的諾基亞5110型手機1部、愛立信398型手機1部，共計折合人民幣2 667元。贓款、贓物均未起獲。
被告人張三於2001年8月13日，在本市海澱區萬壽路甄家墳集體宿舍，翻窗入室竊取被害人C的現金人民幣7 300元、純金戒指1枚，共計折合人民幣8 400元。現贓款、贓物均未起獲。
綜上，被告人張三共盜竊作案2次。
——————————————————————————————————————————
The defendant Zhang San, male, born on March 17, 1978, was detained on September 21, 2005 for suspicion of theft and was arrested on October 28 of the same year. He is now detained at the Haidian District Detention Center in Beijing.
Haidian District People's Procuratorate accused the defendant Zhang San guilty of theft, on June 9, 2006 prosecution to this court. Our court formed a collegiate bench and heard the case openly. Beijing Haidian District People's Procuratorate appointed inspector Wu to appear in court to support the prosecution, the defendant Li Zhongshi to attend the proceedings. Now trial ended.
After trial found:
On April 1, 2001, defendant Zhang San stole the victim's cash of RMB 1,700 in the basement of Unit 3, Building 99, Lane 10, Lane 10, Lane, Haidian, Haidian, to steal the victim's Nokia 5110 A mobile phone, Ericsson 398 mobile phone 1, a total of 2 667 yuan equivalent. Stolen money, stolen goods have not played.
On August 13, 2001, the defendant, Zhang San, stole the victim's C for 7,300 yuan in cash and 1 piece for the pure gold ring in a rented apartment in Zhenjiafen, Wanshou Road, Haidian District, on August 13, 2001. The total amount was equivalent to 8,400 yuan . Now stolen money, have not been stolen goods.
To sum up, the defendant Zhang three commoner theft 2 times.
2）分散式的重點信息抽取：在智慧財產權糾紛案件的裁判文書中，案件的核心是原被告雙方爭議的焦點。這些信息隨著對糾紛的描述不定位置地出現，出現形式也複雜多變，進一步要求模型對處理路徑的靈活選擇。下圖示例中紅色及藍色的文字表示被Zooming Network抽取出來的部分，不同的顏色則代表不同的爭議焦點標籤。
本院認為，原告張三是涉案發明專利的專利權人，該專利至今在有效期限內，法律狀態穩定，應受法律保護。任何單位或者個人未經專利權人許可不得實施該專利，否則應承擔相應法律責任。
綜合本案當事人的訴辯意見，本案爭議焦點主要在於以下兩個方面：1.被控侵權產品是否落入涉案專利權利要求1的保護範圍；2.被告的侵權責任應如何承擔。
—————————————————————————————————————————————————————————————————
The court held that the plaintiff Zhang San was the patentee of the invention patent involved in the patent so far, and the patent so far has a stable legal status and should be protected by law. Any unit or individual may not implement the patent without the permission of the patentee, or shall bear the corresponding legal responsibility.
Based on the opinions of the parties involved in this case, the focus of the dispute in this case lies mainly in the following two aspects: 1. Whether the accused infringing product falls into the protection scope of Claim 1 of the patent involved; 2. How the defendant's tort liability should be borne.
我們使用序列標註經典最優模型bi-LSTM-crf作為baseline model來比較模型的處理性能，實驗結果如下（模型參數數量為同一量級）：
其中，WA指word-level的整體準確率，wlar指模型使用的逐字讀取行為佔全部處理行為的數量比例。可以看出，變焦網絡的性能遠超基線模型，而且具有很高的處理效率（大量地使用句、段級別的標籤預測行為）。這個過程的具體示例如下：
被告人張三，男，1978年3月17日出生，現因涉嫌犯盜竊罪，於2005年9月21日被羈押，同年10月28日被逮捕，現羈押在北京市海澱區看守所。
北京市海澱區人民檢察院指控被告人張三犯盜竊罪，於2006年6月9日向本院提起公訴。本院依法組成合議庭，公開開庭審理了本案。北京市海澱區人民檢察院指派檢察員武軍出庭支持公訴，被告人李忠士到庭參加訴訟。現已審理終結。
經審理查明：
被告人張三於2001年4月1日，在本市海澱區車道溝10號院東99丙號樓3單元地下室，撬門入室竊取被害人A的現金人民幣1700元，竊取被害人B的諾基亞5110型手機1部、愛立信398型手機1部，共計折合人民幣2667元。贓款、贓物均未起獲。
被告人張三於2001年8月13日，在本市海澱區萬壽路甄家墳集體宿舍，翻窗入室竊取被害人C的現金人民幣7 300元、純金戒指1枚，共計折合人民幣8400元。現贓款、贓物均未起獲。
綜上，被告人張三共盜竊作案2次。
上述事實，被告人張三在開庭審理過程中亦無異議，且有物證涉案物品價格鑑定（認證）結論書，被告人的供述等證據證實，足以認定。
本院認為，被告人張三以非法佔有為目的，多次秘密竊取他人財物，數額較大，其行為已構成盜竊罪。公訴機關指控的事實、罪名成立，本院予以確認。據此，為保護公私財產權利不受侵犯，懲罰犯罪，依照《中華人民共和國刑法》，判決如下：
被告人張三犯盜竊罪，判處有期徒刑一年。
審 判 長 張某某
人民陪審員 曲某某
人民陪審員 楊某某
其中，藍色部分表示模型使用了句級、段級的預測，紅色部分表示模型使用了字級的預測。可以看出，在信息意義不大的部分，模型選擇了略讀，而在關鍵信息出現的地方，模型採用了精讀的方式處理。另外一個有意思的現象是，模型對於「經審理查明」等帶有指示功能的語句一樣採用了精讀方式處理。
總結藉助句段結構信息，變焦神經網絡很好地結合了泛讀與精讀過程，可以更好地對長時依賴特徵進行建模，引入大跨度動作提高效率，尤其在篇幅很長的文本處理中表現得更為明顯，在關鍵信息的抽取任務上，f1值較經典序列標註模型（biLSTM+CRF）有10%以上的提升。在此基礎上引入神經符號化推理模塊後，其處理效率又有了一個顯著提升。變焦神經網絡非常適合應用於各類長文本處理任務當中，其使用的編解碼方式也可結合其他技術推廣到各類自然語言處理任務中，產生新的火花。
雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。