今日Paper|模態平衡模型;組合語義分析;高表達性SQL查詢;多人姿態...

2020-12-13 雷鋒網

目錄

視覺對話的模態平衡模型 對注意力的通用攻擊和對應的數據集DAmageNet半結構化表的組合語義分析從輸入輸出示例合成高表達性SQL查詢DeeperCut: 一種更深入,更強,更快速的多人姿態估計模型

視覺對話的模態平衡模型

論文名稱：Modality-Balanced Models for Visual Dialogue

作者：Kim Hyounghun /Tan Hao /Bansal Mohit

發表時間：2020/1/17

論文連結：https://paper.yanxishe.com/review/9325

推薦原因

這篇論文考慮的是視覺對話問題。

視覺對話任務需要一個模型來利用圖像和對話以生成針對當前對話的下一個響應。然而存在大量對話問題是不需要通過任何上下文歷史信息就可以根據查詢圖像而得以解答。這篇論文認為以往的聯合模式（歷史加圖像信息）模型過於依賴且更易記住對話歷史，而僅圖像模型更加具有通用性，並且在允許多個正確答案時表現更好。因此這篇論文鼓勵維護兩個模型，即僅圖像模型和圖像-歷史聯合模型，並將它們的互補能力結合起來以形成更平衡的多峰模型。這篇論文通過集成和共有參數的共識落差融合，提出了兩種方法用於這兩個模型的集成，並且在2019年視覺對話挑戰賽上取得了出色的成績。

對注意力的通用攻擊和對應的數據集DAmageNet

論文名稱：Universal Adversarial Attack>作者：Chen Sizhe /He Zhengbao /Sun Chengjin /Huang Xiaolin

發表時間：2020/1/16

論文連結：https://paper.yanxishe.com/review/9324

這篇論文研究的是深度神經網絡的對抗性攻擊。這篇論文提出了注意力集中攻擊（Attack _src="https://notecdn.yiban.io/cloud_res/79539/imgs/20-2-7_03:41:29.935_70700.png" style="max-width: 100%; border-style: solid; border-width: 0px; box-shadow: none; height: auto !important; visibility: visible !important;">

半結構化表的組合語義分析

論文名稱：Compositional Semantic Parsing>作者：Panupong Pasupat /Percy Liang

發表時間：2015/1/24

論文連結：https://paper.yanxishe.com/review/9240

推薦原因

核心問題：本文完成的是一個問答系統

創新點：本文訓練了一個語義分析器，首先將關係和實體從半結構化HTML表中編碼。然後，系統分析問題成為覆蓋率高的候選邏輯形式語法，用對數線性重新排列候選項模型，然後執行得分最高的邏輯形式來產生答案的表示

研究意義：作者構建了一個數據集，在這個數據集的效果證實了，這種方法比傳統的基準模型要好。

從輸入輸出示例合成高表達性SQL查詢

論文名稱：Synthesizing Highly Expressive SQL Queries from Input-Output Examples

作者：Chenglong Wang /Alvin Cheung /Rastislav Bodik

發表時間：2017/1/5

論文連結：https://paper.yanxishe.com/review/9239

推薦原因

核心問題：SQL語言具有特定的語法結構，這就導致要想熟練使用SQL語言需要較高的門檻，本論文就是解決這個問題，

創新點：本論文開發一種如下的方式：

新的抽象-抽象查詢語言-分解原來具有挑戰性的綜合問題。

這種語言中的抽象查詢在語法上類似於SQL查詢，但篩選器謂詞替換為可以用任何有效謂詞。總的來說就是分為兩個過程，第一個過程是可能實例化為SQL的抽象查詢。第二個過程是為每個合成抽象查詢，將其實例化為所需的SQL查詢並將頂級候選項返回給用戶。

研究意義：自從抽象查詢中的運算符不再由參數化謂詞，抽象查詢的搜索空間顯著比原來的減少了

DeeperCut: 一種更深入,更強,更快速的多人姿態估計模型

論文名稱：DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model

作者：Insafutdinov Eldar /Pishchulin Leonid /Andres Bjoern /Andriluka Mykhaylo /Schiele Bernt

發表時間：2016/5/10

論文連結：https://paper.yanxishe.com/review/9238

推薦原因

研究目標：多人場景中提高關節姿態估計的技術水平

改進了DeepCut

(1)改進的體部檢測器，為體部生成有效的自底向上的建議;

(2)新穎的、以圖像為條件的成對術語，允許將建議組合成數量可變的、一致的身體部分配置;

(3)增量優化策略，更有效地探索搜索空間，從而導致更好的性能和顯著的加速因素。

在兩個單人和兩個多人位姿估計基準上進行評估。該方法顯著優於最著名的多人姿態估計結果，同時在單人姿態估計任務中表現出了較強的競爭能力。

模型和代碼可以從http://pose.mpi-inf.mpg.de獲得

ECCV 2016

論文作者團隊招募

為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊，希望以論文作為聚合 AI 學生青年的「興趣點」，通過論文整理推薦、點評解讀、代碼復現。致力成為國內外前沿研究成果學習討論和發表的聚集地，也讓優秀科研得到更為廣泛的傳播和認可。

我們希望熱愛學術的你，可以加入我們的論文作者團隊。

加入論文作者團隊你可以獲得

1.署著你名字的文章，將你打造成最耀眼的學術明星

2.豐厚的稿酬

3.AI 名企內推、大會門票福利、獨家周邊紀念品等等等。

加入論文作者團隊你需要：

1.將你喜歡的論文推薦給廣大的研習社社友

2.撰寫論文解讀

雷鋒網雷鋒網雷鋒網

相關焦點

  • 今日Paper | 模態平衡模型;組合語義分析;高表達性SQL查詢;多人...
    對注意力的通用攻擊和對應的數據集DAmageNet半結構化表的組合語義分析從輸入輸出示例合成高表達性SQL查詢DeeperCut: 一種更深入,更強,更快速的多人姿態估計模型論文名稱：Modality-Balanced Models for Visual Dialogue作者：Kim Hyounghun
  • 今日Paper | 多人姿勢估計;對話框語義分析;無監督語義分析;自然...
    還有一種是將自然語言直接轉換為計算機可以理解並且執行的語言，本文就是解決這個問題創新點：面向任務的對話框系統的分層語義表示，它可以對組合查詢和嵌套查詢建模。提出了一個語義解析的層次化注釋方案，它允許組合查詢的表示，並且可以被標準的選區解析模型高效準確地解析。而且還發布了一個由44k個帶注釋的查詢1組成的數據集。
  • 今日Paper | 可視問答模型;神經風格差異轉移;圖像壓縮系統 ;K-SVD...
    為了驗證AI的推理能力，視覺問答（Visual Question Answering，VQA）被用作一種視覺圖靈測試。現有VQA模型的關鍵是將圖像的視覺特徵與給定問題的語義特徵相結合而學習到聯合嵌入。大量的研究聚焦於利用視覺注意力機制來設計複雜的聯合嵌入策略，以有效捕捉視覺與語義間的交互作用。
  • 深度學習用於多模態語義學習簡述
    通常，在媒體語義理解過程中可獲取不同類型的媒體數據，如：新聞報導包含了文字和文字對應的圖像，視頻包含了視覺和聽覺信息。不同類型的媒體數據從不同側面反映了高層語義，因此多模態語義學習需要對不同模態的信息進行整合。
  • 今日Paper | 語義多任務學習;遞歸神經;損失平面;MT-BioNER等
    理解遞歸神經網絡中的泛化分段線性激活實質上塑造了神經網絡的損失平面MT-BioNER：使用BERT結構的多任務學習模型進行醫藥領域的命名實體識別一種面向語義表徵的層次型多任務學習方法  利用不確定性設計損失權重進行場景幾何和語義多任務學習
  • 今日Paper | 3D手勢估計;自學習機器人;魯棒語義分割;卷積神經網絡...
    在這項工作中，作者探索了3D語義分割的最佳實踐，包括常規的編碼器-解碼器體系結構以及組合的損失函數，以試圖進一步提高分割的準確性。 作者評估了BraTS 2019挑戰賽的方法。通過不同的屬性來表徵CNN的體系結構，並證明這些屬性可以預測兩個特定的基於計算機視覺的物理問題中的網絡性能-事件頂點發現和費米國家加速器實驗室的MINERvA實驗中的強子多重性分類。為此，作者從針對物理問題的優化網絡架構中提取了幾種架構屬性，這些屬性是一種稱為多節點深度學習神經網絡的模型選擇算法（MENNDL）的輸出。作者使用機器學習模型來預測網絡在訓練之前是否可以比某個閾值精度更好地運行。
  • 今日Paper|3D手勢估計;自學習機器人;魯棒語義分割;卷積神經網絡...
    在這項工作中，作者探索了3D語義分割的最佳實踐，包括常規的編碼器-解碼器體系結構以及組合的損失函數，以試圖進一步提高分割的準確性。 作者評估了BraTS 2019挑戰賽的方法。通過不同的屬性來表徵CNN的體系結構，並證明這些屬性可以預測兩個特定的基於計算機視覺的物理問題中的網絡性能-事件頂點發現和費米國家加速器實驗室的MINERvA實驗中的強子多重性分類。為此，作者從針對物理問題的優化網絡架構中提取了幾種架構屬性，這些屬性是一種稱為多節點深度學習神經網絡的模型選擇算法（MENNDL）的輸出。作者使用機器學習模型來預測網絡在訓練之前是否可以比某個閾值精度更好地運行。
  • 今日Paper|語義多任務學習;遞歸神經;損失平面;MT-BioNER等
    作者從任務同質不確定性(homoscedastic uncertainty)的角度，利用簡化的回歸、分類模型，分析了多回歸任務、回歸+分類任務等多任務模型的目標函數，提出了利用數據集的分布信息來設計並訓練權重的方法。按照上述方法設計的多任務模型打敗了所有單任務模型並達到了SOTA，同時，作者證明了此種損失設計對於參數的初始化信息有較強的魯棒性。
  • 今日Paper | 跨模態行人重識別;對抗時尚遷移;學會注意錯誤;凸混合...
    from=leiphonecolumn_paperreview0311推薦原因本文主要是解決紅外線-RGB跨模態行人重識別的問題。由於Specific feature在對面模態中是不存在的，所以目前工業界大部分跨模態行人在識別算法通常只關注shared feature learning，很少關注Specific feature，比如在紅外線圖片中是沒有彩色顏色信息的。主要創新點：利用近鄰信息：給定一紅外線query。
  • 阿里iDST ICCV 2017錄用論文詳解:基於層次化多模態LSTM的視覺語義...
    阿里巴巴在今年的 ICCV 2017上有多篇論文入選。本文是阿里iDST與西安電子科大、西安交大等合作的 ICCV 2017 論文解讀《基於層次化多模態LSTM的視覺語義聯合嵌入》（Hierarchical Multimodal LSTM for Dense Visual-Semantic Embedding），雷鋒網AI科技評論做了不改動原意的編輯。
  • 【ICCV2017論文技術解讀】阿里-基於層次化多模態LSTM的視覺語義聯合嵌入
    ICCV2017論文：《基於層次化多模態LSTM的視覺語義聯合嵌入》（Hierarchical Multimodal LSTM for Dense Visual-Semantic Embedding）近年來, 隨著深度學習技術的快速發展
  • 鄧力、何曉冬深度解讀:多模態智能未來的研究熱點
    這裡「理解」意指發掘文本中蘊含的語義特徵與視覺中蘊含的圖像特徵之間的相關性。除文本外，視覺還常與語音相結合，基於視頻進行諸如語音識別、說話人識別、語音分離和增強等任務。論文主要關注於結合文本和圖像的多模態任務，尤其是近年來一些側重數學模型和訓練方法的相關研究工作。
  • 深思考楊志明:多模態語義理解能推動人工智慧大規模落地|2019 WISE...
    我給大家分享一下我們深思考人工智慧在多模態深度語義理解這個領域我們的一些進展，以及對多模態深度語義理解落地的一些經驗。首先介紹一下我們深思考人工智慧，我們只專做一件事情就是多模態的深度語義理解。人工智慧的最後一塊，就是語義理解，目前包括語音識別、圖像識別已經比較成熟，已經開始大規模落地。
  • 今日Paper|可視問答模型;神經風格差異轉移;圖像壓縮系統;K-SVD...
    現有VQA模型的關鍵是將圖像的視覺特徵與給定問題的語義特徵相結合而學習到聯合嵌入。大量的研究聚焦於利用視覺注意力機制來設計複雜的聯合嵌入策略，以有效捕捉視覺與語義間的交互作用。但是，在高維空間構建視覺與語義特徵計算量極大，模型越來越複雜，對VQA準確率帶來的提升卻很小。這篇論文系統地研究了模型複雜度和性能兩方面的折中策略，並且特別關注了這些模型在多模態融合方面的效果。
  • 多模態學習分析：通過多模態數據分析與接口實現學習的未來
    多模態界面和多模態學習分析在評估開放性學習環境中的學習方面有很大的前景。由於其對多種數據流和自然界面的豐富整合，這一研究領域可通過支持替代性學習模式，幫助迎來新一輪的教育改革。此外，這項研究建立在作者過去三年所做的工作基礎上，這些工作發現在學生的言語、目光、編程狀態；認識論信念和身份；以及在多種模態的組合中，都存在有意義的信息。它還建立在一些已發表和未發表的研究工具的基礎上，這些工具可以實現：對象跟蹤；用戶定位；以及協作工作的多模態數據採集。為此，作者之前的研究都是孤立地研究各種模式，但隨著他的論文工作的推進，想開始更好地利用不同數據流的整合，對學生的學習進行擴展分析。
  • ECCV2020 | 北京大學提出RGB-D語義分割新網絡,多模態信息融合
    儘管在RGB語義分割方面已經取得了重大進展，但是直接將互補深度數據輸入到現有的RGB語義分割框架中或僅將兩種模態簡單地集成在一起可能會導致性能下降。將兩種數據更好地融合關鍵挑戰在於兩個方面：（1）RGB和深度模態之間的顯著變化。
  • 今日Paper | RevealNet;時間序列預測;無監督問答;實時語義立體...
    from=leiphonecolumn_paperreview0331推薦原因作者發現一些特殊問題：很難從句子中的實體名稱推理而出但是實際上並不困難，對於BERT而言很難處理，從而質疑BERT能從名稱推理出答案，但是並不足以稱之為一個知識庫。同時提出了一種將由維基百科預料中學到的詞向量嵌入到BERT模型中的擴展模型，得到了比BERT和ERNIE更好的結果。
  • 什麼是模態分析?模態分析有什麼用?
    質量矩陣形成結構的固有慣性，是區別於靜力學分析的又一重要因素。在有限元分析時，往往需要對結構網格化，因為網格化技術的限制，有限元模型得到結構質量與實際模型質量往往不同，這裡就需要工程師具備豐富的工程經驗來判斷修正與質量配平。{ü} 代表節點加速度矢量。加速度矢量與質量矩陣共同組成了力平衡矩陣，加速度矢量就是位移矢量的二階導數。
  • 模態分析到底是什麼鬼
    而我們所提取模態的階數即對應要獲取的方程中特徵值的個數。實際的分析對象是無限維的，所以其模態具有無窮階。但是對於運動起主導作用的只是前面的幾階模態，所以計算時根據需要指定提取前幾階進行計算。複雜的振動一般都可分解為簡單振動的組合，而且，這些個簡單振動，跟外來的激勵樣式無關，只跟物體的本身的性質以及邊界約束條件有關。
  • 構式語法研究的新動向——多模態構式語法
    構式語法是一種基於用法的理論模型，其理念認為說話人的語言系統基本上植根於使用事件，即說話人所產出和理解語言的實例。而使用事件發生在一定的語境中，語境在語言系統運作中起著重要作用，構式語法研究很大程度上是研究各種語境要素（如參與者、特定知識、參與者、正式程度、媒介、社會文化等）對語法結構形式、功用的調節以及語義的形成和識解等問題的研究。