SIGIR 2020 | 信息檢索研究中的合作競爭

2020-07-31 智源研究院
SIGIR 2020 | 信息檢索研究中的合作競爭

7月28日上午，美國國家標準與技術研究院(NIST)高級研究員，ACM Fellow Ellen Voorhees博士在第43屆國際信息檢索大會（SIGIR 2020）上以「信息檢索研究中的合作競爭」(Coopetition in IR Research)為題進行了主題報告。


智源社區為這次國際學術盛會提供了線上會議系統，並進行全程直播支持。


在報告中，Voorhees博士首先提出如何判別一個好的檢索結果，由於檢索本質是一種用戶行為，所以不同用戶有著不同甚至衝突的評判標準來判別一次搜索結果是不是好的。而如果想在信息檢索研究中引入類似基準數據集的相關測試，則需要組織者選一個合適的數據集，難度不能太大也不能太小，然後研究人員在這一數據集上進行測試，結果被組織者手動判別。


SIGIR 2020 | 信息檢索研究中的合作競爭

圖1：信息檢索研究中的競爭合作


Voorhees博士分析總結這種競爭合作機制的(1)益處：提升最好的性能(Improve the state-of-the-art)，建立研究方法(Establish the research methodology)，成立研究社區(Form/solidify a research community)，促進科技遷移(Facilitate technology transfer)，攤銷設施花銷(Amortize the costs of infrastructure)；以及(2)風險：過度集中在單一任務上(Community overfitting to single dataset/task)，任務概要表述不清(Poor task abstraction)，算法認證方法不明(Method conformity)。


針對以上的分析，Voorhees博士結合文本檢索會議(Text REtrieval Conference, TREC)的例子對上述益處和風險進行案例分析。在提升最好性能方面，Voorhees博士結合統計數據發現社區過度把精力放在了單個任務上的結果並總結提出希望研究者可以做多樣化的研究系統，不要拘泥於單個任務的表現。


SIGIR 2020 | 信息檢索研究中的合作競爭

圖2：TREC最好性能方面分析


接下來Voorhees博士對研究社區方面的影響進行了分析，提出建立一個好的用於測試的任務需要考慮到難度選題等各個方面。


SIGIR 2020 | 信息檢索研究中的合作競爭

圖3：TREC研究社區方面分析


在研究方法上面，Voorhees博士提出進行規範化的測試是非常重要的並需要警惕數據集的濫用。


SIGIR 2020 | 信息檢索研究中的合作競爭

圖4：TREC研究方法方面分析


而在設施搭建方面，Voorhees博士提出搭建設施需要大量的時間和金錢，需要注意在研究社區中由參與者進行分攤。


SIGIR 2020 | 信息檢索研究中的合作競爭

圖5：TREC設備花銷分析


最後，Voorhees博士簡單介紹了TREC-COVID (CORD-19)，一個未來應對未來生物醫學危機的大流行測試庫。在CORD-19中文檔的管理非常嚴格和高效，對未來的使用和比較有非常嚴格的規定。


SIGIR 2020 | 信息檢索研究中的合作競爭

圖6：CORD-19中的改變


作為 CCF 推薦的 A 類國際學術會議，SIGIR 歷來都是網際網路業內關注的焦點，會議覆蓋了信息檢索領域相關的各類前沿成果，包括基礎理論、算法應用以及評估分析。接下來， Salton Award獲得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亞科學院院士陶大程教授在內的四位專家學者進行相關主題報告。


點擊閱讀原文，進入智源社區參與更多討論。


作者：張偉楠


SIGIR 2020 | 信息檢索研究中的合作競爭

關於智源線上會議平臺

智源線上會議平臺，支持包括學術年會、學術報告會、學術沙龍、頭腦風暴、學術辯論會、學術講座、圓桌學術會議和學術座談會等多種會議形式，實現純淨版視頻觀看界面。

  • 專業用戶：智源社區已積累數萬人工智慧領域優質「觀眾」及專家學者，覆蓋高校師生、開發者、投資人等群體
  • 國際活動：國內外嘉賓、觀眾可輕鬆參與會議，支持國內外用戶註冊和觀看，中英文界面語言
  • 交流討論：不止於單向演講，重視「交流」的意義與價值，支持直播評論、線上交流區、直播提問專區，除文字外可使用語音、視頻等參與直播互動
  • 學術會議：智源線上會議平臺在2020年已舉辦20+場專業的人工智慧學術會議，其中有50W人參與的北京智源大會、4000人註冊參加的AIS 2020論文預講會、萬人的SIGIR 2020、3000人同時在線的圖神經網絡在線研討會，以及CCF語音對話與聽覺專業組走進企業系列活動等業內知名AI學術會議
  • 穩定易用：智源（社區）技術團隊自研平臺，專業技術人員保駕護航，提供運營專用網絡，兼容主流的直播系統，支持觀看端界面個性化布局，實現日程下載及本地日曆提醒，此外SIGIR 2020期間支持了44個直播間和300+個線上聊天室

相關焦點

  • 大三生獲最佳短論文獎,清華狂攬信息檢索頂會SIGIR2020多個獎項
    ACM SIGIR 是信息檢索領域的頂級學術會議，今年是第 43 屆。據統計，SIGIR 2020 會議共收到投稿 1180 篇，接收 340 篇，接收率為 28.8%。其中長論文投稿 555 篇，接收 147 篇，接收率約為 26%；短文投稿 507 篇，接收 152 篇，接收率約為 30%。
  • 大三生獲最佳短論文獎，清華狂攬信息檢索頂會SIGIR2020多個獎項
    來自清華大學的研究人員獲得最佳論文榮譽提名獎、最佳短論文獎獎項。ACM SIGIR 是信息檢索領域的頂級學術會議，今年是第 43 屆。據統計，SIGIR 2020 會議共收到投稿 1180 篇，接收 340 篇，接收率為 28.8%。
  • SIGIR 2020最佳論文公布，清華大學大三學生摘得最佳短論文獎
    7月29日晚，第43屆國際 「信息檢索研究與發展」 年會（SIGIR - The International ACM SIGIR Conference on Research and Development in Information Retrieval）最佳論文正式公布。
  • SIGIR 2020最佳論文公布,清華大學攬多個獎項,大三學生摘得最佳短論文獎
    7月29日晚，第43屆國際 「信息檢索研究與發展」 年會（SIGIR - The International ACM SIGIR Conference on Research and Development in Information Retrieval）最佳論文正式公布。
  • SIGIR 2020最佳論文公布,清華大學攬多個獎項,大三學生摘得最佳短...
    新智元報導 來源：智源研究院 編輯：白峰 【新智元導讀】7月29日晚，第43屆國際 「信息檢索研究與發展
  • 大三本科生獲最佳短論文獎,清華大學狂攬信息檢索頂會SIGIR 2020多個獎項
    第 43 屆國際計算機協會信息檢索大會（ACM SIGIR）於本月 25 日舉行。昨日，大會公布了最佳論文等獎項。來自清華大學的研究人員獲得最佳論文榮譽提名獎、最佳短論文獎獎項。ACM SIGIR 是信息檢索領域的頂級學術會議，今年是第 43 屆。據統計，SIGIR 2020 會議共收到投稿 1180 篇，接收 340 篇，接收率為 28.8%。
  • SIGIR 2019國際信息檢索大會公布結果 深蘭科技獲高精度召回任務...
    日前，信息檢索領域的頂級國際會議SIGIR在法國巴黎成功舉辦，深蘭科技再奪一冠！在SIGIR2019電子商務研討會中，DeepBlue AI團隊榮獲高精度召回任務挑戰賽第一名。SIGIR（ACM International Conference on Research and Development in Information Retrieval）國際計算機協會信息檢索大會是一個展示信息檢索領域中各種新技術和新成果的重要國際論壇，專注於信息存儲、檢索和傳播的各個方面，包括研究戰略、輸出方案和系統評估等。
  • 信息檢索論文IRGAN大一統信息檢索模型的博弈競爭(彩標收藏版,附新聞及歷史名人事件;歡迎讚賞、留言「閱讀原文」下載PDF壓包)
    在文本檢索中，信息檢索的經典相關模型聚焦在描述如何從給定的信息需求生成（相關）文檔：q → d，其中 q 是查詢（例如關鍵字、用戶信息、問題，取決於具體的 IR 應用程式），d 是其相應的文檔（例如文本文檔、商品、答案），箭頭表示生成方向。值得注意的例子包括 Robertson 和 Sparck Jones 的二進位獨立模型，其中每個單詞標記都是獨立生成的，以形成相關文檔。
  • 網絡信息檢索中敘詞語言的應用及其缺點介紹
    敘詞表中的敘詞通過概念組配的方式來提高信息檢準率，是信息資源專題檢索中最優化的檢索方法。　　檢索資料庫中的應用　　在一個資料庫的索引中，敘詞表可以幫助用戶選擇用詞，以便檢索到最大數目的相關文獻。敘詞表用來對出版物的內容進行一致的、全面的和簡明的描述，這些詞被輸入到資料庫每個記錄的敘詞欄位中。
  • 匠心|音樂數據開放項目與信息檢索:從IMSLP到字節跳動GiantMIDI...
    但是音樂資源並不囿於音頻形式，在作學習或研究之用時，樂譜是和音頻同樣重要的信息資源。2020年10月，字節跳動發布信息檢索領域論文《GiantMIDI-Piano: A large-scale MIDI dataset for classical piano music》，介紹了其團隊成果——全球最大的古典鋼琴數據集GiantMIDI-Piano。
  • 如何研究競爭對手的「全網推廣策略」?
    大家好，歡迎來到策劃獅課堂，今天我們一起來探討一個話題：如何去研究你的競爭對手？做任何項目或者產品，能把競爭對手研究透徹是一門技能！這裡我們舉個例子，找一個行業來做一個全面的分析：那比如，某某企業主要是做微信小程序的，那他研究競爭對手應該怎麼研究？怎麼制定自己的策略？以下是個人常用的方式，大家可以借鑑或者一起探討如何查找競爭對手？
  • 蘭豔豔：SIGIR十年趨勢
    蘭豔豔，主要研究方向為機器學習和信息檢索，在相關領域重要會議和期刊累計發表論文本次演講中，蘭豔豔介紹了近10年 SIGIR 論文投稿和錄稿的整體發展趨勢，並著重分析了SIGIR最近兩年會議論文中的研究熱點和動向，以及就如何提高SIGIR 的投稿錄取率分享了自己的經驗和技巧。
  • 競爭中合作,合作中競爭,求的雙贏
    競爭，不單單意味著「你死我活」的爭鬥，也存在著「你為我用，我為你用」的合作。虹臂不能擋車，鳥卵不能擊石，如果不能戰勝對手，與其自尋死路，不如加入他們之中去，學會與你的對方合作，達到一種雙贏的效果。這些農民也是在與敵人合作，烏鴉喜歡吃柿子，有時趁農民不備就會偷吃，既然如此，農民就主動地給烏鴉留柿子，讓它們幫忙捉蟲，這就是雙贏。在商場上，也是如此，要學會與自己的對手合作，在競爭中求進步，在合作中獲利益。一些培訓導師、企業領導人總說，掙背後看不到的錢。
  • 文獻信息檢索與利用爾雅答案
    第1章 檢索也有大本領 大波「乾貨」等著你1【單選題】不論分類檢索語言中何種分類法,都具有三種構成要素,即類目、( )和注釋。>B、分類檢索、主題檢索C、數據檢索、事實檢索、文獻檢索D、計算機檢索、手工檢索9【單選題】信息道德規範信息行為,不包括以下哪一項()。
  • 中國智慧財產權發展研究中心 (IPDRC) 攜手THOMSON REUTERS 科技信息...
    IPDRC 將藉助Thomson Reuters 科技信息集團的智慧財產權管理平臺和專利檢索及分析解決方案，加快專利研發速度 北京2008年7月22日電 /新華美通 / -- Thomson Reuters 科技信息集團今日宣布，與智慧財產權發展研究中心 (IPDRC) 達成合作協議。
  • 武漢大學信息管理學院各個老師研究興趣&研究方向
    吳志強:研究領域：數字圖書館、信息檢索與信息服務、元數據、數字權利管理等。信息管理科學系:安璐:研究領域：可視化知識發現;網絡數據分析;競爭情報查先進:研究方向：信息分析與競爭情報、信息資源管理、信息行為、信息系統、供應鏈管理。
  • E時代的文史研究④︱學術檢索與知識管理
    因疫情影響，近半年來高校等研究單位的師生大都避疫在家，無法正常利用圖書館資源。自2020年4月起，由北京大學、南開大學等高校青年學者發起的「文獻挖掘整理研究會」決定在線舉辦第三次文獻沙龍，以助力文史學者更好運用線上資源以推進研究。
  • 哈工大社會計算與信息檢索研究中心(HIT-SCIR)招收2018年秋季入學研究生
    哈工大社會計算與信息檢索研究中心（HIT-SCIR）招收2018年秋季入學研究生安利一下我們研究中心（HIT-SCIR）2018年招生！哈工大社會計算與信息檢索研究中心隸屬於哈工大計算機科學與技術學院，研究中心的技術理想是「理解語言、認知社會」，科研工作集中在自然語言處理、社會計算領域，自然語言處理是人工智慧皇冠上的明珠，社會計算是計算技術與社會科學交叉形成的新興學科。具體研究方向包括：1.
  • 【IEEE二輪徵稿 | EI/CPCI/SCI】信息科學與教育多主題徵稿,ICISE2020高錄用快檢索
    2020年信息科學與教育國際學術會議（ICISE2020）ICISE2020會議已進入IEEE出版社官方列表！會議時間：2020年12月4-6日會議地點：中國•三亞截稿時間：詳情請查看官網接受/拒稿通知：投稿後1-2周收錄檢索：IEEE Xplore, EI Compendex, Scopus, CPCI所有的投稿都必須經過2-3位組委會專家審稿，經過嚴格的審稿之後