模式識別70年,學科發展報告基礎篇

2021-02-08 中國圖象圖形學報


自20世紀50年代以來,模式識別已發展成為一個學科(Discipline)或研究領域(Field of study)。O.G. Selfridge在1957年一個會議上從計算機科學角度給出了一個定義:Pattern recognition is the extraction of the significant features from a background of irrelevant detail(模式識別是從無關細節的背景中提取有意義特徵的過程)。King Sun Fu(傅京孫)在1982年出版的《Applications of Pattern Recognition》編著第一章說The problem of pattern recognition usually denotes classification and/or description of a set of processes or events. The set of processes or events to be classified could be a set of physical objects or a set of more abstract ones such mental states. The processes or events with some similar properties are grouped into a class.(模式識別問題是指對過程或事件的分類和/或描述。過程或事件可以是物理上的物體或抽象的事件如精神狀態。具有相似特點的過程或事件組成類別)。這個定義對模式識別的技術(分類、描述)和模式、類別都表達的非常明確。


綜合模式識別認知、功能作用和計算原理等方面的特點,我們可以給出一個更加全面的定義:模式識別學科研究如何使機器(包括計算機)模擬人的感知功能,從環境感知數據中檢測、識別和理解目標、行為、事件等模式。同時定義模式為數據中具有一定特點的目標、行為或事件,具有相似特點的模式組成類別(class, category)。單個模式又稱為樣本(sample)或樣例(instance)。


20世紀50年代是計算機模式識別正式登場的時期。1957年C.K. Chow發表的用於文字識別的統計決策方法是典型的統計模式識別方法,該文獻給出了貝葉斯決策(包括最小風險決策、最大後驗概率決策、帶拒識的最小風險決策)的基本框架。早期的一些代表性工作或重要事件還包括:1957年Rosenblatt研製的感知機(Perceptron);1965年N.L. Nilsson發表的關於學習機器的著作(裡面主要內容是模式分類);1966年第一個以模式識別為主題的研討會;1968年發表的模式識別研究綜述;1968年國際期刊Pattern Recognition創刊;Fukunaga和Duda & Hart分別於1972年和1973年發表的模式識別經典教材。70年代是模式識別研究快速發展的一個時期,傅京孫提出句法模式識別方法並形成了理論方法體系。


模式識別的國際組織在上世紀70年代正式成立。根據國際模式識別協會(IAPR)歷史介紹,第一屆國際模式識別聯合大會(IJCPR,1980年以後改名為ICPR)於1973年召開,第二屆在1974年召開,以後每兩年舉辦一次。IAPR於1974年IJCPR期間開始籌建,1976年IJCPR期間召開了第一次執委會會議,1977年開始接受會員申請, 在1978年IJCPR期間召開了第一次Governing Board(主席團)會議,宣告IAPR正式成立。


20世紀80年代,模式識別方法發展的最大亮點是多層神經網絡的引入。1986年Rumelhart等人發表了誤差反向傳播(Back-propogation, BP)算法(其實Paul Werbos在其1974年的博士論文中描述了BP算法,沒有引起太多注意)。BP算法使多層神經網絡作為模式分類器具有自學習能力,其隱層神經元具有特徵提取功能,因而迅速成為一種主流的模式識別方法。卷積神經網絡首先在1990年提出。支持向量機於1995年出現,由於其克服了多層神經網絡訓練的局部極值問題,具有更好的泛化性能,逐漸成為新的主流方法。


90年代到21世紀初,模式識別和機器學習(模式分類器設計是一個學習問題,因此大多機器學習研究面向模式識別)領域多種新的方法興起,典型的有多分類器系統(早期工作出現在1990年,後來發展成為集成學習方向)。在模式識別中發揮重要作用的半監督學習、多標籤學習、多任務學習、遷移學習和領域自適應(與領域自適應類似的分類器自適應早在上世紀60年代就已經有嘗試)、以馬爾科夫隨機場和條件隨機場為典型代表的概率圖模型等均興起於這個時期。


2006年以後,深度學習(深度神經網絡方法)逐漸成為主流,並陸續在多數模式識別應用任務中大幅超越傳統模式識別方法(基於人工特徵提取的分類方法)的性能。深度學習的方法最早發表在2006年,後來陸續提出了一系列改進訓練收斂性和泛化性能的深度神經網絡模型和訓練算法,包括不同的訓練方法或正則化方法、不同的卷積神經網絡結構、循環神經網絡、self-attention網絡、圖卷積網絡等。2012年深度卷積神經網絡在大規模圖像分類競賽Imagenet中取得巨大成功,從此推動深度學習的研究和應用進入高潮。深度學習的優越性能從視覺領域延伸到自然語言處理領域,開始在機器翻譯、閱讀理解、自動問答等語言理解任務中大幅超越基於統計語言模型的方法。


目前,深度學習方法仍然在模式識別和人工智慧領域佔據統治地位。但是隨著研究的深入和應用的擴展,深度學習方法的不足也越來越凸顯,如小樣本泛化能力不足、可解釋性不足、魯棒性(穩定性)差、語義理解和結構理解能力弱,連續學習中遺忘嚴重,等等。針對這些缺陷學術界在不斷探索新的模型(包括與知識規則和傳統模式識別方法的結合)和學習算法等,研究和應用都還在不斷向前發展。比如,面向開放環境的魯棒模式識別、可解釋性神經網絡、面向小樣本學習和可解釋性的模塊化神經網絡、結合感知和符號推理的模型、自監督學習、連續學習(又稱終生學習)等。


模式識別和人工智慧不同分支領域(機器學習、計算機視覺、自然語言處理、數據挖掘等)高度交叉。模式識別中的分類、聚類等問題也是機器學習的主要研究內容。機器學習領域把Nilsson(1965年)和Duda & Hart(1973年)的早期著作當作是機器學習的代表作,這兩本書其實主要是關於模式識別的。Bishop在他2006年出版的《Pattern Recognition and Machine Learning》一書前言中說:Pattern recognition has its origins in engineering, whereas machine learning grew out of computer science. However, these activities can be viewed as two facets of the same field.(模式識別來源於工程,機器學出生長於計算機科學。兩者可以看作是同一個領域的兩個面)。傅京孫在1971年出版一本編著名稱也叫Pattern Recognition and Machine Learning。機器學習作為一個研究領域,出現比較晚一些。1980年代才有以Machine Learning為題的專著和大會(ICML第一屆在1980年)。


計算機視覺的主要研究內容是圖像、視頻的分析、識別與理解,與模式識別也是高度交叉的,尤其目標和行為識別是典型的模式識別問題,因此計算機視覺中大量使用模式識別的理論和方法(如分類和學習方法)。1973年《Pattern Classification and Scene Analysis》中的Scene Analysis是典型的計算機視覺的工作。70年代以來IJCPR(1980年改名ICPR)會議中都有大量的圖像處理與分析的論文。一般認為,David Marr於1982年出版的專著《Vision》標誌著計算機視覺領域正式形成。計算機視覺領域的典型活動計算機視覺與模式識別大會(CVPR)開始於1983年,國際計算機視覺大會(ICCV)開始於1987年。在這些會議中,傳統模式識別領域中的一般圖像分析與識別(包括形狀分析、目標識別、文檔圖像分析和文字識別)甚至一般分類器學習的工作也開始大量出現。


模式識別與機器學習、計算機視覺、語言處理、數據挖掘等領域的高度重疊和交叉說明學科領域是隨著歷史不斷分化和融合的。目前這些相關領域互相學習借鑑、相互促進,未來會結合更加緊密。


相關焦點

  • 模式識別學科發展報告丨前言
    自20世紀50年代以來,模式識別已發展成為一個學科(Discipline)或研究領域(Field of study)。O.G.Nilsson發表的關於學習機器的著作(裡面主要內容是模式分類);1966年第一個以模式識別為主題的研討會;1968年發表的模式識別研究綜述;1968年國際期刊Pattern Recognition創刊;Fukunaga和Duda & Hart分別於1972年和1973年發表的模式識別經典教材。70年代是模式識別研究快速發展的一個時期,傅京孫提出句法模式識別方法並形成了理論方法體系。
  • 【模式識別國家重點實驗室】模式識別學科發展報告
    自20世紀50年代以來,模式識別已發展成為一個學科(Discipline)或研究領域(Field of study)。O.G.Nilsson發表的關於學習機器的著作(裡面主要內容是模式分類);1966年第一個以模式識別為主題的研討會;1968年發表的模式識別研究綜述;1968年國際期刊Pattern Recognition創刊;Fukunaga和Duda & Hart分別於1972年和1973年發表的模式識別經典教材。70年代是模式識別研究快速發展的一個時期,傅京孫提出句法模式識別方法並形成了理論方法體系。
  • 模式識別學科發展報告(1)丨模式識別基礎重要研究進展
    近來年,隨著深度學習方法(深度神經網絡設計和學習算法)的發展,模式識別領域迎來了一個全新的發展時期。深度學習方法利用大規模樣本訓練深度神經網絡,相比傳統模式識別方法,在很多模式識別問題上都明顯提升了識別性能。分類器設計是統計模式識別的重要研究內容。分類器設計的學習方法分為無監督學習、有監督學習、半監督學習和強化學習等。
  • 【重磅】模式識別學科發展報告(1)丨模式識別基礎重要研究進展
    近來年,隨著深度學習方法(深度神經網絡設計和學習算法)的發展,模式識別領域迎來了一個全新的發展時期。深度學習方法利用大規模樣本訓練深度神經網絡,相比傳統模式識別方法,在很多模式識別問題上都明顯提升了識別性能。分類器設計是統計模式識別的重要研究內容。分類器設計的學習方法分為無監督學習、有監督學習、半監督學習和強化學習等。
  • 模式識別學科發展報告(4)丨模式識別應用技術未來重要研究問題
    模式識別是研究對數據中存在的物體、行為、現象等模式進行檢測、描述和判別的學科,是人和機器感知環境、從環境獲取知識的主要途徑。模式識別的發展緊密圍繞著三個核心要素展開,即特徵提取、建模與推理、學習與優化。
  • 模式識別學科發展報告丨三、模式識別應用技術重要研究進展
    隨著計算機和人工智慧技術的發展,模式識別取得了許多引人矚目的應用成就和不可忽視的科學進展,它使得計算機智能化水平大為提高、更加易於開發和普及,在社會經濟發展和國家公共安全等領域中應用日益廣泛。生物特徵識別、多媒體信息分析、視聽覺感知、智能醫療都是目前發展較快的模式識別應用領域。模式識別最主要的應用技術是生物特徵識別。
  • 模式識別學科發展報告丨七、語音語言信息處理重要研究進展
    在上個世紀70~80年代,從語言工程和建立實際應用系統的角度,人們提出了自然語言處理(Natural Language Processing,NLP)的概念,使這一學科方向的內涵得到了進一步豐富和擴展。簡單地說,自然語言處理是研究如何利用計算機技術對語言文本(句子、篇章或話語等)進行處理和加工的一門學科。從研究任務的角度,自然語言處理可分為基礎技術研究和應用技術研究兩部分。
  • 自動化所模式識別國家重點實驗室召開2010年戰略研討會
    近日,自動化所模式識別國家重點實驗室召開2010年戰略研討會。實驗室學術委員會主任馬頌德研究員、清華大學張鈸院士等出席了會議。會上科技部計劃司趙紅光介紹了十一五863計劃執行的有關情況,並簡要介紹了十二五863計劃發展戰略研究和規劃制定的一些情況;中科院高技術局戴博偉報告了中科院戰略高技術片創新基地建設和技術創新的進展情況和十二五的一些戰略部署;自動化所所長王東琳介紹了該所重大科技目標與方向,以及關於優先發展領域和面向重大應用的基礎研究的一些思考;馬頌德研究員在報告中提出新時期國家重點實驗室應該面向的四類重大問題
  • 模式識別
    [1] 模式識別就是通過計算機用數學技術方法來研究模式的自動處理和判讀,把環境與客體統稱為「模式」。隨著計算機技術的發展,人類有可能研究複雜的信息處理過程,其過程的一個重要形式是生命體對環境及客體的識別。模式識別以圖像處理與計算機視覺、語音語言信息處理、腦網絡組、類腦智能等為主要研究方向,研究人類模式識別的機理以及有效的計算方法。
  • 基礎學科數學等是國家大戰略發展的需要
    要突出基礎學科的支撐引領作用,重點在數學、物理、化學、生物及歷史、哲學、古文字學等相關專業招生。建立學科專業的動態調整機制,根據新形勢要求和招生情況,適時調整強基計劃招生專業。實行優質的導師制培養,盡肯能的進入自己研究的領域閱讀文獻,實驗數據,這裡面依據2020年考生的反應情況看,數學專業比較還是受大家喜歡的。
  • 【學術報告】類腦計算前沿學科論壇暨CSIG圖像圖形中國行會議通知
    類腦計算是借鑑大腦信息處理機制,嘗試使用人工方法和技術模擬來擴展人類智能的新興學科和技術領域,是融合腦科學與計算機科學、控制科學、認知科學和人工智慧等領域的交叉學科,對發展人工智慧、異構動態大數據處理、非結構化複雜模式信息分析與視覺場景理解計算的新理論及關鍵技術具有重要意義。
  • 清華報告總結新中國70年發展七條「經濟學經驗」
    中新社北京9月23日電 (記者 肖欣)清華大學中國經濟思想與實踐研究院(ACCEPT)22日在北京召開「新中國70年經濟學總結」國際研討會並發布同名報告,以經濟學視角梳理總結新中國成立70周年不同時期的發展經驗,並據此樂觀展望未來30年發展前景。
  • 中國新一代人工智慧發展報告:發展迅速,基礎層仍相對薄弱
    中國新一代人工智慧發展報告:發展迅速,基礎層仍相對薄弱 澎湃新聞記者 楊帆 2019-05-24 09:59 來源:澎湃新聞
  • 新中國統計教育70年:回顧與展望暨中國人民大學統計學科建設研討會...
    10月24日,為慶祝中國人民大學統計學科創建70周年,推進統計學科建設與統計教育持續發展,「新中國統計教育70年:回顧與展望暨中國人民大學統計學科建設研討會」舉辦。他指出,回顧70年來的發展歷程,中國人民大學統計學科已經成長為引領學科發展的旗手、培養統計人才的重鎮和服務經濟發展和社會進步的智庫。他鼓勵人大統計學科繼續秉持不懈奮鬥、上下求索的精神,充分發揮學科優勢,進一步優化人才培養模式、推進國際交流合作、提高社會服務水平,積極迎接數據科學大發展背景下的機遇與挑戰,與各界同仁一起更加深入全面地服務於國家經濟建設和社會發展。
  • 樊傑:中國人文地理學70年創新發展與學術特色
    中國人文地理學創新發展的基礎是什麼?經歷了哪些不同階段?未來又將如何應對發展機遇與挑戰?中國城市規劃學會副理事長、中科院地理科學與資源所樊傑研究員梳理總結了中國人文地理學70年創新發展與學術特色,深度闡述了中國人文與經濟地理學者的學術探究和社會貢獻。
  • 獨立自由是人文學科發展的重要基礎
    不管是SCI還是EI,它代表的是理、工、農、醫各學科的各個領域,在世界研究中的地位,雖然其科學性仍然存在爭議,但對于衡量這些學科的發展程度和大學中此類學科的實力確實有著重要的意義。 隨著教育管理制度的不斷完善,這種指標管理也被引入到人文學科的管理中來。
  • 智星閃耀 | 石青雲:中國模式識別的奠基人
    面對這樣一份充滿挑戰的開創性事業,石青雲憑藉著出色的數學基礎與飽滿的工作熱情迎難而上,很快便在模式識別領域取得了令人矚目的成果並在國際學界嶄露頭角。1979年,步入模式識別領域短短數月的石青雲編纂完成了教材《圖像恢復與數字濾波》並開設研究生課程模式識別,開始培養相關領域的研究生。
  • 模式識別與人工智慧「十二五」規劃戰略研討會召開
    由國家自然科學基金委員會信息科學部自動化處主辦,模式識別國家重點實驗室承辦的「模式識別與人工智慧」領域發展戰略研討會於6月11日在北京召開。戴汝為院士、張鈸院士、陸汝鈐院士等30餘位該領域的知名專家學者參加了會議。中科院自動化所副所長徐波代表自動化所致歡迎辭。
  • 生物識別技術產業發展深度報告:指紋與人臉識別
    如需報告請登錄【未來智庫】。1、生物識別技術發展概況1.1.生物識別技術定義 生物識別技術(biometrics)是一種利用數理統計方法對生物特徵進行分析,來對生物個體進行區分的計算機技術。生物識別技術的發展歷程來看,指紋識別最早出現在 19 世紀,屬於較早被發現並有效使用的識別技術,得到了較長時間的發展演變;人臉識別出現時間相對較晚,主要是在 20 世紀 90 年代末得到應用,但是近些年來的發展速度較快,逐漸成為產業內較為重要的分支,隨著相應技術的不斷成熟進步,未來預計將有更為廣闊的發展空間。
  • 統計報告展示新中國成立70年經濟社會發展偉大飛躍
    新華社北京7月1日電 題:統計報告展示新中國成立70年經濟社會發展偉大飛躍  新華社記者陳煒偉  國家統計局1日發布新中國成立70周年經濟社會發展成就系列報告之一。報告指出,70年來,在中國共產黨的堅強領導下,全國各族人民團結一心,迎難而上,開拓進取,奮力前行,從封閉落後邁向開放進步,從溫飽不足邁向全面小康,從積貧積弱邁向繁榮富強,創造了一個又一個人類發展史上的偉大奇蹟,中華民族迎來了從站起來、富起來到強起來的偉大飛躍。