2017年最值得關注的科學概念:「遷移學習」

2020-12-14 IT之家

「你永遠不能理解一種語言——除非你至少理解兩種語言」。

任何一個學過第二語言的人,對英國作家傑弗裡·威廉斯的這句話應該都會「感同身受」。但為什麼這樣說呢?其原因在於學習使用外語的過程會不可避免地加深一個人對其母語的理解。事實上,歌德也發現這一理念的強大威力,以至於他不由自主地做出了一個與之類似但更為極端的斷言:

「一個不會外語的人對其母語也一無所知」。

這種說法極為有趣,但令人驚訝的是恐怕更在於其實質——對某一項技能或心理機能的學習和精進能夠對其他技能或心理機能產生積極影響——這種效應即為遷移學習。它不僅存在於人類智能,對機器智能同樣如此。如今,遷移學習已成為機器學習的基礎研究領域之一,且具有廣泛的實際應用潛力。

今天的機器學習領域主要圍繞著能力可隨數據及經驗的積累而提高的算法,且已取得驚人進步,並由此催生出可比肩甚至超越人類智能的計算系統,例如具有理解、處理及翻譯語言能力的系統。近年來,機器學習研究多聚焦在深層神經網絡(DNN)——一種通過從大量數據中推斷異常複雜模式而進行學習的算法概念。例如,向一臺基於DNN的機器輸入數千個英文錄音片段及其對應文本,機器便可從錄音與文字的關聯中推斷出相關模式。伴隨著關聯模式的逐漸精確,系統最終將能「理解」英語語音。事實上,今天的DNN已經相當成熟,一臺功能強大的計算機在學習充分訓練示例後,完全可以對真人對話進行文字速記,並達到比專業速記員更高的準確率。

一些人也許會很驚訝,計算機化的學習系統展現出遷移學習的能力。我們可以通過一項涉及兩套機器學習系統的實驗來思考這個問題,為了簡單起見,我們將它們稱為機器A和機器B。機器A使用全新的DNN,機器B則使用已經接受訓練並能理解英語的DNN。現在,假設我們用一組完全相同的普通話錄音及對應文本來對機器A和B進行訓練,大家覺得結果會怎樣?令人稱奇的是,機器B(曾接受英語訓練的機器)展現出比機器A更好的普通話技能,因為它之前接受的英語訓練將相關能力遷移到了普通話理解任務中。

不僅如此,這項實驗還有另一個令人更為驚嘆的結果:機器B不僅普通話能力更高,它的英語理解能力也會提高!看來威廉斯和歌德確實說對了一點——學習第二語言確實能夠加深對兩種語言的理解,即使機器也不例外。

遷移學習的理念至今仍是基礎研究的課題之一,因此,許多根本性的問題仍然懸而未決。例如,並非所有的「遷移」都是有用的。要讓「遷移」發揮作用,學習任務之間至少需要相互關聯,而這種關聯方式仍然缺乏精確定義或科學分析,且與其他領域相關概念之間的聯繫仍有待闡明,如認知科學和學習理論。誠然,對於任何一個計算機科學家而言,從事計算機系統的「擬人化」在理智層面都是危險的,但我們卻不得不承認,遷移學習讓人類學習和機器學習之間產生了強烈而誘人的相似性;當然,如果通用人工智慧真能有朝一日成為現實,遷移學習恐怕將是這一過程中的決定性因素之一。對於善於哲學思考的人來說,遷移學習的正規模型可能會為知識和知識遷移帶來新發現和分類方法。

遷移學習同樣具有極高的應用潛力。過去,機器學習在搜索和信息檢索等領域中的實用價值較為單一,大多聚焦於通過全球資訊網上大量數據集和人物信息進行學習的系統。但我們是否想過,經過網絡訓練的系統可以了解關於較小社區、組織甚至個人的信息麼?未來智能機器可以學習與特定個人或小型組織相關的、高度專業化的任務麼?遷移學習讓我們可以想像這樣一種可能性,讓所有網絡信息都成為機器學習系統的基礎,而系統則可通過遷移學習獲得更個性化的信息。實現這個願景,我們將向人工智慧普及化邁出又一大步。

相關焦點

  • 2017安徽教師招聘考試:學習遷移
    2017安徽教師招聘考試:學習遷移 2017-03-29 16:19:19| 中公教育 安徽中公教育為您提供安徽省教師招聘信息,備考資料
  • 遷移學習概念、分類及應用
    1 遷移學習概念學習遷移學習,首先要搞清楚三個問題,遷移學習是什麼,為什麼用,如何用?
  • 學習遷移分類詳解
    一般考察較多的為以下五種分類:一、根據遷移的性質和結果來劃分——正遷移與負遷移正遷移:一種學習對另一種學習起到積極的促進作用。例如:學習數學有利於學習物理;學習珠算有利於學習心算。負遷移:兩種學習之間互相干擾、阻礙。例如:漢語拼音的學習幹擾英語音標的學習;方言影響普通話的學習。
  • 2017年最值得關注的10篇質性研究論文
    浸潤—反思"式教學不僅強調學習者實際從事質性研究的行動目標,而且更加重視其學習目標,並且賦予成熟行動者更多教育責任。正是因為課堂教學在質性研究的學習中具有獨到的優勢,本文認為,針對這種形式的研究和實踐應該得到更多關注。 推薦:授人以魚不如授人以漁,最好的研究者不但自己可以做好研究,還要教會別人怎麼做好研究。
  • 2017就在眼前,深度學習有哪十大趨勢值得關注?
    Perez ,他來自機器學習技術公司 Intuition Machine,主要研究深度學習類型、方法論、以及行業戰略。 發布於 Medium 的這篇文章主要對 2017 年深度學習的十大趨勢做出了預測,雷鋒網編譯,未經許可不得轉載。
  • 2020年甘肅教師招聘教育心理學知識點:從例子看學習遷移
    但值得注意的是許多經驗存在著各種直接或間接的相互影響,而個體沒有意識到經驗之間的內在聯繫,不能主動遷移。這一遷移在考試中暫未出現過,只在實驗研究的過程中能夠用到,不要求掌握。(二)水平遷移和垂直遷移水平遷移也稱橫向遷移、側向遷移,是處於同一抽象和概括水平的經驗之間的相互影響。如:直角、銳角、鈍角、平角等概念之間的相互影響。
  • 同化性遷移、順應性遷移與重組性遷移
    在同化性遷移過程中,原有認知結構不發生實質性的改變,只是得到某種充實。如原有認知結構中的概念「魚」,由帶魚、草魚、黃魚等概念組成,現在要學習鰻魚,把它納入「魚」的原有結構中,既擴充了魚的概念,又獲得了鰻魚這一新概念的意義。平時所講的舉一反三、聞一知十等都屬於同化性遷移。2.順應性遷移也叫協調性遷移,是指將原有的經驗應用於新情境時所發生的一種適應性變化。
  • 重磅| Edge 2017年度人工智慧話題預測:從算法、遷移學習到自產生...
    在其創刊 20 周年之際,Edge.org 也推出了 2017 年度問題——2017 年,最值得關注的科學術語或概念是什麼?以下是我們從206個回答中精選的一部分:Terrence J.這種說法極為有趣,但令人驚訝的是恐怕更在於其實質——對某一項技能或心理機能的學習和精進能夠對其他技能或心理機能產生積極影響——這種效應即為遷移學習。它不僅存在於人類智能,對機器智能同樣如此。如今,遷移學習已成為機器學習的基礎研究領域之一,且具有廣泛的實際應用潛力。
  • 教招重要考點:從例子看學習遷移
    但值得注意的是許多經驗存在著各種直接或間接的相互影響,而個體沒有意識到經驗之間的內在聯繫,不能主動遷移。這一遷移在考試中暫未出現過,只在實驗研究的過程中能夠用到,不要求掌握。(二)水平遷移和垂直遷移水平遷移也稱橫向遷移、側向遷移,是處於同一抽象和概括水平的經驗之間的相互影響。如:直角、銳角、鈍角、平角等概念之間的相互影響。
  • NIPS 2017即將開幕,哪些熱點值得關注?
    屆時雷鋒網(公眾號:雷鋒網)也將前往長灘進行大會的跟蹤報導,在出發之前,讓我們來看看這個被稱為「機器學習最好的學術會議」都有哪些值得關注的內容吧。Getoor將介紹統計相關學習(SRL)的概念,並重點介紹其在概率軟邏輯(PSL,一個關於大規模集合的SRL框架)方面的研究;12月6日 01:50 -- 02:40 PM @ Hall A,Pieter Abbeel,報告題目:《Deep Learning for Robotics》;Pieter Abbeel是加州大學伯克利分校教授,
  • 大概念整合科學教育 跨學科實踐深度學習
    長沙教育學院首次成功進行了在大概念理念下的整合科學教育內容的跨學科深度學習的培訓活動。來自長沙市市直及各區的近60名初中物理、化學、生物、地理等科學教育學科教師,圓滿完成了2020年長沙市初中大概念科學教育深度學習策略主題研修項目第一階段的集中培訓。
  • 什麼是學習遷移?
    如果不能通過概括,把握一般原理,掌握事物的本質和規律,也難以產生遷移。事物雖然是多種多樣的,但卻有共同的東西,即事物的本質和規律。掌握事物的本質和規律,人就能以不變應萬變,產生廣泛的遷移。所以贊科夫和布魯納都強調,在學校中應加強基本概念和原理的教學,道理就在於此。(三)教材的組織結構和學生的認知結構教材是學生學習的基本材料,其科學的基本結構有助於學習的遷移。
  • 2020年度最值得關注的人物和概念 | 段永朝盤點完結
    恰逢新春佳節之際,葦草智酷創始合伙人段永朝悉心盤點了2020年度最值得關注的人物和概念,希望能在假日期間為大家帶來一陣思想的「春風」。本次盤點將從大年初一開始分為3期推送,本期是第1期。編者按:布爾巴基學派是現代數學史上的一個「奇葩」。說「奇葩」有兩個緣由:一個是布爾巴基學派極端認真的結構主義態度。
  • 《自然》預測2021年最值得關注的科學事件
    12月22日,《自然》繼對影響2020年的科學事件進行盤點後,又預測了2021年最值得關注的科學事件。其中,新冠疫情和氣候變化仍是繞不開的話題。  應對氣候變化進入新階段  2021年將是應對氣候變化的關鍵一年。
  • 學習遷移及其分類
    學習遷移的分類在教師招聘考試中主要以客觀題:單選、多選和判斷的形式進行考察,尤其以例子性單選居多,考察大家對各種分類的理解。一、學習遷移的概念學習遷移又叫訓練遷移,是指一種學習對另一種學習的影響,如我們通常所說的「舉一反三」、「聞一知十」就是典型的學習遷移現象。
  • 春節充電系列:李宏毅2017機器學習課程學習筆記19之遷移學習(Transfer Learning)
    春節充電系列:李宏毅2017機器學習課程學習筆記01之簡介春節充電系列:李宏毅2017機器學習課程學習筆記02之Regression春節充電系列:李宏毅2017機器學習課程學習筆記03之梯度下降春節充電系列:李宏毅2017機器學習課程學習筆記04分類(Classification)春節充電系列:李宏毅2017機器學習課程學習筆記05
  • 在知識爆炸的時代,「知識遷移學習方法」你get了嗎?
    因而研究知識遷移理論對於填補機器學習的空白與推進人工智慧的發展有著至關重要的意義。早在20世紀八、九十年代,就有學者開始研究相關問題,稱之為自教學習、自適應學習、跨領域學習或領域自適應等。直到2009年,香港科技大學教授、IEEE Fellow 楊強在IEEE 會刊上發表了關於知識遷移的綜述後,知識遷移開始有了較為完善的理論框架和標準的概念體系。
  • NLP領域中的遷移學習現狀
    在當前的自然語言處理領域中,普遍存在著不同類型的遷移學習。它們可以按照三個維度進行分類:1、源設定和目標設定是否處理相同的任務;2、源域和目標域的性質;3、學習任務的順序。這樣就可以把各種遷移學習分為圖中的幾類。
  • 教育參考丨指向深度學習的單元教學設計範式研究——以科學概念學習為例
    構建的理論依據由威金斯和麥克泰伊從 1998 年開始創立的「通過設計促進理解」(understanding by design , 簡稱「UbD」),是美國課程改革中近年湧現出來的一種新理論、新實踐。這一理論受到美國課程與視導學會特別關注,在美國的不少學校試驗推廣。
  • 優先出版|生命觀念視域下的生物學大概念深度學習實踐
    生命觀念是《普通高中生物學課程標準(2017年版)》倡導的生物學學科核心素養4個要素中獨具生物學學科特點的維度,是學科核心素養的標誌、基礎和支柱,將引領和推動教師的專業發展和課堂教學的理論與實踐。作為一線教師,如何在生物學課堂教學中具體落實核心素養?