AI產品經理必修課:知識圖譜的入門與應用

2020-12-12 人人都是產品經理

知識圖譜是AI的基礎功能,本篇文章筆者就知識圖譜是什麼?如何構建知識圖譜?怎麼應用?進行了討論分析,與大家分享。

一、人工智慧時代已經來臨

伴隨著全球智慧型手機銷量的首次下滑,移動網際網路已經不可避免地步入了下半場。

與此同時,智能音箱銷量爆發式增長,ZAO換臉APP刷屏朋友圈……人工智慧技術正在越來越深刻地影響人們的日常生活。

作為人工智慧領域的核心技術之一,知識圖譜已經成為了AI產品經理必須掌握的基礎技能。

二、什麼是知識圖譜?

1. 什麼是知識?

在聊知識圖譜之前,我們先簡單了解下什麼是知識。

下圖是在Quora(國外版知乎)上關於信息與知識的對比圖。

信息是雜亂無章的點,而知識相對來說更有邏輯性。在當今這個信息爆炸的時代,知識對人們來說顯然更便於理解和記憶。

圖一,圖片出處:https://www.siilo.com/blog/information-vs-knowledge

2. 什麼是知識圖譜?

知識圖譜(Knowledge Graph,簡稱KG)的概念由Google在2012年5月提出,初衷是希望藉助網絡多源數據構建的知識庫來增強語義搜索的效率和質量。

Google知識圖譜團隊負責人Amit Singhal認為,「The world is not made of strings,but is made of things」。

知識圖譜的主要作用在於以結構化的方式來描述客觀世界實體間的複雜關係。通過在信息與信息之間建立聯繫,人類更加容易獲取自己所需要的知識。

3. 維基百科關於知識圖譜的介紹

知識圖譜是Google用於增強其搜尋引擎功能的知識庫。

本質上, 知識圖譜旨在描述真實世界中存在的各種實體或概念及其關係,其構成了一張巨大的語義網絡圖,節點表示實體或概念,邊則由屬性或關係構成。

三、如何構建知識圖譜?

知識圖譜的構建主要分為知識體系構建、知識獲取、知識融合、知識存儲和檢索、知識推理、知識應用六個步驟。

下面是產品視角的知識圖譜構建流程圖:

1. 知識體系構建(建模)

1.1 定義

知識體系構建,也稱為知識建模,是指採取什麼樣的方式來表達知識,其核心是構建一個本體對目標知識進行描述。

在這個本體中需要定義出知識的類別體系、每個類別下所屬的概念和實體、某類概念和實體所具有的屬性以及概念之間、實體之間的語義關係,同時也包括定義在這個本體上的一些推理規則。

知識圖譜是隨著語義網的發展而出現的概念。語義網的核心目標是讓計算機能夠理解文檔中的數據,以及數據和數據之間的語義關聯關係,從而使得計算機可以自動化、智能化地處理這些信息。

1.2 RDF三元組

語義網技術涉及面較廣,這裡只介紹與知識圖譜數據建模緊密相關的核心概念——資源描述框架(RDF)。RDF基本數據模型包括了三個對象類型:資源(resource)、謂詞(predicate)以及陳述(statements)。

資源:能夠使用RDF表示的對象稱之為資源,包括網際網路上的實體、事件和概念等;謂詞:謂詞主要描述資源本身的特徵和資源之間的關係;陳述:一條陳述包含三個部分,通常稱之為RDF三元組(主題:被描述的資源,謂詞:可以表示主體的屬性,也可以表示主語和賓語之間的關係,賓語:屬性值)。知識圖譜將三元組(triple)作為知識存儲和表示的基本單元。三元組的表現形式有兩種:「實體—關係—實體」、「實體—屬性—屬性值」。

其中每個實體代表現實世界中一個獨一無二的對象,並對應全局唯一的ID。

1.3 實例

下圖中包含了多組三元組信息:

桃李麵包作為一個實體,其屬性是公司名稱,屬性值是桃李麵包股份有限公司;吳志剛作為實體,與桃李麵包之間是持股關係,屬性值為具體持股比例;吳志剛作為實體,與盛雅莉之間是親屬關係,屬性值為夫妻。

2. 知識獲取

2.1 目標

知識獲取的目標是從海量的文本數據中通過信息抽取的方式獲取知識,其方法根據所處理數據源的不同而不同。

2.2 數據類型

知識圖譜中數據的主要來源包括結構化數據、半結構化數據和非結構化數據(純文本)。

其中,非結構化文本的信息抽取是構建知識圖譜的核心技術。

2.3 知識獲取的基本任務

實體識別:指從文本中識別實體信息;實體消歧:指消除指定實體的歧義;關係抽取:指獲取兩個實體之間的語義關係;事件抽取:指從描述事件信息的文本中抽取出用戶感興趣的事件信息並以結構化的形式呈現出來。

3. 知識融合

知識融合是對不同來源、不同語言或不同結構的知識進行融合,從而對已有知識圖譜進行補充、更新和去重。

從融合的對象來看,包括知識體系的融合和實例的融合;從融合的圖譜類型來看,可以分為豎直方向的融合和水平方向的融合。

4. 知識存儲

知識存儲就是研究採取何種方式將已有知識圖譜進行存儲。

4.1 存儲方式

目前知識圖譜大多是基於圖的數據結構,存儲方式通常採用RDF格式存儲和圖資料庫(Graph Database),前者例如Google開放的Freebase知識圖譜,後者例如開源圖資料庫Neo4j。

4.2 質量評估

有效的質量評估可以對知識的可信度進行量化,通過捨棄置信度較低的知識來保障知識圖譜的質量。

4.3 知識更新

(1)更新類型

從邏輯上看,知識圖譜的更新包括概念層的更新和數據層的更新。

概念層的更新是指新增數據後獲得了新的概念,需要自動將新的概念添加到知識圖譜的概念層中。數據層的更新主要是新增或更新實體、關係、屬性值,對數據層進行更新需要考慮數據源的可靠性、數據的一致性等,並選擇在各數據源中出現頻率高的事實和屬性加入知識庫。(2)更新方式

全面更新:指以更新後的全部數據為輸入,從零開始構建知識圖譜。增量更新:以當前新增數據為輸入,向現有知識圖譜中添加新增知識。相對而言,前者比較簡單,但資源消耗大,而後者資源消耗小。

5. 知識推理

為了解決數據的不完備性和稀疏性,需要採取推理的手段發現已有知識中隱含的知識。

目前研究重點在於挖掘兩個實體之間隱含的語義關係。

兩種推理方法:

基於傳統邏輯規則的方法進行推理,其研究熱點在於如何自動學習推理規則,以及如何解決推理過程中的規則衝突問題;基於表示學習的推理,即採用學習的方式,將傳統推理過程轉化為基於分布式表示的語義向量相似度計算任務。

四、如何應用知識圖譜?

伴隨著人工智慧浪潮,知識圖譜已經在搜尋引擎、智能問答、推薦等領域得到了廣泛的應用。

1. 智能搜索(實體關係)

在智能搜索方面,基於知識圖譜的搜尋引擎,內容存儲了大量的實體以及實體時間的關係,可以根據用戶問句準確地返回答案。

下圖中,用戶詢問馬雲,機器人便可以準確地給出馬雲的個人介紹。

當存在多個同名的人時,知識圖譜可以基於實體唯一ID進行消歧,幫助用戶更加準確地定位答案。

2. 自動問答(實體關係推理)

在自動問答方面,可以利用知識圖譜中實體及其關係進行推理得到答案。

下圖中,百度「馬化騰是哪裡人?」百度會基於知識圖譜直接給出馬化騰的出生地。

3. 推薦(實體關係)

在推薦方面,可以利用知識圖譜中實體的關係向用戶推薦相關的產品。

下圖中,用戶詢問「科大訊飛市盈率」,機器人通過判斷科大訊飛是一隻A股的股票,然後給出了相同屬性其它實體的推薦。

4. 決策支持

知識圖譜能夠把領域內複雜知識通過信息抽取、數據挖掘、語音匹配、語義計算、知識推理等過程精確地描述出來,並且可以描述知識的演化過程和發展規律,從而為研究和決策提供準確、可追蹤、可解釋、可推理的知識數據。

下圖中,用戶輸入Bilibili,天眼查企業圖譜便可以準確地返回上市公司股東、董監高、對外投資等完整信息,輔助用戶進行決策。

#參考文獻#

《智能問答》,段楠,周明

《知識圖譜》,趙軍,劉康,何世柱,陳玉博

《人工智慧產品經理:人機對話系統設計邏輯探究》,朱鵬臻

《自然語言處理實踐:聊天機器人技術原理與應用》,王昊奮,邵浩等

本文由 @Alan 原創發布於人人都是產品經理,未經作者許可,禁止轉載。

題圖來自Unsplash,基於CC0協議。

相關焦點

  • 產品經理的知識圖譜應用
    知識圖譜對於產品經理的工作有著很大的幫助,能夠建立更系統的設計流程,其應用核心在於深刻理解業務。1.2.3 理解知識圖譜的表示和存儲對產品經理的意義對於理解知識圖譜的表示和存儲對產品經理最重要的意義就是根據業務需求,定義實體、關係、屬性以及屬性值。
  • AI產品經理的入門必修課——案例篇
    導語:前面介紹了「AI產品經理需要具備的能力和對數據、算法需要理解的程度」、「機器學習的實際訓練過程」;後面將圍繞AI產品在當前環境下的熱門應用來進行探討,涵蓋了語音識別、圖像識別、NLP自然語言處理、知識圖譜等產品化落地的場景。
  • 關於AI學習方法的思考——產品經理入門人工智慧
    好了,今天這篇文章我將向您分享我(作為產品經理)對入門人工智慧學習方法上的一些思考。我是一名網際網路產品經理,也希望進入AI領域。目前為止,我已經用了2個月的業餘時間學習入門知識,但還不能算是入門,原因就是人工智慧領域的概念過於寬泛,技術門檻較高。我先用這2個月的學習成果,分享一下我對於入門AI領域學習方法的思考,給大家拋個磚,也許能為大家節省一些時間。
  • 縱覽知識圖譜在AI領域的有效應用,2019知識圖譜前沿技術論壇即將開幕
    為提升行業人員準確界定知識圖譜應用場景需求能力,提高知識圖譜技術的行業普及程度,進一步推進知識圖譜技術人工在智能領域的有效應用,北京理工大學與復旦大學再次聯手,發起2019年「知識圖譜前沿技術論壇」。本論壇不收取任何費用,旨在提供學界與業界的充分交流平臺,歡迎各界人士蒞臨本論壇。
  • 知識圖譜在小米的應用與探索
    通過引入知識圖譜,這些產品在內容理解、用戶理解、實體推薦等方面都有了顯著的效果提升。本文的主要內容包括:小米知識圖譜介紹:包括小米的商業模式、小米人工智慧部、知識圖譜在人工智慧部的定位、小米知識圖譜的發展歷程、以及小米知識圖譜的落地場景。小米知識圖譜關鍵技術:小米知識圖譜在成長過程中的技術積累。小米行業知識圖譜探索:結合業務,跟大家分享下小米在行業圖譜上的探索。
  • AI 產品經理入門與勸退指南
    本文總結了 AI 產品經理入門前的必備須知,以及入門 AI 產品經理前需要建立的初步認知框架。01「人工智慧是未來,而未來已至。」這種論調已經普及開了,可謂是深入人心。很多產品經理或者還未入行的新人,都在糾結到底要不要做AI產品經理,畢竟帶了「AI」就覺得非常光鮮、非常前沿了,仿佛自己可以趕上一波時代紅利。所以在講AI產品經理的相關知識前,先勸退一波。
  • AI產品經理的入門必修課(2)——實戰篇
    導語:上一篇文章裡簡單介紹了AI產品經理需要具備的能力和對數據、算法需要理解的程度;本篇計劃介紹一下機器學習的實際訓練過程,來進一步的理解AI產品在日常工作中需要關注的內容。我們一起來了解一下。應用場景:人臉識別、垃圾郵件檢測、圖像識別、信用卡評估…2. 回歸問題原理:通過歷史數據的表現,擬合成一個目標函數,利用誤差分析方法去確定擬合後表現最好的函數。特點:數據是相互獨立的點,且有對應標籤。
  • 知識圖譜是什麼?
    知識圖譜最開始是Google為了優化搜尋引擎提出來的,推出之後引起了業界轟動,隨後其他搜索公司也紛紛推出了他們的知識圖譜。知識圖譜發展到今天,不僅是應用在搜索行業,已經是AI的基礎功能了。那到底知識圖譜是什麼?有什麼能力?怎麼應用?這就是本文想要討論的內容。
  • 知識圖譜:知識圖譜賦能企業數位化轉型 | AI 研習社職播間第 3 期
    近日,在雷鋒網 AI 研習社第 3 期職播間上,北京知識圖譜科技有限公司 CEO 進行了招聘宣講,並分享了如何利用知識圖譜產品賦能企業數位化轉型。公開課回放視頻網址:http://www.mooc.ai/open/course/554?
  • 知識圖譜發展的難點&構建行業知識圖譜的重要性
    四、知識圖譜的誕生當你對陌生領域進行學習時,無法把握要點及整體框架,以至於檢索效率低、入門無道時,知識圖譜應運而生。自2012年5月,Google將知識圖譜應用到其搜尋引擎,以提升其搜索服務能力,將各種渠道收集而來的相關信息展示在搜索結果旁的信息框中,以結構化模塊形式提供給用戶。
  • 基於知識圖譜的智能問答
    基於知識圖譜的相關應用大致可以分為搜索、問答、決策、推薦等幾種常見的類別,對於知識圖譜的理解,可以參考之前的文章《三個角度理解知識圖譜》,本文主要就年初規劃的
  • 系統總結:AI產品經理知識體系
    那麼我們就會有這樣一個疑惑,在人工智慧的時代,AI產品經理的核心化競爭力又是什麼?目前有沒有一套合理的知識體系去指導我們去進行學習呢?很抱歉,答案是沒有!!就像網際網路產品經理剛出現的時候也沒有真正的一套知識和技能體系供大家去參考,目前的網際網路產品經理的知識和技能體系也是隨著各大公司招聘要求相互碰撞和產品研發過程中不斷摸索所得到的一個共同體系,現在的AI產品經理,由於沒有大面積成熟商業產品落地,現在所面臨的知識空窗期只能說更為嚴重。2.AI產品經理應該具備什麼樣的技能?
  • 入門AI的兩大方式與進階AI的10大路線-電子發燒友網
    企業AI應用的優先級:盈利 > 「黑科技」 AI人才市場需求劇增:技術崗位佔比3年猛增3倍,人才缺口將持續增大 AI人才需求結構呈金字塔型,研究型人才主要依靠學校及學術路線培養,應用型人才則必須依靠社會培訓和繼續教育補充 AI工程師要打牢編程基礎,軟體工程師轉型AI要「換腦」 2.
  • 很火的AI知識圖譜概念怎麼理解?是否能夠在工業網際網路中得到應用?
    由於網際網路內容的大規模、異質多元、組織結構鬆散的特點,給人們有效獲取信息和知識提出了挑戰。知識圖譜(Knowledge Graph) 以其強大的語義處理能力和開放組織能力,為網際網路時代的知識化組織和智能應用奠定了基礎。       最近,大規模知識圖譜庫的研究和應用在學術界和工業界引起了足夠的注意力。知識圖譜旨在描述現實世界中存在的實體以及實體之間的關係。
  • B端產品經理入門的第一年做了什麼?
    編輯導語:作為產品經理,你入門的第一年都做了什麼呢?本文作者作為B端產品經理,為我們分享了他入職第一年,作為一個產品新人的一些經驗和想法,希望能對一些剛入門B端產品經理或者對產品經理行業感興趣的人帶來一些參考。
  • 實戰課堂丨大數據關係信息挖掘:知識圖譜應用案例分享
    錢廣銳 聯想創投(香港)機器智能實驗室高級產品經理。負責聯想創投大數據機器智能產品和行業應用模型開發。擁有多年高性能計算、大數據、人工智慧行業經驗 。畢業於美國紐約州立大學,曾在IBM認知團隊任行業解決方案專家。
  • 鄒磊 | 知識圖譜的數據應用和研究動態
    因此實際的資料庫應用項目中就存在一個從概念模型到實現模型的轉換問題,例如如何根據ER圖來構建關係表。從這個角度來看,知識圖譜又不同於ER圖,因為知識圖譜不僅顯式地刻畫了實體和實體關係,而且其本身也定義了一種計算機所實現的數據模型。
  • 網際網路產品經理如何入門設計產品整理需求文檔模板表格計劃方案怎麼學習app推廣產品運營計劃方案資料合集技巧幹貨經驗教學課程培訓下載
    N個案例和工具帶你快速晉級 | 早鳥最後1天[產品基礎] 2019 產品經理的技術必修課從初級到高級產品經理,也許你差的只是這個能力4個維度,評估你適不適合做產品經理-入門指南第9課產品經理的入門心法03 - 成也需求,敗也需求信息架構入門指南|產品經理PM技能|連載02騰訊資深產品經理:騰訊想要的產品經理究竟是什麼樣
  • 如何構建知識圖譜
    編輯導語:知識圖譜可以說是一個資料庫,在如今大數據時代,知識圖譜已經是企業中能夠起到很大作用的一個環節,可以提高工作效率等;本文作者分享了關於構建知識圖譜以及問題的解答,我們一起來看一下。知識圖譜作為大數據內容的搬運工,在知識算法和使用上,能夠放大組織沉澱數據應用價值;目前搜索巨頭、購物網站均已經通過應用知識網絡,實現了更深層次的「千人千面」。
  • AI產品經理的必修課:系統化思維
    產品經理要養成一個習慣,精確定義身邊的所有問題,一些現象到底是什麼?哪怕友情,溝通,都可以定義。定義的標準就是可以在任何一個場景可以復現。四、如何應用物理思維我們對世界的理解是系統化的,不會被任何一個單一維度所制約。