解析|如何構建知識圖譜

2021-01-15 騰訊網

編輯導語:知識圖譜可以說是一個資料庫,在如今大數據時代,知識圖譜已經是企業中能夠起到很大作用的一個環節,可以提高工作效率等;本文作者分享了關於構建知識圖譜以及問題的解答,我們一起來看一下。

知識圖譜作為大數據內容的搬運工,在知識算法和使用上,能夠放大組織沉澱數據應用價值;目前搜索巨頭、購物網站均已經通過應用知識網絡,實現了更深層次的「千人千面」。

知識圖譜,讓用戶能夠查詢到更多潛在內容,為組織節省了大量的知識重複和調閱工作,提升隱形競爭力。

本文,將從知識圖譜概念和應用兩個角度,幫助看到的您,了解熟悉知識圖譜工具,為工作過程降本增效提供新的選擇。

知識圖譜,是一種複雜網絡型知識工具,在2012年由谷歌公司提出,當時的目標是——讓搜索找到答案;到如今,隨著大數據應用深入大街小巷,知識工程算法能力的得到優化,知識圖譜已經成為一家企業能夠整合內部資源,更好服務於客戶的重要一環。

一、概覽知識圖譜

概念:本質上看,知識圖譜,是一種大規模語義網絡,可以算作是知識工程學科的代表。

形式:網鏈結構,有核心節點,是大數據的價值載體。

應用:知識圖譜的使用較為靈活,一方面,可以單獨進行使用,作為數據的加工方,直接對接原始數據,從源頭進行數據清洗和知識數據圖譜關聯呈現;另一方面,還可與其他系統進行對接,在有數據沉澱一方,進行實體抽離,在知識圖譜端進行知識加工,最終將知識網絡和潛在關係,提供到知識使用人員。

二、舉個例子

如果說,目前的感覺還不是很直觀的話,讓我們來一起接受一項知識圖譜的構建任務:

1. 任務場景

現在,一家企業求助到你,通過與他進行深度訪談和業務調研,企業面臨著以下幾點問題:

1)企業人員流動性高,包括新員工和培養了一段時間的經驗員工,人員流動的背後,代表著工作經驗、知識沉澱的流失,需要耗費更多的精力去做好整理和傳承工作;

2)企業知識紛繁複雜,關於工作的相關知識內容,尚未形成體系,很多員工經常需要尋找老員工進行請教,或者想要自學,卻總學到的邊邊角角,難以系統了解知識體系;

3)企業知識成本較高,企業最重要的浪費,就是知識經驗的浪費,而企業將知識轉化為工作內生動力的過程太過複雜,將潛在影響到企業的運行效率。

2. 解決方案

針對分析出的幾項內容,提出利用知識圖譜來解決問題,有以下幾點優勢:

1)打造知識網鏈化:對沉澱下來的非結構化知識(音視頻、圖片)、半結構化知識(FAQ)、結構化知識(文檔),進行數據梳理,對適合進行FAQ拆分的知識進行二次拆分。

2)實現知識譜系化:對拆解好的知識內容,利用知識關聯算法和圖譜算法等,構建知識譜系,形成圖網,對實體、概念和語義關係進行抽離,讓知識之間形成關聯。

3)構建知識協同化:對已經整理好的內容,進行數據整合,將知識內容與沉澱數據進行匹配,生成供前、後臺企業人員均可以使用的知識資源;前臺人員利用知識圖譜,識別到客戶畫像和營銷內容之間的匹配,後臺服務人員利用知識圖譜,識別到客戶想問的,和潛在要問的,進一步實現精準服務。

3. 優勢

知識圖譜的使用優勢,總結為以下三點:

1)搜索優化:讓每一位知識的使用人員,在搜索時,能夠匹配到精確的搜索內容和拓展的相關性、聯想性知識內容。

2)知識學習:讓每一位知識的使用人員,能夠在搜索出結果以後,推薦相關知識,供其調用和使用,並且通過圖譜網絡的方式,展示出知識之間的譜系關係,提升知識的自學能力。

3)數據匹配:將知識網絡中的內容,和其他系統沉澱數據,進行深度優化匹配,並且加工形成更加精確的知識數據,提升場景應用範圍,例如關聯行為圖譜、數據關係圖譜等。

三、Q&A

對於大部分人而言,知識圖譜,作為一件知識工具,將知識內容,梳理成為知識圖譜能夠識別的格式,並能夠加以應用。

現如今,知識圖譜已成為大數據知識工程的代表,但是大部分人在使用的時候,會陷入幾點誤區,而這個誤區,會成為能不能用好知識圖譜的關鍵內容:

1. 知識圖譜是不是整理文件夾?

很多人將知識圖譜的應用和知識整理的過程聯繫在一起,這一點是正確的,但是如果把知識圖譜的應用僅僅當作是知識整理的過程,就會縮小知識圖譜的價值。

從邏輯上看,知識圖譜與整理文件夾是包含關係,或者說整理文件夾是一個過程,這個過程是知識圖譜應用的基礎,在此基礎上,能夠更好的放大知識圖譜的作用。

2. 知識圖譜是不是需要很強大的系統支撐?

對於絕大多數的知識圖譜,需要有算力提供支撐,系統大小不重要,重要的是系統內的知識體系是否足夠清晰,是否能夠被知識算法合理高效的抽離和應用,對於知識的處理更加重要。

很多組織的知識存儲,要進行改良,將線性的知識,轉化為二維、族譜式知識,能夠幫助新員工更快了解組織的核心知識,迅速開啟工作內容,創造更大的價值。

入了知識圖譜的門,才發現知識圖譜的深奧,神秘的面紗下,是大量知識基礎工作的沉澱,積跬步方至千裡。

本文由 @汪仔沒有奶 原創發布於人人都是產品經理,未經許可,禁止轉載

題圖來自Unsplash,基於CC0協議。

相關焦點

  • 如何構建知識圖譜?
    本文根據轉轉張青楠老師,在DataFun AI+ Talk中所分享的《二手電商知識圖譜構建以及在價格模型中的應用》編輯整理而成。一、知識圖譜概述這次的分享主要從以下四個部分:知識圖譜概述、知識圖譜構造、轉轉二手電商知識圖譜、在價格模型中的應用。
  • 需要知識的後深度學習時代,如何高效自動構建知識圖譜?
    知識圖譜可以做什麼?如何自動、高效地構建知識圖譜?前沿的知識圖譜自動構建技術有哪些?這篇文章將逐一解答這些問題。 日常生活中,我們經常遇到以下兩種信息展現方式:
  • 華為開發者大會HDC.Cloud硬核技術解讀:知識圖譜構建流程及方法
    那麼,如何助力企業破解智能化知識挖掘和管理難題,實現知識化轉型?3月13日下午14:00起舉行的華為開發者大會2020(Cloud)第三期華為DevRun Live開發者沙龍中,華為雲自然語言處理技術專家鄭毅將分享《企業級知識計算平臺的技術解讀和案例實踐》,帶你了解華為雲知識計算平臺及相關技術、知識圖譜構建流程及方法,以及知識計算行業案例。
  • 知識圖譜如何打破人工智慧的認知天花板?
    近年來,知識圖譜技術熱度不減,作為實現認知智能的核心驅動力,已廣泛應用在金融、電商、醫療、政務等諸多領域。 知識圖譜究竟能解決哪些問題、應用在哪些場景?其技術架構如何發展演變?又將如何支撐實現認知智能的終極目標?成為技術圈熱議的焦點。
  • 企業大數據挖掘:為員工構建職場知識圖譜
    職場知識圖譜EDI為何如此聰明?一方面,EDI擁有精準的自然語言理解和對話能力;另一方面,利用深度學習和社交網絡融合等前沿技術,EDI為每個用戶構建了一張關於他們的職場知識圖譜。本文首先介紹如何構建用戶的職場信息圖譜,這是EDI個人助理的「大腦」,後續文章將介紹如何賦予EDI自然語言理解和對話能力,讓它能為主人愉快地工作,歡迎有興趣的讀者繼續關注。
  • 國雙:知識智能平臺構建行業知識圖譜 助力產業和社會治理兩化轉型
    中證網訊(記者 董添)近日,國雙副總裁彭俊在接受中國證券報記者採訪時指出,基於對行業知識的長期積累,國雙知識智能平臺能夠快速有效地為行業提供知識圖譜構建服務,客戶覆蓋司法、能源、製造、消費、航司、汽車等眾多行業,幫助客戶企業實現數位化、智能化轉型。
  • 百分點認知智能實驗室:信息抽取在知識圖譜構建中的實踐與應用
    編者按坦率地講,各行各業對如何落地知識圖譜這個問題,或多或少都心存一絲疑惑。人類知識和機器可理解的知識有什麼區別?知識圖譜如何突破自身局限性,從「萬事通」轉為「科學家」?
  • 知識圖譜在推薦系統的落地
    三、知識圖譜在推薦應用的優勢 知識圖譜就是實體的屬性關係網,能夠很好的表達實體之間的關係,這個關係可以是具有同樣屬性的實體,也可以是上下位的實體關係。 對於推薦系統來說,這個圖譜中的實體不僅僅是推薦的內容,還包含了用戶的信息,或者是標籤,所以知識圖譜很好的提供了一個推薦對象的關係網。
  • 知識圖譜構建的研究已走入下半場,但大規模落地應用仍需時間
    另一方面,我們必須保持知識圖譜的圖結構帶來的可解釋性和精準穩定的推理能力。例如,知識圖譜很難構建百分百正確的、超大規模的知識圖譜,因此,針對這些不足,認知圖譜應運而生。 本質上,認知圖譜的改進思路是減少圖譜構建時的信息損失,將信息處理壓力轉移給檢索和自然語言理解算法,同時保留圖結構進行可解釋關係推理。
  • 明略科技HAO圖譜Open API:開放企業級知識圖譜構建能力
    ,利用領域知識圖譜擴展其語義信息。知識圖譜技術在產業界正經歷著應用的高速增長,學術領域前沿成果與實際落地應用場景間依然存在著巨大的鴻溝,設計、開發、部署一套知識圖譜系統,會面臨數據標註、模型訓練調優、高並發高可用等一系列問題。「目前業內仍缺少一個工業級的穩定工具,HAO 圖譜是第一個語音實時生成圖譜的企業級知識圖譜開發工具包。」張杰表示。在實際的知識圖譜構建流程中,標註數據、訓練模型需要花費大量時間。
  • 試驗知識圖譜分析
    前言:知識圖譜是知識工程不斷發展衍生出的新一代知識工程技術,知識圖譜的概念最早是由谷歌在2012年正式提出,最初僅應用在智能搜索領域,目前已應用在多垂直領域,比如金融行業、醫療衛生、政府、能源與工業得到廣泛的應用。本期課程重點分為以下四個方面:試驗知識綜述、試驗知識圖譜分析、試驗知識圖譜構建技術和試驗知識圖譜技術展望。
  • 知識圖譜的皇冠:知識圖譜推理的前世今生
    [ 導讀 ]業界和學界對知識圖譜的關注主要集中於兩大領域,分別是知識圖譜的構建和知識圖譜的應用。 前者聚焦於通過對結構化、非結構化數據的整合,實現統一形式的數據存儲;後者則著眼於通過算法對海量知識圖譜數據進行學習與挖掘,從而推理出新的知識,服務於具體行業應用。
  • 國家自然科學基金重點項目「面向領域大數據的知識圖譜構建」啟動...
    「面向領域大數據的知識圖譜構建」項目從面向領域大數據的知識圖譜表示與構建技術、推理與認知技術、分布式管理技術入手,研究基於深度遷移學習、深度強化學習的知識圖譜靜態、動態表示與構建方法,基於圖模型、概率因子的推理與認知方法,基於數據劃分、圖結構的分布式管理方法,並以科技領域和POI(Point of Interest)為例,實現對相關工作的應用驗證,在國家自然科學基金委和百度公司進行示範驗證
  • 愛分析·中國知識圖譜應用趨勢報告
    知識圖譜技術包括知識表示、知識圖譜構建和知識圖譜應用三方面的研究內容:  知識表示研究客觀世界知識的建模,以方便機器識別和理解,既要考慮知識的表示與存儲,又要考慮知識的使用和計算;  知識圖譜構建解決如何建立計算機算法從客觀世界或者網際網路的各種數據資源中獲取客觀世界的知識,主要研究使用何種數據和方法抽取何種知識;  知識圖譜應用主要研究如何利用知識圖譜建立基於知識的智能服務系統
  • 遺傳圖譜構建及QTL定位的基礎知識點
    基因定位最有效且最常用的方法就是構建遺傳連鎖圖譜進行基因定位,該方法對於數量性狀和質量性狀的基因定位都適用。
  • 基金委發布深時地球科學知識圖譜與知識演化研究項目指南
    ,創建適合多時空尺度、多層次結構、多學科領域知識圖譜構建的關鍵理論與方法,原創性突破全球高精度數字地質年代表、巖相古地理智能分析與編圖等深時地球基礎科學問題,為建設計算機可理解、可推理、可計算、可呈現的全域深時地球知識圖譜奠定科學基礎,為構建「數據-知識-模式」協同的地球科學研究新範式開展先導性研究,促進地球科學研究的變革性發展。
  • 領域大數據知識圖譜專題 《中國科學:信息科學》
    【點擊論文題目可閱讀全文】 「基於知識圖譜的推薦系統研究綜述」針對基於知識圖譜的推薦系統這一領域進行了全面的綜述。介紹了推薦系統與知識圖譜中的一些基本概念,以及現有方法如何挖掘知識圖譜不同種類的信息並應用於推薦系統。總結了相關的一系列推薦應用場景, 提出了對基於知識圖譜的推薦系統前景的看法, 展望了該領域未來的研究方向。
  • 知識圖譜——用Python代碼從文本中挖掘信息的強大數據科學技術
    圖源:Unsplash攝影:Clem Onojeghuo概覽知識圖譜是數據科學中最吸引人的概念之一學習如何使用Wikipedia頁面中的文本構建知識圖譜在Python中使用流行的spaCy庫在Python中構建知識圖譜
  • 深度解析知識圖譜領域幾次發展的主要技術突破
    AI科技大本營此次邀請到文因互聯 CEO 鮑捷,作為知識圖譜領域形成過程的親歷者之一,他對知識圖譜的歷史淵源進行了梳理,深度解析了該領域幾次發展的主要技術突破,並分析了其工業落地的幾個關鍵點。 但是在實踐中我們並不需要太過糾結什麼叫知識圖譜,什麼不是知識圖譜。有人問我說是否必須要用RDF(資源描述框架)才是知識圖譜?或者說是不是必須用Neo4j圖資料庫才是知識圖譜?其實不是。不在於你具體用了哪一種Syntax,哪一種數據存儲的資料庫。關鍵是它的本質是什麼。 理解本質從了解知識圖譜的演化過程入手。
  • 2020 WAIC明略科技HAO圖譜Open API 吳信東深度解讀知識圖譜的自動...
    如果只有概念、關係,是數據圖譜,而不是具有背景知識的知識圖譜。從數據圖譜到知識圖譜的構建,可分成三個階段。第一階段,人工階段。對當前問題充分理解,把概念、關係形成節點和邊,用電腦程式的方式進行連接、溝通。第二階段,眾包構建。當實體太多,關係類型非常複雜時,需要涉及到群體,形成分布式的開發環境進行集成。第三階段,自動構建。