如何構建知識圖譜

2021-01-09 人人都是產品經理

編輯導語:知識圖譜可以說是一個資料庫,在如今大數據時代,知識圖譜已經是企業中能夠起到很大作用的一個環節,可以提高工作效率等;本文作者分享了關於構建知識圖譜以及問題的解答,我們一起來看一下。

知識圖譜作為大數據內容的搬運工,在知識算法和使用上,能夠放大組織沉澱數據應用價值;目前搜索巨頭、購物網站均已經通過應用知識網絡,實現了更深層次的「千人千面」。

知識圖譜,讓用戶能夠查詢到更多潛在內容,為組織節省了大量的知識重複和調閱工作,提升隱形競爭力。

本文,將從知識圖譜概念和應用兩個角度,幫助看到的您,了解熟悉知識圖譜工具,為工作過程降本增效提供新的選擇。

知識圖譜,是一種複雜網絡型知識工具,在2012年由谷歌公司提出,當時的目標是——讓搜索找到答案;到如今,隨著大數據應用深入大街小巷,知識工程算法能力的得到優化,知識圖譜已經成為一家企業能夠整合內部資源,更好服務於客戶的重要一環。

一、概覽知識圖譜

概念:本質上看,知識圖譜,是一種大規模語義網絡,可以算作是知識工程學科的代表。

形式:網鏈結構,有核心節點,是大數據的價值載體。

應用:知識圖譜的使用較為靈活,一方面,可以單獨進行使用,作為數據的加工方,直接對接原始數據,從源頭進行數據清洗和知識數據圖譜關聯呈現;另一方面,還可與其他系統進行對接,在有數據沉澱一方,進行實體抽離,在知識圖譜端進行知識加工,最終將知識網絡和潛在關係,提供到知識使用人員。

二、舉個例子

如果說,目前的感覺還不是很直觀的話,讓我們來一起接受一項知識圖譜的構建任務:

1. 任務場景

現在,一家企業求助到你,通過與他進行深度訪談和業務調研,企業面臨著以下幾點問題:

1)企業人員流動性高,包括新員工和培養了一段時間的經驗員工,人員流動的背後,代表著工作經驗、知識沉澱的流失,需要耗費更多的精力去做好整理和傳承工作;

2)企業知識紛繁複雜,關於工作的相關知識內容,尚未形成體系,很多員工經常需要尋找老員工進行請教,或者想要自學,卻總學到的邊邊角角,難以系統了解知識體系;

3)企業知識成本較高,企業最重要的浪費,就是知識經驗的浪費,而企業將知識轉化為工作內生動力的過程太過複雜,將潛在影響到企業的運行效率。

2. 解決方案

針對分析出的幾項內容,提出利用知識圖譜來解決問題,有以下幾點優勢:

1)打造知識網鏈化:對沉澱下來的非結構化知識(音視頻、圖片)、半結構化知識(FAQ)、結構化知識(文檔),進行數據梳理,對適合進行FAQ拆分的知識進行二次拆分。

2)實現知識譜系化:對拆解好的知識內容,利用知識關聯算法和圖譜算法等,構建知識譜系,形成圖網,對實體、概念和語義關係進行抽離,讓知識之間形成關聯。

3)構建知識協同化:對已經整理好的內容,進行數據整合,將知識內容與沉澱數據進行匹配,生成供前、後臺企業人員均可以使用的知識資源;前臺人員利用知識圖譜,識別到客戶畫像和營銷內容之間的匹配,後臺服務人員利用知識圖譜,識別到客戶想問的,和潛在要問的,進一步實現精準服務。

3. 優勢

知識圖譜的使用優勢,總結為以下三點:

1)搜索優化:讓每一位知識的使用人員,在搜索時,能夠匹配到精確的搜索內容和拓展的相關性、聯想性知識內容。

2)知識學習:讓每一位知識的使用人員,能夠在搜索出結果以後,推薦相關知識,供其調用和使用,並且通過圖譜網絡的方式,展示出知識之間的譜系關係,提升知識的自學能力。

3)數據匹配:將知識網絡中的內容,和其他系統沉澱數據,進行深度優化匹配,並且加工形成更加精確的知識數據,提升場景應用範圍,例如關聯行為圖譜、數據關係圖譜等。

三、Q&A

對於大部分人而言,知識圖譜,作為一件知識工具,將知識內容,梳理成為知識圖譜能夠識別的格式,並能夠加以應用。

現如今,知識圖譜已成為大數據知識工程的代表,但是大部分人在使用的時候,會陷入幾點誤區,而這個誤區,會成為能不能用好知識圖譜的關鍵內容:

1. 知識圖譜是不是整理文件夾?

很多人將知識圖譜的應用和知識整理的過程聯繫在一起,這一點是正確的,但是如果把知識圖譜的應用僅僅當作是知識整理的過程,就會縮小知識圖譜的價值。

從邏輯上看,知識圖譜與整理文件夾是包含關係,或者說整理文件夾是一個過程,這個過程是知識圖譜應用的基礎,在此基礎上,能夠更好的放大知識圖譜的作用。

2. 知識圖譜是不是需要很強大的系統支撐?

對於絕大多數的知識圖譜,需要有算力提供支撐,系統大小不重要,重要的是系統內的知識體系是否足夠清晰,是否能夠被知識算法合理高效的抽離和應用,對於知識的處理更加重要。

很多組織的知識存儲,要進行改良,將線性的知識,轉化為二維、族譜式知識,能夠幫助新員工更快了解組織的核心知識,迅速開啟工作內容,創造更大的價值。

入了知識圖譜的門,才發現知識圖譜的深奧,神秘的面紗下,是大量知識基礎工作的沉澱,積跬步方至千裡。

本文由 @汪仔沒有奶 原創發布於人人都是產品經理,未經許可,禁止轉載

題圖來自Unsplash,基於CC0協議。

相關焦點

  • 如何構建知識圖譜?
    本文根據轉轉張青楠老師,在DataFun AI+ Talk中所分享的《二手電商知識圖譜構建以及在價格模型中的應用》編輯整理而成。一、知識圖譜概述這次的分享主要從以下四個部分:知識圖譜概述、知識圖譜構造、轉轉二手電商知識圖譜、在價格模型中的應用。
  • 媒體知識圖譜的構建簡析
    知識圖譜是反映實體間、實體與屬性間關係的網絡,是它們基於知識的關聯,是對於海量數據的一種有效的組織方式和利用手段。現有代表性的知識網絡有Wordnet、DBpedia、Freebase、NELL(Never Ending Language Learning,永不結束語言學習)、YAGO和谷歌知識圖譜等。其共同點是均基於單一文本進行構建。根據知識來源與頂層概念設計理念,現有數據驅動的知識圖譜構建的研究工作大致分為如下幾類。
  • 知識圖譜發展的難點&構建行業知識圖譜的重要性
    知識圖譜又稱為科學知識圖譜,在圖書情報界稱為知識域可視化,或知識領域映射地圖,用來顯示知識發展進程與結構關係的一系列各種不同的圖形,用可視化技術描述知識資源及載體,挖掘、分析、構建、繪製和顯示知識及他們互相之間的關係。
  • 自底向上——知識圖譜構建技術初探
    知識圖譜的構建技術主要有自頂向下和自底向上兩種。其中自頂向下構建是指藉助百科類網站等結構化數據源,從高質量數據中提取本體和模式信息,加入到知識庫裡。,其中虛線框內的部分為知識圖譜的構建過程,同時也是知識圖譜更新的過程。
  • 知識圖譜實戰系列六:Lucene在知識圖譜上構建索引
    這篇文章講講如何在知識圖譜數據集上構建索引進行查詢。倒排索引是一種數據結構,它表示了這樣一種映射,以字或詞或數字為關鍵字進行索引,映射到出現這個字或詞的所有文檔或者資料庫文件。它大概由三部分組成term index、term dictionary 和posting list(倒排表)。索引過程,首要需要找到term(關鍵詞)索引的位置。
  • 華為開發者大會HDC.Cloud硬核技術解讀:知識圖譜構建流程及方法
    那麼,如何助力企業破解智能化知識挖掘和管理難題,實現知識化轉型?3月13日下午14:00起舉行的華為開發者大會2020(Cloud)第三期華為DevRun Live開發者沙龍中,華為雲自然語言處理技術專家鄭毅將分享《企業級知識計算平臺的技術解讀和案例實踐》,帶你了解華為雲知識計算平臺及相關技術、知識圖譜構建流程及方法,以及知識計算行業案例。
  • 萬字綜述:行業知識圖譜構建最新進展
    目前在大部分細分垂直領域中,行業知識圖譜的 schema 構建依賴領域專家的重度參與,該模式人力投入成本高,建設周期長,同時在缺乏大規模有監督數據的情形下的信息抽取效果欠佳,這限制了行業知識圖譜的落地且降低了圖譜的接受度。
  • 知識圖譜研討實錄05丨肖仰華教授帶你讀懂概念圖譜構建
    知識圖譜技術是實現機器認知智能和推動各行業智能化發展的關鍵基礎技術。由復旦大學肖仰華教授策劃的《知識圖譜:概念與技術》課程體系,已在國內進行了多次巡迴演講,受到參會人員一致好評。課程主要目的和宗旨是系統講述知識圖譜相關知識,讓同學們對知識圖譜的理論和技術有一個系統的認知。本實錄來自該課程老師和同學的研討。
  • 伯克利&清華從GPT等預訓練語言模型中無監督構建出知識圖譜!
    近日,AI科技評論發現了一篇伯克利和清華的團隊的研究「從預訓練語言模型生成知識圖譜」的論文。論文連結:https://arxiv.org/abs/2010.11967這篇論文有以下三點貢獻:1、展示了如何從預訓練語言模型中構建知識圖譜。2、提出了一種無監督的兩階段方法:MAMA。
  • 知識圖譜構建的研究已走入下半場,但大規模落地應用仍需時間
    另一方面,我們必須保持知識圖譜的圖結構帶來的可解釋性和精準穩定的推理能力。例如,知識圖譜很難構建百分百正確的、超大規模的知識圖譜,因此,針對這些不足,認知圖譜應運而生。 本質上,認知圖譜的改進思路是減少圖譜構建時的信息損失,將信息處理壓力轉移給檢索和自然語言理解算法,同時保留圖結構進行可解釋關係推理。
  • 百分點認知智能實驗室:信息抽取在知識圖譜構建中的實踐與應用
    坦率地講,各行各業對如何落地知識圖譜這個問題,或多或少都心存一絲疑惑。人類知識和機器可理解的知識有什麼區別?知識圖譜如何突破自身局限性,從「萬事通」轉為「科學家」?百分點認知智能實驗室在實踐探索中,通過利用自然語言處理技術獲取結構化的信息抽取能力,探索出了一套行業知識圖譜構建流程方法。
  • 【乾貨】最全知識圖譜綜述#2: 構建技術與典型應用
    我們專知的技術基石之一正是知識圖譜-構建AI知識體系-專知主題知識樹簡介。下面我們特別整理了關於知識圖譜的技術全面綜述,涵蓋基本定義與架構、代表性知識圖譜庫、構建技術、開源庫和典型應用。主要基於的參考文獻來自[22]和[40], 本人(Quan)做了部分修整。昨天我們介紹了《知識圖譜的概念以及構建技術-知識提取、知識表示、知識融合》,今天介紹知識圖譜的知識推理和典型應用。
  • 知識圖譜自動構建在線雲平臺-web protege漢語版
    知識圖譜語義本體已經成為當今在大數據應用領域共同關注的前沿課題,目前被廣泛應用於自然科學與人文科學領域。
  • 知識圖譜的皇冠:知識圖譜推理的前世今生
    [ 導讀 ]業界和學界對知識圖譜的關注主要集中於兩大領域,分別是知識圖譜的構建和知識圖譜的應用。 前者聚焦於通過對結構化、非結構化數據的整合,實現統一形式的數據存儲;後者則著眼於通過算法對海量知識圖譜數據進行學習與挖掘,從而推理出新的知識,服務於具體行業應用。
  • 試驗知識圖譜分析
    前言:知識圖譜是知識工程不斷發展衍生出的新一代知識工程技術,知識圖譜的概念最早是由谷歌在2012年正式提出,最初僅應用在智能搜索領域,目前已應用在多垂直領域,比如金融行業、醫療衛生、政府、能源與工業得到廣泛的應用。本期課程重點分為以下四個方面:試驗知識綜述、試驗知識圖譜分析、試驗知識圖譜構建技術和試驗知識圖譜技術展望。
  • 讀書思考 | 《知識圖譜:概念與技術》C8:知識圖譜的質量控制
    知識圖譜基於OWA構建,因此它的質量控制有些難以捉摸。具體來說,某個實體有什麼屬性和關係是無法預見的,很難像數據質量工程那樣統一部署監控體系。如何在誤差可控前提下儘可能擴大知識範圍,是本章的焦點所在。註:文中「作者」指本書作者,「筆者」則指本人。知識圖譜的質量工程可分為內檢與外視兩種,均旨在提升知識準確率與覆蓋率。
  • 產品經理的知識圖譜應用
    1.2 知識圖譜的表示與存儲我們了解了知識圖譜的概念,那麼知識圖譜是如何存儲知識數據以及如何呈現出來的?作為產品經理理解知識圖譜的表示與存儲對我們有什麼意義呢?這些問題將在本章中進行解釋與回答。1.3 知識圖譜構建過程我們了解了什麼是知識圖譜,知識圖譜的數據機構。那下面我們簡單描述一下如何構建知識圖譜,以及了解如何構建知識圖譜對我們產品經理有什麼幫助。
  • 陳華鈞等 | OpenKG區塊鏈:構建可信開放的聯邦知識圖譜平臺
    知識圖譜技術強調將分散的碎片化數據相互關聯、連結融合。即使是在單一的企業或機構內部,知識圖譜的數據也通常來源於不同部門。知識圖譜的構建通常需要依靠多部門協作完成。因此,一個好的知識圖譜的構建平臺需要有明晰的責、權、利方面的考慮,而非僅僅考慮數據清洗、算法抽取、協同編輯等功能。如圖1所示,從知識的生產者的視角,首先要考慮知識的價值量化方法。
  • 從知識圖譜到認知圖譜:歷史、發展與展望
    知識圖譜的研究熱點逐漸出現重數量輕結構化的傾向,這與深度學習和聯結主義思想的盛行密不可分。認知圖譜依據人類認知的雙加工理論,動態構建帶有上下文信息的知識圖譜並進行推理。本文回顧了知識圖譜的發展歷史,指出認知圖譜提出的動機並展望其發展前景。知識圖譜是由谷歌(Google)公司在2012年提出來的一個新的概念。本質上是語義網的知識庫。
  • 縱覽知識圖譜在AI領域的有效應用,2019知識圖譜前沿技術論壇即將開幕
    >知識圖譜的構建包括邏輯建模、隱含空間分析、人機互動和本體模型支撐等多種方法。滴滴的出行知識圖譜是這些實體、屬性及行為的數位化表示。為了讓數據發揮更大的作用,我們構建並深入挖掘了大規模的領域知識圖譜,並依託這些圖數據構建各種不同場景的有效解決方案。本次報告敘述了領域知識圖譜在滴滴生態中的廣泛研究和應用,包括基於實體圖譜的圖計算、圖嵌入、知識融合等案例服務,以及業務知識圖譜中以智能對話機器人和信息推薦為代表的應用。