試驗知識圖譜分析

2021-01-07 瑞風協同

【試驗工程師·公益學習營】第九期第2講

【試驗工程師·公益學習營】總第42講,於2020年10月30日如期舉行,本期講師是瑞風協同技術總監,他具有20餘年軟體開發和架構設計經驗,參與多個領域的設計仿真平臺、材料庫、知識庫系統建設,重點研究方向為大數據技術和人工智慧技術,專注於文本挖掘技術、自然語言處理技術在知識庫自動構建、知識自動分類、知識智能推送、知識關聯挖掘、知識圖譜方面的應用研究。

前言:知識圖譜是知識工程不斷發展衍生出的新一代知識工程技術,知識圖譜的概念最早是由谷歌在2012年正式提出,最初僅應用在智能搜索領域,目前已應用在多垂直領域,比如金融行業、醫療衛生、政府、能源與工業得到廣泛的應用。

本期課程重點分為以下四個方面:試驗知識綜述、試驗知識圖譜分析、試驗知識圖譜構建技術和試驗知識圖譜技術展望。

一、試驗知識綜述

複雜產品試驗的程序一般為制定試驗計劃、編制試驗任務書、制定試驗大綱、抽取受試產品、組織試驗前評審、試驗、試驗數據的處理、編寫試驗報告等,其目的是為了檢查驗證研製和生產的產品達到規定標準的程度。

試驗種類繁多,可按照產品研製階段、試驗性質、試驗組織形式、試驗條件、試驗件規模、試驗件類型、試驗內容、試驗對象的數位化程度、產品的組成層級等多種方式進行分類。

試驗領域的顯性知識包括試驗類型、試驗流程、試驗工具、試驗方法、試驗場景、試驗規範和標準類知識等,而隱性知識是通過數據分析、挖掘得到的知識。

試驗知識目前共性問題:

1、試驗知識零散、分散,信息抽取困難

2、缺少合適的方法、標準來融合各類試驗知識數據

3、知識圖譜在試驗知識關聯挖掘方面的案例較少,沒有充分體現、發揮試驗知識的真實價值

4、試驗知識積累、更新方式以人工為主,遠遠跟不上大數據、人工智慧技術發展

二、試驗知識圖譜分析

知識圖譜(Knowledge Graph)簡單說是一種大規模的語義網絡,圖書情報界稱為知識域可視化或知識領域映射地圖,是顯示知識發展進程與結構關係的一系列各種不同的圖形。知識圖譜是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論和方法與計量學引文分析、共現分析等方法結合,並利用可視化的圖譜形象地展示學科的核心結構、發展歷史、前沿領域以及整體知識架構,以達到多學科融合目的的現代理論。

與傳統數據分析計算展示相比,知識圖譜的優勢更顯著:

1、關係的表達能力強

2、像人類思考一樣去做分析

3、自我知識學習

4、高速反饋

試驗知識圖譜的特徵:綜合化、定量與定性相結合、知識發現性、客觀性、關聯性、動態性、空間性、圖譜解讀的建構性、知識依賴性和滯後性。通常我們把知識分為領域知識、百科知識、場景知識、語言知識以及常識知識等,並且根據所存儲的知識的類型,可以對知識圖譜的類型進行劃分,包括:領域知識圖譜和通用知識圖譜。試驗知識圖譜是一種信息可視化方法,也是知識可視化方法。

通用知識圖譜

知識圖譜與知識地圖(knowledge map)之間存在著一定聯繫:

相同點:二者都是知識管理的工具,並不存在截然分隔的知識鴻溝,但它們在基本概念、應用領域和繪製技術方面有所不同。

不同點:

概念不同:「圖譜」是涉及時間和空間兩個維度的動態概念,「地圖」是涉及二維或三維空間形式的地理學概念。

應用領域不同:知識地圖更側重於導航功能,主要應用於企業;知識圖譜則更側重於知識發現功能,主要應用於科研領域、知識應用。

繪製技術不同:知識地圖繪製時不一定基於資料庫,而知識圖譜的繪製目前大部分基於資料庫、大數據、人工智慧(前者動態性,後者靜態性)。

知識圖譜核心內容

三、試驗知識圖譜構建技術

試驗知識圖譜構建流程為:

1、信息抽取

信息抽取是知識圖譜構建的第1步,其中的關鍵問題是如何從異構數據源中自動抽取信息得到候選知識單元;信息抽取是一種自動化地從半結構化和無結構數據中抽取實體、關係以及實體屬性等結構化信息的技術,涉及的關鍵技術包括:實體抽取、關係抽取和屬性抽取。

信息抽取結構圖

2、知識融合

通過信息抽取的結果中,可能包含大量的冗餘和錯誤信息,數據之間的關係也是扁平化的,缺乏層次性和邏輯性,因此有必要對其進行清理與合併。知識融合包括兩部分內容:實體連結和知識合併,通過知識融合,可以消除概念的歧義,剔除冗餘和錯誤概念,從而確保知識的質量。

Falcon-AO結構圖

3、知識加工

通過信息抽取,可以從原始文本中提取出實體、關係與屬性等知識要素,再經過知識融合,可以消除實體名稱項與實體對象之間的歧義,得到一系列基本的事實表達,然而,事實本身並不等於知識,要想最終獲得結構化、網絡化的知識體系,還需要經歷知識加工的過程。知識加工主要包括3方面內容:本體構建、知識推理和質量評估。

本體構建流程結構圖

4、知識更新

人類所擁有的信息和知識量都是隨著時間呈單調函數遞增,因此知識圖譜的內容也需要與時俱進,其構建過程是一個不斷迭代更新的過程。從邏輯上看,知識庫的更新包括概念層的更新和數據層的更新,概念層的更新是指新增數據後獲得了新的概念,需要自動將新的概念添加到知識庫的概念層中;數據層的更新主要是新增或更新實體、關係和屬性值,對數據層進行更新需要考慮數據源的可靠性、數據的一致性(是否存在矛盾或冗餘等問題)等多方面因素。知識圖譜的內容更新有兩種方式:數據驅動下的全面更新和增量更新。

試驗知識圖譜的應用

四、 試驗知識圖譜技術展望

在試驗知識圖譜的技術展望方面,希望與大數據技術緊密結合來發展試驗知識圖譜。試驗數據具有多個維度:被試件數據、參試件數據、試驗環境數據、人員數據和保障活動數據。

RF自動轉換器:通過類似的科學變換、人工智慧技術,將試驗件、文檔、數據、分析方法等知識,自動生成各類知識圖譜。

相關焦點

  • 6個方面分析:知識圖譜的價值和應用
    儘管各個風險場景的業務風險不同,其欺詐方式也不同,但都有一個非常重要的共同點——欺詐依賴於信息不對稱和間接層,且它們可以通過知識圖譜的關聯分析被揭示出來,高級欺詐也難以「隱身」。目前知識圖譜產品的客戶行業,分類主要集中在:社交網絡、人力資源與招聘、金融、保險、零售、廣告、物流、通信、IT、製造業、傳媒、醫療、電子商務和物流等領域。在風控領域中,知識圖譜類產品主要應用於反欺詐、反洗錢、網際網路授信、保險欺詐、銀行欺詐、電商欺詐、項目審計作假、企業關係分析、罪犯追蹤等場景中。
  • 知識圖譜發展的難點&構建行業知識圖譜的重要性
    知識圖譜又稱為科學知識圖譜,在圖書情報界稱為知識域可視化,或知識領域映射地圖,用來顯示知識發展進程與結構關係的一系列各種不同的圖形,用可視化技術描述知識資源及載體,挖掘、分析、構建、繪製和顯示知識及他們互相之間的關係。
  • 基於知識圖譜的鄉村旅遊研究進展分析
    筆者嘗試用文獻計量的方式,藉助Citespace工具,繪製鄉村旅遊研究的知識圖譜,以更客觀的視角全面揭示鄉村旅遊的研究態勢。、應用數學、計算機科學等學科的理論與方法相結合,用可視化的技術來分析及展示數據之間的關係,將研究領域的發展歷程、研究現狀及整體知識框架以圖像的形式表達出來,尤其在對數量龐大的數據進行挖掘方面具有優勢,具體分析過程如圖1。
  • 實戰:利用知識圖譜分析企業信息資產威脅(要點+視頻)
    因此,當知識圖譜應用於信息資產安全威脅的發現與分析時,能夠顯著提升發現資產安全威脅的效率和準確率,為企業安全人員的威脅分析提供決策依據。本次雷鋒網硬創公開課,北京數字觀星科技有限公司創始人郭亮分享了如何利用知識圖譜,對企業信息資產面臨的安全威脅,進行構建、繪製、挖掘以及分析的實踐經驗。
  • 知識圖譜的皇冠:知識圖譜推理的前世今生
    [ 導讀 ]業界和學界對知識圖譜的關注主要集中於兩大領域,分別是知識圖譜的構建和知識圖譜的應用。 前者聚焦於通過對結構化、非結構化數據的整合,實現統一形式的數據存儲;後者則著眼於通過算法對海量知識圖譜數據進行學習與挖掘,從而推理出新的知識,服務於具體行業應用。
  • 【知識圖譜】知識圖譜嵌入模型簡介
    由於在表達人類先驗知識上具有優良的特性,知識圖譜近年來在自然語言處理、問答系統、推薦系統等諸多領域取得了廣泛且成功的應用。    圖1:知識圖譜示意圖  然而,知識圖譜通常存在連結缺失問題,這限制了知識圖譜在相關下遊任務中的應用。為解決該問題,知識圖譜補全任務應運而生。
  • 是時候該關注「知識圖譜」了!
    知識圖譜是表示關係的最有效的方式,提供了從「關係」的角度分析問題的能力,讓機器能夠像人一樣理解世界、獲取知識,進而做出決策和行動。在大數據的推動下,知識圖譜受到了業界和學術界的廣泛關注。自2012 年Google推出第一版知識圖譜軟體,相繼湧現出一大批面向不同領域和應用的知識圖譜,如Yago,DBpedia,MusicBrainz,PubMed等,為各類智能應用帶來了大量結構化知識。
  • 知識圖譜是什麼?
    知識圖譜最開始是Google為了優化搜尋引擎提出來的,推出之後引起了業界轟動,隨後其他搜索公司也紛紛推出了他們的知識圖譜。知識圖譜發展到今天,不僅是應用在搜索行業,已經是AI的基礎功能了。那到底知識圖譜是什麼?有什麼能力?怎麼應用?這就是本文想要討論的內容。
  • 從知識圖譜到認知圖譜:歷史、發展與展望
    知識圖譜的研究熱點逐漸出現重數量輕結構化的傾向,這與深度學習和聯結主義思想的盛行密不可分。認知圖譜依據人類認知的雙加工理論,動態構建帶有上下文信息的知識圖譜並進行推理。本文回顧了知識圖譜的發展歷史,指出認知圖譜提出的動機並展望其發展前景。知識圖譜是由谷歌(Google)公司在2012年提出來的一個新的概念。本質上是語義網的知識庫。
  • 如何構建知識圖譜
    編輯導語:知識圖譜可以說是一個資料庫,在如今大數據時代,知識圖譜已經是企業中能夠起到很大作用的一個環節,可以提高工作效率等;本文作者分享了關於構建知識圖譜以及問題的解答,我們一起來看一下。知識圖譜作為大數據內容的搬運工,在知識算法和使用上,能夠放大組織沉澱數據應用價值;目前搜索巨頭、購物網站均已經通過應用知識網絡,實現了更深層次的「千人千面」。
  • 區塊鏈學堂|什麼是知識圖譜
    比如在一個電影相關的知識圖譜中會有許多代表電影名稱、導演、演員等相關信息的節點。一個電影節點可以和相關導演及演員節點相關聯。如果有需要的話,我們可以按照這個邏輯將所有電影信息整理成一張巨大的知識圖譜,方便信息的查詢和檢索。由此可見,知識圖譜為信息和數據的融合、統一、連結和復用提供了良好的框架,有助於提高信息數據的管理和分析效率。
  • 縱覽知識圖譜在AI領域的有效應用,2019知識圖譜前沿技術論壇即將開幕
    >知識圖譜的構建包括邏輯建模、隱含空間分析、人機互動和本體模型支撐等多種方法。我們分析各種構建方法的問題和挑戰,指出自動構建的要素和應用場景。  過去幾年,知識圖譜技術在大規模簡單應用場景取得了顯著落地效果。近年來,知識圖譜日益從數據豐富的大規模簡單應用場景轉向專家知識密集但數據相對稀缺的小規模複雜應用。這一轉向過程所呈現出的一系列全新的形勢,諸如繁雜的應用場景、深度的知識應用、密集的專家知識、有限數據資源等等,都為知識圖譜落地帶來了巨大挑戰。知識圖譜技術的研究與應用日益進入深水區,知識圖譜的「下半場」的態勢已經十分明顯。
  • 知識圖譜線上培訓課程
    知識圖譜課程全面系統講授、研討知識圖譜相關概念與技術主題,對當前行業落地過程的一系列困難進行答疑解惑,使學員系統地掌握知識圖譜概念與技術。同時,本次課程還邀請了兩位華為雲的專家,結合華為雲知識計算即服務(KaaS)解決方案,為學員深度解析知識圖譜行業實踐經驗。
  • 知識圖譜助力新基建(新知)
    明略科技首席科學家吳信東認為,知識圖譜技術有助於提升數據的生產要素效能,助力新基建價值最大化。什麼是知識圖譜?通俗地說,就是把所有不同種類的信息連接在一起而得到的一個語義關係網絡。它的一個特點,就是可以抽取實體關係、事件、標籤、模型、規則等條件,形成以圖為基礎的數據形式。
  • 產品經理的知識圖譜應用
    我們以李小龍為例,如果不用知識圖譜,用戶搜索「李小龍的兒子是誰」時,只能通過關鍵詞搜索的方式分析網頁中關鍵詞包含「李小龍」「兒子」等關鍵詞的網頁。通過知識圖譜的輔助,搜尋引擎通過背後的語義分析,返回更加精確,並且是結構化的數據。圖1.1-2李小龍的關係圖譜追本溯源知識圖譜起源於上世紀60年代的語義網絡。
  • 知識圖譜在小米的應用與探索
    通過引入知識圖譜,這些產品在內容理解、用戶理解、實體推薦等方面都有了顯著的效果提升。本文的主要內容包括:小米知識圖譜介紹:包括小米的商業模式、小米人工智慧部、知識圖譜在人工智慧部的定位、小米知識圖譜的發展歷程、以及小米知識圖譜的落地場景。小米知識圖譜關鍵技術:小米知識圖譜在成長過程中的技術積累。小米行業知識圖譜探索:結合業務,跟大家分享下小米在行業圖譜上的探索。
  • 用科學知識圖譜預測學科前沿趨勢
    科學知識圖譜研究,以科學研究範式為基礎,以引文分析方法和信息可視化技術為手段,涉及數學、圖形學、信息科學、認知科學和計算機科學諸學科交叉的領域,是科學計量學的新發展。科學文獻是通過一代又一代引文,即一代接一代不斷引用參考文獻,在繼承前代科學家的研究成果基礎上,而不斷創新、突破和發展起來的。這是科學知識區別於非科學文化而發生革命性變革,並引領技術創新及其驅動發展的強大內在動力。
  • 知識圖譜和問答系統
    利用關鍵詞索引先過濾,把搜羅來的相關網頁,在線分析,深度分析後找到答案。這個路子技術上是可行的。應對所謂事實型問題(Who、Where、When類問題)是有效的。但是複雜問題如how、why,還是要走第一類的路線。為什麼可行?因為我們的深度分析是線性時間複雜度,在現代的硬體條件下根本不是問題。
  • 知識圖譜KnowledgeGraph核心技術培訓班
    自2012年穀歌在提出知識圖譜概念以來,國內外大規模知識圖譜的研究不斷深入,並廣泛應用於知識融合、語義搜索和推薦、問答和對話系統、大數據分析與決策等方面,應用領域覆蓋金融、製造、政府、電信、電商、客服、零售、娛樂、醫療、農業、出版、保險、知識服務、教育等行業。
  • 如何構建知識圖譜?
    本文根據轉轉張青楠老師,在DataFun AI+ Talk中所分享的《二手電商知識圖譜構建以及在價格模型中的應用》編輯整理而成。一、知識圖譜概述這次的分享主要從以下四個部分:知識圖譜概述、知識圖譜構造、轉轉二手電商知識圖譜、在價格模型中的應用。