試驗知識圖譜分析

2021-01-08 瑞風協同

【試驗工程師·公益學習營】第九期第2講

【試驗工程師·公益學習營】總第42講,於2020年10月30日如期舉行,本期講師是瑞風協同技術總監,他具有20餘年軟體開發和架構設計經驗,參與多個領域的設計仿真平臺、材料庫、知識庫系統建設,重點研究方向為大數據技術和人工智慧技術,專注於文本挖掘技術、自然語言處理技術在知識庫自動構建、知識自動分類、知識智能推送、知識關聯挖掘、知識圖譜方面的應用研究。

前言:知識圖譜是知識工程不斷發展衍生出的新一代知識工程技術,知識圖譜的概念最早是由谷歌在2012年正式提出,最初僅應用在智能搜索領域,目前已應用在多垂直領域,比如金融行業、醫療衛生、政府、能源與工業得到廣泛的應用。

本期課程重點分為以下四個方面:試驗知識綜述、試驗知識圖譜分析、試驗知識圖譜構建技術和試驗知識圖譜技術展望。

一、試驗知識綜述

複雜產品試驗的程序一般為制定試驗計劃、編制試驗任務書、制定試驗大綱、抽取受試產品、組織試驗前評審、試驗、試驗數據的處理、編寫試驗報告等,其目的是為了檢查驗證研製和生產的產品達到規定標準的程度。

試驗種類繁多,可按照產品研製階段、試驗性質、試驗組織形式、試驗條件、試驗件規模、試驗件類型、試驗內容、試驗對象的數位化程度、產品的組成層級等多種方式進行分類。

試驗領域的顯性知識包括試驗類型、試驗流程、試驗工具、試驗方法、試驗場景、試驗規範和標準類知識等,而隱性知識是通過數據分析、挖掘得到的知識。

試驗知識目前共性問題:

1、試驗知識零散、分散,信息抽取困難

2、缺少合適的方法、標準來融合各類試驗知識數據

3、知識圖譜在試驗知識關聯挖掘方面的案例較少,沒有充分體現、發揮試驗知識的真實價值

4、試驗知識積累、更新方式以人工為主,遠遠跟不上大數據、人工智慧技術發展

二、試驗知識圖譜分析

知識圖譜(Knowledge Graph)簡單說是一種大規模的語義網絡,圖書情報界稱為知識域可視化或知識領域映射地圖,是顯示知識發展進程與結構關係的一系列各種不同的圖形。知識圖譜是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論和方法與計量學引文分析、共現分析等方法結合,並利用可視化的圖譜形象地展示學科的核心結構、發展歷史、前沿領域以及整體知識架構,以達到多學科融合目的的現代理論。

與傳統數據分析計算展示相比,知識圖譜的優勢更顯著:

1、關係的表達能力強

2、像人類思考一樣去做分析

3、自我知識學習

4、高速反饋

試驗知識圖譜的特徵:綜合化、定量與定性相結合、知識發現性、客觀性、關聯性、動態性、空間性、圖譜解讀的建構性、知識依賴性和滯後性。通常我們把知識分為領域知識、百科知識、場景知識、語言知識以及常識知識等,並且根據所存儲的知識的類型,可以對知識圖譜的類型進行劃分,包括:領域知識圖譜和通用知識圖譜。試驗知識圖譜是一種信息可視化方法,也是知識可視化方法。

通用知識圖譜

知識圖譜與知識地圖(knowledge map)之間存在著一定聯繫:

相同點:二者都是知識管理的工具,並不存在截然分隔的知識鴻溝,但它們在基本概念、應用領域和繪製技術方面有所不同。

不同點:

概念不同:「圖譜」是涉及時間和空間兩個維度的動態概念,「地圖」是涉及二維或三維空間形式的地理學概念。

應用領域不同:知識地圖更側重於導航功能,主要應用於企業;知識圖譜則更側重於知識發現功能,主要應用於科研領域、知識應用。

繪製技術不同:知識地圖繪製時不一定基於資料庫,而知識圖譜的繪製目前大部分基於資料庫、大數據、人工智慧(前者動態性,後者靜態性)。

知識圖譜核心內容

三、試驗知識圖譜構建技術

試驗知識圖譜構建流程為:

1、信息抽取

信息抽取是知識圖譜構建的第1步,其中的關鍵問題是如何從異構數據源中自動抽取信息得到候選知識單元;信息抽取是一種自動化地從半結構化和無結構數據中抽取實體、關係以及實體屬性等結構化信息的技術,涉及的關鍵技術包括:實體抽取、關係抽取和屬性抽取。

信息抽取結構圖

2、知識融合

通過信息抽取的結果中,可能包含大量的冗餘和錯誤信息,數據之間的關係也是扁平化的,缺乏層次性和邏輯性,因此有必要對其進行清理與合併。知識融合包括兩部分內容:實體連結和知識合併,通過知識融合,可以消除概念的歧義,剔除冗餘和錯誤概念,從而確保知識的質量。

Falcon-AO結構圖

3、知識加工

通過信息抽取,可以從原始文本中提取出實體、關係與屬性等知識要素,再經過知識融合,可以消除實體名稱項與實體對象之間的歧義,得到一系列基本的事實表達,然而,事實本身並不等於知識,要想最終獲得結構化、網絡化的知識體系,還需要經歷知識加工的過程。知識加工主要包括3方面內容:本體構建、知識推理和質量評估。

本體構建流程結構圖

4、知識更新

人類所擁有的信息和知識量都是隨著時間呈單調函數遞增,因此知識圖譜的內容也需要與時俱進,其構建過程是一個不斷迭代更新的過程。從邏輯上看,知識庫的更新包括概念層的更新和數據層的更新,概念層的更新是指新增數據後獲得了新的概念,需要自動將新的概念添加到知識庫的概念層中;數據層的更新主要是新增或更新實體、關係和屬性值,對數據層進行更新需要考慮數據源的可靠性、數據的一致性(是否存在矛盾或冗餘等問題)等多方面因素。知識圖譜的內容更新有兩種方式:數據驅動下的全面更新和增量更新。

試驗知識圖譜的應用

四、 試驗知識圖譜技術展望

在試驗知識圖譜的技術展望方面,希望與大數據技術緊密結合來發展試驗知識圖譜。試驗數據具有多個維度:被試件數據、參試件數據、試驗環境數據、人員數據和保障活動數據。

RF自動轉換器:通過類似的科學變換、人工智慧技術,將試驗件、文檔、數據、分析方法等知識,自動生成各類知識圖譜。

相關焦點

  • 愛分析·中國知識圖譜應用趨勢報告
    知識圖譜應用分析與落地挑戰  三. 知識圖譜最佳實踐案例  四.  2.知識圖譜應用分析與落地挑戰  2.1知識圖譜應用分析  知識圖譜可為多領域客戶在數據管理、關聯分析、營銷與風控、反欺詐等應用場景提供技術賦能。知識圖譜技術為用戶提供了一種更為有效的方式表達、組織、管理以及利用多源、異構、動態的數據。
  • 6個方面分析:知識圖譜的價值和應用
    儘管各個風險場景的業務風險不同,其欺詐方式也不同,但都有一個非常重要的共同點——欺詐依賴於信息不對稱和間接層,且它們可以通過知識圖譜的關聯分析被揭示出來,高級欺詐也難以「隱身」。凡是有關係的地方都可以用到知識圖譜,事實上,知識圖譜已經成功俘獲了大量客戶,且客戶數量和應用領域還在不斷增長中,包括沃爾瑪、領英、阿迪達斯、惠普、FT金融時報等知名企業和機構。
  • ...曲線分析|gartner|知識圖譜|生成對抗網絡|intelligence|人工智慧
    三、典型介紹之知識圖譜技術對比2018-2020年的人工智慧技術成熟度曲線報告,本文重點介紹一下知識圖譜技術,這項技術也是進步最快、場景價值得到廣泛驗證的技術之一。基於該報告,我們可以先圍繞該技術做一下分析。知識圖譜技術之所以被認可,因為其展現了更好地揭示其他非結構化數據中的高階相關性的能力。
  • 明略科技入選愛分析中國知識圖譜廠商全景報告
    近日,中國領先的產業數位化研究與諮詢機構愛分析發布《中國知識圖譜廠商全景報告》,在金融、政府與公共服務、能源與工業、零售4大行業的13個應用場景中,明略科技均被評為具備成熟解決方案和落地能力的知識圖譜廠商。  在數字經濟時代,數據是重要的生產要素。數據挖掘能力是企業數位化轉型成功的基石。
  • 實戰:利用知識圖譜分析企業信息資產威脅(要點+視頻)
    知識圖譜能夠把複雜的知識領域通過語義匹配,數據挖掘、信息處理、知識計量和圖形繪製顯示出來,揭示知識領域的動態發展規律,為研究和決策提供切實的、有價值的參考。因此,當知識圖譜應用於信息資產安全威脅的發現與分析時,能夠顯著提升發現資產安全威脅的效率和準確率,為企業安全人員的威脅分析提供決策依據。
  • 同盾科技成功入選《2020愛分析·知識圖譜廠商全景報告》
    近日,同盾科技憑藉在知識圖譜領域一系列前沿創新和實踐成果,成功入選《2020愛分析·知識圖譜廠商全景報告》,在報告定義的金融領域的四大主流應用場景,銀行對公、銀行零售、保險、泛金融領域知識庫中,同盾科技知識圖譜產品「雲圖「均榜上有名。
  • 知識圖譜的皇冠:知識圖譜推理的前世今生
    [ 導讀 ]業界和學界對知識圖譜的關注主要集中於兩大領域,分別是知識圖譜的構建和知識圖譜的應用。 前者聚焦於通過對結構化、非結構化數據的整合,實現統一形式的數據存儲;後者則著眼於通過算法對海量知識圖譜數據進行學習與挖掘,從而推理出新的知識,服務於具體行業應用。
  • 是時候該關注「知識圖譜」了!
    知識圖譜是表示關係的最有效的方式,提供了從「關係」的角度分析問題的能力,讓機器能夠像人一樣理解世界、獲取知識,進而做出決策和行動。在大數據的推動下,知識圖譜受到了業界和學術界的廣泛關注。自2012 年Google推出第一版知識圖譜軟體,相繼湧現出一大批面向不同領域和應用的知識圖譜,如Yago,DBpedia,MusicBrainz,PubMed等,為各類智能應用帶來了大量結構化知識。
  • 解析|如何構建知識圖譜
    知識圖譜,讓用戶能夠查詢到更多潛在內容,為組織節省了大量的知識重複和調閱工作,提升隱形競爭力。 本文,將從知識圖譜概念和應用兩個角度,幫助看到的您,了解熟悉知識圖譜工具,為工作過程降本增效提供新的選擇。
  • 明略科技HAO圖譜Open API:開放企業級知識圖譜構建能力
    ,利用領域知識圖譜擴展其語義信息。目前,HAO 圖譜已經被廣泛應用在社交輿情分析、銷售技能培訓、金融交易反欺詐、案情研判、設備維護、城市及園區管理等不同場景。在推薦領域,將領域知識有效融入算法,提高推斷準確率一直是研究的難點之一。知識圖譜,可將人類專家經驗和規則,以及大量來自網際網路、各個產業生產中獲得的數據,有機結合,通過對不同實體(節點)之間關係的進行分析,獲得洞察。
  • 基因圖譜分析提供了許多癌症治療方案
    根據一項由美國臨床腫瘤學會認可,由桑福德醫療系統(Sanford Health)開展的研究,腫瘤的基因圖譜分析為疾病治療提供了新的途徑
  • 知識圖譜如何打破人工智慧的認知天花板?
    InfoQ 基於對知識圖譜技術生態的深刻觀察,重磅發布《知識圖譜:打破人工智慧的認知天花板》研究報告。帶您探索知識圖譜如何實現機器的辨識、思考與主動學習,梳理知識圖譜技術體系與產業鏈結構,剖析實現認知智能的技術挑戰與發展趨勢,探求知識圖譜將如何打破人工智慧的認知天花板。
  • 晉梅:金融知識圖譜的應用探索
    以下整理來自嘉賓分享實錄:金融知識圖譜的概念和應用在信息爆炸時代,對客觀事實的各種描述是海量的、無序的、混亂的信息,而知識被定義為是對客觀規律和信息的歸納總結。基於此概念,知識圖譜是一種用圖的結構對知識進行表達的方式,它的基本組成要素是節點和邊,節點用於表示實體,邊用於呈現關係。
  • 如何構建知識圖譜?
    本文根據轉轉張青楠老師,在DataFun AI+ Talk中所分享的《二手電商知識圖譜構建以及在價格模型中的應用》編輯整理而成。一、知識圖譜概述這次的分享主要從以下四個部分:知識圖譜概述、知識圖譜構造、轉轉二手電商知識圖譜、在價格模型中的應用。
  • 知識圖譜在金融資管領域的應用、實踐與展望
    知識圖譜是人工智慧的一個重要分支,對可解釋人工智慧具有重要作用。金融知識圖譜作為專業領域知識圖譜,在智能投研、智能風控、智能客服、智能合規等領域有著重要的應用價值。本文綜合熵簡科技三年以來的產業實踐,結合知識圖譜領域的技術前沿,以及資管場景的落地應用,淺談知識圖譜在金融資管領域的發展現狀與應用展望。
  • 白芍HPLC指紋圖譜相似度的分析
    白芍HPLC指紋圖譜相似度的分析 來源:www.bioon.com 2006-12-17 01:46    白芍為毛賈科芍藥Ynenniula
  • 這是一份通俗易懂的知識圖譜技術與應用指南
    概論隨著移動網際網路的發展,萬物互聯成為了可能,這種互聯所產生的數據也在爆發式地增長,而且這些數據恰好可以作為分析關係的有效原料。如果說以往的智能分析專注在每一個個體上,在移動網際網路時代則除了個體,這種個體之間的關係也必然成為我們需要深入分析的很重要一部分。 在一項任務中,只要有關係分析的需求,知識圖譜就「有可能」派的上用場。2. 什麼是知識圖譜?
  • 需要知識的後深度學習時代,如何高效自動構建知識圖譜?
    圖 1:傳統知識庫與知識圖譜示意圖 [1] 與傳統的數據存儲和計算方式相比,知識圖譜技術更加側重於對非結構化異構數據的收集和處理,更擅長對於關係的表達和計算,可以處理複雜多樣的關聯分析
  • 領域大數據知識圖譜專題 《中國科學:信息科學》
    為推動領域大數據知識圖譜的研究,交流相關研究進展與成果,《中國科學: 信息科學》在2020年第50卷第7期組織出版「領域大數據知識圖譜專題」,經過嚴格的同行評議, 專題共收錄 7 篇文章, 主題涵蓋推薦系統、科技知識圖譜、事理認知圖譜、人物關係圖譜、地理知識圖譜、篇章事件連通圖、旅遊知識圖譜等方面的內容。
  • 白話知識圖譜及其在CMDB中的應用
    本文主要包含兩塊內容:1、對知識圖譜的基本概念和思想起源做一個簡單的介紹;2、知識圖譜對CMDB的啟發以及我們的實踐成果。閱讀時間約20分鐘1、什麼是知識圖譜你可以沒聽過知識圖譜,但一定聽過人工智慧。人工智慧可以簡單的分為兩大類:感知智能和認知智能。感知智能即視覺、聽覺、觸覺的感知能力。