知識圖譜是反映實體間、實體與屬性間關係的網絡，是它們基於知識的關聯，是對於海量數據的一種有效的組織方式和利用手段。
現有代表性的知識網絡有Wordnet、DBpedia、Freebase、NELL（Never Ending Language Learning，永不結束語言學習）、YAGO和谷歌知識圖譜等。其共同點是均基於單一文本進行構建。根據知識來源與頂層概念設計理念，現有數據驅動的知識圖譜構建的研究工作大致分為如下幾類。
1.基於維基百科的infoboxes等結構化數據的構建：以百科作為知識的主要來源，抽取百科詞條作為實體，利用詞條中的infobox來填充實體的屬性。主要代表有YAGO、DBpedia和Freebase等。此類構建方法的特點是質量較高，但更新較慢。
2.基於開放文檔的構建（schema-less）：以網際網路開放網頁文檔作為知識的主要來源，其假定如果已知兩個實體之間存在特定的語義關係，那麼包含該實體對的句子在某種程度上就蘊含語義關係。主要代表系統有Reverb、OLLIE、Prismatic等。此類方法可挖掘大量實體與實體間的關係謂詞，缺點是所挖掘知識的噪音大。
3.基於固定本體/模式的構建：以少量人工定義的抽象本體/模式（ontology/schema）作為知識圖譜的頂層概念設計，以此來充實、匯聚符合頂層概念的實體與實體關係，並在此之上進一步發現新的概念。其代表系統有NELL、PROSPERA、史丹福大學的DeepDive、谷歌的Knowledge Vault等。
4.基於層次化本體的構建：該方法構建的知識庫的代表是Probase。Probase首先從開放域匯聚了約265萬個概念；然後針對這些概念計算上下位關係；最後基於概率的方法，從橫向與縱向上對這些概念進行合併，形成一個具有豐富層次的概念樹。
為了彌補單一類型文本構建知識圖譜的不足，出現了一種結合圖像和文本等數據來構建的知識圖譜，如ImageNet、NEIL和Vispedia等。為了使用深度學習來構建知識圖譜，一般需要通過深層模型（如反饋遞歸神經網絡等）來學習實體及其屬性，以及實體和實體之間關係的低維向量表示和關係操作矩陣，如張量神經網絡。如何在現有知識圖譜構建的基礎上，從圖像和視頻等媒體數據中提取視覺實體、視覺關係以及視覺屬性，在自然語言和視覺信息之間架構橋梁，使得視覺實體及其關係與文本實體及其關係相互支撐驗證（grounded），形成跨越數據類型的媒體知識網絡來對客觀世界中的概念、實體、屬性和關係進行表達，是一個具有巨大潛力的研究方向。有人表達的是利用馬科夫邏輯網來學習視覺實體屬性及其關係。
在深度學習中有效利用不同類型的媒體數據在不同層次上所具有的耦合特性是學術界高度重視的研究問題。正如谷歌公司首席科學家約翰·普蘭特（John Platt）博士指出的，當前智能計算面臨的一大挑戰是對強耦合（strongly-coupled）輸出的整體估計。儘管深度學習進展可喜，但是仍然面臨如下挑戰。
在線增量深度學習，人腦具有從不斷湧現的數據中持續學習以及逐步增長經驗知識的能力。現有的生理研究表明：嬰幼兒的神經細胞在出生後會持續增多，並且其神經軸突、樹狀突和突觸等複雜度會不斷增加。谷歌於2015年2月在《自然》上發表了其結合深度學習和強化學來實現具有「pixels-to-actions」能力以及超越人類玩家的智能遊戲算法的研究成果，以此說明從數據中不斷學習可逐漸提升算法的性能。雖然現在已有若干在線深度學習方法國，但是還需要將不同深層模型學習算法向在線增量學習方向做進一步拓展。
深度學習的黑盒子問題，深度學習在一定程度上是一個黑盒子問題，其難點在於根據特定任務來對深層模型本身的結構進行優化設計。新加坡國立大學教授顏水成課題組將傳統卷積神經網絡中的線性函數替換為多層網絡，提出了網中網（network in network）的框架。有人提出了將深度學習與條件隨機場相結合的神經條件隨機場（Conditional Random Fields，CRF）模型；谷歌在GoogLeNet中利用了「神經元之間持續重複經驗刺激可導致突觸傳遞效能增加」的赫布理論（Hebbian theory）。因此，如何根據數據本身以及人類的認知機理來設計最優的深層網絡結構（如網絡層數、每一層中隱含的單元數目以及層與層之間的反饋機制等），並且給出深層網絡理論分析，尚需理論的進一步深入和突破。
深度學習與眾包計算結合基於數據驅動的深度學習易受數據噪音的影響。YAGO知識庫研究者格哈德·維昆（Gerhard Weikum）教授曾指出，只有將數據驅動機器學習方法和眾包計算方法緊密結合起來，才能更好地實現知識圖譜的構建。雖然現有基於深度學習框架的弱標籤學習和半監督學習在某些方面利用了眾包數據（如利用微軟的點擊數據集Clickage來提升圖像檢索性能），但是如何有效利用眾包中的標註數據，來提升單純依賴數據驅動模式的深度學習方法的性能，是值得投入的研究方向。