MindSpore可視化工具使用指南

2021-01-18 騰訊網

5 月12 日,機器之心聯合華為昇騰學院開設的線上公開課《輕鬆上手開源框架MindSpore》第 6 課完成,王越講師為大家帶來了主題分享《MindSpore可視化工具使用指南》,第 6 課回顧視頻如下:

第六課精選問答

在第六課的QA環節中,有一些問題被大家廣泛提到,王越講師再次做了精選與編輯,供大家參考。

Q1:momentum是SGD?

momentum是SGD的優化方法,主要思想是引入一個積攢歷史梯度的信息動量,來加速SGD。我認為它主要解決了SGD的兩個問題,一個是隨機梯度的方法引入的噪聲,另一個是 SGD在收斂過程中,和我們想要的梯度相比,會有比較大的擺動。

當前mindspore提供既提供了SGD,又提供了momentum

Q2:和TensorBoard有什麼區別?

我認為主要的區別有以下幾點:

從設計思路上來說,TensorBoard主要以插件化的形式來進行構建,它的好處是開發比較方便,功能解耦比較清楚。開發一個新功能,可以很快在TensorBoard添加一個新的頁籤。但是我認為這種模式存在的缺點是不停的添加單個的功能,缺乏總體的使用引導,指導用戶怎樣去一步一步調網絡。 MindInsight在設計上是希望給用戶提供網絡調試和調優的方法論,可以看到MindInsight的入口是從訓練列表開始的,點擊某個訓練後,希望給用戶很清晰的指引:在調試調優的某個階段遇到某個問題時,應該使用哪個功能。

從組件上來說,我認為MindInsight現在有一些特色功能是TensorBoard不具備的,比如說像溯源,數據圖的展示等等。當然MindInsight現在還在比較快速的構建和開發中,會陸續上線很多新的組件。

從生態上來說,TensorBoard和Tensorflow目前主要是服務於GPU/TPU的,MindInsight和MindSpore則需要適配Ascend晶片。晶片的不同會導致在功能上的差異,比如Profiling,MindInsight需要考慮數據下沉等訓練場景的性能展示。

Q3:mindspore支持動態圖嗎?

MindSpore目前是支持動態圖的,我們稱這種執行模式叫Pynative,怎樣使用動態圖模式進行訓練和調試可以參考第三講的內容。MindInsight後續會release Debugger組件,我們可以使用Pynative模式調試腳本,圖模式執行時如果出現異常可以使用MindInsight的Debugger調試。

Q4:數據溯源那裡說明所有訓練都是同樣的數據嗎?

在剛才的講解視頻中,我們看到的數據溯源顯示的是一條直線,說明訓練任務都使用了相同的數據pipeline流程。如果用戶發現可能是因為某個數據增強操作導致訓練異常,改變了數據增強操作,兩次訓練的差別就會體現在數據溯源中。

Q5:目前還有其他profile方式嗎?

目前在Ascend晶片訓練或者推理,可以使用run包中的組件進行profile,但是使用起來會需要一些配置項,結果解析需要依靠腳本完成。MindInsight會首先基於Ascend晶片提供易用的profile能力和結果展示,然後逐步把能力遷移到GPU和CPU。

Q6:nvprof可以配合mindspore嗎?

我個人沒有嘗試過,但是從原理推斷應該是可以的;如果有感興趣的同學可以進行嘗試,我們可以在群組討論。

Q7:訓練中間層可視化?

如果中間層可視化是指的是計算圖的中間層信息,可以使用MindInsight中的計算圖可視組件進行查看。可以點開計算圖,找到感興趣的層,查看節點的名稱、type等信息;

如果中間層可視化指的是中間層權重的變化趨勢,可以使用HistogramSummary算子進行記錄,並使用MindInsight參數分布圖功能查看;

如果中間層可視化指訓練時想看到中間層的計算結果,pynative模式可以配合pdb等在算子執行返回時直接查看,圖模式可以依賴MindInsight後續release的Debugger進行查看。Debugger可以在某個step執行完成後暫停訓練,用戶可以在計算圖上找到感興趣的中間層,點擊節點查看對應的算子輸出。

Q8:mindinsight目前可以在雲上用嗎?

MindInsight作為一個python package,天然支持在雲上使用;我們後續會提供雲上場景的官方支持和說明。

Q9:minsight可以輸出優化後的圖嗎?

是可以的,summary文件中記錄的計算圖是MindSpore前端優化後的圖,如果想查看更多階段的圖,可以在context中打開save_graphs開關,這樣可以得到一些不同優化階段的計算圖文件(後綴名為.pb),可以在MindInsight中將這些計算圖可視化。

Q10:將來能給個加載GE圖的例子嗎?

目前加載GE圖(ge_ir.proto)的功能還處在試用階段,功能成熟後我們會考慮開源,屆時會給出對應的文檔。

第六課PPT如下:

相關焦點

  • 華為深度學習框架MindSpore正式開源:自動微分不止計算圖
    MindSpore 開源社區:https://www.mindspore.cn/MindSpore 代碼:https://gitee.com/mindspore從整體上來說,MindSpore 搭建神經網絡會以「單元」為中心,其中單元是張量和運算操作的集合。
  • 華為開源自研AI框架MindSpore!自動微分、並行加持,一次訓練,可多...
    除了上述功能之外,MindSpore中還有深度優化的模型集市Model Zoo,可視化工具、模型評估工具等。  可視化工具提供單次訓練過程可視化,以及多次訓練的模型溯源對比功能,讓開發者煉丹更加便利。  模型評估工具支持多種對抗樣本生成算法,包括13種白盒、7種黑盒攻擊算法,幫助開發者評估對抗 樣本攻防能力。  在這些功能的加持下,MindSpore實現模型開發能力提升的同時,使用起來也頗為方便。
  • 一種免費的開源可視化工具 可以對同源基因進行深入比較
    一種免費的開源可視化工具 可以對同源基因進行深入比較 2018-10-26 14:39:13 來源:sciencedaily Aequatus是Earlham Institute(EI)開發的一種新型生物信息學工具,它有助於深入了解不同物種之間的同線信息
  • 可視化工具不知道怎麼選?深度評測5大Python數據可視化工具
    作者 | 劉早起來源 | 早起Python(ID: zaoqi-python)相信很多讀者學習Python就是希望作出各種酷炫的可視化圖表,當然你一定會聽說過Matplotlib、Pyecharts、Seaborn、Plotly、Bokeh這五大工具,本文就將通過真實繪圖來深度評測這五個Python數據可視化的庫,看看到底這幾種工具各有什麼優缺點
  • 大公司都是怎麼做數據可視化規範的
    如何從中啟發來構建自己的數據可視化設計指南?企業或組織進行數據可視化時,需要用數據可視化設計指南來規範信息表示形式。通常包括是什麼(圖表的類型有哪些?)、為什麼(如為什麼使用這個顏色?)和怎麼做(如用什麼工具設計?)。如果涉及到一些設計工具,如Excel、R、D3.js或Tableau,可視化指南還會提供一個模板來演示如何應用。
  • 分析零距離 數據可視化產品選型指南
    3.技術趨勢  數據可視化的思想是將資料庫中每一個數據項作為單個圖元元素,通過抽取的數據集構成數據圖像,同時將數據的各個屬性值加以組合,並以多維數據的形式通過圖表、三維等方式用以展現數據之間的關聯信息,使用戶能從不同的維度以及不同的組合對資料庫中的數據進行觀察,從而對數據進行更深入的分析和挖掘。
  • Python中的時間序列數據可視化的完整指南
    在分析中有什麼比一些好的可視化效果更好呢?沒有一些視覺效果,任何類型的數據分析都是不完整的。因為一個好的情節比20頁的報告更能讓你理解。因此,本文是關於時間序列數據可視化的。我將從一些非常簡單的可視化開始,然後慢慢地轉向一些高級的可視化技術和工具在開始之前,我需要再弄清楚一件事。
  • 盤點55個最實用的大數據可視化分析工具
    下面就來看看全球備受歡迎的的可視化工具都有哪些吧!一、ExcelExcel作為一個入門級工具,是快速分析數據的理想工具,也能創建供內部使用的數據圖,但是Excel在顏色、線條和樣式上課選擇的範圍有限,這也意味著用Excel很難製作出能符合專業出版物和網站需要的數據圖。
  • 數據可視化圖表工具有哪些圖表類型?
    大家都聽過「數據可視化」,也知道要用直觀的圖表讓受眾理解複雜多變的數據。結果很多人花了大力氣做可視化圖表,卻沒達到想要的效果。 那麼,如何讓數據「說人話」,讓受眾更快速地懂你呢?本文梳理了可視化的相關內容,分享給大家。
  • 堪比python,強於Excel的可視化,我拿這個工具做出來了
    這時候,你應該好好考慮數據可視化這個問題了。數據可視化能力已經越來越成為各崗位的基礎技能。領英的數據報告顯示,數據可視化技能在2017年中國最熱門技能中排名第一。我相信,3年過去了,就數據分析而言,可視化探索幾乎是你正式進行數據分析的第一步,通過SQL拿到數據之後,我們需要使用可視化方法探索和發現數據中的模式規律。
  • ...降維&可視化工具 HyperTools 的正確姿勢! | Kaggle 實戰教程
    雷鋒網按:世界首屈一指的機器學習競賽平臺 Kaggle,在今年早些時候推出了基於 Python 的高維數據降維以及可視化處理工具日前,Kaggle 在博客公布了使用 HyperTools 的官方教程。其中包含兩個例子:用 HyperTools 對蘑菇數據做可視化,以及對全球氣象數據做可視化。示例包含代碼,需要做數據降維可視化的童鞋,這是一篇不錯的 HyperTools 上手教程。全文由雷鋒網(公眾號:雷鋒網)編譯。
  • Uber 開源 AI 可視化調試工具 Manifold,2 個工作流讓計算性能提升...
    此外,它還可以顯示對於每一個數據子集,一些候選模型將有怎樣的預測準確性差異,從而為一些高級處理(如模型集成)提供數據根據。可視化設計隨著機器學習越來越成為相關業務不可分割的部分,提供使模型更透明且易於理解工具就顯得更加重要,這一工具可以使得開發者能自信自如地使用機器學習生成的預測。但考慮到機器學習模型本質上是不透明的複雜性,則需要通過新興的機器學習可視化來解決這個問題。
  • MIT、浙大等打造AutoML可視化工具:模型自選、超參數自調
    該工具名為ATMSeer,它將AutoML系統、數據集和有關用戶任務的一些信息作為輸入,然後在用戶友好型的界面內實現可視化搜索過程,界面中還能提供更多關於模型性能的深入信息。在對AutoML新手的案例研究中,研究人員發現大約85%使用ATMSeer的人對系統選擇的模型充滿信心。幾乎所有參與者都表示,該工具讓使用AutoML系統變得更舒服了。ATMSeer會生成一個用戶友好的界面,顯示有關所選模型性能的深入信息,以及可調整的算法和參數的選項。
  • 這10 個 Python 可視化工具,你都用過?
    由於 matplotlib 是第一個 Python 可視化程序庫,有許多別的程序庫都是建立在它的基礎上或者直接調用它。 比如pandas和Seaborn就是matplotlib的外包,它們讓你能用更少的代碼去調用 matplotlib的方法。
  • Clustergrammer——基於網絡的高維生物數據熱圖可視化和分析工具
    utm_source=Other_website&utm_medium=Website_links&utm_content=RenLi-MixedBrand-multijournal-Multidisciplinary-China&utm_campaign=ORG_USG_JRCN_RL_article_promotion_sciencenet_Oct_3rd
  • 這裡有8個流行的Python可視化工具包,你喜歡哪個?
    當我們做可視化之前,要先明確一些關於圖像目標的問題:你是想初步了解數據的分布情況?想展示時給人們留下深刻印象?也許你想給某人展示一個內在的形象,一個中庸的形象? 本文將介紹一些常用的 Python 可視化包,包括這些包的優缺點以及分別適用於什麼樣的場景。
  • Material Design設計語言-數據可視化
    在行業內還沒有一個標準的規範可參考之前,谷歌的可視化團隊於2019年6月率先開發了數據可視化設計指南。數據可視化:主要是藉助於圖形化手段,清晰有效地傳達與溝通信息。2019年6月率先開發了數據可視化設計指南。
  • 數據可視化圖表的使用方式及最佳做法,你用對了嗎?
    (最常見的時間或金錢)的結果數據,在此可視化中正確使用顏色是必要的,因為不同的彩色線條可以使用戶更輕鬆地分析信息。迷你圖 迷你圖可以說是顯示趨勢的最佳數據可視化工具,因為它們非常緊湊;在為觀眾快速繪製圖片時,他們可以完成工作
  • Python 數據集探索與可視化實例指南
    字幕組雙語原文:Python 數據集探索與可視化實例指南英語原文:Explore and Visualize a Dataset with Python翻譯:AI研習社(Suen)對於以後不再使用的一次性變量,我通常會這樣做。  我們在order_leads.Date上使用了pd.DateTimeIndex並將結果設置為索引,這使我們能夠使用pd.Grouped(freq ='D')按天對數據進行分組。 或者,您可以將頻率更改為W,M,Q或Y(每周,每月,每季度或每年) 我們計算每天「轉換」的平均值,這將給出當天訂單的換算率。
  • 深度學習黑盒可視化指南,從隱藏層開始
    俗話說「一圖勝千言」,現階段所需要的就是可視化。在最近的項目中,Tensorflow.js的合著者之一Daniel Smilkov和谷歌大腦團隊的Shan Carter共同創建了一個神經網絡訓練場(  Playground),旨在通過讓用戶與其進行交互和實驗來可視化隱藏層。