揭秘太陽：NASA藉助數據科學工作站將太陽圖像分析速度提高150倍

2020-07-15 NVIDIA英偉達中國

科學家藉助RTX驅動的惠普Z系列數據科學工作站，過去需要數年才能完成的CPU數據分析和計算如今僅需不到一周時間。


揭秘太陽：NASA藉助數據科學工作站將太陽圖像分析速度提高150倍

美國航空航天局（NASA）正在使用Quadro RTX GPU提高數據分析的速度。

NASA的太陽動力學天文臺（Solar Dynamics Obser-vatory）通過收集太陽圖像幫助科學家和研究者深入了解各種類型的太陽變化及其對地球生命的影響。

這些數據對於研究者而言價值連城，但由於所收集的圖像超過18 PB，因此分析這些信息的難度極大。

藉助Quadro RTX驅動的惠普Z系列數據科學工作站，NASA團隊可以輕鬆地對數據進行分類並分析圖像，而且速度比CPU快150倍。

NASA所面臨的大數據挑戰

該天文臺收集數據的方式是每1.3秒拍攝一次太陽圖像。研究者開發了一種算法，可以消除不良像素等圖像中的錯誤，然後將圖像放入每天都在增加的檔案中。

該算法非常精確，但由於具有近20 PB的圖像，有數十億像素被誤當成錯誤。因此，NASA團隊需要梳理1.5億個錯誤文件（總共需要進行約1000億次單獨檢測）並尋找一種方法來對良好像素與不良像素進行分類和標記。

使用常規計算幾乎不可能完成這項工作。如果使用CPU，則要花費數年時間才能得到結果。即便使用目前可以創建的最佳多線程CPU算法，也要花費大約一年的時間對所有數據進行計算和分析。

NASA戈達德太空飛行中心（Goddard Space Flight Center）的太陽天文學家Raphael Attie表示：「一年時間對科學家來說是不夠的，因為我們還要探索和迭代所發現的結果。即便計算需要一年時間，我們仍然需要長達十年的時間才能得到具體的結果。」

為了在更短的時間內得到結果，NASA團隊開始研究NVIDIA GPU提供的並行處理功能。

海量數據需要更優解決方案

NASA的超級計算資源受到嚴格限制。研究者需要提供有關需要多少計算資源以及需要使用多長時間的詳細信息。但當團隊不確定使用多少計算資源才能使用大量數據進行實驗時，就很難提供詳細信息。

藉助內置兩個Quadro RTX 8000 GPU的惠普Z系列數據科學工作站，NASA研究者自己就能獲得超級計算資源。他們已開始使用大數據分析技術和NVIDIA的加速計算庫來研究該項目，將NVIDIA GPU的性能發揮得淋漓盡致。

該數據科學工作站使該團隊在不到一周的時間內就完成了圖像分析並獲得結果。

NASA主管科研的天體物理學家Michael Kirk表示：「該數據科學工作站給我們的研究帶來了巨大的可能性。我們現在可以進行這些以前無法想像的計算，而且速度比我們想像的還要快10-150倍。」

NASA團隊運用AI、機器學習和數據分析對太陽進行了廣泛的研究。他們的大多數數據科學工作流程都基於Python，並使用TensorFlow、Dask、CuPy和其他應用完成繁重的數據處理工作；使用Pandas、RAPIDS和CuDF進行統計研究；並且還會用到各種2D和3D可視化工具。

憑藉該數據科學工作站，NASA團隊充分發揮GPU的性能增強其分析工作流程，使研究者能夠探索和迭代計算並更快獲得結果。

NASA團隊過濾和分析當前數據之後，就會使用這些信息來分析最初被標記為「良好」的其他像素，確認它們是否真的「良好」，從而對整個數據集進行驗證。

工欲善其事，必先利其器

在AI和大數據分析中，如果雲環境中的工作流不作出響應，就可能會嚴重影響項目。從長遠來看，此類中斷會破壞趨勢、工作效率和動力。因此，Attie建議使用本地GPU驅動的工作站或筆記本電腦。此類工作站或筆記本電腦應具有足夠的內存來處理部分數據處理工作，方便用戶進行模型研究。

Attie認為：「我發現讓工作流作出響應的必要條件是讓GPU設備能夠快速訪問輸入數據。當無法將數據保存在GPU設備所在機器的本地位置時，由於AI應用通常需要快速訪問數據，因此必須有非常快速和靈活的網絡。」

Attie和Kirk通過出版物和專業期刊分享項目成果。在研討會和會議期間，他們將與同事進行討論，並展示如何使用特定框架或自定義代碼獲取數據。隨著居家辦公人數的日益增加，NASA團隊也越來越熟悉如何使用遠程工具與他人聯繫並分享最新項目發現。

相關焦點

  • 令人眼花繚亂的太陽圖像 - 原來太陽如此多彩
    太陽動力學天文臺的日珥2010年4月21日，NASA發布了太陽動力學天文臺（SDO）最新太陽監測任務的第一張光照圖像。該任務的高速、IMAX質量的攝影技術將提高對太陽活動的預測，這些活動可能會擾亂從GPS衛星到高壓線的一切事情。
  • NASA和ESA將發布有史以來最接近太陽的圖像
    來源：環球網【環球網科技報導 記者 林迪】日前，記者從NASA（美國宇航局）官網了解到，NASA和ESA（歐洲航天局）將於本周（當地時間7月16日）發布太陽軌道飛行器任務的首批圖像。資料顯示，6月中旬，NASA和ESA聯合派出的「太陽軌道飛行器」(Solar Orbiter) 在2月9日發射後首次通過了近日點。
  • 帕克太陽探測器與太陽初相會,拍下一張驚人圖像!
    因此，帕克太陽探測器在江湖上贏得了觸摸太陽的勇士的光榮稱號。實現與太陽初相會。在此期間，帕克太陽探測器施展渾身解數，開啟四套先進的科學設備採集數據。由於受到太陽的強烈幹擾，帕克太陽探測器在飛掠太陽的過程中被迫中斷與地球的聯繫，幾周之後才開始將數據傳回地球。目前，這批寶貴的數據正逐漸流入科學家手中。
  • 有史以來離太陽最近且速度最快的飛行器——帕克太陽探測器
    2018年10月31日到11月11日期間，帕克太陽探測器成功完成了接近太陽的第一個階段，它加速通過了太陽外部的大氣層——日冕——並使用四套尖端儀器收集了前所未有的數據。帕克太陽探測器會環繞太陽公轉24次，在這個過程中將會完成24次飛掠太陽。在任務期間，探測器將藉助七次金星的引力彈弓效應慢慢接近太陽，逐漸縮短其環繞太陽的軌道。
  • NASA選定新任務，研究巨型太陽離子爆成因
    數據立方體的系統排列將保持兩兩之間6英裡的飛行距離，置於地球大氣層上方，否則SunRISE監測的無線電信號會被阻攔。六個數據立方體會共同協作來繪製3D地圖並精確指出巨型離子爆發生在太陽何處以及它們如何演化並向外太空擴展。換言之，這將幫助我們確定是什麼促發並加速了這個巨大的輻射噴流。這六個獨立的飛行器還將共同協作來首次繪製由太陽延伸到星際空間的磁場圖像。
  • 人類歷史上最近太陽圖像發布!
    北京時間7月16日晚間，歐洲空間局（ESA）發布人類歷史上從最近距離拍攝的太陽圖像，攝影師是今年2月發射的太陽軌道飛行器（Solar Orbiter），拍攝時位於金星和水星軌道之間，與太陽距離大約是日地距離的一半。在圖像上，我們可以看到類似於篝火的微型太陽耀斑無處不在。
  • 恆星的質量是太陽的25倍,是太陽的150倍
    值得一提的是，超級巨星和超級巨星沒有大量恆星，被認為是太陽質量的25-150倍。兩顆紫色的超級巨星是什麼恆星。在超級巨星中，由於不同的發光度，人們把它分成了高光藍星、藍星、白超星黃巨星、紅巨星、紫紅星等。那麼，紫色的超級巨星是什麼呢？它是恆星，紫色的質量是太陽質量的25-150倍。
  • NASA帕克太陽探測器繞太陽飛行破紀錄 太陽磁場或在翻轉
    新浪科技訊，北京時間12月10日消息，據國外媒體報導，NASA2018年8月發射的帕克太陽探測器實現了距太陽最近的一次飛越，距離太陽僅1500萬英裡（約合2400萬公裡），並利用尖端科學儀器收集了大量數據，無意間創下了人造物體有史以來距太陽最近的飛行記錄
  • NASA科學家模擬早期太陽自轉史:自轉速度是當今3倍
    關注環球科學周一至周五早間我們為你準時送上最新鮮的全球科技資訊·天體物理學·NASA科學家模擬早期太陽的自轉史太陽耀斑（圖片來源：NASA/SDO）現在的太陽大約27天自轉一周，但在最近發表在《天體物理雜誌快報》的一篇論文中，來自NASA的科學家用計算機模擬了早期太陽的旋轉速度，模擬結結果顯示，在最初的十億年內，太陽大約9到10天就完成一次自轉，速度是目前的3倍。
  • 科學家:太陽核心旋轉速度是表面4倍 還很難解釋
    ，前者是後者的4倍。他們在1日出版的《天文學與天體物理學》雜誌上刊發論文稱，這一發現或有助於科學家了解太陽最初形成的樣子。億萬年來，我們的地球圍繞著太陽不停地公轉，而太陽也在不停地自轉著。對太陽自轉運動的研究有助於揭示太陽內部運動機制以及太陽形成的奧秘。早在20多年前，就有天文學家設想，太陽核心的旋轉速度要快於太陽表面，但這一設想從沒有被證實過。
  • 人類又一太陽探測器出發!將帶我們換個角度看太陽
    她將走上一條前輩沒有走過的路，不但能夠清晰地看到太陽的南北兩極，還能利用手中的十八般兵器，細緻入微地看清太陽的每一張面孔。 太陽極區很重要，然而我們一直看不清 歐洲是人類科學認識太陽的起源地。當17世紀伽利略最早將望遠鏡應用於天文觀測時，太陽黑子就是望遠鏡的重要觀測對象。
  • [圖]NASA公布科學家最喜愛的太陽圖像
    美國宇航局太陽動力觀測衛星（SDO）採用大氣成像組件（AIA）上的四個望遠鏡每日拍攝高達57600張不斷變換的高清日冕圖像。
  • 人類又一太陽探測器出發,帶我們換個角度看太陽
    她將走上一條前輩沒沒有走過的路，不但能夠清晰地看到太陽的南北兩極，還能利用手中的十八般兵器，細緻入微地看清太陽的每一張面孔。太陽極區很重要，然而我們一直看不清歐洲是人類科學認識太陽的起源地。當17世紀伽利略最早將望遠鏡應用於天文觀測時，太陽黑子就是望遠鏡的重要觀測對象。
  • 歐美「太陽軌道探測器」順利升空,將首次近距離拍攝太陽兩極圖像
    美國東部時間2月9日深夜，歐洲宇航局（ESA）和美國宇航局（NASA）聯合打造的「太陽軌道探測器」在佛羅裡達州卡納維拉爾角太空基地成功發射升空，展開前所未有的太陽極地探測之旅。
  • 來自旅途的「明信片」- 飛向太陽的探測飛船發回最清晰圖像
    太陽系各大行星基本都是在一個共同的平面上圍繞太陽公轉，這個平面就是所謂的「黃道面」，大致上跟太陽的赤道平齊。而人類發射的各種太陽或者深空探測器都基本在這個平面上飛行，所以沒有好的角度可以觀測到太陽的南北極。這一次，「太陽軌道飛行器」將藉助金星和地球的引力效應，就像彈弓一樣，把探測器彈射出「黃道面」。
  • NASA繪製黑洞圖像 高清動圖揭秘黑洞背後的故事
    NASA繪製黑洞圖像高清動圖揭秘黑洞背後的故事，人類歷史上第一幅黑洞照片的誕生，是科學史上的一次壯舉，但是實現難度極大，最後得到的圖像解析度相對較低。科學和技術是不斷進步的，科學家預計，未來我們可能看到黑洞的直接圖像質量，會隨著時間的推移而顯著改善。
  • 藉助太陽引力及熱能,NASA測試新型星際旅行引擎
    約翰·霍普金斯大學（Johns Hopkins University）應用物理實驗室（APL）和美國宇航局（NASA）合作團隊設計了一種通過飛掠太陽，不僅藉助其引力、也藉助其高溫讓飛船迅速加速的引擎系統，將作為下一代星際探索飛船的引擎。本月，項目組完成了第一次測試。
  • 藉助太陽引力及熱能 NASA測試新型星際旅行引擎
    約翰·霍普金斯大學（Johns Hopkins University）應用物理實驗室（APL）和美國宇航局（NASA）合作團隊設計了一種通過飛掠太陽，不僅藉助其引力、也藉助其高溫讓飛船迅速加速的引擎系統，將作為下一代星際探索飛船的引擎。本月，項目組完成了第一次測試。
  • NASA帕克飛船數據解密:太陽磁場正在來回翻轉,空間扭曲導致的?
    科學前沿觀天下 篤學明理洞寰宇美國國家航空航天局的帕克太陽探測器在2018年8月進行了距離太陽最近的一次飛越，利用最先進的科學儀器從1500萬英裡外收集了大量數據。直至今日，大量研究成果被公開發表。然而科學家們分析這些數據時卻震驚不已，因為數據的複雜程度和包含的內容遠超科學家們的預測。在此之前，科學家對宇宙的研究多是通過望遠鏡或者理論推導，但是此次是人類在距離太陽最近處，利用最先進的技術傳回了源頭數據。最令研究小組吃驚的發現是，太陽形成的磁場似乎正在出人意料地來回翻轉，並造成了嚴重的局部的幹擾——天文學家稱之為「回折」——甚至有時會導致磁場方向指向太陽。
  • 亞馬遜AWS擬用AI幫助NASA預測超級太陽風暴
    1月20日消息，據外媒報導，美國宇航局（NASA）正與亞馬遜雲計算服務部門AWS和亞馬遜機器學習解決方案實驗室合作一個項目，旨在藉助人工智慧（AI）為超級太陽風暴的爆發提供早期預警。