當我們知道觀測黑洞的數千TB數據是被裝在硬碟裡、用飛機運輸之後

2020-09-22 阿里雲

昨晚，大家的朋友圈一定都被人類首張 「黑洞」照片刷屏了……

神似《指環王》中的索倫魔眼，被認為是史上最難洗的照片，耗費兩年才拍完。

小編也和大家一樣激動，把報導黑洞的新聞看了很多遍。

但是！小編發現了一個奇妙的細節：全球8個天文臺觀測黑洞產生的幾千TB數據，竟然是放在硬碟裡通過飛機運輸的！


來自南方網


來自新京報

小編陷入了沉思……並且打開了阿里雲官網……

（輕聲）有一個不成熟的小建議想提供給科學家們：是不是可以考慮嘗試用阿里雲的「閃電立方」……

閃電立方，被稱為可移動的「數據中心」，一臺設備可遷移480TB（0.48PB）數據，並且支持多臺並行遷移，最快24小時就可以完成PB級數據遷移。

也就是說，這次觀測黑洞產生的近10PB的數據量，用20臺最高規格閃電立方就可以裝完，而從天文臺到閃電立方、閃電立方到雲上，在最理想的狀況下只需要兩周就可以完成遷移。

幾千塊硬碟、1萬臺筆記本？KO！

想得更深一步，難道不能直接在雲上一步到位，完成數據的存儲和計算嗎？

理論上也是有可能的。

舉個例子，如果用阿里雲文件存儲CPFS，單個文件系統最大512PB容量，融合高速的Infiniband網絡，聚合帶寬可以線性增加到TB/s級別。

具體來說，通過CPFS，望遠鏡接收機收集數據後，小部分緩存數據寫入本地存儲集群，大部分數據直接通過100Gbps網絡專線將數據發送遠程數據中心，再由高速傳輸軟體將下機數據傳輸到CPFS存儲集群，然後直接在雲超算集群SCC對數據進行實時分析、計算和可視化的整個流程。

====分割線====

當然以上都只是理論上的可能。

因為這次觀測黑洞的EHT項目比一般的天文項目都要複雜，一天產生的數據可能超過2PB，如果直接通過網絡傳輸帶寬可能就吃不消了，這也是為什麼科學家們不能對數據進行實時分析的原因。

===再一次分割線===

用雲計算助力天文研究，其實阿里雲已經在做了。

2017 年 1 月 22 日，中國科學院國家天文臺就與阿里雲成立「天文大數據聯合研究中心」。阿里雲成為天文臺雲計算大數據領域的唯一戰略合作夥伴，共同推進天文學科研和科普教育工作。

現在，中國虛擬天文臺主節點已成功遷移到阿里雲，成為一個集成超過500TB科學數據、1.5PB存儲能力、700多Tflops計算能力和100多種軟體的天文資料庫與綜合服務門戶。包括郭守敬望遠鏡（LAMOST）在內，涉及10億個天體數據，都已通過這個虛擬天文臺向全球開放。

2018年，阿里雲還為中國「天眼」FAST提供端到端的計算、存儲、大數據分析解決方案，通過雲計算、人工智慧的能力提升數倍數據處理效率。

除此之外，阿里雲的工程師還在和耶魯天文學家合作，對39.13光年外的一個恆星系統進行研究，或許能發現適宜生命居住的「第二地球」。

我們真的很期待，能參與下一張「黑洞」照片的拍攝，將雲超算、人工智慧等雲上高科技真正用到新的科學研究中！

相關焦點

  • 來自首張黑洞照片的數據過於龐大,網際網路無法全部解答,這是難事
    我們是在討論為什麼我們的網際網路無法正確解析在由五個國家的八臺天文望遠鏡組成的事件視界望遠鏡實驗中得到的數據，來自室女A星系（梅西耶M87星系）中心的黑洞的照片正是在這個實驗中拍攝的。圖解：黑洞M87正相反，由無線電天線收集的大量數據必須在用飛機運送到中央數據中心進行過濾和分析。
  • 黑洞的背後竟然是一位29歲女博士！
    布曼說：「就像無線電頻率如何透過牆壁一樣，它們將穿過銀河系裡的灰塵。由於地球和銀河系中心之間存在太多的東西，我們將永遠無法利用可見光波長看到我們銀河系中心。」她說，布曼算法（Bouman’s algorithm）旨在填充各個望遠鏡觀察所得數據之間的漏洞，從而基於所述數據繪製出一幅已知黑洞的圖像。
  • 首張黑洞照片拍完後,科學家又計劃對黑洞 「錄像」了
    我們使用的是一種叫做「甚長基線幹涉」（VLBI）的技術：將分布在世界各地的望遠鏡連接起來，用極為精準的原子鐘校準時間，開展同步觀測，其誤差每1000萬年不超過1秒。這樣就相當於構建了一臺口徑和地球直徑相當的巨型射電望遠鏡。每臺望遠鏡都會獲得海量數據，我們都是用硬碟來存儲，並通過快遞公司快遞硬碟的方式來傳輸數據，因為數據量太大，在線傳輸根本滿足不了需求。
  • 今晚9點,見證歷史,人類首張黑洞照片全球直播
    所以此次黑洞照片項目，是通過射電望遠鏡收集毫米級波長的射電信號，搜集完畢後，觀測站再將數據傳送到中心做整合拼揍，以黑洞的「陰影」形成黑洞的樣貌。這些輻射波數據都相當巨大，以至於無法直接使用網絡傳輸，而需使用硬碟儲存，一次普通的五天觀測期間，每座望遠鏡就會搜集約500TB的數據，整個陣列產生的數據約7PB，足足要裝滿1000至2000個硬碟。
  • 黑洞研究獲得諾貝爾獎(三)如何給黑洞拍照片?
    之前我做過N期關於黑洞的科普視頻和文章，我們再把它們一次發出來。本期內容為第三篇：如何給黑洞拍照片？ 2019年4月10日，世界上第一張黑洞照片誕生了。這個工程稱為「事件視界望遠鏡EHT」，它凝聚了無數科學家的心血。拍攝過程中，人們調集了世界各地的數臺射電望遠鏡，數據處理經過兩年之久。 黑洞連光都能吸進去，為什麼還能拍照片呢？
  • E級超算,下一張黑洞照片「衝洗」能有多快?
    4月10日晚21:00，人類首張黑洞照片正式公之於眾，相關話題瞬間達到近7億閱讀。現在我們終於知道，黑洞原來是這樣的：圖片來源：EHT Collaboration而就是這張模糊、不規則的圓環照片，「衝洗」的時間竟然長達兩年之久。
  • 全程深度解讀人類首次拍攝黑洞圖像!
    很多人會想知道，為何2017年的觀測要到今天才發布結果。原因是很好理解的。首先，視界望遠鏡每晚上的觀測就會產生大約1PB（1PB=1024TB）的數據，想想你家1TB的移動硬碟可以存儲多少東西？現在你可以理解，要想將如此多的原始數據加工處理成最終圖像，將要經歷怎樣的漫長過程。
  • 為了拍黑洞,科學家四處奔走湊齊「八大金剛」
    科技日報實習記者 胡定坤北京時間4月10日晚，包括我國上海、美國華盛頓在內的全球六地同時召開事件視界望遠鏡(EHT)項目成果發布會，展示史上首張黑洞照片。EHT項目由全球數十個研究機構、超過200名科研人員參與，簡單的圖片背後是怎樣的國際合作歷程？首先是建團隊。
  • 天文學家觀測到一個沉睡數百萬年黑洞甦醒奇觀
    原標題：天文學家觀測到一個沉睡數百萬年黑洞甦醒奇觀 　　據臺灣「中央社」7月9日報導，天文學家拿望遠鏡瞄準星系中一個奇怪光點，結果近距離觀測到了一個黑洞從數百萬年的沉睡中甦醒的奇觀。調查這片天空的科學家，2012年有幸捕捉到這個黑洞甦醒時的光影。報導稱，英國曼徹斯特大學(University of Manchester)卓瑞爾河岸天體物理學中心(Jodrell Bank Centre for Astrophysics)的阿果(Megan Argo)說：「機率微乎其微!」「這是我們第一次實時看到(黑洞甦醒)，而且如此地接近我們的銀河系。」
  • 拍下黑洞的「事件視界望遠鏡」究竟是什麼?一顆旋轉的迪斯科球
    1978年，法國天文學家盧米涅模擬出了黑洞「事件視界」的第一幅圖像，在這之後，人類在《星際迷航》、《星際穿越》等無數影視作品中對這一神秘天體進行了無限的想像。2015年，人類首次探測到了產生自雙黑洞的引力波信號，在開創了天文學新紀元的同時，也讓人迫不及待地想看到黑洞的真容。
  • 黑洞照片怎麼拍的?科學家的觀測時間每年大約只有10天
    大量天文觀測數據已證實，在浩瀚的宇宙當中，有無數的黑洞神秘地藏身於各星系中。但人類卻從未直接「看」到過黑洞，並不知道它的真實模樣。為了能一睹黑洞真容，2017年4月5日到14日之間，來自全球30多個研究所的科學家們啟動了一項雄心勃勃的龐大觀測計劃。他們將分布於全球不同地區的8個射電望遠鏡陣列組成一個虛擬望遠鏡網絡，希望利用其捕獲黑洞影像。
  • 他用火箭上的望遠鏡觀測黑洞
    七歲那年，在一本兒童百科全書裡， 費邊讀到：科學家能用星星發出的光芒來推測其組成成分，這讓他一下子喜歡上了天文學。費邊的家在英格蘭北安普敦郡的一個村莊。他的父母每天忙於打理家裡的兩爿布料店，全家幾乎吃住都在店裡，費邊從小就養成了閱讀的習慣。
  • 人類史上首張黑洞照片發布!
    今天之前，人類已經找到了黑洞存在的諸多證據，3年前我們還聽到了來自黑洞合併發出的「聲音」，但黑洞究竟長啥樣卻只能靠猜想。科學家們早已用理論推測了黑洞的樣子，其中最為大眾所熟知的是《星際穿越》裡的「卡岡圖雅」。電影導演克里斯多福·諾蘭請來了知名天體物理學家基普·索恩，花費一年多的時間，根據廣義相對論用計算機模擬為我們呈現了這樣一幅景象。
  • 人類首張黑洞照片發布,原來長這樣…
    電影《星際穿越》中的黑洞，電影藝術地表現了吸積盤的形態我們說回EHT項目的觀測目標——人馬座A*。這個超大質量黑洞位於銀河系中心。儘管它比太陽重了400萬倍，但因為這個黑洞距離我們太遙遠(約兩萬六千光年），仍然很不容易看到。看到人馬座A*所需的解析度是哈勃空間望遠鏡的2000倍。EHT項目組這樣形容其觀測難度：相當於在紐約看清一個位於洛杉磯的高爾夫球上的每個小洞。
  • 黑洞的內部有什麼?
    黑洞，我們從沒有真正見過它們，但卻知道它一直存在。人類為了觀測到它，動用了世界上所有的大口徑射電望遠鏡，組成了一個口徑和地球直徑相當的超級虛擬望遠鏡，但由於數據太過龐大，無法利用網絡傳輸，人們只得將各地大口徑望遠鏡觀察到的數據利用硬碟郵寄的方式整理儲存，這些數據由超級計算機進行統一計算，最終才合成了歷史上的第一張黑洞照片。
  • 為了看到黑洞,我們「造」了個地球那麼大的望遠鏡
    我們知道，在宇宙中的每一個大質量星系裡，也包括我們的銀河系，都存在著一個超大質量的黑洞。我們已經通過一些間接的方法去判斷它們的存在，就好像我們看不到風，但是可以看到風吹動落葉、旗幟，來判斷風的存在。我們小時候都用過量角器，滿月時從地球上觀測月亮的大小，大約是量角器上的0.5度那麼大。如果從地球去觀測這個黑洞的話，它的光環大小，大概只有量角器上的一億分之一度那麼大。你們可以想像它有多麼多麼小了，這樣的情況下，我們該如何拍到它？
  • 黑洞照片怎麼拍的?黑洞吞噬的東西去哪了?一文告訴你想了解的黑洞
    通過對黑洞的直接觀測，科學家希望能夠在更強引力場環境下檢驗廣義相對論，直接驗證事件視界的存在，研究黑洞邊緣上的吸積和噴流行為，以及基礎的黑洞物理等。 　　我們知道，愛因斯坦的廣義相對論通過了一次次的檢驗，從星光通過太陽的偏折角度到太空中的引力透鏡，從光線掙脫白矮星的引力約束出現的紅移到水星的近日點異常進動，從雷達回波延遲到脈衝雙星輻射引力波出現的軌道周期變短等等。但這些檢驗都還沒有深入到像黑洞視界邊緣這樣的更極端的引力環境中檢驗。因此，科學家利用事件視界望遠鏡通過對黑洞視界邊緣直接觀測，看看廣義相對論是否仍然有效。
  • 黑洞裡的世界到底是什麼樣的?真實的情況可能遠超我們的想像
    宇宙大爆炸之後，無數各類天體先後出現，除了我們常見的恆星，行星等實體天體之外，宇宙中還存在著一種沒有實體的強大天體，它就是黑洞。黑洞到底是什麼，現代科學沒有確定的答案，有人說黑洞的中心可能是一個奇點，但真相如何沒有一個人知道，我們對於黑洞的了解，只知道它的引力非常強，因此這個看上去沒有實體的天體，它的質量也是宇宙巨無霸的存在，它的吞噬能力非常強大，任何天體，物質包括光一旦進入它的視界，都很難逃脫被它吞噬的命運。
  • m87黑洞可裝六百個最大恆星,這個黑洞卻可裝六千個m87黑洞
    熟悉天文的朋友都知道最大的恆星是盾牌座uy，這個龐然大物可以裝下45億個太陽，其實我們的地球就已經夠大了，直徑達12756公裡，坐飛機飛到地球的另一面也需要10個多小時，但是太陽的體積可以裝下130萬個地球，對比一下就可以想見盾牌座uy的體積有多麼巨大了。
  • 為什麼首張黑洞照片要衝印兩年?是因為大嗎?
    該項目觀測核心是銀河系中心黑洞人馬座A和M87橢圓星系中心黑洞。這時候，有很多要好奇了，為什麼拍攝黑洞需要2年的時間？拍攝黑洞和我們常見的拍照有什麼不同呢？下面我們便詳細講解下黑洞究竟是什麼樣，為什麼需要兩年的時間才能完成。黑洞是一種質量很大，密度超大的星體，導致它周圍的時空彎曲曲率超大，就連光也會被完全吸收。