史上最大數據遷移,每秒27GB,這是怎麼做到的?

2021-01-13 沒品打工人

近日，115科技將其全部數據都遷移到了阿里雲上，涉及的數據超過100PB，僅用45天就完成了，平均每秒遷移的數據達到了27GB，這麼龐大的數據傳輸115科技和阿里雲是如何做到的呢？

每秒27GB

如果是通過網絡傳輸這些數據，需要的帶寬將是幾十TB級的，115科技和阿里雲顯然沒法使用這麼大的帶寬，因為整個中國的國際出口帶寬都沒有達到這個量級，115科技和阿里雲在這項工作中一定藉助了其他的方式。

中國國際出口帶寬

果不其然，根據筆者得到的消息顯示，阿里雲在這次數據傳輸中使用到了一個叫做「閃電立方」的設備，在這個設備的幫助下1PB的數據可以在24小時之內就完成傳輸，可以堪稱神速了。

阿里雲「閃電立方」

根據阿里雲的消息顯示，在115科技數據遷移中，先是以每分鐘1TB的速度將數據遷移到「閃電立方」中，然後在通過專業的車輛運送至阿里雲。按照這樣的速度，115科技1PB數據只需要17小時就可以完成遷移，比阿里雲官方披露的時間還要短。

115科技數據遷移

史上最大數據遷移就這麼完成了，因為「黑科技」的加持，顯得格外輕鬆！

相關焦點

  • 27GB/秒!網際網路史上最大數據遷移 原來阿里雲用了它
    6月7日，上海雲棲大會上，115科技和阿里雲宣布完成阿里雲史上最大數據遷移上雲項目，115科技的全部數據都搬遷至阿里雲上，規模超過100PB，整個項目耗時僅45天。有好奇的快科技網友進行了速度計算，就算這45天一刻不停的連續傳輸，也需要27GB/秒的速度，工程堪稱海量。
  • 網際網路史上最大數據遷移之一:115科技遷至阿里雲
    6月7日，上海雲棲大會上，115科技和阿里雲宣布完成阿里雲史上最大數據遷移上雲項目，115科技的全部數據都搬遷至阿里雲上，規模超過100PB，整個項目耗時僅45天，創造了新的「中國速度」，這也是中國網際網路史上涉及用戶量最多、數據規模最大的遷移項目之一。
  • 每秒50GB!圖解英特爾矽光通訊技術
    7月27日，英特爾研究院正式發布了50G矽基光電聯結系統的研究成果。
  • 遷移到雲平臺需要解決大數據問題
    Denodo公司首席技術官Alberto Pan對於企業將業務遷移到雲平臺時克服大數據的難題進行了闡述。企業利用大數據仍然並非沒有障礙。對於許多企業而言，雲計算已經成為現實。多年來，它已成為實現最大敏捷性、靈活性和可擴展性的關鍵，因此享有聲譽。大數據等雲計算技術的好處已得到充分證明。採用它們的企業能夠根據需要擴展和縮減其數據存儲和計算能力。
  • 華為的遷移技術助力中信銀行ODS數據遷移
    首先在資料庫伺服器上對業務數據進行標準化處理，並存放在資料庫伺服器群集上，進行ETL 數據加工處理，並作為批量數據分發，對目標系統（如零售銀行數據集市）提供數數據。中信銀行各分行為提高數據處理效率，直接將總行ODS 加工好的基礎數據和部分總行統一加工的匯總數據返還給分行，分行利用文件伺服器接收到總行數據後，轉載到分行ODS 資料庫。
  • 遷移學習怎麼做?遷移成分分析 (TCA) 方法簡介
    王晉東 (不在家)，中國科學院計算技術研究所博士生，目前研究方向為機器學習、遷移學習、人工智慧等。之前整理總結遷移學習資料的時候有網友評論，大意就是現在的類似資料大全的東西已經太多了，想更深入地了解特定的細節。從這篇文章開始我將以《小王愛遷移》為名寫一系列的介紹分析性的文章，與大家共享遷移學習中的代表性方法、理論與自己的感想。
  • 不是蘇27,是這個小國的老飛機!
    觀察天下風雲，看世界之最今天來為大家介紹一下瑞典著名的薩博J35戰鬥機，也是全世界第一款可以做到眼鏡蛇機動的飛機。瑞典是北歐的一個國家，但是在世界範圍內，瑞典只能算一個小國。
  • 阿里雲趙殿奎:PolarDB的Oracle平滑遷移之路
    線上和線下，公有雲和混合雲之間能夠做到數據相互訪問，最大的一個困難就在於安全。資源管理，Oracle裡面有一個Resource Manager，PolarDB也在逐步的完善這個功能，PolarDB現在能夠做到CPU和內存的隔離，同時可以做到資料庫級別、甚至到用戶級別的資源的隔離和限制。
  • 數據映射是什麼?怎麼進行?
    打開APP 數據映射是什麼？怎麼進行？ 因此，如果你不了解數據映射的重要性或實現方式，則是在最大程度地降低業務成功的可能。 本文將介紹什麼是數據映射以及如何進行數據映射。 什麼是數據映射? 數據映射涉及從一個資料庫將數據欄位匹配到另一個資料庫的過程，是ETL流程的重要組成部分，可促進數據遷移、數據集成和其他重要的數據管理任務。
  • 大型強子對撞機LHC探秘,現代奇蹟是怎麼工作的
    這幾年在法國和瑞士交界的地下100米處，坐落著目前世界上最大的粒子加速器——大型強子對撞機LHC(the Large Hadron Collider )，它由一圈27公裡長的超導磁體組成，帶有若干加速結構，一旦啟動，將以接近光速的速度發射質子和離子束，這些粒子束相互碰撞，科學家們記錄並分析碰撞產生的結果，讓物理學家可以測試不同粒子物理學理論，包括測量希格斯玻色子的性質
  • 為萬物互聯而生的HarmonyOS,是怎麼做到跨端開發的?
    值得一提的是，Page是可以在同一用戶的不同設備間遷移的，最終做到分布式技術中跨端設備無縫切換的特性。這一點還將在下文詳述。PA（Particle Ability）又是怎麼回事？說完FA，接下來就是PA了。PA有兩個能力，即Service Ability和Data Ability，也就是服務、數據。
  • 光速為什麼是30萬公裡每秒?怎麼算出來的?光能飛出宇宙嗎?
    光速為什麼是30萬公裡每秒？怎麼算出來的？光能飛出宇宙嗎？在高中的時候我們都上過政治課，哲學家告訴我們，我們的世界是物質的世界，是不以人的意志為轉移的，在描述物質世界的時候，不管是它的高度還是質量，都是沒有限制。
  • 日本大海嘯成就史上最大規模生物遷移,從日本跨洋跑到美國西海岸
    然而，最新的研究表明，這場巨大的海嘯更將近300種的沿海生物攜帶穿越太平洋，長途旅程超過7000公裡(4350英裡)從日本漂移到美國西海岸，成就了一場史無前例的生物越洋遷移！究其原因，這一多物種跨洋遷移的形成不僅是自然災害的結果，還與一個非常現代、棘手的問題有密切關係——塑料。
  • 這一航空巨頭遭遇史上最大虧損
    27日，日本全日空集團正式公布，由於疫情下國際航線恢復難度大於預期，本財年將出現相當於人民幣約330億元的史上最大淨虧損。全日空方面將會採取哪些措施來應對？全日空集團昨天公布的數據顯示，上半財年國際旅客數量大幅下滑了96%，到本財年年底，預計國際航線也只能恢復到五成左右，這也直接導致了全日空集團這一財年將出現約330億元人民幣的史上最大淨虧損。
  • 每秒2.4萬公裡！這顆恆星瘋了嗎？即使被撕碎也要繞黑洞公轉
    其實光看這個速度，大家並不會有什麼概念，沒有對比就沒有傷害，接下來，讓我們將這顆史上公轉速度最快的恆星，和太陽進行一下對比。我們都知道，太陽是太陽系的主宰，包括地球在內的太陽系內一切天體，都圍繞著太陽運轉，那麼，太陽是否也圍繞著某一個天體運行呢？答案是肯定的，這個被太陽圍繞著運行的天體，就是銀河系的中心黑洞。
  • 光速為什麼是30萬公裡每秒？這是怎麼算出來的？
    光速所指的就是光傳播的速度，它也是目前科學家公認的極限速度，也就是30萬公裡每秒。人類沒有發現比光傳播速度更快的物質，所以光速也被視為是宇宙極限速度。那麼問題出現了。光速為什麼是30萬公裡每秒，這個數字是怎麼計算出來的呢？
  • 史上最大宇宙二維天圖發布 數據技術為天文研究加速
    史上最大宇宙二維天圖發布 數據技術為天文研究加速 2021-01-14 18:46:34 來源：央廣網 作者：苑菁菁 責任編輯：苑菁菁
  • 第15號颱風在日本千葉縣登陸 暴風等級達到史上最高
    人民網東京9月9日電 據《朝日新聞》網站報導，受到在日本千葉縣千葉市附近登陸的第15號颱風影響，9日早晨，日本氣象廳觀測到，以千葉縣為中心出現的暴風等級達到史上最高記錄。
  • 日本這個地方1月份27度 創史上最高記錄
    衝繩地區的石垣市達到1月份史上最高氣溫27.6度。1月31日，衝繩地區被高氣壓覆蓋，晴空萬裡，就像往年的5月份一樣溫暖。許多地方的最高氣溫都達到了25度以上，像夏天一樣。石垣市更是在當天下午2點達到了27.6度的高溫，這是自開始記錄以來，1月份在當地觀測到的史上最高溫度。
  • 從預置數據中心遷移至IDC數據中心的七大關鍵因素
    如何定義需求、選擇合適的IDC提供商及協商實際遷移到新空間的細節等因素,都需要進行嚴格地評估。要清楚，一旦合同籤署,如果發現需要再次進行遷移，那將是非常耗時且複雜的,更何況還會產生高額費用並對業務造成破壞性影響。從預置的數據中心遷移到IDC數據中心，以下列出7個關鍵的DCIM注意事項。