讓人驚訝!處理100TB數據要多長時間

2021-01-07 中關村在線

  11月10日,有計算奧運會之稱的Sort Benchmark全球排序競賽公布了2016年最終成績,騰訊雲大數據聯合團隊用時僅僅98.8秒,就就完成了100TB的數據排序。

  這打破了阿里雲去年創造的329秒紀錄,而在更早的時候,百度曾經的紀錄是716秒,Hadoop的紀錄是4222秒。

  在這次競賽中,騰訊雲數智分布式計算平臺奪得了GraySort、MinuteSort兩個項目的冠軍,同時創造四項世界紀錄,將阿里雲去年的紀錄整體提高了2-5倍。

  GraySort項目比的是如何在最短的時間內將總量100TB的1萬億條無序100位元組紀錄,從小到大進行排序。騰訊雲用時98.8秒完成,相當於每分鐘處理60.7TB,而去年冠軍的成績是18.2TB/分鐘。

  MinuteSort比的則是在1分鐘之內能夠完成多少數據量的排序。騰訊雲的成績是55TB,而去年只有11TB。

  Sort Benchmark通過排序競賽考量一家公司或機構大規模計算能力的綜合實力,通過排序這個最基本的計算問題,不僅全面評測分布式系統軟體架構能力(如海量數據分布式存儲、計算任務切片調度、節點通信協調同步、數據計算監控容災等性能),也評測了硬體架構能力(如伺服器硬體選配、網絡架構調優、IDC規劃建設能力等)。

  為了參加此次競賽,騰訊雲大數據聯合團隊在基礎架構上採用了512臺IBM OpenPower伺服器和邁絡思公司的100Gb互聯技術。

相關焦點

  • 騰訊雲98.8秒處理100TB數據
    11月10日,有計算奧運會之稱的Sort Benchmark全球排序競賽公布了2016年最終成績,騰訊雲大數據聯合團隊用時僅僅98.8秒,就就完成了100TB的數據排序。這打破了阿里雲去年創造的329秒紀錄,而在更早的時候,百度曾經的紀錄是716秒,Hadoop的紀錄是4222秒。
  • 如果飛船用光速飛行,100光年需要花費多長時間?長見識了
    如果飛船用光速飛行,100光年需要花費多長時間?長見識了所謂的光年,指的不是時間單位,而是距離單位,它也是人類目前最大的距離單位,如果飛船用光速飛行的話,100光年的距離需要多長時間呢?今天算是真的長知識了。
  • 數據自動化第三篇(上):三種方法實現數據入庫功能
    第三步:編寫插入數據函數既然是像資料庫中插入數據,那麼這個函數就要包含以下參數df:要插入的數據tb:要往哪個數據表裡面插if_exists:如果這個數據表裡已經有數據了,我們該怎麼辦,是直接新增,還是把原數據刪除之後再新增
  • 光速飛行100光年距離,需要多長時間?答案並不是100年!
    雖然人類從誕生開始就天天接觸光,但是人類對於光的認知,真的僅僅還處於入門階段,可以說是最熟悉也是最陌生的東西了,霍金曾經在自己的著作《時間簡史》中說過一個實驗,假設有100光年的距離,要用光速去飛行,那麼需要多長時間能夠到達?結局很顛覆,答案並不是100年!
  • 需要多長時間繁殖一代?
    需要多長時間繁殖一代?時間:2016-06-01 13:24   來源:三聯    責任編輯:沫朵 川北在線核心提示:原標題:繁殖最快的昆蟲是什麼? 需要多長時間繁殖一代? 繁殖最快的昆蟲是什麼? 蚜蟲 在動物界中,昆蟲算得上多子多孫了,而其中繁殖速度最快的要數蚜蟲。全世界已知的蚜蟲有2000多種,我國估計有600種 以上。
  • 功夫熊貓2揭秘 100TB數據+5500小時渲染
    依舊耍寶犯二卻痴迷功夫的神龍大俠、雷打不動的蓋世五俠,大反派孔雀沈王爺,惡狼軍團,羊姑婆,鵝老爹……青蔥欲滴的青城山、太極拳和皮影戲,再加上動感十足的打鬥場面以及3D的推波助瀾……一切的一切都沒有讓人對等待3年的《功夫熊貓2》失望。
  • 銀粉漆要揮發多長時間 100平方房子裝修檔次與裝修價格的關係
    那麼銀粉漆要揮發多長時間呢,多久可以入住呢。在裝修的時候價格的問題很重要,那麼100平方房子裝修檔次與裝修價格的關係是什麼,一起來了解具體的介紹。銀粉漆要揮發多長時間一個月左右,但一個月後仍會有殘餘。銀粉對身體非常的不好,比普通的漆更有害。
  • 服裝tb風格是什麼意思
    服裝tb風格是什麼意思 2019-09-11 16:01:10 來源:全球紡織網 服裝tb風格是什麼意思?
  • 可怕的量子力學:人可以穿牆而過嗎?需要多長時間?
    文/行走天涯可怕的量子力學:人可以穿牆而過嗎?需要多長時間?什麼是量子力學?和牛頓先生曾經提出的經典物理力學有著非常根本的區別。量子力學也就是說物體發生瞬移,幾乎是體現在看不見摸不著的程度。不得不讓人逐漸開始正式解量子力學究竟是怎樣的一門物理學?小的時候大家應該都有看過一部童話故事,講的是茅山道士,有個人想要拜師學藝,為的是去學習穿牆之術,這個人是不懷好心的,因此最終並沒有成功的穿牆之術!
  • 從地球到火星到底要多長時間?
    從地球到火星到底要多長時間?時間:2015-07-25 14:29   來源:川北在線整理   責任編輯:毛青青 川北在線核心提示:原標題:從地球到火星到底要多長時間? 如果你想要拜訪火星,那麼你需要多久才能抵達目的地呢?這個問題取決於一系列因素,從行星的位置到推動你前往火星的技術。
  • 多重插補法處理缺失數據(缺失值)
    圖文撰寫 | tbwhere老師科研論文中,統計分析至關重要,本公眾號的主旨是為大家講解科研過程中的統計分析步驟,以及相關的問題!同時,我們還將以最新發表、或各學科Top期刊文章中的統計方法為例,給大家逐一講解如何做統計(分析數據)!
  • 數據分析應用實戰:陽臺能曬多長時間太陽?
    甚至時間久了,看到真正的房子時,卻又都記不起來當時是咋考慮的了。因此要想回答自己家裡的陽臺一年下來每天能曬個多長時間,還是得重新考慮和重新計算的。下面介紹3種比較常用的方法: 方法一:實地測量和計時法。
  • 阿里雲發布大數據產品ODPS 6小時處理100PB數據
    ODPS可在6小時內處理100PB數據,相當於1億部高清電影。此前,全球掌握這種能力的公司僅有Google、亞馬遜等少數幾家。 阿里雲ODPS團隊在一封公開信《人人都可以成為BAT》中表示:工業革命後的200多年裡,人類對物理資源的利用登峰造極,對數據資源的利用卻仍處於起步階段。Google、Facebook、阿里巴巴(滾動資訊)等網際網路公司先行一步,觸碰到了大數據的魅力。
  • 跑5公裡要多長時間?這裡有一份年齡對照表,看看你達標了沒?
    在減肥的過程中有很多的小夥伴都會選擇跑步作為自己主要的運動,畢竟跑步是絕大多數小夥伴都能夠做到的事情,只要邁開腿就可以了,不用分時間和地點。但是能跑多久這和個人的體質有很大的關係,像5公裡的跑步對於馬拉松運動員來說可能是剛剛熱身,對於那些不經常跑步的人來說,那可真是費勁了。
  • 廣東一村民家驚現100多斤超級大蟒蛇,比人的腿還要粗
    在生活中一般人碰到蛇都會很害怕,因為有的蛇會給人造成致命的傷害,所以人們都很怕它,見到後通常都會嚇到尖叫或者手足無措,更別說見到蟒蛇了,那是想都不敢想的事情,近日11月25號廣東肇慶市的一戶村民家中就驚現100多斤的大蟒蛇,這可把人給嚇壞了。
  • 科學菌:如果飛船速度能達到光速,飛行100光年需要多長時間?
    今天小編要帶大家了解的是:如果飛船速度能達到光速,飛行100光年需要多長時間?宇宙是非常的浩瀚的,距離是用光年來計算,所以說我們人類沒有辦法能夠想像的到宇宙到底有多大。在宇宙當中,像太陽系這樣的星系也是多不勝數,是我們人類目前來說,連太陽系都走不出去,制約的條件就是速度。
  • 地球公轉一周是一年,太陽公轉一周要多長時間,銀河系呢?
    地球公轉一周是一年,太陽公轉一周要多長時間,銀河系呢? 人類將地球自轉一圈,定義為一天,將地球圍繞太陽公轉一圈,定義為一年,一年就是目前地球大約自轉365圈的時間。
  • 地球還有多長壽命,人類還能居住多久,真相讓人有些意外
    地球還有多長壽命,人類還能居住多久,真相讓人有些意外嗨,大家好,我是嚴格,隨著時間的飛速流逝,在不知不覺中,地球已經經歷了45.5億年的時光,這是個多麼驚訝的數字啊,自從有了文明開始,人類也通過不斷的進步和進化成為了這顆星球的主宰者
  • 軟化頭髮要多長時間一定要注意這些事項
    長發軟化要多長時間呢?頭髮軟化就是將頭髮柔順,軟化主要是針對發質較硬的一種美發護理手段,可以使頭髮變軟,變柔順,變貼服。是時尚MM非常追捧的一種美發方法,那麼長發軟化要多長時間呢?一起來了解了解吧。長發軟化要多長時間呢?
  • 核酸檢測出結果到底需要多長時間?專家告訴你
    核酸檢測出結果到底需要多長時間?省疾控中心病毒病預防控制所副所長陳淑紅談核酸檢測近期,網絡上傳言「新冠病毒核酸檢測,半小時就能出結果」、「檢測新冠、僅需十分鐘」、「家裡也能做核酸檢測」......實驗室檢測:標本處理、核酸提取、PCR擴增、出具報告,「四步」均需時間對於檢測過程,陳淑紅詳細介紹說,幾百份標本到實驗室以後,標本核對、標本整理、標本前處理等環節需要3-4小時,之後才真正地開始核酸提取的過程,核酸提取完之後需進行PCR擴增,也還需要80-120分鐘。PCR結束之後,還要進行結果的判定、數據的核對以及報告的出具。」