中國IDC圈訊，開放數據中心峰會（ODCC2020）在北京召開，峰會圍繞數據中心新基建為主題，有數據中心領域及相關行業的眾多專家與會。在9月16日新技術與測試分論壇上，中國計量科學研究院先進測量工程中心副主任武彤帶來了主題為「計算性能基準計量測試工具研究」的演講。
中國計量科學研究院先進測量工程中心副主任武彤
大家好，我是武彤，先介紹一下我們單位的情況，可能在IT行業大家不太了解我們單位，我來自中國計量科學研究院，它隸屬於國家市場監督管理總局，是我國最高的計量科學的研究中心，國家級的法定計量技術機構，我所在的部門主要負責智能工程、雲計算以及數據中心領域還有一些其他的材料領域的計量測試以及評價驗證。
可能大家不太熟悉計量，我首先給大家介紹一下，大家對計量的概念一般都從秦朝開始，就是商鞅變法統一度量衡稱為計量。實際上在上古時代，《伏羲女媧圖》裡面拿了兩個工具就是比較早期的計量工具。什麼叫計量？給大家舉個例子，在秦朝叫秦錢，「秦錢半兩，徑一寸二分，重十二銖。」這兒都兩個單位「兩」和「銖」，一兩等於二十四銖，計量就是單位統一、量值準確可靠的活動。度量衡的技術進步開啟了我國的金融體系。
計量的發展通常我們稱為從古典計量到現代計量。古典計量基本上大家都非常了解，是用植物的果實或者是用某一個人的人體器官的長度作為計量的單位，比如說克拉，克拉就是是一種植物的果實，大家都用於做重金屬或者鑽石重量的計量，克拉原來是植物的果實，後來做標準化，1克拉等於200毫克。到1875年，米制公約的確立，為了工業製造的發展需要標準化，就需要統一的量值體系，到了現代計量，主要為了科學技術的發展，特別是軍事科學技術的發展。
我們看一下雲計算領域的計量。首先看貿易的角度，我們看怎麼來賣雲計算服務的，特別是IaaS的方面，這是騰訊雲的，裡面有三個指標，其中一個比較重要，一個叫CPU，一個叫內存，一個叫帶寬，它賣了三種服務，一個是計算的能力，一個是存儲的能力，一個是通信的能力，其他的廠商也是這樣的。
實際上如果從度量的角度來講，「核」就是一個單位，因為我們賣的計量單位是一核，一核的計量單位是多少我們大家都不是特別清楚。從計量角度來講，我們認為雲計算的計量可能處於植物果實的狀態，就是克拉的狀態。
在物理領域，計量有七個基本單位能描述整個物理世界，比如千克等等。在網際網路領域怎麼來描述整個網際網路領域的量呢？在2015年ODCA開放數據中心聯盟，這個聯盟大部分由數據中心的使用方組成的，他們做了研究成果就是IaaS的度量方法。他們提出來在網際網路領域可能用三個指標整個描述網際網路領域的活動：第一是秒，秒是時間的永恆的時間指標；第二是比特，大家知道比特是描述信息的一個計量單位；第三是計算能力，計算能力是網際網路領域一個新的計算指標，因為我們買的就是算力，類似於電力的千瓦時一樣。
實際上在這三個指標裡面，計算能力的測量是最複雜的。我們歸納一下，在網際網路測試領域怎麼做計量或者測試，比較重要的就是計算資源的測試，存儲資源的計量單位比如比特。存儲資源是計量是按照「塊存儲」來測量的，「塊存儲」的不同也會導致的計量測試結果差異很大，但計算資源的計量可能是顛覆性的差異，比如你買一核的算力是兩塊錢，另外一核可能二十塊錢，擔算力到底是多少，實際上是沒有一個統的度量指標的，所以我們就從需求的角度來講，最重要的需求是先把計算資源的這種計量的能力或者測量能力統一。
剛才我講物理計量用七個基本單位，但是在化學計量裡面，採用的計量標準叫標準物質。比如測氧氣的濃度97%是怎麼測量的呢？我們首先出一個標準物質，標準物質是4個9或者5個9的標準物質，跟它比較來的，根據比較的接過去確定是97%、96%。
在計算領域我們找到一些基準的測量程序，比如算π，每秒鐘算一百萬位是一核，兩百萬位是兩核，但實際的計算場景沒那麼簡單，但它的原理是這樣，靠基準程序來確定測試能力。
網際網路的處理數據非常複雜，你不可能找一個程序來度量整個能力，所以我們要找到一系列的程序，比如說負載壓縮的程序、流體力學的程序，計算負載越來越多，其測量的數據與網際網路的體驗就吻合得越好。當然它還需要其他的一些處理，比如說控制程序、硬體的操作。測試程序只是最基礎的單元測量能力，就像我們有了尺一樣，怎樣用尺來量面積，還需要有方法學的標準。
基本測試的工具有這麼多程序組成的，實際上我們在測量的時候，包括雲計算的廠商在測量的時候，它把這些東西裝入它的計算單元，通過運行來測量一個結果，這是各種各樣的基本測試程序。通過這個基本測試程序你能做出來一系列的測量結果，伺服器的算力和功耗之間的比值就是伺服器的能效，PUE是比較IT的耗電和總耗電，如果是伺服器的能效是提高了，實際上PUE的能耗高點也沒問題。從綜合能耗來講，伺服器的能效的提高，從實踐上來說它的技術進步更快，因為隨著半導體技術的進步，它的提高能力比數據中心的製冷的這種效率的提升速度是要快的，只不過大家更關注PUE的準確。
計算性能的測試需要很多策略，它並不是把一些負載堆積到一起就可以了，需要很多策略來支撐它，因為這種測試工具需要有很多指標證明它是科學的測量工具。
這是我們做的一款工具，大家看到的這是指標不是指現在的騰訊雲和阿里雲、百度雲的測量結果，這是我做實驗的時候它們的性能，今天只是展示一下這個結果用來說明怎麼判斷基準測試工具的科學性。
現在我解釋一下這種計量工具，基準測試工具怎麼才算是一個科學的測試工具？首要基準測量工具重複性要好，比如這個基準測量工具，你測量的結果是被測的計算單元的重複性加上工具的重複性的合成的結果。假定測量工具的重複性本身很差，這個測試工具不能作為基準計算測試工具，當然不同的負載它的重複性也是不一樣的，所以我們在選這種測試負載的時候要選重複性好的。這就是為什麼要選克拉作為鑽石的單位，克拉的種子可能一致性比較好，選蘋果就比較麻煩，有的大、有的小，所以選這個程序還是要從很多的負載裡面選擇重複性比較好的。
這種負載並不一定是我們實際使用的，基準測試實際上是一種理想測試，例如說我們每次看英特爾發布CPU說今年我們的計算性能提高40%，實際上它是在理想情況下也就是這種理想負載下做的，並不是在實際場景，你用WORD等應用程式體驗不到提升40%的體驗。
基準測試工具它是一個理想的測試工具，我們就選這麼多的負載首先來看它的重複性。重複性對基礎測試是最重要的指標，只有你把重複性確定了，你才能確認被測的樣品的一致性。假定我們的工具的一致性是0.2%，看一下單核心的測試結果，大家看雲計算如果是單核心它的重複性就比較好。
這是重複性的技術指標，大家可以看一下這個技術指標，騰訊雲整數運算的時候重複性是1.67%，浮點是1.06%。如果是共享計算單元，雲計算有很多共享的計算單元，它的重複性非常差，如果是共享的，別人用的多了可能縮減你的計算能力。實際上其他廠商也是類似情況，有的廠商可能會更差，核數多的重複性會更差，比如16核13.6%，它的算力是波動的，如果是獨享會好一點。每家廠商的計算能力實際上是波動的，並不是很穩定，我們買其他的東西也是一樣，我們買水果他每次給你稱500克也是波動的，有一個範圍，我們購買定量包裝的商品也是這樣。
這樣就有一個問題，我們怎麼樣來比較不同的算力，因為所有的算力都是波動的？
有一個概念叫不確定度，測量的「真值「實際上是不存在的。例如我們測量長度，測量長度假設1米，實際上它的最可能的範圍是呈正態分布的值，包含有不確定度。假定兩個人測量都是1米，這1米它不完全是相同，它有可能是正偏差，有的是負偏差，如果做可比較的話，就要把你測量結果的不確定度評估出來。我們有時候測量不確定度非常大，比如說算力不確定度達到30%，你測量一顆CPU算出來是2000，另外一個是1500，實際上比較不出來哪個算力更大。
今天大體來解釋一下做一個測量工具需要什麼樣的技術指標。
這是我們的不確定度，任何一個測量工具必須有包含不確定度的結果，它才是完整的測量結果，這個具體的不確定度的值我就不再具體解釋了。
總結一下，一個科學的基準測試工具需要有幾個方面的指標：
第一個是可測量，可測量是必須有值測量出來，不能給你給個感覺這個挺快、那個很慢，必須是有量值的；
另外一個可重複，每次的測量結果都在一定的範圍內是可以重複的。
另外是可以比較，就是我們設定兩種可以比較，比如單核的是什麼，雙核的是什麼，16核的是什麼，當然不是線性的。如果別人拿給你一個工具講不清楚這些指標，實際上你無法確定是不是可以用這個工具，當然你可以根據這個工具的發布方是不是權威的組織，來確定是不是相信它。
另外要完全釋放硬體性能，要準確模擬用戶的行為，我們選擇負載要有典型性，不能選一些很不常見的負載。
還有一個功能是引導未來軟體開發，基準測量工具是一個工具，它自己的穩定性實際上是非常高的，比一般測試程序的穩定性要求要高。你要是用應用軟體的時候，比如WORD，它每次裝載的時間都不一樣的，那個不一樣對你的體驗影響是很小，但是基準測量工具作為測量工具要求非常穩定。作為基準測量工具，我們認為這些指標是必須的，剛才有很多嘉賓來講核心的指標、實際上它都是用基準工具測量出來的，如果你的指標差異很大，基準測試工具的影響不明顯。如果差異很小，實際上影響很大的。
對於未來的考慮，我們希望能建立硬體的伺服器和雲計算的伺服器一致的測量工具，這種更便於比較。
我們的工作基本上來提供工具一致性，並不是說所有基準工具都是由我們發布，實際上基準的測試工具主要依靠廠商，我們來提供方法學的支持，怎麼來做一款基準測試工具，怎麼來評價基準測試工具。
我們自己也寫工具，我們自己寫的工具也不一定是最好的，這需要廠商共同的努力，剛才郭亮講也計劃在ODCC立一個項目是關於基準測試工具的，我們國家基準測試工具實事求是講，還是非常落後，這還有一段過程。
我們希望在ODCC的平臺下，我們國家的基準測試工具能夠獲得長足的進步，只有工具進步了，進行市場監管的時候才有基礎。比如有人投訴雲廠商，說我買的算力不夠，如果沒有基準測試工具很難判定怎麼叫不夠，你買了一核到底多少算力才夠。計量是技術合規的原點，市場監管的基礎。
謝謝大家。