詳解 MySQL 基準測試和sysbench工具

2021-02-20 民工哥技術之路

什麼是基準測試

資料庫的基準測試是對資料庫的性能指標進行定量的、可復現的、可對比的測試。基準測試與壓力測試 基準測試可以理解為針對系統的一種壓力測試。但基準測試不關心業務邏輯，更加簡單、直接、易於測試，數據可以由工具生成，不要求真實；而壓力測試一般考慮業務邏輯(如購物車業務)，要求真實的數據。

基準測試的作用

對於多數Web應用，整個系統的瓶頸在於資料庫；原因很簡單：Web應用中的其他因素，例如網絡帶寬、負載均衡節點、應用伺服器（包括CPU、內存、硬碟燈、連接數等）、緩存，都很容易通過水平的擴展（俗稱加機器）來實現性能的提高。而對於MySQL，由於數據一致性的要求，無法通過增加機器來分散向資料庫寫數據帶來的壓力；雖然可以通過前置緩存（Redis等）、讀寫分離、分庫分表來減輕壓力，但是與系統其它組件的水平擴展相比，受到了太多的限制。

而對資料庫的基準測試的作用，就是分析在當前的配置下（包括硬體配置、OS、資料庫設置等），資料庫的性能表現，從而找出MySQL的性能閾值，並根據實際系統的要求調整配置。

基準測試的指標

常見的資料庫指標包括：

TPS/QPS：衡量吞吐量。響應時間：包括平均響應時間、最小響應時間、最大響應時間、時間百分比等，其中時間百分比參考意義較大，如前95%的請求的最大響應時間。。並發量：同時處理的查詢請求的數量。

基準測試的分類

對MySQL的基準測試，有如下兩種思路：

在針對MySQL進行基準測試時，一般使用專門的工具進行，例如mysqlslap、sysbench等。其中，sysbench比mysqlslap更通用、更強大，且更適合Innodb（因為模擬了許多Innodb的IO特性），下面介紹使用sysbench進行基準測試的方法。

sysbench簡介

sysbench是跨平臺的基準測試工具，支持多線程，支持多種資料庫；主要包括以下幾種測試：

1.cpu性能2.磁碟io性能3.調度程序性能4.內存分配及傳輸速度5.POSIX線程性能6.資料庫性能(OLTP基準測試)7.本文主要介紹對資料庫性能的測試。


sysbench安裝

本文使用的環境時CentOS 6.5；在其他Linux系統上的安裝方法大同小異。MySQL版本是5.6。

1.下載解壓
wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"
unzip sysbench-1.0.zip
cd sysbench-1.0

2.安裝依賴
yum install automake libtool –y

3.安裝 安裝之前，確保位於之前解壓的sysbench目錄中。
./autogen.sh
./configure
export LD_LIBRARY_PATH=/usr/local/mysql/include 
#這裡換成機器中mysql路徑下的include
make
make install

4.安裝成功
[root@test sysbench-1.0]# sysbench --version
sysbench 1.0.9

sysbench語法

執行sysbench –help，可以看到sysbench的詳細使用方法。sysbench的基本語法如下：

sysbench [options]... [testname] [command]

下面說明實際使用中，常用的參數和命令。

1.command command是sysbench要執行的命令，包括prepare、run和cleanup，顧名思義，prepare是為測試提前準備數據，run是執行正式的測試，cleanup是在測試完成後對資料庫進行清理。

2.testname testname指定了要進行的測試，在老版本的sysbench中，可以通過--test參數指定測試的腳本；而在新版本中，--test參數已經聲明為廢棄，可以不使用--test，而是直接指定腳本。

例如，如下兩種方法效果是一樣的：

sysbench --test=./tests/include/oltp_legacy/oltp.lua
sysbench ./tests/include/oltp_legacy/oltp.lua

測試時使用的腳本為lua腳本，可以使用sysbench自帶腳本，也可以自己開發。對於大多數應用，使用sysbench自帶的腳本就足夠了。不同版本的sysbench中，lua腳本的位置可能不同，可以自己在sysbench路徑下使用find命令搜索oltp.lua。P.S.：大多數數據服務都是oltp類型的，如果你不了解什麼是oltp，那麼大概率你的數據服務就是oltp類型的。

3.options sysbench的參數有很多，其中比較常用的包括： MySQL連接信息參數:

1.--mysql-host：MySQL伺服器主機名，默認localhost；如果在本機上使用localhost報錯，提示無法連接MySQL伺服器，改成本機的IP位址應該就可以了。2.--mysql-port：MySQL伺服器埠，默認33063.--mysql-user：用戶名4.--mysql-password：密碼

MySQL執行參數：

1.--oltp-test-mode：執行模式，包括simple、nontrx和complex，默認是complex。simple模式下只測試簡單的查詢；nontrx不僅測試查詢，還測試插入更新等，但是不使用事務；complex模式下測試最全面，會測試增刪改查，而且會使用事務。可以根據自己的需要選擇測試模式。2.--oltp-tables-count：測試的表數量，根據實際情況選擇3.--oltp-table-size：測試的表的大小，根據實際情況選擇4.--threads：客戶端的並發連接數5.--time：測試執行的時間，單位是秒，該值不要太短，可以選擇1206.--report-interval：生成報告的時間間隔，單位是秒，如10


sysbench使用舉例

在執行sysbench時，應該注意：

1.儘量不要在MySQL伺服器運行的機器上進行測試，一方面可能無法體現網絡（哪怕是區域網）的影響，另一方面，sysbench的運行（尤其是設置的並發數較高時）會影響MySQL伺服器的表現。2.可以逐步增加客戶端的並發連接數（--thread參數），觀察在連接數不同情況下，MySQL伺服器的表現；如分別設置為10,20,50,100等。3.一般執行模式選擇complex即可，如果需要特別測試伺服器只讀性能，或不使用事務時的性能，可以選擇simple模式或nontrx模式。4.如果連續進行多次測試，注意確保之前測試的數據已經被清理乾淨。

下面是sysbench使用的一個例子：

1.準備數據

sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 prepare

其中，執行模式為complex，使用了10個表，每個表有10萬條數據，客戶端的並發線程數為10，執行時間為120秒，每10秒生成一次報告。

2.執行測試 將測試結果導出到文件中，便於後續分析。

sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 run >> /home/test/mysysbench.log

3.清理數據 執行完測試後，清理數據，否則後面的測試會受到影響。

sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 cleanup


測試結果

測試結束後，查看輸出文件，如下所示：

其中，對於我們比較重要的信息包括：queries：查詢總數及qps transactions：事務總數及tps Latency-95th percentile：前95%的請求的最大響應時間，本例中是344毫秒，這個延遲非常大，是因為我用的MySQL伺服器性能很差；在正式環境中這個數值是絕對不能接受的。

建議

下面是使用sysbench的一些建議。

1.在開始測試之前，應該首先明確：應採用針對整個系統的基準測試，還是針對MySQL的基準測試，還是二者都需要。2.如果需要針對MySQL的基準測試，那麼還需要明確精度方面的要求：是否需要使用生產環境的真實數據，還是使用工具生成也可以；前者實施起來更加繁瑣。如果要使用真實數據，儘量使用全部數據，而不是部分數據。3.基準測試要進行多次才有意義。4.測試時需要注意主從同步的狀態。5.測試必須模擬多線程的情況，單線程情況不但無法模擬真實的效率，也無法模擬阻塞甚至死鎖情況。

作者：編程迷思

地址：https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html

最新整理的 2TB 乾貨資源，包括但不限於：Linux運維、架構師、大數據、Docker、資料庫、redis、MongoDB、電子書、Java、機器學習、BAT面試精講視頻等。在公眾號對話框回復「1024 」即可免費獲取！！

看完本文有收穫，請分享給更多人

關注「民工哥技術之路」加星標，提升IT技能

好文章，分享、點讚、在看三連哦❤️↓↓↓

相關焦點

  • 詳解MySQL基準測試和sysbench工具
    本文介紹了MySQL基準測試的基本概念，以及使用sysbench對MySQL進行基準測試的詳細方法。什麼是基準測試資料庫的基準測試是對資料庫的性能指標進行定量的、可復現的、可對比的測試。基準測試與壓力測試 基準測試可以理解為針對系統的一種壓力測試。但基準測試不關心業務邏輯，更加簡單、直接、易於測試，數據可以由工具生成，不要求真實；而壓力測試一般考慮業務邏輯(如購物車業務)，要求真實的數據。
  • 詳解 MySQL 基準測試和 sysbench 工具
    基準測試與壓力測試基準測試可以理解為針對系統的一種壓力測試。但基準測試不關心業務邏輯，更加簡單、直接、易於測試，數據可以由工具生成，不要求真實；而壓力測試一般考慮業務邏輯(如購物車業務)，要求真實的數據。
  • Sysbench測試神器:一條命令生成百萬級測試數據
    基準測試與壓力測試區別很多時候，基準測試和壓力測試在實際使用的過程中，很容易被弄混淆。基準測試可以理解為針對系統的一種壓力測試。但基準測試不關心業務邏輯，更加簡單、直接、易於測試，數據可以由工具生成，不要求真實；而壓力測試一般考慮業務邏輯(如購物車業務)，要求真實的數據。4.
  • 2021001期:Sysbench多線程性能測試工具
    Sysbench一款開源的多線程性能測試工具，可提供以下幾個方面的測試：cpu ：提供一個簡單的cpu測試fileIo
  • 使用sysbench壓力測試MySQL(三)(r12筆記第6天)
    今天簡單寫了幾個腳本繼續對一個測試環境的MySQL進行sysbench壓力測試。     在上一次的基礎上，我們保證了能夠滿足短時間內1000個連接的衝擊，從各個方面做了調整，其中的一個重點逐漸落到了IO的吞吐率上，redo日誌的大小設置一下子成了焦點和重中之重。   當然這次的測試中，我的思路還是保持性能持續的增長，邊調整，邊優化。
  • linux sysbench (一): CPU性能測試詳解
    sysbench教材眾多，但沒有一篇中文教材對cpu測試參數和結果進行詳解。本文旨在能夠讓讀者對sysbench的cpu有一定了解。小慢哥的原創文章，歡迎轉載1.sysbench基礎知識sysbench的cpu測試是在指定時間內，循環進行素數計算素數（也叫質數）就是從1開始的自然數中，無法被整除的數，比如2、3、5、7、11、13、17等。
  • 資料庫壓力測試方法概述
    >1、基本介紹sysbench是跨平臺的基準測試工具，支持多線程，支持多種資料庫；主要包括以下幾種測試：cpu性能磁碟io性能調度程序性能內存分配及傳輸速度POSIX線程性能資料庫性能(OLTP基準測試)該工具可以自動幫你在資料庫裡構造出來大量的數據
  • Redis 的 QPS 是 MySQL 的 100 倍?
    $ wget http://download.redis.io/releases/redis-5.0.5.tar.gz$ tar xzf redis-5.0.5.tar.gz$ cd redis-5.0.5$ make啟動服務運行 Redis 自帶的基準測試工具，運行 set，get 1000000 次，1s 後退出並顯示數據
  • MySQL內存不釋放分析
    問題分析場景1 使用sysbench壓測資料庫場景2 load 一個很大事務的insert語句問題突破測試jemalloc場景1使用sysbench
  • MySQL 數據校驗工具-愛可生
    該工具持續監控副本。如果任何副本在複製過程中遠遠落後，pt 表校驗和會暫停以使其趕上來。如果任何副本有錯誤，或者複製停止，pt-table 校驗和將暫停並等待。此外，pt-table-checksum 查找問題的常見原因，比如複製過濾器，並且拒絕操作，除?您強迫它這樣做。複製篩選器是危險的，因為 pt-table-checksum 執行的查詢可能與它們發生衝突，並導致複製失敗。
  • golang 基準測試和性能測試總結
    1、測試類型在*_test.go文件中有三種類型的函數，單元測試函數、基準測試函數和示例函數。
  • sysbench花式採坑之一:自增值導致的TPS不可靠
    ，外加找朋友要了個sysbench安裝包，裝上跑了一下後，感覺sysbench也就這麼回事，自己已經完全掌握了，可以遊刃有餘的應對公司交給我的測試項目了。懷著慈悲為懷的心情，我回去對比了一下MGR和異步複製的配置文件，發現兩者之間除了MGR的專用配置外，其他配置均相同，那麼問題大概是出在MGR的專用配置上了，當時我忘記戴上的眼鏡片上精光一閃，呵呵，又被我看穿了。針對MGR的專用配置，本人又去回過頭翻了一下文檔，好吧，沒找到什麼，MGR就這麼些配置項，不論哪個都看起來都和我性能測試沒關係呀。
  • 一文詳解MySQL權限
    >MySQL權限詳解(3)• Process權限代表允許查看MySQL中的進程信息，比如執行showprocesslist,• Reference權限是在5.7.6版本之後引入，代表是否允許創建外鍵• Reload權限代表允許執行flush命令，指明重新加載權限表到系統內存中， refresh命令代表關閉和重新開啟日誌文件並刷新所有的表• Replication
  • 如何基準測試 Linux PC 的性能?
    下面是可供 Linux 用戶使用的一些比較實用的基準測試。一、一體化基準測試一體化基準測試工具又叫基準測試套件，恰如其名：它們測試和衡量系統的各個方面，而不是專注於某一個特定的硬體，如果你不想用三四個不同的工具搞亂系統，這很有用。
  • 小米Mi 10i已出現在流行的Geekbench基準測試門戶中
    打開APP 小米Mi 10i已出現在流行的Geekbench基準測試門戶中 文財網 發表於 2020-12-17 15:38:36
  • 不懂就問:為什麼MySQL不建議使用NULL作為列默認值?
    (root@localhost mysql3306.sock)[sysbench]>show tables;++| Tables_in_sysbench |++| sbtest1            || sbtest10           || sbtest2
  • 為什麼 MySQL 不推薦默認值為 null ?
    通常能聽到的答案是使用了NULL值的列將會使索引失效,但是如果實際測試過一下,你就知道IS NULL會使用索引，所以上述說法有漏洞。 1 (root@localhost mysql3306.sock)[sysbench]>show tables; 2 ++ 3 | Tables_in_sysbench | 4 ++ 5 | sbtest1            | 6 | sbtest10           |
  • OnePlus8Pro可能已經在Geekbench上首次獲得了首個基準測試
    現在，OnePlus 8 Pro可能已經在Geekbench上首次獲得了首個基準測試，揭示了旗艦手機的一些內部功能。與其他手機一樣，即將推出的OnePlus 8 Pro也已在Geekbench上市，這可能是因為該手機已經過公司測試。
  • Google推出Fuzzer基準測試服務FuzzBench
    Google推出了可用於評估模糊測試器（Fuzzer）的開源免費服務FuzzBench，FuzzBench提供用戶方便但嚴格的模糊測試，並降低採用模糊測試的障礙。模糊測試是一種軟體測試技術，通過自動或半自動產生輸入另一個程序的亂數據，以探索程序可能出現的異常狀況，Google提到，他們內部使用了libFuzzer和AFL等各式Fuzzer，發現了數以萬計的bug。
  • MySQL 優化案例 - select count-愛可生
    六、深入測試為了進一步驗證上述的推論，所以就做了如下的測試。測試過程如下：1. 通過 sysbench 創建了一張 500W 的測試表 sbtest1，表上僅僅包含一個主鍵索引，表大小為 1125MB；2.