基於MySQL的高性能資料庫應用開發

2020-12-17 站長之家
首頁

 > 

語言

 > 

關鍵詞

 > 

資料庫最新資訊

 > 

正文

基於MySQL的高性能資料庫應用開發

一、高性能資料庫的選擇

---- 在資料庫的應用開發中,常常會遇到性能和代價的之間矛盾。以作者在開發股市行情查詢和交易系統中遇到的問題為例,要在實時記錄1000多隻股票每分鐘更新一次的行情數據的同時,響應大量並發用戶的數據查詢請求。考慮到性價比和易維護性,系統又要求在基於PC伺服器,Windows NT平臺的軟硬體環境下實現。開始,我們採用了MS SQLServer 6.5 作為資料庫系統,用Visual C++ 6.0開發了訪問資料庫的前端,應用ODBC數據接口,在進行了大量的資料庫配置和程序優化後,發現仍不能滿足性能要求。後採用SQL Server的DB-Library接口,繞過了ODBC解釋層,可以每秒更新行情數據30次,同時支持20-30個左右的並發用戶進行行情查詢,基本滿足要求(單臺PC伺服器,單PII350 CPU,內存128M,SCSI硬碟)。有沒有可能進一步提高系統的性能和負載能力呢?經過分析,資料庫伺服器是系統的瓶頸。當然,可以採用UNIX伺服器+大型資料庫的系統平臺,但其開發、運行、維護的費用比微機+Windows NT平臺的費用高出數倍。我們在其它一些系統的開發中,也經常遇到這樣的矛盾。如何在微機平臺上建立大容量、高效率、易維護、高性價比的資料庫系統呢?
---- 考察國內基於微機平臺的資料庫應用系統,典型的如網易的分布式郵件系統,採用了FreeBSD+MySQL的平臺,其容量、負載能力和響應速度都很優秀。作者查閱了MySQL的相關文檔,發現MySQL是GNU軟體(即OpenSource自由軟體)中非常優秀的資料庫系統,它完全符合SQL92 (Entry level)和 ODBC( level 0-2)規範,在符合POSIX規範的作業系統上實現了非常高效的關係型資料庫管理系統。根據MySQL提供的文檔,它的數據操作堪稱所有資料庫中最高效的,Benchmark如下表:
Reading 2000000 rows by index
Database Seconds
mysql 367
mysql_odbc 464
db2_odbc 1206
informix_odbc 121126
ms-sql_odbc 1634
oracle_odbc 20800
solid_odbc 877
sybase_odbc 17614
Inserting (350768) rows
Database Seconds
mysql 381
mysql_odbc 619
db2_odbc 3460
informix_odbc 2692
ms-sql_odbc 4012
oracle_odbc 11291
solid_odbc 1801
sybase_odbc 4802
(run on the same NT 4.0 machine)
---- 從MySQL的Benchmark中可以看到,MySQL的性能非常出眾(當然,測試的MySQL系統可能作了優化,被測數據可能是針對MySQL選擇的),而且MySQL提供了對Windows NT的支持。Windows NT+MySQL能否成為構建高性能資料庫應用的理想選擇呢?作者用MySQL的數據接口改寫了程序,經過一段時間的運行,證明MySQL確實是高效而穩定的資料庫,非常適合構建大容量、高效率、易維護、高性價比的資料庫應用系統。現將MySQL的安裝、運行、開發的心得與大家共享。

二、MySQL的安裝和運行
---- 首先從https://www.mysql.com/(國內用戶可以從https://www.freecode.com.cn/mirror/mysql/)下載MySQL的執行代碼及原始碼。注意,Windows NT用戶要選擇NT下的執行代碼,我下載的是mysql-shareware-3.22.32-win.zip。解包後執行Setup,按屏幕提示即可完成安裝。
---- 拷貝MySQL根目錄(c:\mysql)下的my-example.cnf到c:\my.cnf,按文件中的提示編輯my.cnf(如果MySQL的根目錄是c:\mysql,可暫不改動my.cnf)。在NT的控制臺窗口中,進入MySQL的執行目錄(c:\mysql\bin),執行
---- C:\mysql\bin\mysqld-shareware --standalone
---- 則MySQL的資料庫引擎啟動。打開另一NT控制臺窗口,執行
---- C:\mysql\bin\mysql mysql
---- 建立資料庫連接,出現「mysql>」提示符後,執行
---- mysql > DELETE FROM user WHERE Host='localhost' AND User='';
---- mysql > QUIT
---- 刪除所有的非授權用戶。
---- 然後執行
---- C:\mysql\bin\mysqladmin reload
---- C:\mysql\bin\mysqladmin -u root password your_password
---- 其中,your_password是你選擇的資料庫管理員的口令,必須妥善保管。
---- 如果要每次都以管理員身份連接資料庫,則編輯c:\my.cnf,在[client]段中加入

user=root
password= your_password
如果要停止MySQL的資料庫引擎,可以執行C:\mysql\bin\mysqladmin -u=root -p shutdown按提示輸入管理員口令後,MySQL的資料庫引擎停止。

三、MySQL客戶端應用的開發
---- MySQL提供了豐富的數據接口API,包括C、C++、Perl、PHP、Python、TCL等API和JDBC,ODBC接口。出於性能考慮,我們採用了MySQL的C API進行開發。現以Visual C++環境為例,作一簡單介紹。
---- 新建一Win32 Console Application的Project,把「c:\mysql\include」添加到編譯選項的包含路徑中(在Project Options中加入 /I "d:\mysql\include&quounter.cgol.net 魈迦縵攏?
#include <windows.h>
#include <stdio.h>
#include <string.h>
#include <mysql.h>
int main( int argc, char * argv[] )
{
char szTargetDSN[] = "test";
char szSqlText[500]="";
char aszFlds[ 25 ][ 25 ];
MYSQL * myData ;
MYSQL_RES * res ;
MYSQL_FIELD * fd ;
MYSQL_ROW row ;
int i,j,k;
BOOL bCreate = TRUE;
if ( (myData = mysql_init((MYSQL*) 0))
//初始化數據結構
&& mysql_real_connect( myData, NULL,
//連接資料庫
"root", " your_password ", szTargetDSN,
MYSQL_PORT, NULL, 0 ) )
{
if(bCreate)
{
sprintf(szSqlText, //構造SQL語句
"create table mytable "
//新建一張表
"(time datetime, s1 char(6), "
"s2 char(11), s3 int, s4 int)");
if (mysql_query( myData, szSqlText))
//執行SQL語句
{//執行SQL語句出錯
ErrLog( "Can't create table") ;
mysql_close( myData ) ;
return FALSE ;
}

sprintf(szSqlText,
"insert into mytable "
//向表中插入數據
"values('2000-3-10 21:01:30',"
//注意時間的格式
"'Test','MySQLTest',2000,3)");
if (mysql_query( myData, szSqlText))
{//執行SQL語句出錯
ErrLog( "Can't insert data to table") ;
mysql_close( myData ) ;
return FALSE ;
}
sprintf(szSqlText, "select * from mytable ");
if (mysql_query( myData, szSqlText))
//進行數據檢索
{
//執行SQL語句出錯
mysql_close( myData ) ;
return FALSE ;
}
else
{
res = mysql_store_result( myData ) ;
//取得查詢結果
i = (int) mysql_num_rows( res ) ;
//取得有效記錄數
printf( "Query: %s\n%ld records found:
\n", szSqlText, i ) ;
for ( i = 0 ; fd = mysql_fetch_field( res ) ;
i++ )
strcpy( aszFlds[ i ], fd->name ) ;
//取得各欄位名
for (i=1; row = mysql_fetch_row( res ); )
//依次讀取各條記錄
{j = mysql_num_fields( res ) ;
//取得記錄中的欄位數
printf( "Record #%ld:-\n", i++ ) ;
for ( k = 0 ; k < j ; k++ )
//輸出各欄位的值
printf( " Fld #%d (%s): %s\n", k + 1, aszFlds[ k ],
(((row[k]==NULL)||
(!strlen(row[k])))?"NULL":row[k])) ;
puts( "==============================\n" ) ;
}
mysql_free_result( res ) ;
}
}
else
{//連接資料庫出錯
ErrLog( "Can't connect to the mysql server ") ;
mysql_close( myData ) ;
return FALSE ;
}
mysql_close( myData ) ;
return TRUE ;
}
---- 對其中幾個函數作簡單說明,詳細說明,可參考MySQL文檔:
---- 1. MYSQL *mysql_init(MYSQL *mysql)
---- 初始化一個類型為MYSQL的數據結構,為執行mysql_real_connect()做準備。參數mysql為指向該結構的指針,如果mysql為NULL,則新建並初始化一個MYSQL的數據結構。新建的結構將在mysql_close()中釋放。
---- 若成功,返回初始化的MYSQL數據結構的指針,否則返回NULL。
---- 2. MYSQL *mysql_real_connect(MYSQL *mysql, const char *host,
---- const char *user, const char *passwd, const char *db,
---- unsigned int port, const char *unix_socket, unsigned int client_flag)
---- 與MySQL資料庫引擎建立連接。在執行進一步的數據操作之前,必須保證mysql_real_connect()成功返回。
---- 參數mysql是mysql_init()的返回值;
---- 參數host是運行MySQL資料庫引擎的機器的TCP/IP主機名,如為NULL則默認為「localhost」;
---- 參數user和passwd是MySQL資料庫的合法用戶和口令;
---- 參數db是連接的資料庫名;
---- 參數port,unix_socket和client_flag一般取默認值。
---- 3. int mysql_query(MYSQL *mysql, const char *query)
---- 執行query字符串中的SQL語句,query必須以0結尾。如果成功,返回0。
---- 4. MYSQL_RES *mysql_store_result(MYSQL *mysql)
---- 返回SELECT,SHOW,DESCRIBE, EXPLAIN等語句執行的結果。函數新建一個MYSQL_RES的數據結構,把結果存儲在該結構中。如果查詢沒有匹配的結果,則返回空數據集。處理完結果集後,必須調用mysql_free_result()。
---- 如果出錯,返回NULL,否則返回MYSQL_RES結構的指針。
---- 5. MYSQL_ROW mysql_fetch_row(MYSQL_RES *result)
---- 取回結果集中的下一條記錄,如果沒有記錄或出錯,返回NULL。一條記錄中的欄位數可以用mysql_num_fields(result)獲得,各欄位的值可以用row[0] 到 row[mysql_num_fields(result)-1]的數組來訪問。
---- 在工程的連結選項中,加入c:\mysql\lib\libmysql.lib的接口庫,把libmysql.dll複製到作業系統的system目錄下(c:\winnt\system32),就可以編譯運行了。
---- 到這裡,一個簡單的資料庫應用就開發完成了。當然,MySQL有一套功能豐富的API,大家可以查看文檔。另外,如果需要跨平臺的移植性,可以考慮用MySQL的ODBC接口。可以自己配置MySQL的ODBC連接屬性,也可以下載myodbc-2.50.29-nt.zip工具包來配置。

四、總結
---- 作者用MySQL在Windows NT上構建了高性能、高穩定性的資料庫系統。這樣,既可以利用Windows NT和Visual C++的友好界面,又可以獲得MySQL的強大功能。實踐證明,這種方案成本低(別忘了MySQL是免費的)、效率高、開發周期短、運行穩定(MySQL的穩定性在Yahoo、163、263等站點獲得了極高的評價)。
---- 目前,我的股市行情查詢和交易系統已經獲得了每秒鐘記錄70-100條股票行情數據,同時響應50個並發用戶進行數據查詢的性能,而系統的開發、運行成本卻大幅降低。如果您正為PC上的資料庫效率發愁,不妨也來試試MySQL吧。

相關焦點

  • 基於OCI的GIS資料庫的開發與應用
    高性能是Oracle優於其他資料庫的關鍵因素,隨著圖形科學、空間分析等科學廣泛深入,GIS(Geographic Information System)資料庫在空間資料庫方面中應用越來越廣泛。 與此同時在資料庫應用開發過程中,應用程式的開發語言和開發方式對終端應用程式的性能有著重要的影響。
  • MySQL資料庫及應用
    MySQL資料庫及應用第一章測驗1 單選 計算機進行數據處理經歷了從低級到高級的____________個發展階段A. 2B. 3C. 4InnoDB存儲引擎雖然不支持事件處理應用程式,但是支持外鍵、同時還支持崩潰修復能力和並發控制B. MEMORY存儲引擎的所有數據都存儲在內存中,數據的處理速度快但安全性不高C. MyISAM存儲引擎提供了高速的存儲與檢索和全文探索能力,它並不支持事務處理應用程式D.
  • AliSQL X-Cluster基於X-Paxos的高性能強一致MySQL資料庫
    「異地多活」也給底層的資料庫提出了新的容災要求。傳統的Master-Slave架構下,主備如果不使用強同步模式就會存在數據丟失的可能,然而強同步下一旦有節點異常則整體不可服務。而且這套架構下需要HA工具來進行選主的仲裁和控制。過去阿里巴巴的DBA們開發了高效可靠的HA以及一整套工具和流程來做主備切換後數據和日誌的校驗和訂正。然而我們相信技術的發展能帶來更大的運維便利性以及更好的用戶體驗。
  • 高性能Mysql主從架構的複製原理及配置詳解
    複製概述Mysql內建的複製功能是構建大型,高性能應用程式的基礎。將Mysql的數據分布到多個系統上去,這種分布的機制,是通過將Mysql的某一臺主機的數據複製到其它主機(slaves)上,並重新執行一遍來實現的。複製過程中一個伺服器充當主伺服器,而一個或多個其它伺服器充當從伺服器。主伺服器將更新寫入二進位日誌文件,並維護文件的一個索引以跟蹤日誌循環。
  • MySQL資料庫接口的VC實現與應用(1)
    因此,許多中小型網站的資料庫伺服器選用MySQL,而且,由於MySQL性能出色,一些大型網站也選用了MySQL。由此可見,MySQL資料庫伺服器在網站建設中的表現是十分出色的。但是,正因為這樣,幾乎很少有人將MySQL用於應用軟體的開發中。本文將詳細介紹VC環境中MySQL資料庫伺服器不同接口的應用,並最終將產生一個CDatabase類封裝MySQL資料庫接口功能。
  • laravel高性能地從mysql資料庫中隨機獲取n條數據
    laravel如何高性能地從mysql資料庫中隨機獲取n條數據,有時候我們常常會需要從資料庫隨機獲取數據,比如:給工作人員隨機分配10個訂單,隨機從資料庫中隨機抽查100個用戶;這樣我們就需要隨機從資料庫獲取數據。
  • 保障MySQL資料庫安全的14個最佳方法
    【IT168 評論】MySQL資料庫一貫以高性能、高可性和易用性著稱,它已經成為世界上最流行的開源資料庫。大量的個人、WEB開發者、大型公司等都在其網站、關鍵系統、軟體包中廣泛使用MySQL資料庫。  通常,許多企業在部署一種產品時,安全性常常得不到應有的重視。
  • Aurora: 來自 Amazon 的高性能的企業級關係資料庫,兼容 MySQL
    Aurora:來自Amazon、高性能的企業級關係資料庫,且兼容MySQL 近日,在美國召開的AWSre:Invent
  • 「資料庫分享」MySQL資料庫優化
    調用存儲過程可以簡化應用程式開發人員的工作,減少與資料庫伺服器之間的通信,對於提升數據操作的性能是有幫助的/數據分區MySQL支持做數據分區,通過分區可以存儲更多的數據、優化查詢,獲得更大的吞吐量並快速刪除過期的數據。關於這個知識點建議大家看看MySQL的官方文檔。
  • Python開發之:Django基於Docker實現Mysql資料庫讀寫分離、集群、主從同步詳解 | 原力計劃
    資料庫複製被用來把事務性操作導致的變更同步到集群中的從資料庫。在實際的生產環境中,對資料庫的讀和寫都在同一個資料庫伺服器中,是不能滿足實際需求的。無論是在安全性、高可用性還是高並發等各個方面都是完全不能滿足實際需求的。因此,通過主從複製的方式來同步數據,再通過讀寫分離來提升資料庫的並發負載能力。
  • 考前複習必備MySQL資料庫(關係型資料庫管理系統)
    前言MySQL是一個關係型資料庫管理系統,在web應用方面,MySQL是最好的關係型資料庫管理系統應用軟體之一。MySQL是一種關係型資料庫管理系統,關係型資料庫將數據保存在不同的表中,而不是將所有數據放在一個大倉庫內,這樣增加了速度和提高了靈活性。
  • 生產MySQL資料庫執行一次analyze採集信息,應用炸了
    故障簡介     之前,有開發找到我,說應用的某個功能查詢比以前慢了很多,讓開發提供了慢的SQL語句,去對應的
  • Mysql資料庫的使用方法
    4)支持外鍵;        5)支持崩潰數據自修復;       6) InnoDB設計目標是處理大容量資料庫系統,它的CPU利用率是其它基於磁碟的關係資料庫引擎所不能比的。5、退出mysql:quit或者exit退出6、修改密碼:格式:mysqladmin -u用戶名 -p舊密碼 password 新密碼;例如給root修改密碼: mysqladmin -u root -p ab12 password djg345 三、顯示命令1、顯示當前資料庫伺服器中的資料庫列表:mysql
  • MySQL資料庫「十宗罪」(十大經典錯誤案例)
    【Mysql高性能優化規範建議】2、其次可以限制Innodb 的並發處理數量,如果 innodb_thread_concurrency = 0(這種代表不受限制) 可以先改成 16或是64 看伺服器壓力。如果非常大,可以先改的小一點讓伺服器的壓力下來之後,然後再慢慢增大,根據自己的業務而定。個人建議可以先調整為 16 即可。
  • 億速雲提供的雲資料庫MySQL,基於雲端託管,採用「雙節點互備同步...
    億速雲提供的雲資料庫
  • 如何使用MySQL資料庫
    如何使用MySQL資料庫前言:前面我們已經了解了如何搭建MySQL資料庫,那麼接下來我們就一起來了解一下,如何使用MySQL資料庫。MySQL資料庫系統也是一個典型的C/S(客戶端/伺服器)架構應用,要訪問MySQL資料庫需要使用專門的客戶端軟體。在linux系統中,最簡單、易用的MySQL客戶端軟體是其自帶的MySQL命令工具。
  • 資料庫設計說明書:Mysql資料庫如何快速生成表結構到word文檔
    前言參與過大型項目開發的同學應該都知道,一個項目從需求到設計,再到開發、測試和驗收,而過程文檔不免要完成需求規格說明書、資料庫設計說明書、接口設計說明書等,理論上講,應該是先有了資料庫設計說明書再有資料庫表結構的設計,但是實際在開發中,肯定有些情況下是先設計出了資料庫表一邊開發著一邊再來補充資料庫設計說明書
  • 實例講解:.NET如何訪問MySQL資料庫
    .NET的資料庫天然支持MSSQLServer,但是並非其他資料庫不支持,而是微軟基於自身利益需要,在支持、營銷上推自己的資料庫產品;但是作為平臺戰略,他並非排斥其他資料庫,而是參考java體系提出了一套資料庫訪問規範,讓各個第三方進行開發,提供特定的驅動。
  • 史上最全的MySQL高性能優化實戰總結!
    1.2.2 優化的需求1.2.3 優化由誰參與在進行資料庫優化時,應由資料庫管理員、業務部門代表、應用程式架構師、應用程式設計人員、應用程式開發人員、硬體及系統管理員、存儲管理員等,業務相關人員共同參與。
  • 基於《Flask Web開發:基於Python的Web應用開發實戰》最全總結
    /venv/,*.pyc,資料庫文件.sqlite3, .mysql推薦IDE: PyCharm 導入已有的virtualenv: File -> Setting -> Project Interprater -> 選擇項目目錄下的/venv/Python