MySQL中的主鍵和rowid,看似簡單,其實有一些使用陷阱需要注意

2020-12-17 楊建榮的資料庫筆記

這是學習筆記的第2126 篇文章

大家在MySQL中我們可能聽到過rowid的概念,但是卻很難去測試實踐,不可避免會有一些疑惑,比如:

1)如何感受到rowid的存在

2)rowid和主鍵有什麼關聯關係

3)在主鍵的使用中存在哪些隱患

4)如何來理解rowid的潛在瓶頸並調試驗證

今天要和大家一起討論這幾個問題,測試的環境基於MySQL 5.7.19版本

問題1:如何感受到rowid的存在

我們不妨通過一個案例來進行說明。

記得有一天統計備份數據的時候,寫了一條SQL,當看到執行結果時才發現SQL語句沒有寫完整,在完成統計工作之後,我準備分析下這條SQL語句。

mysql> select backup_date ,count(*) piece_no from redis_backup_result;

+-------------+----------+

| backup_date | piece_no |

+-------------+----------+

| 2018-08-14 | 40906 |

+-------------+----------+

1 row in set (0.03 sec)

根據業務特點,一天之內肯定沒有這麼多的記錄,明顯不對,到底是哪裡出了問題呢。

自己仔細看了下SQL,發現是沒有加group by,我們隨機查出10條數據。

mysql> select backup_date from redis_backup_result limit 10;

+-------------+

| backup_date |

+-------------+

| 2018-08-14 |

| 2018-08-14 |

| 2018-08-14 |

| 2018-08-15 |

| 2018-08-15 |

| 2018-08-15 |

| 2018-08-15 |

| 2018-08-15 |

| 2018-08-15 |

| 2018-08-15 |

+-------------+

10 rows in set (0.00 sec)

在早期的版本中資料庫參數sql_mode默認為空,不會校驗這個部分,從語法角度來說,是允許的;但是到了高版本,比如5.7版本之後是不支持的,所以解決方案很簡單,在添加group by之後,結果就符合預期了。

mysql> select backup_date ,count(*) piece_no from redis_backup_result group by backup_date;

+-------------+----------+

| backup_date | piece_no |

+-------------+----------+

| 2018-08-14 | 3 |

| 2018-08-15 | 121 |

| 2018-08-16 | 184 |

| 2018-08-17 | 3284 |

| 2018-08-18 | 7272 |

| 2018-08-19 | 7272 |

| 2018-08-20 | 7272 |

| 2018-08-21 | 7272 |

| 2018-08-22 | 8226 |

+-------------+----------+

9 rows in set (0.06 sec)

但是比較好奇這個解析的邏輯,看起來是SQL解析了第一行,然後輸出了count(*)的操作,顯然這是從執行計劃中無法得到的信息。

我們換個思路,可以看到這個表有4萬多條的記錄。

mysql> select count(*)from redis_backup_result;

+----------+

| count(*) |

+----------+

| 40944 |

+----------+

1 row in set (0.01 sec)

為了驗證,我們可以使用_rowid的方式來做初步的驗證。

InnoDB表中在沒有默認主鍵的情況下會生成一個6位元組空間的自動增長主鍵,可以用select _rowid from table來查詢,如下:

mysql> select _rowid from redis_backup_result limit 5;

+--------+

| _rowid |

+--------+

| 117 |

| 118 |

| 119 |

| 120 |

| 121 |

+--------+

5 rows in set (0.00 sec)

再可以實現一個初步的思路。

mysql> select _rowid,count(*)from redis_backup_result;

+--------+----------+

| _rowid | count(*) |

+--------+----------+

| 117 | 41036 |

+--------+----------+

1 row in set (0.03 sec)

然後繼續升華一些,藉助rownum來實現,當然在MySQL中原生不支持這個特性,需要間接實現。

mysql> SELECT @rowno:=@rowno+1 as rowno,r._rowid from redis_backup_result

r ,(select @rowno:=0) t limit 20;

+-------+--------+

| rowno | _rowid |

+-------+--------+

| 1 | 117 |

| 2 | 118 |

| 3 | 119 |

| 4 | 120 |

| 5 | 121 |

| 6 | 122 |

| 7 | 123 |

| 8 | 124 |

| 9 | 125 |

| 10 | 126 |

| 11 | 127 |

| 12 | 128 |

| 13 | 129 |

| 14 | 130 |

| 15 | 131 |

| 16 | 132 |

| 17 | 133 |

| 18 | 134 |

| 19 | 135 |

| 20 | 136 |

+-------+--------+

20 rows in set (0.00 sec)

寫一個完整的語句,如下:

mysql> SELECT @rowno:=@rowno+1 as rowno,r._rowid ,backup_date,count(*)

from redis_backup_result r ,(select @rowno:=0) t ;

+-------+--------+-------------+----------+

| rowno | _rowid | backup_date | count(*) |

+-------+--------+-------------+----------+

| 1 | 117 | 2018-08-14 | 41061 |

+-------+--------+-------------+----------+

1 row in set (0.02 sec)

通過這個案例,可以很明顯發現是第1行的記錄,然後做了count(*)的操作。

當然我們的目標是要掌握rowid和主鍵的一些關聯關係,所以我們也復盤一下主鍵使用中的隱患問題。

問題2:rowid和主鍵有什麼關聯關係

在學習MySQL開發規範之索引規範的時候,強調過一個要點:每張表都建議有主鍵。我們在這裡來簡單分析一下為什麼?

除了規範,從存儲方式上來說,在InnoDB存儲引擎中,表都是按照主鍵的順序進行存放的,我們叫做聚簇索引表或者索引組織表(IOT),表中主鍵的參考依據如下:

(1)顯式的創建主鍵Primary key。

(2)判斷表中是否有非空唯一索引,如果有,則為主鍵。

(3)如果都不符合上述條件,則會生成UUID的一個隱式主鍵(6位元組大)。

從以上可以看到,MySQL對於主鍵有一套維護機制,而一些常見的索引也會產生相應的影響,比如唯一性索引、非唯一性索引、覆蓋索引等都是輔助索引(secondary index,也叫二級索引),從存儲的角度來說,二級索引列中默認包含主鍵列,如果主鍵太長,也會使得二級索引很佔空間。

問題3:在主鍵的使用中存在哪些隱患

這就引出行業裡非常普遍的主鍵性能問題,這不是一個單一的問題,需要MySQL方向持續改造的,將技術價值和業務價值結合起來。我看到很多業務中設置了自增列,但是大多數情況下,這種自增列卻沒有實際的業務含義,儘管是主鍵列保證了ID的唯一性,但是業務開發無法直接根據主鍵自增列來進行查詢,於是他們需要尋找新的業務屬性,添加一系列的唯一性索引,非唯一性索引等等,這樣一來我們堅持的規範和業務使用的方式就存在了偏差。

從另外一個維度來說,我們對於主鍵的理解是有偏差的,我們不能單一的認為主鍵就一定是從1開始的整數類型,我們需要結合業務場景來看待,比如我們的身份證其實就是一個不錯的例子,把證號分成了幾個區段,偏於檢索和維護;或者是外出就餐時得到的流水單號,它都有一定的業務屬性在裡面,對於我們去理解業務的使用是一種不錯的借鑑。

問題4:如何來理解rowid的潛在瓶頸並進行調試驗證

我們知道rowid只有6個字節,因此最大值是2^48,所以一旦 row_id超過這個值還是會遞增,這種情況下是否存在隱患。

光說不練假把式,我們可以做一個測試來說明。

1)我們創建一張表test_inc,不包含任何索引。

create table test_inc(id int) engine=innodb;

2)通過ps -ef|grep mysql得到對應的進程號,使用gdb來開始做下調試配置,切記!此處應該是自己的測試環境。

[root@dev01 mysql]# gdb -p 3132 -ex 'p dict_sys->row_id=1' -batch

[New LWP 3192]

[New LWP 3160]

[New LWP 3159]

[New LWP 3158]

[New LWP 3157]

[New LWP 3156]

[New LWP 3155]

[New LWP 3154]

[New LWP 3153]

[New LWP 3152]

[New LWP 3151]

[New LWP 3150]

[New LWP 3149]

[New LWP 3148]

[New LWP 3147]

[New LWP 3144]

[New LWP 3143]

[New LWP 3142]

[New LWP 3141]

[New LWP 3140]

[New LWP 3139]

[New LWP 3138]

[New LWP 3137]

[New LWP 3136]

[New LWP 3135]

[New LWP 3134]

[New LWP 3133]

[Thread debugging using libthread_db enabled]

0x00000031ed8df283 in poll () from /lib64/libc.so.6

$1 = 1

3)我們做下基本檢驗,得到建表語句,保證測試是預期的樣子。

mysql> show create table test_inc\G

*************************** 1. row ***************************

Table: test_inc

Create Table: CREATE TABLE `test_inc` (

`id` int(11) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8

1 row in set (0.00 sec)

4)插入一些數據,使得rowid持續自增。

mysql> insert into test_inc values(1),(2),(3);

Query OK, 3 rows affected (0.08 sec)

Records: 3 Duplicates: 0 Warnings: 0

5)我們對rowid進行重置,調整為2^48

mysql> select power(2,48);

+-----------------+

| power(2,48) |

+-----------------+

| 281474976710656 |

+-----------------+

1 row in set (0.00 sec)

[root@dev01 mysql]# gdb -p 3132 -ex 'p dict_sys->row_id=281474976710656' -batch

。。。

。。。

[Thread debugging using libthread_db enabled]

0x00000031ed8df283 in poll () from /lib64/libc.so.6

$1 = 281474976710656

6)繼續寫入一些數據,比如我們寫入4,5,6三行數據

mysql> insert into test_inc values(4),(5),(6);

Query OK, 3 rows affected (0.07 sec)

Records: 3 Duplicates: 0 Warnings: 0

7)查看數據結果,發現1,2兩行已經被覆蓋了。

mysql> select *from test_inc;

+------+

| id |

+------+

| 4 |

| 5 |

| 6 |

| 3 |

+------+

4 rows in set (0.00 sec)

由此,我們可以看到rowid自增後,還是存在使用瓶頸,當然這個概率是很低的,需要自增列的值到281萬億,這是一個相當龐大的數值了,從功能上來說,應該拋出寫入重複值的錯誤更為合理。

而有了主鍵之後,上面這個瓶頸似乎就不存在了。

相關焦點

  • mysql的自增主鍵的一些內容,也許有你需要的
    而mysql也是經常會用到的一個資料庫。mysql資料庫中有一個主鍵生成規則,就是自增。也是我們經常會用到的。今天我們就聊聊這個自增主鍵的一些內容。創建自增主鍵先來看看怎麼創建自增主鍵。如上圖中所示,只需要在創建表時在對應的列中用「AUTO_INCREMENT」聲明即可。那要如何使用這個自增主鍵呢,看看下面的示例。使用自增主鍵在insert語句中不指定設置了自增的列,那該列的值就會自增了。
  • Mysql如何使用order by工作
    新的算法放入sort_buffer的欄位,只需要排序的列和主鍵id,但是這個時候,並不能直接返回排序的結果,而是要回表查詢整行。初始化sort_buffer,確定放入兩個欄位,即name和id從索引city中找到第一個滿足的條件主鍵id再到主鍵id索引中獲取整行,取出name,id兩個欄位,存入sort_buffer在從索引city中到下一個記錄id重複3,4步驟,知道不滿足條件位置對sort_buffer進行name排序遍歷排序結果,
  • MySQL的主鍵命名挺任性,就這麼定了
    最近在梳理數據生命周期管理的細節時,發現了一個小問題,那就是MySQL的主鍵命名策略,似乎會忽略任何形式的自定義命名。也就意味著你給主鍵命名為idx_pk_id這種形式,在MySQL裡面會統一按照PRIMARY來處理。 當然我們可以在這個基礎之上做一些拓展和補充。
  • 為什麼mysql不推薦使用uuid或者雪花id作為主鍵
    轉載至:https://www.cnblogs.com/wyq178/p/12548864.html為什麼mysql不推薦使用uuid或者雪花id作為主鍵前言:在mysql中設計表的時候,mysql官方推薦不要使用uuid或者不連續不重複的雪花id(long形且唯一),而是推薦連續自增的主鍵id,官方的推薦是auto_increment
  • MySql面試題及答案大全
    第三範式:在滿足第二範式的基礎上,在實體中不存在其他實體中的非主鍵屬性,傳遞函數依賴於主鍵屬性,確保數據表中的每一列數據都和主鍵直接相關,而不能間接相關(表中欄位[非主鍵]不存在對主鍵的傳遞依賴)說一說你能想到的sql語句優化,至少五種避免select *,將需要查找的欄位列出來
  • 面試官:MySQL表設計要注意什麼?
    引言這篇文章的很多問題,都是面試中實打實會問到的!比如OK,具體有下面這些問題其實上面這些問題,我最早想法是,每個問題都可以囉嗦出一篇文章。後來由於良心發現,煙哥就決定用一篇文章將這些問題都講明白。當然,我給的回答可能並非標準答案,畢竟是自己的一些工作總結。各位讀者有更好的回答,也歡迎交流!
  • mysql外鍵怎麼用?Mysql資料庫外鍵的使用介紹
    在之前的文章中,已經給大家介紹了mysql外鍵的基礎定義以及外鍵創建的方法,需要的朋友可以先閱讀上篇文章。想必大家應該對mysql外鍵都有一定的了解了。下面我們就舉個簡單例子給大家介紹Navicat(資料庫管理工具)中關於mysql外鍵的基本使用操作。Navicat是一套快速、可靠並價格相當便宜的資料庫管理工具,專為簡化資料庫的管理及降低系統管理成本而設。
  • MySQL中order by語句的實現原理以及優化手段
    rowid 排序看懂了上面的全欄位排序,可能有人就會有疑問了,我們實際上只需要對 name 欄位排序,為什麼還需要把 id_card 欄位和 age 欄位也放入到 sort_buffer 中呢?rowid 排序原理的大致思路就是,不會將 SQL 語句中 select 後面的所有欄位都放入到 sort_buffer 中,而是只會將需要被排序的欄位和主鍵 id 放入到 sort_buffer 中,對應到本文的例子中就是:將 name 欄位和主鍵 id 欄位放入到 sort_buffer 中。
  • MySQL中主鍵是否需要設置為自增?
    主鍵和聚集索引的關係很多同學會把主鍵和聚集索引弄混,這裡先簡單聊聊它們的區別:在 InnoDB 中,聚集索引不一定是主鍵,但是主鍵一定是聚集索引:原因是如果沒有定義主鍵,聚集索引可能是第一個不允許為 null 的唯一索引,如果也沒有這樣的唯一索引,InnoDB會選擇內置 6 字節長的
  • 面試官:在使用mysql資料庫時,遇到重複數據怎麼處理?
    如果你在使用mysql的時候也遇到了這個問題,希望能對你有所幫助。注意:這篇文章不是資料庫系列的正式文章,有關mysql、MongoDB、redis、oracle等資料庫系列的文章正在整理中。我們帶著這兩種思路繼續往下看:問題在我們的mysql資料庫中,經常會出現一些重複的數據,有些情況我們允許重複數據的存在,但有時候我們也需要刪除這些重複的數據。 我們如何去處理呢?
  • MySQL實戰中,Insert語句的使用心得總結
    這時可以使用"INSERT INTO … ON DUPLICATE KEY UPDATE …"語句。注意事項:"INSERT INTO … ON DUPLICATE KEY UPDATE …"語句是基於唯一索引或主鍵來判斷唯一(是否存在)的。如下SQL所示,需要在username欄位上建立唯一索引(Unique),transId設置自增即可。
  • MySQL實戰中的Insert語句的使用心得
    注意事項:"INSERT INTO … ON DUPLICATE KEY UPDATE …"語句是基於 唯一索引或主鍵 來判斷唯一(是否存在)的。如下SQL所示,需要在username欄位上建立唯一索引(Unique),transId設置自增即可 。
  • MySQL和Oracle的添加欄位的處理差別 (r10筆記第73天)
    要知道Oracle中這個操作就比較糾結了,因為是按照追加的方式來處理的。沒法在已有的欄位1,欄位2中間添加一個欄位3。但是MySQL卻可以,這個方面MySQL看起來要靈活的多,這個是什麼原因呢,他們在設計上有什麼差別呢。MySQL中對每個表存在一個定義文件,即frm文件,我們來取出一個表,看看能不能簡單解析一下。
  • MySQL中使用IN會不會走索引分析
    及時獲取有趣有料的技術文章MySQL中使用IN會不會走索引文章很短,先看下結論,在看下文。結論:IN肯定會走索引,但是當IN的取值範圍較大時會導致索引失效,走全表掃描navicat可視化工具使用explain函數查看sql執行信息場景1:當IN中的取值只有一個主鍵時我們只需要注意一個最重要的type 的信息很明顯的提現是否用到索引
  • 談談在mysql中使用聚合函數時容易忽略的一些小細節
    今天和大家一起學習一下mysql的聚合函數,話不多說,直接開始。我們來加個判斷,語句是這樣的:select count(IFNULL(name,0)) from course我們看一下執行結果:我們發現現在可以了,咱們總結一下使用count函數的時候,需要注意的點:1、使用count函數的時候
  • mysql中count(*)是最慢的嗎?
    count函數是什麼:這個問題,對於但凡接觸過資料庫的老鐵來說,實在太簡單了,但是對於筆者來說,學習任何一個事物,應該先對它的定義和概念一個清晰的認識,這樣才能更好的理解和學習它。首先 count函數是sql(Structured Query Language)中的一個聚合函數,用來統計滿足「條件」數據的行數。滿足的條件具體指什麼呢?
  • MySQL之主鍵約束
    注意:每一張表中只能有一個欄位為主鍵,這個欄位的值非空且唯一,主鍵就是表中記錄的唯一標識。就像我們的身份證。表創建完成之後添加主鍵關於主鍵約束,現在講了添加,刪除主鍵,接下來小編要介紹的是主鍵約束中的自動增長。
  • mysql中緩存的一些用法,change buffer與double write
    在這篇文章中對mysql innoDB 緩衝池的一些其他內容的概括,以及我自己在這個過程中的一些思維運轉,作為一個努力成長的小小程序猿,大家挑出來的毛病都是我成長路上的動力,都是日後作為總結的寶貴參考坐標。     MySQL緩衝池作為CPU與資料庫之間的緩衝介質,一個提高資料庫性能的設計,我們可以看出這又是一個緩存的用法。
  • MySQL order by 是怎麼工作的?
    從索引 city 中找到第一個滿足 city='杭州' 的主鍵ID(ID_x)。到主鍵索引中找到 ID_x,取出整行,取 name、city、age 3個欄位的值,存入 sort_buffer。排序可能是在內存中完成,也可能需要外部排序,這取決於排序所需要的內存和 sort_buffer_size 參數值。
  • mysql中count()太慢,我該怎麼辦
    上一篇文章,我和你介紹了在mysql中,count()實現原理,以及count()的各種使用方式,和他們之間的差異,以及執行效率的比較,看完之後,想必你不會在說,count(*)執行效率是最慢的了吧,經過mysql優化後的count(*)的執行效率和count(1)已經不相上下了,但是當表中的數據量很大的時候,無論何種形式的count(),執行的效率都會很低,畢竟需要逐行統計計數。