真刺激,用了Insert into select語句,差點被勸退!

2021-03-02 Java專欄

點擊上方「Java專欄」,選擇「置頂或者星標」

第一時間閱讀精彩文章!

2、☞ 《Java面試手冊》.PDF    點擊查看

作者:不一樣的科技宅

https://juejin.im/post/5e670f0151882549274a65ef

Insert into select 請慎用,同事因為使用了 Insert into select 語句引發了重大生產事故,最後被開除。

某天 xxx 接到一個需求,需要將表 A 的數據遷移到表 B 中去做一個備份。他本想通過程序先查詢查出來然後批量插入,但 xxx 覺得這樣有點慢,需要耗費大量的網絡 I/O,決定採取別的方法進行實現。

通過在某度的海洋裡遨遊,他發現了可以使用 insert into select 實現,這樣就可以避免使用網絡 I/O,直接使用 SQL 依靠資料庫 I/O 完成,這樣簡直不要太棒,然後他就被開除了。

由於數據資料庫中 order_today 數據量過大,當時好像有 700W 了,並且每天在以 30W 的速度增加。

所以上司命令 xxx 將 order_today 內的部分數據遷移到 order_record 中,並將 order_today 中的數據刪除,這樣來降低 order_today 表中的數據量。

由於考慮到會佔用資料庫 I/O,為了不影響業務,計劃是 9:00 以後開始遷移,但是 xxx 在 8:00 的時候,嘗試遷移了少部分數據(1000 條),覺得沒啥問題,就開始考慮大批量遷移。

在遷移的過程中,應急群是先反應有小部分用戶出現支付失敗,隨後反應大批用戶出現支付失敗的情況,以及初始化訂單失敗的情況,同時騰訊也開始報警。

然後 xxx 就慌了,立即停止了遷移。本以為停止遷移就就可以恢復了,但是並沒有。後面發生的你們可以腦補一下,當時整個支付系統癱瘓了快一個小時,客服電話都被打爆。

在本地建立一個精簡版的資料庫,並生成了 100w 的數據。模擬線上發生的情況。

CREATE TABLE `order_today` (
`id` varchar(32) NOT NULL COMMENT '主鍵',
`merchant_id` varchar(32) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '商戶編號',
`amount` decimal(15,2) NOT NULL COMMENT '訂單金額',
`pay_success_time` datetime NOT NULL COMMENT '支付成功時間',
`order_status` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '支付狀態  S:支付成功、F:訂單支付失敗',
`remark` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL COMMENT '備註',
`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創建時間',
`update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改時間 -- 修改時自動更新',
  PRIMARY KEY (`id`) USING BTREE,
KEY `idx_merchant_id` (`merchant_id`) USING BTREE COMMENT '商戶編號'
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE order_record like order_today;

把 8 號之前的數據都遷移到 order_record 表中去:

INSERT INTO order_record SELECT
    * 
FROM
    order_today 
WHERE
    pay_success_time < '2020-03-08 00:00:00';

在 Navicat 中運行遷移的 SQL,同時開另個一個窗口插入數據,模擬下單:

從上面可以發現一開始能正常插入,但是後面突然就卡住了,並且耗費了 23s 才成功,然後才能繼續插入。這個時候已經遷移成功了,所以能正常插入了。

在默認的事務隔離級別下:insert into order_record select * from order_today 加鎖規則是:order_record 表鎖,order_today 逐步鎖(掃描一個鎖一個)。

通過觀察遷移 SQL 的執行情況你會發現 order_today 是全表掃描,也就意味著在執行 insert into select from 語句時,MySQL 會從上到下掃描 order_today 內的記錄並且加鎖,這樣一來不就和直接鎖表是一樣了。

這也就可以解釋,為什麼一開始只有少量用戶出現支付失敗,後續大量用戶出現支付失敗,初始化訂單失敗等情況,因為一開始只鎖定了少部分數據,沒有被鎖定的數據還是可以正常被修改為正常狀態。

由於鎖定的數據越來越多,就導致出現了大量支付失敗。最後全部鎖住,導致無法插入訂單,而出現初始化訂單失敗。

由於查詢條件會導致 order_today 全表掃描,什麼能避免全表掃描呢,很簡單嘛,給 pay_success_time 欄位添加一個 idx_pay_suc_time 索引就可以了。

由於走索引查詢,就不會出現掃描全表的情況而鎖表了,只會鎖定符合條件的記錄。

最終的 SQL:

INSERT INTO order_record SELECT
    * 
FROM
    order_today FORCE INDEX (idx_pay_suc_time)
WHERE
    pay_success_time <= '2020-03-08 00:00:00';

使用 insert into tablA select * from tableB 語句時,一定要確保 tableB 後面的 where,order 或者其他條件,都需要有對應的索引,來避免出現 tableB 全部記錄被鎖定的情況。

以上,便是今天的分享,希望大家喜歡,覺得內容不錯的,歡迎點擊「在看」支持,謝謝各位

喜歡文章,點個在看 

相關焦點

  • 因用了Insert into select語句,同事被開除了!
    Insert into select 請慎用,同事因為使用了 Insert into select 語句引發了重大生產事故,最後被開除。某天 xxx 接到一個需求,需要將表 A 的數據遷移到表 B 中去做一個備份。
  • 因用了Insert into select語句,碼農被開除了!
    通過在某度的海洋裡遨遊,他發現了可以使用 insert into select 實現,這樣就可以避免使用網絡 I/O,直接使用 SQL 依靠資料庫 I/O 完成,這樣簡直不要太棒,然後他就被開除了。由於數據資料庫中 order_today 數據量過大,當時好像有 700W 了,並且每天在以 30W 的速度增加。
  • 因用了Insert into select語句,美女同事被開除了!
    通過在Baidu的海洋裡遨遊,她發現了可以使用insert into select實現,這樣就可以避免使用網絡I/O,直接使用SQL依靠資料庫I/O完成,這樣簡直不要太棒了。然後她就被開除了。事故發生的經過。由於數據資料庫中order_today數據量過大,當時好像有700W了並且每天在以30W的速度增加。
  • 使用Insert into select語句時需要注意的事項
    點擊上方"碼之初"關注,···選擇"設為星標"與精品技術文章不期而遇來源:juejin.im/post/5e670f0151882549274a65ef前言  Insert into select通過在Baidu的海洋裡遨遊,他發現了可以使用insert into select實現,這樣就可以避免使用網絡I/O,直接使用SQL依靠資料庫I/O完成,這樣簡直不要太棒了。然後他就被開除了。事故發生的經過。  由於數據資料庫中order_today數據量過大,當時好像有700W了並且每天在以30W的速度增加。
  • MySQL的insert into select 引發鎖表
    我:「insert into select * from 呀!」大佬:「??你是不是不想混了?」又是被大佬嫌棄的一天,為了不捲鋪蓋走人,我決定去學習一下表備份的常見方法。 into t values(null, 1,1);insert into t values(null, 2,2);insert into t values(null, 3,3);insert into t values(null, 4,4);create table t2 like t;執行begin;insert
  • 追加查詢 select into from和insert into select的區別
  • MySQL的SQL語句 - 數據操作語句(7)- INSERT SELECT 語句
    SELECT 語句,可以從 SELECT 語句的結果中快速地將許多行插入到表中,該語句可以從一個或多個表中進行選擇。例如:INSERT INTO tbl_temp2 (fld_id) SELECT tbl_temp1.fld_order_id FROM tbl_temp1 WHERE tbl_temp1.fld_order_id > 100;從 MySQL 8.0.19 開始,可以用 TABLE 語句代替 SELECT,如下所示:TABLE tb 相當於
  • MySQL資料庫Insert語句7種寫法
    簡介很多開發人員工作了幾年之後,都會自嘲,自己啥技術都沒學到,就會CRUD,可是我要說的是,CRUD你真的都會嗎,你在MySQL資料庫中,會幾種insert語句寫法呢。在這裡我會7種寫法,下面我就來給大家分別介紹一下。
  • SQL系列:當INSERT遇到SELECT...
    作為開發,在實際工作中經常會和資料庫打交道,會用高效快捷的sql語句如有神助般,提高工作效率。
  • 為什麼要避免使用「CREATE TABLE AS SELECT」語句
    SQL語句「create table <table_name> as select ...」用於創建普通表或臨時表,並物化select的結果。某些應用程式使用這種結構來創建表的副本。一條語句完成所有工作,因此您無需創建表結構或使用其他語句來複製結構。
  • MySQL實戰中,Insert語句的使用心得總結
    對了,ON DUPLICATE KEY UPDATE為MySQL特有語法,比如在MySQL遷移Oracle或其他DB時,類似的語句要改為MERGE INTO語法,兼容性讓人想罵街。但沒辦法,就像用WPS寫的xlsx用Office無法打開一樣。1-3.插入或替換如果我們想插入一條新記錄(INSERT),但如果記錄已經存在,就先刪除原記錄,再插入新記錄。
  • MySQL實戰中的Insert語句的使用心得
    前言: 提到MySQL的Insert語句,大家肯定不陌生,可以張口就來:不就是insert into table values(xxx,xxx,xxx)嘛!對了,ON DUPLICATE KEY UPDATE 為 MySQL特有語法,比如在MySQL遷移Oracle或其他DB時,類似的語句要改為 MERGE INTO 語法,兼容性讓人想罵街。但沒辦法,就像用WPS寫的xlsx用Office無法打開一樣。
  • insert into與insert overwrite有什麼區別?
    用法1、insert into 語句hive> insert into table user1
  • 快速掌握MySQL資料庫中SELECT語句
    語句中的export_options部分的語法與用在LOAD DATAINFILE語句中的FIELDS和LINES子句中的相同,我們將在MySQL進階_LOAD DATA篇中詳細討論它。而OUTFILE與DUMPFILE的關鍵字的區別是:後前只寫一行到文件,並沒有任何列或行結束。
  • SELECT語句的基本介紹
    SELECT 語句的作用是從資料庫中返回信息一、SELECT基本語句的編寫1.SELECT 語句作用列選擇(投影操作) :能夠使用 SELECT 語句的列選擇功能選擇表中的列,這些列是我們想要用查詢返回 的。
  • SQL注入語句2
    猜內容還有  and (select top 1 asc(mid(password,1,1)) from admin)>50  用ASC碼算and 1=(select top 1 count(*) from Admin where Asc(mid(pass,5,1))=51) -- 這個查詢語句可以猜解中文的用戶和密碼.只要把後面的數字換成中文的ASSIC碼就OK.
  • SQL語句之Select
    語句:select 姓名,班級 from 學生註:欄位的順序任意,各欄位間用逗號隔開。此語句會顯示「學生」表中所有學生的姓名及班級。語句:select 姓名,班級 from 學生 where 性別="男"
  • MySQL INSERT的4種形態
    墨墨導讀:MySQL中常用的四種插入數據的語句:insert ,insert select,replace into
  • INSERT...ON DUPLICATE KEY UPDATE歷險記
    由於需要考慮到屬性的新增和修改並存的情況,自然而然想到了INSERT...ON DUPLICATE KEY UPDATE這個 SQL ,一條語句就可以搞定查詢是否存在和插入或者更新這幾個步驟。一、語句的作用如果在 INSERT 語句末尾指定了 ON DUPLICATE KEY UPDATE ,並且插入行後會導致在一個 UNIQUE 索引或 PRIMARY KEY 中出現重複值,則在出現重複值的行執行 UPDATE ,如果不會導致唯一值列重複的問題,則插入新行。
  • 常用SQL語句分享
    一、本期小編為大家分享一些常用的SQL語句,能夠較熟練的掌握一定的SQL語句,在做數據維護的時候往往可以達到事半功倍的效果。當然,語句在實際運用中需要舉一反三,使用各種條件組合來實現。小編水平有限,如有錯漏,請不吝賜教。