線上排查|線上Redis負載暴漲100%,業務中斷,這樣排查很贊!

2021-01-11 騰訊網

HI! 我是小小,今天是本周的第六篇,本篇將會著重講解關於Redis負載的問題。

網頁監控

通過阿里的Grafana監控,發現伺服器的CPU負載,內存,網絡輸入輸出相當正常,所以Redis出現問題。使用單節點的32M 16GB的阿里雲Redis,登錄網頁,查看性能監控,發現CPU使用飆升到100%;

QPS從1000升高到6000,但是遠遠低於極限值,連接數量從0升高到3000,也就是遠遠低於極限值。臨時方案:先短期租用一臺Redis,臨時更換Redis配置,重啟應用。儘快排查

伺服器命令監控

登錄Redis-cli,通過info命令查看伺服器狀態和命令統計,總結異常點:

查詢Reduis慢指令slowlog,以及keys_並且耗費時間嚴重,在當前業務下執行keys_會導致阻塞業務,導致查詢國漫,cpu過稿。

查看redis指令執行情況,排除exec,flushall指令,業務使用指令過程中耗時嚴重的有setnx有7.5千萬次調用平均耗時6s,setex有8.4萬次調用平均耗時7.33s,del有2.6億吃調研耗時69s,hegtall有14億次調用耗時20s,keys有2千萬次調用平均耗時 3740s。通常而言,這些指令耗時與 value 大小呈正比,所以可以排查這些指令相關的數據近期有沒有較大增長。或者近期有沒有業務改造,會頻繁使用上述指令,也會造成 cpu 高。

通過 info commandstats 可以查看 Redis 命令統計信息,其中命令格式是

調用次數、耗費CPU時間、每個命令平均耗費CPU(單位為微秒)

通過 slowlog 命令查看慢命令(默認超過 10ms 就會被記錄到日誌,只會記錄其命令執行的時間,不包含 IO 往返操作,也不記錄單由網絡延遲引起的響應慢)slowlog命令格式如下

圖中各欄位表示的是:

1=日誌的唯一標識符

2=命令的執行時間點,以UNIX時間戳表示

3=查詢命令執行時間,以微妙為單位,中的是230ms

4=執行的命令,以數組的形式排列。完整的命令是 keys mucury:*所以通過這些參數,基本可以確定,是突然有大量的keys *命令導致CPU負載升高,導致響應延遲,問題我們應用中沒有開放keys *命令問題解決

關於作者

我是小小,雙魚座的程序猿,我麼下期再見~bye

END

「 往期文章 」

相關焦點

  • 伺服器性能指標 負載(Load)分析及問題排查
    每個指標都有其獨特的意義,很多時候在線上出現問題時,往往會伴隨著某些指標的異常。大部分情況下,在問題發生之前,某些指標就會提前有異常顯示。對於這些指標的理解和查看、異常解決等,是程式設計師們重要的必備技能。本文,主要來介紹一下一個比較重要的指標——機器負載(Load),主要涉及負載的定義、查看負載方式、負載飆高排查思路等。
  • 氣相故障排查,原來可以這麼簡單,不服來挑戰
    你的故障排查能力如何,來試試吧掌握了以上3個套路,故障排查就可以很簡單怎麼樣?是否還意猶未盡,腦子裡還是有很多小問號???如果您想對氣相故障排查進行系統的學習希望學完以後,可以僅限100個名額28天學習有效期,線上授課,著重故障排查思路的講解,可以反覆跟學跟練班主任和專業輔導老師全程跟蹤學習進度和學習效果,微信群答疑和作業點評詳情請戳以下連結
  • CAN網絡故障排查方法
    為保證 CAN 線終端電阻為 60Ω ,單獨檢查 ECM 和 IP 時需往診斷接口處並聯 120Ω 電阻單獨檢測其他 ECU 需往診斷接口處並聯 60Ω 電阻。 使用診斷儀讀數據流的功能進行測試 ECU CAN 通信是否存在異常,測試中終端電阻的要求與排查要點 9 中的要求一樣。
  • 8市州繼續暴雨,國道108線中斷!未來10天最關鍵
    國道108線石棉境內突發16處自然災害 道路交通中斷 8月12日,受夜間降雨影響,國道108線石棉境內慄子坪段發生泥石流、塌方、滑坡等自然災害共16處,交通已被完全阻斷,道路無法通行。
  • 線上線下齊抓共管 持續規範網絡餐飲服務經營行為
    為有效防範風險,持續規範網絡餐飲服務經營行為,明光市市場監管局在全市範圍內開展網絡餐飲食品安全突出問題專項治理行動,堅持「線上線下齊抓共管」原則,淨化網絡餐飲服務食品消費環境,切實保障廣大消費者「舌尖上的安全」。 嚴把「線上」入網關口。壓實網絡餐飲服務第三方平臺食品安全責任,圍繞第三方平臺入網審查、公示等情況對「餓了麼」、「美團外賣」兩家網絡餐飲服務第三方平臺進行了檢查。
  • 線上「潘多拉魔盒」打開
    實體零售線上剛需突發促其向全渠道發展實體零售尤其是超市業態在疫情期間線上的剛需爆發促其必須發展線上,目前,幾乎所有的實體零售業態都開展了線上業務,這就是我說的線上的「潘多拉魔盒」已經打開,全域性連鎖商、區域領先型連鎖商和專業性品牌連鎖商,尤其是店鋪數量眾多的便利店等都是從「潘多拉魔盒」中蹦出來的各路神仙會開打線上精彩紛呈的大戰。
  • CCA TV「冠上談心」線上直播會議報導
    3月26日上午,CCA TV中國心血管健康聯盟遠程教育平臺在線直播「冠上談心」線上會議順利召開。該會議由中國心血管健康聯盟、蘇州工業園區心馨心血管健康基金會主辦,並邀請多地專家在線討論,分享新冠疫情期間心血管疾病的診治經驗。
  • 地鐵屏蔽門故障排查關鍵步驟
    隨著地鐵城軌的廣泛鋪設,地鐵的安全性也得到人們的廣泛關注,尤其是地鐵屏蔽門的安全運行,直接關係到人們的財產安全,因此,當地鐵屏蔽門出現故障時,如何高效地完成故障排查?下面將介紹常見的排查關鍵步驟,輕鬆快速地完成故障排查。 地鐵屏蔽門採用CAN總線進行通訊,當出現偶發性故障時,人工排查效率較低,嚴重影響人們的出行。
  • 電腦開機遇到黑屏,不要急著送去維修,簡單幾步自己排查也能搞定
    只要簡單幾步,自己排查一下,也有可能把問題解決。這就需要把電腦主機斷電,把顯示器的電源線和VGA數據線取下,重新插上去重新啟動電腦試一試。如果還是沒有反應,那就是電源線或數據的問題,重新更換一條就可以了。
  • 莊河市局線上線下緊密結合 服務轄區群眾
    幫助1000餘名老人註冊「健康碼」,為200餘名殘障人士登門辦理戶政業務,為外來務工人員辦理居住證4000餘張……2020年以來,遼寧省莊河市公安局治安大隊在大力推進網絡化便民服務的基礎上,根據實際情況,不忘以傳統方式服務群眾,多舉措服務幫助特殊群體跨越「數字鴻溝」。
  • Windows主機入侵痕跡排查辦法
    為了確保實施人員在有限的時間範圍內,可以高效且保證質量的前提下完成主機入侵痕跡排查工作,本人總結了自己的一些經驗,下面的內容特此分享主機入侵痕跡排查服務中重點、關鍵的排查項,僅作為參考使用。 這種情況一般都比較正常,只有80和443埠,一般都是正常業務開放埠。
  • 用好的用戶體驗解決:「線下」至「線上」的平滑過渡
    ,則會中斷式的提醒乘客完成支付後,結束上一次交易後才可以再繼續打車;可見,這一簡單的流程設計,能以平臺為推動力,通過主幹流程的設計解決線上功能用戶不習慣的難題。將線下用戶主動驅動流程的方式,結合平臺的監控和引導,驅動用戶熟悉線上流程,逐漸從線下轉移至線上,完成打車行為。
  • 43項公積金業務可線上辦理
    43項公積金業務 可線上辦理真正讓繳存單位和職工「零跑腿」合肥市住房公積金管理中心繼1月1日起開通住房公積金異地轉移接續線上申請服務後,實現單位事項和個人事項兩大類43項住房公積金繳存和主要提取業務「足不出戶」線上辦理。
  • 全國排查地鐵電梯 奧的斯513MPE型扶梯被叫停
    昨日,北京市政府關於地鐵四號線扶梯事故新聞發布會上,北京京港地鐵新聞發言人楊苓表示通知同時要求全國各地的質監部門要督促地鐵、機場、商場、車站等公共場所自動扶梯的使用單位,立即對所使用的自動扶梯開展全面排查。張巨明說,地鐵4號線運行的奧的斯513MPE型號電梯共有14臺,其中西直門站6臺、動物園站2臺、宣武門站2臺、菜市口站2臺、海澱黃莊站2臺,目前已按照國家質檢總局的要求,正進行事故調查和電梯的安全隱患排查。
  • 陝西地電:佛坪分公司排查除隱患 電網穩運行
    「吳所,這零線上怎麼會帶有電壓!」,「零線帶電?不會吧,這可不是小事兒」。7月12日,佛坪分公司西岔河供電所運維人員在對三教殿村亂石窖組配變例行檢查時,意外發現低壓出線零線端子上的零線竟然帶有電壓,才出現了這段對話。
  • 數位化地圖排查人口、AI匹配復工人員,杭州人社用上「黑科技」助力...
    人社數位化地圖提供排查信息1500萬餘條杭州是典型的人口輸入型城市,疫情來臨,即將面對數以百萬人的返程返崗,如何切斷輸入型疫情,這個題杭州如何破?對此,杭州人社運用了大數據資源,網格化劃分,應對流動防疫,交出了自己的答卷。
  • 地鐵9號線昨突發信號故障,外部強信號源惹的禍
    昨天(7月1日)下午16:14,9號線松江新城站至佘山站區段突發信號類故障,導致該區段雙向列車無法正常運營,車輛運行間隔從原來2分30秒被迫拉長到8分鐘左右,大幅影響客流輸送,造成沿線不少市民乘客出行延誤或受阻。
  • redis - aof持久化介紹
    AOF文件保存了歷史所有的操作過程;當redis server需要數據恢復的時候,可以直接從該文件中讀取日誌進行重做就可以還原。AOF配置打開aof配置,只要在配置文件裡面寫入對應的參數開關,並寫上對應的aof文件的位置即可。
  • Demystifying EMC 2021將於線上盛大舉行
    2021年,第七屆Demystifying EMC會議將首次向全球參會者開放,在羅德與施瓦茨的數位化總部以線上虛擬形式舉辦,會議將涵蓋設計、測試和法規一致性等主題。 2021年2月9日至11日,此次擴展為三天的線上會議將包括演講直播、培訓和互動環節,並同時進行虛擬展示。 Demystifying EMC最初是為期一天的會議,過去七年來,羅德與施瓦茨已成功將其打造成英國EMC領域的主要行業活動之一,此前會議每年吸引約500名與會者。
  • 深圳地鐵一軌道工程事故已致2死 全市建築工地排查隱患
    中新網9月13日電 深圳市住房和建設局13日在官網發布《關於地鐵20號線「9·12」龍門吊傾覆事故的通報》(下稱《通報》)。《通報》稱,9月12日,深圳地鐵20號線一期機場北站與重慶路站間軌道工程發生龍門吊傾覆事故,造成2人死亡,6人受傷。