redis的過期策略和內存淘汰策略

2020-09-05 yang41481

最近有用到redis的zset結合定時器做延遲數據的狀態變更，同事說你怎麼不用key過期監聽呢，想想也是，自己隨後實驗了下這個key過期，其實確實能跑通。但是內心有點堪憂，會不會吃內存嚴重和耗CPU。苦於任務沒有過多的時間來做這塊內存和cpu損耗的驗證，遂放棄了這個搞法，留待以後實驗。

在網上找了些key過期的內容，順帶翻出了內存淘汰策略，以備後用：

過期策略

Redis是key-value資料庫，我們可以設置Redis中緩存的key的過期時間。Redis的過期策略就是指當Redis中緩存的key過期了，Redis如何處理。過期策略通常有以下三種：

  • 定時過期：每個設置過期時間的key都需要創建一個定時器，到過期時間就會立即清除。該策略可以立即清除過期的數據，對內存很友好；但是會佔用大量的CPU資源去處理過期的數據，從而影響緩存的響應時間和吞吐量。
  • 惰性過期：只有當訪問一個key時，才會判斷該key是否已過期，過期則清除。該策略可以最大化地節省CPU資源，卻對內存非常不友好。極端情況可能出現大量的過期key沒有再次被訪問，從而不會被清除，佔用大量內存。
  • 定期過期：每隔一定的時間，會掃描一定數量的資料庫的expires字典中一定數量的key，並清除其中已過期的key。該策略是前兩者的一個折中方案。通過調整定時掃描的時間間隔和每次掃描的限定耗時，可以在不同情況下使得CPU和內存資源達到最優的平衡效果。
    (expires字典會保存所有設置了過期時間的key的過期時間數據，其中，key是指向鍵空間中的某個鍵的指針，value是該鍵的毫秒精度的UNIX時間戳表示的過期時間。鍵空間是指該Redis集群中保存的所有鍵。)

Redis中同時使用了惰性過期和定期過期兩種過期策略。

內存淘汰策略

Redis的內存淘汰策略是指在Redis的用於緩存的內存不足時，怎麼處理需要新寫入且需要申請額外空間的數據。

  • noeviction：當內存不足以容納新寫入數據時，新寫入操作會報錯。
  • allkeys-lru：當內存不足以容納新寫入數據時，在鍵空間中，移除最近最少使用的key。
  • allkeys-random：當內存不足以容納新寫入數據時，在鍵空間中，隨機移除某個key。
  • volatile-lru：當內存不足以容納新寫入數據時，在設置了過期時間的鍵空間中，移除最近最少使用的key。
  • volatile-random：當內存不足以容納新寫入數據時，在設置了過期時間的鍵空間中，隨機移除某個key。
  • volatile-ttl：當內存不足以容納新寫入數據時，在設置了過期時間的鍵空間中，有更早過期時間的key優先移除。

ps

內存淘汰策略用於處理內存不足時的需要申請額外空間的數據；過期策略用於處理過期的緩存數據。內存淘汰策略的選取並不會影響過期的key的處理。

相關焦點

  • Redis的過期鍵刪除策略和數據逐出策略
    過期鍵的刪除策略如果Redis的一個鍵是過期的，那它到了過期時間之後並不是馬上就從內存中被刪除，而是採用了三種不同的刪除策略：立即刪除惰性刪除定時刪除其中第二種為被動刪除，第一種和第三種為主動刪除，而且第一種實時性更高。
  • 談談 Redis 的過期策略
    要搞清楚這些，就要了解 Redis 的過期策略和內存淘汰機制。Redis採用的是定期刪除 + 懶惰刪除策略。Redis 為了限制最大使用內存，提供了 redis.conf 中的配置參數 maxmemory。
  • Redis5.0數據淘汰策略詳解(最新版本,面試常問)
    作為一個內存資料庫，redis在內存空間不足的時候，為了保證命中率，就會選擇一定的數據淘汰策略，這篇文章主要講解常見的幾種內存淘汰策略。和我們作業系統中的頁面置換算法類似。一、參數設置我們的redis資料庫的最大緩存、主鍵失效、淘汰機制等參數都是通過配置文件來配置的。
  • Redis內存淘汰機制
    從已設置過期時間的數據集中挑選將要過期的 Key 淘汰volatile-random從已設置過期時間的數據集中挑選任意 Key淘汰volatile-lfu從已設置過期時間的數據集中挑選最不經常使用的 Key 淘汰allkeys-lru當內存不足寫入新數據時淘汰最近最少使用的 Keyallkeys-random當內存不足寫入新數據時隨機選擇任意 key淘汰allkeys-lfu當內存不足寫入新數據時移除最不經常使用的
  • 你從未了解過的Redis內存淘汰機制
    Redis是基於內存存儲，常用於數據的緩存，所以Redis提供了對鍵的過期時間的設置，實現了幾種淘汰機制便於適應各種場景。設置過期時間我們可以在設置鍵時設置expire time，也可以在運行時給存在的鍵設置剩餘的生存時間，不設置則默認為-1，設置為-1時表示永久存儲。
  • Redis過期鍵刪除策略
    在這三種策略中，第一種和第三種為主動刪除策略，而第二種則為被動刪除策略。定時刪除定時刪除策略對內存是最友好的：通過使用定時器，定時刪除策略可以保證過期鍵會儘可能快地被刪除，並釋放過期鍵所佔用的內存。另一方面，定時刪除策略的缺點是，它對CPU時間是最不友好的：在過期鍵比較多的情況看下，刪除過期鍵這一行為可能會佔用相當一部分CPU時間，在內存不緊張但是CPU時間非常緊張的情況下，將CPU時間用在刪除和當前無關的過期鍵上，無疑會對伺服器的響應時間和吞吐量造成影響。
  • redis——內存滿了應該怎麼辦?
    我們的redis使用的是內存空間來存儲數據的，但是內存空間畢竟有限，隨著我們存儲數據的不斷增長，當超過了我們的內存大小時，即在redis中設置的緩存大小（maxmeory 4GB），redis會怎麼處理呢？今天就來聊聊redis的緩存淘汰策略。
  • 「承」Redis 原理篇——Redis 的內存回收機制
    內存回收主要分為兩類，一類是 key 過期，一類是內存使用達到上限（max_memory）觸發內存淘汰。過期策略要實現 key 過期，我們有幾種思路。定時過期（主動淘汰）每個設置過期時間的 key 都需要創建一個定時器，到過期時間就會立即清除。該策略可以立即清除過期的數據，對內存很友好；但是會佔用大量的 CPU 資源去處理過期的數據，從而影響緩存的響應時間和吞吐量。
  • Redis緩存失效策略思考
    Redis採用了兩種策略：定期刪除和惰性刪除。(1) 定期刪除Redis每隔一段時間就檢查哪些KEY已經過期，如果過期就刪除。但是我們來設想一個問題：如果Redis存儲KEY非常多，僅僅超時檢查這項工作就會非常耗費資源並嚴重影響服務能力。
  • 過期處理:Redis內部的清潔工,有效的管理和清理內存
    三種過期策略：定時刪除：在設置key過期時間的同時，為該key創建一個定時器，key過期時進行刪除。優點：內存釋放及時。定期刪除：每隔一段時間執行一次過期key的刪除。優點：限制了刪除時長和頻率，減少刪除操作對cpu的佔用。-- 定時刪除的缺點定期刪除了過期的key。
  • 初識Redis
    （也是redis最常用的功能，比如電商中緩存商品信息，庫存信息，促銷信息等）。 6種內存淘汰策略，當內存滿的時候才會選取策略刪除keyvolatile-lru：從已設置過期時間的數據集中挑選最近最少使用的數據淘汰volatile-ttl：從已設置過期時間的數據集中挑選
  • Redis持久化策略
    如果僅將數據存在內存，一旦宕機重啟，數據全部丟失。1 持久化概論1.1 什麼是持久化redis所有數據保持在內存中，對數據的更新將異步地保存到磁碟上。如果希望Redis僅作為純內存的緩存來用，亦可禁用RDB和AOF。 可以在同一實例中同時使用AOF和RDB。這種情況下，當Redis重新啟動時，AOF文件將用於重建原始數據集，因為它可以保證是最完整的。
  • Redis單機資料庫持久化與過期建刪除
    1、redis單機資料庫與過期鍵刪除策略下面讓我們來自轉入正題，redis的過期鍵刪除策略，我們知道當我們安裝redis後，它默認有16個子資料庫，我們可以通過一些命令插入刪除鍵值對，也可以切換資料庫，但我們今天討論的重點不在這兒，在redis中有一類比較特殊的鍵值對，那就是被expire命令設置了過期時間的鍵值對，他們只在規定時間內有效，最最常見的應用實例便是驗證碼，在生活中我們經常需要驗證碼
  • Redis的超時命令和垃圾回收策略
    當程序編寫不當或考慮欠缺的時候（比如讀入大文件），內存就可能存儲不下運行所需要的數據，那麼 Java 虛擬機就會拋出內存溢出的異常而導致服務失敗。同樣，Redis 也是基於內存而運行的數據集合，也存在著對內存垃圾的回收和管理的問題。
  • 100億內存只需要100MB內存？這個難道離不開Redis？
    5、redis的過期策略以及內存淘汰機制分析:這個問題其實相當重要，到底redis有沒用到家，這個問題就可以看出來。比如你redis只能存5G數據，可是你寫了10G，那會刪5G的數據。怎麼刪的，這個問題思考過麼？
  • 論程序的健壯性——就看Redis
    一、Redis的內存管理策略內存永不溢出Redis主要有兩種策略機制來保障存儲的key-value數據不會把內存塞滿，它們是：過期策略和淘汰策略。因此redis中所有定時執行的事件任務都在serverCron中執行。了解完Redis的三大核心結構後，咱們回到「過期策略」的具體實現上，其實Redis主要是靠兩種機制來處理過期的數據被清除：定期過期（主動清除）和惰性過期（被動清除）。
  • 每日一題之 Redis
    Redis 的數據過期策略Redis 中數據過期策略採用定期刪除+惰性刪除策略定期刪除策略：Redis 啟用一個定時器定時監視所有的 key，判斷key是否過期，過期的話就刪除。這種策略可以保證過期的 key 最終都會被刪除，但是也存在嚴重的缺點：每次都遍歷內存中所有的數據，非常消耗 CPU 資源，並且當 key 已過期，但是定時器還處於未喚起狀態，這段時間內 key 仍然可以用。惰性刪除策略：在獲取 key 時，先判斷 key 是否過期，如果過期則刪除。
  • 從零手寫緩存框架(12)redis過期隨機特性詳解及實現
    java從零手寫實現redis（二）redis expire 過期原理java從零手寫實現redis（三）內存數據如何重啟不丟失？java從零手寫實現redis（四）添加監聽器java從零手寫實現redis（五）過期策略的另一種實現思路java從零手寫實現redis（六）AOF 持久化原理詳解及實現java從零開始手寫redis（七）LRU 緩存淘汰策略詳解java從零開始手寫redis（八）樸素 LRU 淘汰算法性能優化第二節中我們已經初步實現了類似
  • 「系統架構」如何保證Redis中的數據都是熱數據？
    當 Redis 使用的內存超過設置的最大內存時，會觸發 Redis 的 key 淘汰機制，以保留最活躍的數據。在 Redis 中，有六種淘汰策略：noeviction ：不刪除策略。當達到最大內存限制時，如果需要使用更多內存，則直接返回錯誤信息（redis默認淘汰策略）allkeys-lru：在所有key中優先刪除最近最少使用（less recently used，LRU）的key。
  • Redis面試題
    本文圍繞以下幾點進行闡述1、為什麼使用redis2、使用redis有什麼缺點3、單線程的redis為什麼這麼快4、redis的數據類型，以及每種數據類型的使用場景5、redis的過期策略以及內存淘汰機制6、redis和資料庫雙寫一致性問題7、如何應對緩存穿透和緩存雪崩問題8、如何解決redis的並發競爭問題