經常做數據處理的夥伴們肯定會有這樣一種體會：最近一周內的數據會被經常使用到，而比如最近幾周的數據使用率會有下降，每周僅僅被訪問幾次;在比如3月以前的數據使用率會大幅下滑，存儲的數據可能一個月才被訪問幾次。
這就產生了一種熱和冷數據，對需要頻繁訪問的數據我們稱之為「熱」數據，反之我們稱之為」冷」數據，而處於中間的數據我們稱之為」溫」數據。
在數據被視為公司資產的時代，每個公司基本都會保存最近數年的數據，而這些數據尤其是冷數據的累積也給存儲平臺帶來了甜蜜的負擔。下面就來分享下如何解決這些「負擔」。
首先如何定義數據為冷熱數據呢，eBay公司根據數據年齡和使用頻率來定義不失為一種辦法，下圖為eBay關於數據溫度的定義
從hadoop2.6開始，HDFS更好的支持了這種冷熱數據的分離存儲，我們可以按HDFS路徑指定其存儲策略，目前HDFS支持的存儲策略有：HOT、WARM、COLD、All_SSD、One_SSD、Lazy_Persist,我們著重介紹SSD相關的存儲策略，具體如下：
All_SSD - 用於將所有副本存儲在SSD中One_SSD - 用於將其中一個副本存儲在SSD中。剩餘的副本存儲在DISK中Lazy_Persist - 用於在內存中寫入單個副本的塊。該副本首先寫入RAM_DISK，然後在DISK中延續創建文件或目錄時，其存儲策略未指定。可以使用「hdfs dfsadmin -setStoragePolicy 」命令指定存儲策略。文件或目錄的有效存儲策略由以下規則解決。
如果文件或目錄特定於存儲策略，則返回。對於未指定的文件或目錄，如果是根目錄，則返回默認存儲策略。否則，返回其父級的有效存儲策略。我們在實踐過程中，因為有一部分實時分析的需求，一部分是歷史數據的保存，歷史數據很少參與計算，只需偶爾查詢會用到。那麼對於歷史數據來說，我們可以使用一批計算能力較弱，而硬碟較多、容量較大的SATA盤，而實時分析的場景，需要高性能的計算力和硬碟吞吐能力，我們選用SSD硬碟來支撐，此外HDFS還提供了內存存儲類型，但我們的內存還是有限，暫未使用到。實際上，我們的每臺伺服器的12塊硬碟slot中有3個是SSD，其餘9個是SATA。我們實踐結果表明，使用這種策略的效果比以前好了4倍以上。
要使用存儲策略，我們需要在在每個數據節點上hdfs-site.xml中參數dfs.datanode.data.dir配置的由逗號分隔的存儲位置使用的存儲類型進行標記。例如：
使用[DISK]file:///dfs/dn來標識這個存儲位置為普通硬碟使用[SSD]file:/// dfs/dn來標識這個存儲位置為SSD硬碟此外，默認情況下的存儲格式為DISK。
下面介紹設置存儲策略命令：
hdfsstoragepolicies -setStoragePolicy -path -policy 相應的獲取存儲策略命令為：
hdfs storagepolicies -getStoragePolicy -path 總結下：我們可以在一個限定的Hadoop集群中進行設置不同的磁碟使用不同的存儲策略，還可以利用API將數據存儲到不同的存儲層。HDFS設計的詳細存儲類型和存儲策略如下表，有興趣的同學可以看看：
註：HDFS新加的ARCHIVE存儲類型, 它是一種支持PB級的高容量存儲但很少的 計算能力，用於歸檔數據使用，從上圖可以看出冷數據適合使用archive存儲類型。