基于多指標的數(shù)據(jù)分級存儲策略
分級存儲采用的存儲方式與選擇的存儲設備的依據(jù)是數(shù)據(jù)的重要性、訪問頻次等多個指標。多指標的數(shù)據(jù)信息分級策略,是指根據(jù)基于數(shù)據(jù)的生命周期、上次訪問時間、大小、數(shù)據(jù)信息的關聯(lián)性等多個參數(shù)對數(shù)據(jù)的價值進行分級。
如果數(shù)據(jù)一創(chuàng)建就能預測其訪問特性進而給出相應級別,將能夠減少不必要的遷移顛簸。因為數(shù)據(jù)分級變化意味著數(shù)據(jù)要在不同級別的存儲設備間遷移,以保證合適的數(shù)據(jù)在合適的時間存放在合適的存儲級別上。
在實際應用中,如能充分挖掘數(shù)據(jù)的靜態(tài)特征和訪問的動態(tài)特征為基礎的分級將能獲得更好的效果。如以文件分級為例,第一,文件系統(tǒng)的靜態(tài)特征,如大小文件的分布;第二,文件系統(tǒng)的宏觀訪問規(guī)律,如大小文件的訪問次數(shù)分布;第三,文件個體的訪問模式,如是否具有訪問局部性;第四,文件之間的訪問關聯(lián)特征,如同一作業(yè)中的一個文件被訪問,另一個文件何時被訪問。
根據(jù)這些文件特征和存儲設備的分級情況,確定文件分級標準及文件分級變化的觸發(fā)條件,從而可以在合適的時間把合適的文件存放在合適的存儲級別上。
在線遷移中的一致性保證技術
在分級存儲系統(tǒng)中,不可避免地要在不同存儲設備上進行數(shù)據(jù)遷移,數(shù)據(jù)遷移可分為升級遷移和降級遷移。升級遷移是指數(shù)據(jù)由慢速存儲設備和低一級存儲設備往快速存儲設備或高一級的存儲設備遷移,降級遷移正好相反。但由于遷移目的不同,這兩種遷移有不同的特征。
對于降級遷移來說,很可能在遷移的過程中并不會有I/O請求發(fā)生;但對于升級遷移來說,遷移幾乎是發(fā)生在I/O最密集的時候,如何保證在遷移過程中,盡可能減小遷移進程對前臺I/O的影響,這是分級存儲系統(tǒng)需要解決的問題之一。
目前可以采用讀寫鎖來保證數(shù)據(jù)一致性,以數(shù)據(jù)塊為調度粒度來減小對前臺I/O性能的影響。遷移進程為當前數(shù)據(jù)塊申請讀寫鎖,以保證遷移進程與寫操作進程之間的數(shù)據(jù)一致性。
數(shù)據(jù)自動遷移存儲技術
分級存儲中數(shù)據(jù)需要在線遷移,這就需要考慮數(shù)據(jù)移動對前臺I/O負載的性能影響。數(shù)據(jù)自動遷移技術是指最大限度的降低數(shù)據(jù)遷移動作本身對計算結點的I/O性能影響,且對前端透明,它根據(jù)前臺I/O負載的變化,來調整數(shù)據(jù)遷移速率,使得數(shù)據(jù)遷移動作本身對存儲系統(tǒng)的QoS的影響非常小,同時使得數(shù)據(jù)遷移任務能夠盡快完成。數(shù)據(jù)自動遷移存儲涉及的主要技術有:數(shù)據(jù)遷移的速率控制與調度、數(shù)據(jù)遷移對應用的延遲隱藏、文件訪問塊位置序列預測等等。
在實際應用中,當數(shù)據(jù)信息達到遷移觸發(fā)條件時,數(shù)據(jù)遷移結點自動遷移數(shù)據(jù),從而實現(xiàn)數(shù)據(jù)信息的降級或升級存儲,如數(shù)據(jù)升級遷移對用戶的延遲隱藏技術使得應用程序感受不到數(shù)據(jù)升級遷移的延遲,并使整個存儲系統(tǒng)的性能與最高性能級別的存儲設備相當。
目前,分級存儲管理更多從降低成本、不影響數(shù)據(jù)應用效果、提高效率的角度解決數(shù)據(jù)的存儲問題。隨著單盤成本的下降。
有業(yè)內(nèi)專家預測,不久的將來,近線存儲技術將取代數(shù)據(jù)遷移技術,用戶將以模擬海量空間的、更為安全可靠的磁盤介質保存歷史數(shù)據(jù)。而成熟完善的數(shù)據(jù)遷移技術將更好地融入到近線存儲設備中,為分級存儲的發(fā)展起到關鍵的推動作用。