面向海量數(shù)據(jù)的云存儲技術研究

　　當今社會發(fā)展的主題是經(jīng)濟的快速發(fā)展，伴隨著Internet技術的快速推進，數(shù)據(jù)量更是呈現(xiàn)出爆炸式的增長。隨著數(shù)據(jù)量的急劇增長，對所需的存儲系統(tǒng)有更高的要求———更大存儲容量、更強的性能、更高的安全性級別、進一步智能化等，傳統(tǒng)的SAN 或NAS 存儲技術面對PB 級甚至EB 級海量數(shù)據(jù)，存在容量、性能、擴展性和費用上的瓶頸，已經(jīng)無法滿足新形勢下數(shù)據(jù)存儲要求。因此，為了應對不斷變大的存儲容量、不斷加入的新型存儲設備、不斷擴展的存儲系統(tǒng)規(guī)模，云存儲作為一種全新的解決方案被提出，備受業(yè)界的認可和關愛。

　　1.云存儲概念

　　云存儲是在云計算概念上延伸和發(fā)展出來的一個新概念，專注于解決云計算中海量數(shù)據(jù)的存儲挑戰(zhàn)，它不但能夠給云計算服務提供專業(yè)的存儲解決方案，而且還可以獨立的發(fā)布存儲服務。云存儲是指綜合分布式文件系統(tǒng)、集群應用和網(wǎng)格技術等技術， 通過應用軟件讓網(wǎng)絡中存在的大量的、不同類型的存儲設備協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。

　　云存儲的本質是一種可擴展、高速、低成本的基于Web的特殊形式的實用型服務，是一種服務理念，而不是存儲，不是一些具體的設備，它提供了多個用戶通過互聯(lián)網(wǎng)連接訪問共享存儲池的能力。用戶不需要了解系統(tǒng)是怎么構成的，也不需要了解怎么提供存儲，所有設備對用戶來說都是完全透明的，任何一個經(jīng)授權的合法用戶無論在何方都可以通過網(wǎng)絡與云存儲連接，享用云服務。

　　2.云存儲的結構模型

　　云存儲是一個以存儲設備為核心，由多部分組成的復雜系統(tǒng)，通過一些應用軟件來對外提供服務。其結構模型由以下四層組成。

　　2.1 存儲層

　　云存儲中最基礎的部分是存儲層， 位于云存儲的最底層。該層可有多種存儲設備供選擇使用，可以是IP 存儲設備，也可以是DAS 存儲設備，或者是光纖通道存儲設備。云存儲中的存儲設備種類、數(shù)量眾多，并且分布在不同地理位置，它們之間通過互聯(lián)網(wǎng)、光纖通道網(wǎng)絡等各種網(wǎng)絡連接在一起。

　　2.2 基礎管理層

　　云存儲中比較難實現(xiàn)的部分是基礎管理層，也是云存儲中最核心的一層。應用集群、分布式文件系統(tǒng)、網(wǎng)格計算等技術，通過基礎管理層來實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作，使得這些設備對外向用戶提供一致服務。為了保護用戶數(shù)據(jù)的安全性和私密性， 云存儲使用了數(shù)據(jù)加密技術、內容分發(fā)技術、數(shù)據(jù)備份和容災技術等，使得用戶的數(shù)據(jù)不被竊取、泄密或丟失。

　　2.3 應用接口層

　　云存儲最靈活多變的部分是應用接口層。云存儲服務商根據(jù)實際業(yè)務需求，可以開發(fā)遠程數(shù)據(jù)備份、視頻點播平臺等不同類型的服務接口，提供相應的應用服務。

　　2.4 訪問層

　　云存儲的要求是只有經(jīng)過授權的用戶才可以通過標準的應用接口登陸系統(tǒng)，才能享用里面的各項服務，但是服務商所提供的訪問手段和訪問類型因采用的手段不同而不同。

　　3.云存儲關鍵技術

　　3.1 存儲虛擬化技術

　　存儲虛擬化技術是云存儲的核心技術。通過存儲虛擬化方法，把不同廠商、不同型號、不同通信技術、不同類型的存儲設備的互聯(lián)起來，將系統(tǒng)中各種異構的存儲設備映射為一個統(tǒng)一的存儲資源池。存儲虛擬化技術能夠對存儲資源進行統(tǒng)一分配管理，又可以屏蔽存儲實體間的物理位置以及異構特性，實現(xiàn)了資源對用戶的透明性，降低了構建、管理和維護資源的成本，從而提升云存儲系統(tǒng)的資源利用率。

　　3.2 分布式存儲技術

　　分布式存儲是通過網(wǎng)絡使用服務商提供的各個存儲設備上的存儲空間，并將這些分散的存儲資源構成一個虛擬的存儲設備，數(shù)據(jù)分散的存儲在各個存儲設備上。它所涉及的主要技術有網(wǎng)絡存儲技術、分布式文件系統(tǒng)和網(wǎng)格存儲技術等，利用這些技術實現(xiàn)云存儲中不同存儲設備、不同應用、不同服務的協(xié)同工作。

　　3.3 重復數(shù)據(jù)刪除技術

　　隨著數(shù)據(jù)中重復數(shù)據(jù)的數(shù)據(jù)量不斷增加，會導致重復的數(shù)據(jù)占用更多的空間。重復數(shù)據(jù)刪除技術一種非常高級的數(shù)據(jù)縮減技術，可以極大的減少備份數(shù)據(jù)的數(shù)量，通常用于基于磁盤的備份系統(tǒng)，通過刪除運算，消除冗余的文件、數(shù)據(jù)塊或字節(jié)，以保證只有單一的數(shù)據(jù)存儲在系統(tǒng)中。其目的是減少存儲系統(tǒng)中使用的存儲容量，增大可用的存儲空間，增加網(wǎng)絡傳輸中的有效數(shù)據(jù)量。然而重復刪除運算相當消耗運算資源，對存取能效會造成相當程度沖擊，要應用在對存取能效較敏感的網(wǎng)絡存儲設備上，將會面臨許多困難。

　　3.4 數(shù)據(jù)備份技術

　　在以數(shù)據(jù)為中心的時代，數(shù)據(jù)的重要性無可置否，如何保護數(shù)據(jù)是一個永恒的話題， 即便是現(xiàn)在的云存儲發(fā)展時代，數(shù)據(jù)備份技術也非常重要。數(shù)據(jù)備份技術是將數(shù)據(jù)本身或者其中的部分在某一時間的狀態(tài)以特定的格式保存下來，以備原數(shù)據(jù)出現(xiàn)錯誤、被誤刪除、惡意加密等各種原因不可用時，可快速準確的將數(shù)據(jù)進行恢復的技術。數(shù)據(jù)備份是容災的基礎， 是為防止突發(fā)事故而采取的一種數(shù)據(jù)保護措施，根本目的是數(shù)據(jù)資源重新利用和保護，核心的工作是數(shù)據(jù)恢復。

　　3.5 存儲加密技術

　　存儲加密是指當數(shù)據(jù)從前端服務器輸出，或在寫進存儲設備之前通過系統(tǒng)為數(shù)據(jù)加密，以保證存放在存儲設備上的數(shù)據(jù)只有授權用戶才能讀取。目前云存儲中常用的存儲加密技術有以下幾種：全盤加密，全部存儲數(shù)據(jù)都是以密文形式書寫的；虛擬磁盤加密，存放數(shù)據(jù)之前建立加密的磁盤空間，并通過加密磁盤空間對數(shù)據(jù)進行加密；卷加密，所有用戶和系統(tǒng)文件都被加密；文件/目錄加密，對單個的文件或者目錄進行加密。

　　3.6 內容分發(fā)網(wǎng)絡技術

　　內容分發(fā)網(wǎng)絡是一種新型網(wǎng)絡構建模式，主要是針對現(xiàn)有的Internet 進行改造?；舅枷胧潜M量避開互聯(lián)網(wǎng)上由于網(wǎng)絡帶寬小、網(wǎng)點分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定。通過在網(wǎng)絡各處放置節(jié)點服務器，在現(xiàn)有互聯(lián)網(wǎng)的基礎之上構成一層智能虛擬網(wǎng)絡，實時地根據(jù)網(wǎng)絡流量、各節(jié)點的連接和負載情況、響應時間、到用戶的距離等信息將用戶的請求重新導向離用戶最近的服務節(jié)點上。目的是使用戶可就近取得所需內容，解決Internet 網(wǎng)絡擁擠的狀況，提高用戶訪問網(wǎng)站的速度。

　　4.結束語

　　隨著科技的快速發(fā)展，云存儲已經(jīng)成為人們越來越關注的一個焦點，它可以在最大程度上為用戶節(jié)約成本，并且能夠提供安全、可靠的數(shù)據(jù)訪問服務，具有非常好的應用價值和研究前景。本文主要研究了云存儲的關鍵技術，但對各項技術的具體研究不夠透徹，是今后努力的一個方向。

來源：CIO時代網(wǎng)

　　版權及免責聲明：凡本網(wǎng)所屬版權作品，轉載時須獲得授權并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關法律責任的權力。凡轉載文章，不代表本網(wǎng)觀點和立場。版權事宜請聯(lián)系：010-65363056。

延伸閱讀