女生迈开腿打扑克又痛又叫|在卧室被躁哭还继续做|迈开腿给我看看你的草莓印|么公的好大好硬好深好爽视频|十分钟免费观看视频|乡村乱情乱睡小|啦啦啦视频在线观看 视频

新聞 > 新聞詳情

大數據浪潮下科研機構存儲發展新方向

公司動態|發布于2020-12-02 14:07:39


在大數據分析的浪潮下,我國科研機構近年來的數據量呈現明顯的爆發性增長。大數據的搜集與分析能夠從龐大的數據源中剔選出過去難以察覺的趨勢與方向,為科研領域的探索和突破指明了一條新的道路。然而,大數據對信息及數據的存儲與管理也帶來了諸多新的難題。首先,爆發性增長的海量信息對存儲設備的讀寫性能及擴展能力都提出了更高的要求。其次,大數據分析所帶來的龐大歷史數據的安全問題也變得尤為重要。過去傳統的存儲基礎架構是否在新時代已顯得捉襟見肘,而基礎架構的改造升級又該何去何從?我們將從存儲虛擬化這一角度入手,來探討在大數據時代下我國科研機構數據存儲的未來發展方向之一。

1我國科研機構數據存儲架構的現狀與問題

隨著我國科研機構的不斷發展,各種信息化相關應用及大數據搜集平臺的快速增加,加之原有的網站系統、OA系統等都同樣運行、存儲在本地的業務中心,原有的基礎架構早已不堪重負。在數據爆發性增長及信息系統的安全性、連續性要求越來越高的雙重壓力下,原有的存儲體系架構及其運維管理逐漸跟不上發展的腳步,主要體現在以下幾個方面:

第一, 在現有的存儲網絡架構下,隨著數據量的快速增長,服務器和磁盤陣列數量都隨之快速增長,對于這些不同品牌、型號、容量、性能的磁盤陣列的管理越來越復雜,導致存儲資源利用效率不高、存儲讀寫性能瓶頸、存儲空間擴展困難、數據跨存儲存放和遷移困難等。

第二, 早期的業務連續性(高可用性)多采用服務器端雙機集群來保障,而數據則存放在一臺共用存儲中,存儲的單點故障往往被忽視了。尤其是,近年來隨著服務器虛擬化、云計算技術的迅速發展,絕大多數電力企業內配置了虛擬化服務器,將大量應用遷移到虛擬機上運行,而虛擬機以文件的形式集中存放在一臺公共存儲中。如此一旦存儲設備發生故障,業務應用往往要花較長時間恢復,甚至大量運行在虛擬機上的應用將無法恢復。

第三, 由于業務數據重要性提高,傳統的依托備份軟件的數據備份方式已無法滿足數據安全保護的要求。采用備份軟件定期對業務數據進行備份,備份周期較長,備份數據的正確性無法驗證,一旦發生故障,不但恢復時間長,而且數據丟失量較大。

因此,結合以上問題,我們希望能夠找到一種方法,在能夠對原有設備、系統進行最大化程度利用的前提下,改變存儲管理模式,簡化存儲分配,提升存儲的讀寫性能、安全性與可用性,而存儲虛擬化無疑是一種不錯的選擇與方向。


2存儲虛擬化技術及其分類

權威組織SNIA(存儲網絡工業協會)對存儲虛擬化的定義:通過對存儲(子)系統或存儲服務的內部功能進行抽象、隱藏或隔離,使存儲或數據的管理與應用、服務器、網絡資源的管理分離,從而實現應用和網絡的獨立管理。通俗點說,存儲虛擬化就是把多個、多種存儲設備通過一定的方式統一管理起來,提供大容量、高數據傳輸性能的存儲系統。這種技術帶來的好處主要有:減少存儲設備數量,提高資產利用率,增加可管理性、靈活性和可擴展性,降低成本、綠色運營。


根據在網絡中實現位置的不同,目前存儲虛擬化技術主要分為三種:基于主機側、基于存儲設備側、基于網絡層實現的存儲虛擬化技術。


基于主機側的存儲虛擬化

基于主機側的存儲虛擬化的實現方式是由主機操作系統下的邏輯卷管理軟件或者安裝專門卷管理軟件方式來實現。這種技術可以使服務器的存儲空間跨越多個異構的磁盤陣列,常用于在不同磁盤陣列之間做數據鏡像保護。這一方式的缺點是主機需要安裝卷管理軟件和數據保護軟件,系統運行需要占用主機資源,對現有業務沖擊大,且后續維護和擴展比較復雜。


基于存儲設備側的存儲虛擬化

基于存儲設備側的存儲虛擬化實現方式是在存儲控制器上添加虛擬化功能,常見于中高端存儲設備。這一技術主要優點是與主機無關,不占用主機資源,其缺點是要求存儲設備必須具備所需功能,一般要求組網存儲設備為同一廠家甚至同一系列的,擴展性較差。


基于網絡層實現存儲虛擬技術

基于網絡層實現存儲虛擬技術是通過在存儲域網(SAN)中添加虛擬化硬件實現,這一技術被用來整合異構存儲系統和統一數據管理。其優點是與主機無關,不占用主機資源,且支持異構主機、異構存儲設備。采用基于網絡層實現存儲虛擬技術可以顯著提高存儲設備總的利用率,簡化管理,系統可擴展性好。


3虛擬化存儲改造方案

我國科研機構服務器數量較多,普遍存在Windows2003、Windows2008、Linix等操作系統,且一般都有2個以上不同品牌的存儲設備。因此,基于提高異構存儲統一管理能力,消除存儲設備單點故障的目標,我基于網絡層實現存儲虛擬技術是最合適的選擇,具體方案如下:

存儲虛擬化管理:采用兩臺存儲虛擬化網關(雙活,互為主備),實現對異構存儲設備(磁盤陣列)的虛擬化管理。存儲虛擬化網關將所有的存儲設備資源池化,存儲設備可隨意移入或退出虛擬化,虛擬化過程不破壞數據,沒有數據遷移過程,大幅減小停機時間(分鐘級)。存儲系統的LUN不是直接映射給服務器,而是映射給存儲虛擬化網關。存儲虛擬化網關把不同存儲系統多個虛擬磁盤進行統一管理后再將存儲卷映射給服務器。通過存儲虛擬化網關,可以完成對企業現有的存儲及今后采購的存儲統一管理以及統一數據保護,同時支持跨存儲在線遷移,零停機,大大簡化了存儲區域網絡架構,而且通過對存儲虛擬化網關的緩存大小控制,可顯著提升了吞吐性能。拓撲見下圖。

存儲高可用容災:

通過存儲虛擬化網關進行存儲虛擬化整合后,虛擬化網關本身互為熱備,一旦其中一臺發生故障,另一臺可立即接管其存儲管理功能,從而不影響前端的應用。此外,存儲虛擬化網關支持鏡像、快照、持續數據保護、卷復制等功能,可實現對關鍵業務數據的容災保護。在信息中心,可通過存儲虛擬化網關的同步鏡像功能、卷復制功能,將一份數據同時寫入兩臺存儲(兩個卷),實現存儲系統間的高可用。使用存儲虛擬化網關進行跨存儲系統鏡像后,對于服務器獲得的存儲卷來說,不會因為任何一個磁盤存儲系統的故障而導致業務宕機或數據丟失,有效避免存儲設備單點故障所導致的數據丟失和計劃外停機。

邏輯錯誤的恢復:

在部署虛擬化網關前,原有存儲系統缺少了對業務系統邏輯錯誤的防護,實際上無法解決概率最高的人工錯誤型的災難。虛擬化網關具有“連續快照功能”,快照頻率可達分鐘級甚至秒級,實現了對業務系統“邏輯錯誤”的防范及糾錯功能,對業務系統的正常運轉提供有力保障。一旦發生誤刪除、病毒感染等任何邏輯錯誤,管理人員都可以找到最近的版本立即恢復。快照恢復與數據量無關,大數據量提取即刻可用。

存儲虛擬化逃生:

實施存儲虛擬化改造后,萬一存儲虛擬化網關發生故障,會不會對存儲及數據造成影響?這是所有人都很關心的問題。虛擬化網關應支持快速的接入和遷出組網環境的方案。該方案提供了一種雙向的操作網絡部署環境的功能,能夠通過對實施存儲環境的控制而達到快速把虛擬化網關接入到存儲網絡中,啟動存儲虛擬化功能;或者當虛擬化網關故障或其它需要把存儲系統遷出虛擬化平臺,屏蔽虛擬化功能,恢復原用存儲網絡。具體來說,就是在虛擬化網關出現故障后,對原有存儲原始磁盤鏡像重新分配。去除存儲與原有存儲的鏡像關系,把“虛擬磁盤”分離為原始磁盤,并重新指定存儲系統磁盤映射掛載到服務器上,服務器即可識別新加入磁盤,恢復系統業務。

應用容災保護:

通過存儲虛擬化網關的卷復制、CDP等應用保護功能,可以對關鍵業務物理服務器進行實時鏡像和快照保護。當被保護服務器發生故障或數據丟失時可直接掛載存儲虛擬化網關上的同步數據或歷史快照數據,5分鐘內即可恢復業務運行。

4實施效果

通過架設存儲虛擬化網關,對原有的SAN存儲區域網絡實施優化改造,使得存儲系統具備了資源池化、按需分配、彈性擴展、統一維護等云計算特性,同時,也去除了存儲單點故障,建立了一套開放的、高效的本地災難保護系統,有效的提高信息系統的實時數據保護能力和抗災能力,保證業務系統的連續性。對比實施前后,效果如下:

  • 虛擬化整合異構存儲:將不同廠商、不同架構(ISCSI、FC、SCSI、SAS)存儲資源整合為開放、標準的存儲資源池,統一調度資源給應用主機,提高資源利用率,突破單臺存儲設備性能瓶頸,降低維護成本;
  • 靈活管理:虛擬存儲池擴展及調配的靈活性,存儲資源自由選擇加入和退出虛擬化,集中統一管理存儲池;
  • 存儲設備高可用:通過存儲虛擬化網關的鏡像和卷復制,數據可以在存儲設備間一對一、一對多、多對一的復制,單臺存儲設備故障不會導致應用停機和數據丟失,消除了存儲單點故障;
  • 虛擬化平臺的支持:可實現虛擬化平臺容災,支持P2V/V2V/V2P恢復;
  • 快速數據遷移:支持跨存儲在線遷移,按業務需求進行數據遷移,虛擬化過程不破壞數據,沒有數據遷移過程,大幅減小停機時間;
  • 智能數據保護:虛擬化容災網關提供統一的高級數據管理功能(復制、鏡像、快照、CDP),在各種故障情況下(硬件故障、病毒攻擊、軟件故障、誤刪除等)均能快速有效地恢復數據,實現智能數據保護;
  • 數據自動接管:核心存儲故障時,生產中心業務系統可進行無縫接管;
  • 隨時演練:備份卷、快照均可以方便快速地掛載給物理服務器或虛擬機,可隨時驗證和恢復,非常簡單快捷。

科研機構的成果關系到國家各個環節的發展與未來,而能否利用好大數據分析這一新時代的新武器,對科研成果的影像也舉足輕重。工欲善其事,必先利其器,對舊有的存儲基礎架構進行升級改造,將大數據分析這一利器發揮其應有的威力,無疑是各科研機構IT負責人員必須考慮的問題。推進存儲虛擬化解決方案的導入,實現“池”化管理和統一再分配,可以有效提高我國科研機構的運行支撐能力。存儲虛擬化不失為我國科研單位基礎架構完善的新方向與新選擇。