企業(yè)私有云計(jì)算平臺(tái)軟件系統(tǒng)管理


時(shí)間:2013-09-25





  隨著企業(yè)IT系統(tǒng)的日益龐大和復(fù)雜化,服務(wù)器硬件資源的浪費(fèi)顯得越來(lái)越嚴(yán)重。企業(yè)通過(guò)建設(shè)私有云計(jì)算平臺(tái),可以根據(jù)各種業(yè)務(wù)應(yīng)用系統(tǒng)的特性來(lái)綜合調(diào)整資源的分配。本文將就這種技術(shù)所使用的軟件系統(tǒng)如何有效管理各種組件進(jìn)行研究。

  1、云計(jì)算問(wèn)題的提出

  云計(jì)算是繼上世紀(jì)80年代大型計(jì)算機(jī)到客戶(hù)端——服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。用戶(hù)不再需要了解“云”中基礎(chǔ)設(shè)施的細(xì)節(jié),不必具有相應(yīng)的專(zhuān)業(yè)知識(shí),也無(wú)需直接進(jìn)行控制。云計(jì)算描述了一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式,通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展、虛擬化的資源。

  隨著企業(yè)規(guī)模的不斷擴(kuò)大,企業(yè)中IT系統(tǒng)變得越來(lái)越復(fù)雜和龐大,各大企業(yè)都開(kāi)始面臨一個(gè)實(shí)際問(wèn)題:服務(wù)器數(shù)量的快速增長(zhǎng),導(dǎo)致機(jī)房資源(包括電源、機(jī)架、網(wǎng)絡(luò)接人端口以及機(jī)房空間等)迅速被消耗。而通過(guò)進(jìn)一步的性能分析發(fā)現(xiàn),絕大多數(shù)服務(wù)器硬件的資源利用率都非常低。如為了某一個(gè)新的應(yīng)用軟件或應(yīng)用系統(tǒng)而采購(gòu)新的服務(wù)器,便造成了更多的硬件資源浪費(fèi)。

  如何通過(guò)各類(lèi)軟件系統(tǒng)來(lái)管理和控制虛擬化環(huán)境,從而有效地利用這些資源,已經(jīng)成為業(yè)界重點(diǎn)探討的問(wèn)題。在這樣的現(xiàn)實(shí)背景下,虛擬化技術(shù)開(kāi)始被各個(gè)企業(yè)廣泛應(yīng)用,他們希望藉此整合服務(wù)器硬件資源,減少資源浪費(fèi)。但是硬件虛擬化技術(shù)的應(yīng)用,同時(shí)帶來(lái)了另一個(gè)問(wèn)題:各種不同的應(yīng)用軟件系統(tǒng)對(duì)資源的消耗各不相同,有的軟件系統(tǒng)由于其自身特性,對(duì)資源的消耗并不均衡。通過(guò)什么手段既能整合硬件服務(wù)器,又能保證被整合的各個(gè)軟件系統(tǒng)都有充足的資源運(yùn)行,成為一個(gè)關(guān)鍵性的問(wèn)題。

  2、私有云計(jì)算平臺(tái)建設(shè)的關(guān)鍵

  “私有云”這個(gè)概念通常意味著:

?。?)組織可使用的一系列專(zhuān)用的計(jì)算資源(不與其他組織共享);

 ?。?)資源可能位于內(nèi)部,或由外部的第三方服務(wù)提供商托管。如果專(zhuān)用資源是被托管的,這種特殊的私有云類(lèi)型也稱(chēng)作是“托管私有云”。僅僅通過(guò)虛擬化技術(shù)本身是無(wú)法完成“私有云計(jì)算平臺(tái)”的目標(biāo)。因?yàn)樘摂M化技術(shù)僅僅提供了將多個(gè)操作系統(tǒng)分離,使其在不同的內(nèi)存空間中運(yùn)行的方式,而并不能很好地在這些操作系統(tǒng)之間根據(jù)硬件資源需求的變化而靈活地為它們調(diào)整資源的占用。

  因此,私有云計(jì)算平臺(tái)建設(shè)的重點(diǎn)包括:(1)目前多種私有云計(jì)算平臺(tái)的實(shí)現(xiàn)和對(duì)比;(2)多種虛擬化平臺(tái)資源管理的優(yōu)勢(shì)結(jié)合;(3)研究找出不同應(yīng)用系統(tǒng)資源調(diào)配基準(zhǔn);(4)實(shí)現(xiàn)自動(dòng)化的動(dòng)態(tài)資源調(diào)整。

  私有云計(jì)算平臺(tái)建設(shè)的難點(diǎn)包括:(1)多平臺(tái)技術(shù)的組合使用;(2)典型應(yīng)用系統(tǒng)的資源調(diào)配基準(zhǔn)的測(cè)試和確定;(3)開(kāi)發(fā)與應(yīng)用系統(tǒng)相關(guān)的動(dòng)態(tài)資源分配程序。

  3、企業(yè)私有云計(jì)算平臺(tái)的實(shí)現(xiàn)

  3.1 主要應(yīng)用場(chǎng)景

  私有云的服務(wù)對(duì)象很明確,他們往往包含兩個(gè)應(yīng)用對(duì)象:IT管理者和業(yè)務(wù)部門(mén)使用者。企業(yè)私有云計(jì)算平臺(tái)主要有如下四種應(yīng)用場(chǎng)景(本文中討論的內(nèi)容適用于各個(gè)場(chǎng)景,但主要對(duì)動(dòng)態(tài)數(shù)據(jù)中心場(chǎng)景相關(guān)的資源需求計(jì)算和動(dòng)態(tài)監(jiān)控調(diào)整有較完整的闡述)。

 ?。?)應(yīng)用于開(kāi)發(fā)測(cè)試,加強(qiáng)其敏捷性,縮短發(fā)布周期。對(duì)于擁有開(kāi)發(fā)團(tuán)隊(duì)的企業(yè)而言,建設(shè)企業(yè)私有云,可以為開(kāi)發(fā)者提供即時(shí)的按需分配的硬件資源,使得開(kāi)發(fā)者可以迅速地根據(jù)研發(fā)、測(cè)試和壓力模擬等需要來(lái)申請(qǐng)計(jì)算資源,而且通過(guò)克隆和快照功能實(shí)現(xiàn)錯(cuò)誤的快速重現(xiàn)和排查,讓開(kāi)發(fā)者能夠獲取和保存更多性能以及有質(zhì)量保證的測(cè)試結(jié)果。

 ?。?)應(yīng)用于企業(yè)應(yīng)用程序的遷徙升級(jí)。通過(guò)網(wǎng)頁(yè)在數(shù)分鐘內(nèi)就可以組建虛擬的數(shù)據(jù)中心,模擬搭建服務(wù)器集群和災(zāi)備配置,以便讓程序遷徙的測(cè)試、集成和驗(yàn)證可以更早地開(kāi)始。而且項(xiàng)目將不再依賴(lài)于硬件采購(gòu)周期。此場(chǎng)景適用于將傳統(tǒng)的服務(wù)器群組組成的企業(yè)應(yīng)用程序環(huán)境遷移到云平臺(tái)。

  (3)應(yīng)用于IT程序孵化器和沙箱。以往大部分IT應(yīng)用程序往往涉及到很多硬件和系統(tǒng)操作,搭建或者拆除他們往往需要消耗不少的人力和物力,而且耗時(shí),特別是在模型沙箱階段,不可預(yù)測(cè)的需求改變往往導(dǎo)致頻繁的搭建和拆卸。通過(guò)構(gòu)建一些“模板”可實(shí)現(xiàn)某些企業(yè)級(jí)應(yīng)用的快速部署。

 ?。?)應(yīng)用于動(dòng)態(tài)數(shù)據(jù)中心。讓傳統(tǒng)數(shù)據(jù)中心中的硬件資源在某些時(shí)候閑置、某些時(shí)候又不足的問(wèn)題得到很好的緩解,通過(guò)資源池的有效監(jiān)控和管理來(lái)進(jìn)行動(dòng)態(tài)分配。

  3.2 建設(shè)私有云計(jì)算平臺(tái)的硬件需求

  建設(shè)企業(yè)私用云平臺(tái),必須根據(jù)業(yè)務(wù)需求考慮云環(huán)境的硬件配置。首先從概念來(lái)講,私有云是松散的IT堆棧依靠各種虛擬化和管理技術(shù)落地,并通過(guò)管理模塊為企業(yè)靈活快速交付存儲(chǔ)、服務(wù)器、桌面或者應(yīng)用。因此,考慮硬件配置的時(shí)候需要從三個(gè)維度出發(fā)。

 ?。?)基本技術(shù)支持。一是服務(wù)器CPU是否支持虛擬化。因?yàn)樘摂M化是云計(jì)算實(shí)施的必要條件,目前對(duì)于企業(yè)而言,Intel和AMD兩家廠商的CPU均支持虛擬化,而且從使用效果對(duì)比上并沒(méi)有實(shí)質(zhì)性能和功能上的差異。二是存儲(chǔ)系統(tǒng)是否支持共享存儲(chǔ),是否支持多節(jié)點(diǎn)的群集系統(tǒng)。因?yàn)樵破脚_(tái)的一大特征就是最終用戶(hù)無(wú)需考慮服務(wù)的實(shí)現(xiàn),因此業(yè)務(wù)部門(mén)會(huì)將可用性的要求直接交給IT部門(mén),而保障高可用性的一個(gè)最重要的架構(gòu)就是群集系統(tǒng)。由多臺(tái)服務(wù)器硬件組成的服務(wù)器群組共同工作,在其中某個(gè)或某些節(jié)點(diǎn)出現(xiàn)故障時(shí),整體功能不受影響,性能影響在可接受范圍內(nèi),而且可以通過(guò)快速加入新的節(jié)點(diǎn)以恢復(fù)到最佳的計(jì)算能力。

 ?。?)整體性能。如服務(wù)器虛擬化需要一定規(guī)格CPU、內(nèi)存、硬盤(pán)的服務(wù)器,I/O操作要求高的數(shù)據(jù)就需要高性能I/O存儲(chǔ)設(shè)備,應(yīng)用的統(tǒng)一交付也需要網(wǎng)絡(luò)設(shè)備具有一定的吞吐能力。通常需要根據(jù)應(yīng)用系統(tǒng)的特性來(lái)規(guī)劃其在云平臺(tái)上的放置和資源分配。根據(jù)所有應(yīng)用系統(tǒng)的最高硬件需求綜合考慮整體云平臺(tái)的硬件配置。

 ?。?)容量要求。如將虛擬服務(wù)器或者桌面的虛擬硬盤(pán)文件統(tǒng)一存儲(chǔ),那么對(duì)存儲(chǔ)的容量也是有要求的。云平臺(tái)通常采用兩種方式存儲(chǔ)數(shù)據(jù),對(duì)于需要高可用性的系統(tǒng),將其操作系統(tǒng)和應(yīng)用系統(tǒng)數(shù)據(jù)存儲(chǔ)在共享存儲(chǔ)空間中。共享存儲(chǔ)空間單位價(jià)格較昂貴,但吞吐性能更強(qiáng),并能夠提供更高的可用級(jí)別;對(duì)于海量數(shù)據(jù)和可用性要求較低的數(shù)據(jù),通常存儲(chǔ)在直連存儲(chǔ)或網(wǎng)絡(luò)存儲(chǔ)設(shè)備上,并通過(guò)磁帶設(shè)備進(jìn)行定期的備份。這些設(shè)備單位價(jià)格相對(duì)較低,但可用級(jí)別也較低,并需要一定的故障恢復(fù)時(shí)間。

  一個(gè)企業(yè)的數(shù)據(jù)中心包括了非常復(fù)雜的子系統(tǒng)和輔助設(shè)備,基于以上三個(gè)維度的要求,私有云計(jì)算平臺(tái)涉及的硬件部分應(yīng)當(dāng)包括如下內(nèi)容:一是虛擬化物理機(jī)資源池,以提供CPU和內(nèi)存的計(jì)算能力;二是存儲(chǔ)資源池,以提供存儲(chǔ)能力;三是網(wǎng)絡(luò)交換機(jī)和網(wǎng)絡(luò)分層,以提供網(wǎng)絡(luò)傳輸能力和網(wǎng)絡(luò)流量隔離(網(wǎng)絡(luò)分層的主要目標(biāo)是隔離服務(wù)網(wǎng)絡(luò)、備份網(wǎng)絡(luò)和管理網(wǎng)絡(luò)的流量,避免互相占用帶寬和數(shù)據(jù)沖突。通常,會(huì)產(chǎn)生對(duì)X64虛擬化物理機(jī)資源池的網(wǎng)絡(luò)連接適配器的資源要求,為了使各個(gè)應(yīng)用系統(tǒng)所處的虛擬機(jī)能夠聯(lián)通多個(gè)網(wǎng)絡(luò),需要為它們分配多個(gè)網(wǎng)絡(luò)適配器,這就要求物理服務(wù)器本身具備多個(gè)網(wǎng)絡(luò)適配器。由于每個(gè)網(wǎng)絡(luò)適配器將被虛擬為一個(gè)交換機(jī),因此相當(dāng)于多臺(tái)物理主機(jī)之間通過(guò)多個(gè)交換機(jī)互聯(lián));四是管理服務(wù)器池,以提供流程管理、監(jiān)控管理、配置管理和備份恢復(fù)管理等方面的能力。其中,CPU、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)帶寬的需求可以根據(jù)業(yè)務(wù)系統(tǒng)的要求計(jì)算得知。管理服務(wù)器通常只需要固定的物理服務(wù)器資源即可,甚至很多場(chǎng)景下也可以將它們放入單獨(dú)的虛擬化平臺(tái)運(yùn)行。

  3.3 私有云計(jì)算平臺(tái)管理軟件的主要模塊

  通過(guò)上述分析我們可以發(fā)現(xiàn):為了讓私有云計(jì)算平臺(tái)整體運(yùn)轉(zhuǎn)良好,需要如下管理軟件模塊:

 ?。?)虛擬化平臺(tái)管理模塊。此模塊的主要用途是對(duì)虛擬化平臺(tái)的各項(xiàng)基本功能進(jìn)行管理,包括:虛擬機(jī)的建立、修改和刪除;虛擬機(jī)在宿主機(jī)上存放的方式(放置在共享存儲(chǔ)上作為高可用性系統(tǒng),或者放在本地磁盤(pán)上);虛擬機(jī)使用者(如應(yīng)用系統(tǒng)管理員)的操作接口(如web控制臺(tái))。此模塊最佳實(shí)現(xiàn)與底層虛擬化平臺(tái)的實(shí)現(xiàn)產(chǎn)品無(wú)關(guān),如:同時(shí)支持微軟的Hyper-V,VMware和Xen Server等多個(gè)平臺(tái),這樣的話(huà),就可以同時(shí)利用多平臺(tái)的優(yōu)勢(shì),并隱藏多平臺(tái)操作的復(fù)雜性,讓管理者和使用者都能高效地使用這個(gè)模塊。

 ?。?)宿主機(jī)和虛擬機(jī)硬件子系統(tǒng)監(jiān)控模塊。由于宿主機(jī)的性能和可用性直接影響到在宿主機(jī)上運(yùn)行的多個(gè)虛擬機(jī)的健康狀況,所以對(duì)宿主機(jī)的各個(gè)硬件子系統(tǒng)監(jiān)控是必不可少的模塊。它主要完成如下功能:對(duì)CPU子系統(tǒng)的利用率進(jìn)行實(shí)時(shí)監(jiān)控,約每15秒~1分鐘取一次性能數(shù)據(jù);對(duì)內(nèi)存子系統(tǒng)的利用率進(jìn)行實(shí)時(shí)監(jiān)控,約每1~2分鐘取一次性能數(shù)據(jù);對(duì)磁盤(pán)子系統(tǒng)的吞吐量和延遲進(jìn)行實(shí)時(shí)監(jiān)控,約每1-2分鐘取一次性能數(shù)據(jù);對(duì)網(wǎng)絡(luò)子系統(tǒng)的吞吐量和延遲進(jìn)行實(shí)時(shí)監(jiān)控,約每1~2分鐘取一次性能數(shù)據(jù)。

  除了獲取數(shù)據(jù),此模塊還需要接受管理員設(shè)定的性能基線(xiàn)指標(biāo)值,然后通過(guò)對(duì)比性能基線(xiàn)和實(shí)際性能數(shù)據(jù),來(lái)判定當(dāng)前宿主機(jī)的硬件子系統(tǒng)是否處于健康狀態(tài)。這些對(duì)比的方式可以非常靈活,根據(jù)實(shí)際情況,可以通過(guò)1次對(duì)比(如CPU達(dá)到100%)、多次對(duì)比(如內(nèi)存連續(xù)3次采樣均超過(guò)80%利用率)、平均值對(duì)比(如網(wǎng)絡(luò)吞吐量連續(xù)10次采樣平均值達(dá)到500MBps)等多種計(jì)算方式來(lái)判定。判定問(wèn)題之后,此模塊還需要發(fā)送相應(yīng)的警告信息給自動(dòng)化控制模塊或管理人員,由人工或者計(jì)算機(jī)程序來(lái)完成剩余的調(diào)整工作。

 ?。?)自動(dòng)化(或半自動(dòng)化)控制模塊。自動(dòng)化(或半自動(dòng)化)控制模塊主要用于根據(jù)監(jiān)控模塊給出的警告信息來(lái)觸發(fā)各種處理事件,從而消除故障或調(diào)整參數(shù)到健康的狀態(tài)。許多重復(fù)性的勞動(dòng)或成熟的指標(biāo)調(diào)整方法都可以交由預(yù)編寫(xiě)好的計(jì)算機(jī)程序去完成,也就是自動(dòng)化工作;但是,仍然有一些復(fù)雜的情況需要由人工干預(yù)完成。

  比較典型的實(shí)例是:當(dāng)私有云計(jì)算平臺(tái)中運(yùn)行的某個(gè)業(yè)務(wù)系統(tǒng)報(bào)告其計(jì)算資源不足,比如此系統(tǒng)當(dāng)前共有3臺(tái)虛擬機(jī)資源,但是每臺(tái)CPU利用率都達(dá)到了90%以上,那么在這種情況下,可能需要通過(guò)增加額外的虛擬機(jī)來(lái)分擔(dān)業(yè)務(wù)系統(tǒng)的壓力,從而將整體CPU利用率降低到合理水平。因此,我們可以通過(guò)監(jiān)控模塊發(fā)起警告,通知自動(dòng)化模塊建立新的虛擬機(jī)并將其加入到業(yè)務(wù)系統(tǒng)的服務(wù)器群組中,當(dāng)自動(dòng)化工作完成之后,CPU利用率降低,則監(jiān)控系統(tǒng)會(huì)發(fā)現(xiàn)實(shí)際性能數(shù)據(jù)已經(jīng)在性能基線(xiàn)以?xún)?nèi),警告就會(huì)消除。通過(guò)以上多個(gè)模塊之間的配合和分工,可以實(shí)現(xiàn)對(duì)私有云計(jì)算平臺(tái)整體的管理,并保障其穩(wěn)定健康運(yùn)行。

  4、總結(jié)與展望

  從企業(yè)信息化發(fā)展的歷程可以發(fā)現(xiàn),由企業(yè)內(nèi)部建設(shè)和運(yùn)維其業(yè)務(wù)系統(tǒng),不僅對(duì)企業(yè)的人力和財(cái)力是一項(xiàng)挑戰(zhàn),而且人員水平差異更容易造成各企業(yè)IT系統(tǒng)參差不齊,從而阻礙了業(yè)務(wù)的發(fā)展。相信在下一個(gè)20年,必將是云計(jì)算平臺(tái)逐步成為主流的年代,各大廠商目前已經(jīng)提供了公有云的服務(wù),但從安全性、可靠性和成熟度等方面考慮,企業(yè)目前無(wú)法將所有的業(yè)務(wù)系統(tǒng)順利或放心地遷移到公有云平臺(tái)上。因此,我們有理由認(rèn)為,私有云計(jì)算平臺(tái)將成為企業(yè)在未來(lái)5~10年內(nèi)重點(diǎn)發(fā)展的一個(gè)方向,從資源節(jié)約、標(biāo)準(zhǔn)化、擴(kuò)展性和易管理性等方面,私有云計(jì)算平臺(tái)都將為企業(yè)增強(qiáng)競(jìng)爭(zhēng)力提供有力的支持。


來(lái)源:CIO時(shí)代網(wǎng)



  版權(quán)及免責(zé)聲明:凡本網(wǎng)所屬版權(quán)作品,轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”,違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章,不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系:010-65363056。

延伸閱讀

熱點(diǎn)視頻

第六屆中國(guó)報(bào)業(yè)黨建工作座談會(huì)(1) 第六屆中國(guó)報(bào)業(yè)黨建工作座談會(huì)(1)

熱點(diǎn)新聞

熱點(diǎn)輿情

特色小鎮(zhèn)

版權(quán)所有:中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)京ICP備11041399號(hào)-2京公網(wǎng)安備11010502003583