輸入手機號碼后,賬號注冊完成。不知不覺中你又貢獻了一次自己的數據,而這種類似的數據貢獻行為的發(fā)生,實質上促進了大數據行業(yè)及其生態(tài)鏈發(fā)展。由此,通過大數據分析,政企可以精準測算出你生活和工作所喜好的一切。
大數據力量之強大讓其成為平安城市的幕后推手,像華為云FusionInsight這樣的大數據平臺解決方案,正在幫助企業(yè)快速構建海量數據信息處理系統(tǒng),發(fā)現數據價值和商機。
大數據時代 "要有光"
六年前,《紐約時報》寫到"大數據時代已經降臨,在商業(yè)、經濟及其他領域中,決策將日益基于數據和分析而作出,而并非基于經驗和直覺。"在商業(yè)領域,大數據成為輔助決策的重要手段;在平安城市和金融領域,大數據成為城市維穩(wěn)和建立個人征信系統(tǒng)的評分關鍵。
在今年年初,包括廣東深圳在內的部分城市開始支持電子身份證模式。通過電子身份證辦理酒店入住、乘車驗票,該電子身份證擁有與第二代身份證同等法律效力。這種模式讓數據信息更加靈活,為人們帶來了方便,但同時也需要完善的IT系統(tǒng)和大數據支持來完成。
也就是說,大數據"早已不是"數據大"了,數據也不等同于信息,單純的數據存儲價值不大,要想獲得數據的智慧之光,需要對大數據實時、彈性、高效的分析。
數據+行業(yè) 實現產業(yè)賦能
過了大數據的炒作期之后,企業(yè)開始看到數據價值,開始期望實現數據產出,將數據轉化為利潤,希望利用大數據結合不同行業(yè)實現產業(yè)賦能。
就像沒有一把萬能鑰匙,目前也沒有一個能夠適應所有行業(yè)的大數據分析。通信、電子政務、公安、金融、零售、醫(yī)療、能源等不同行業(yè)具有不同的需求特點,需要不同的大數據行業(yè)應用解決方案。
大數據概念很熱,但大數據對不同行業(yè)的應用場景有明顯的區(qū)別,做一個滿足用戶需求,打破數據孤島的大數據平臺并不容易。從目前的數據形態(tài)來看,隨著網絡技術的不斷強大,非結構化數據逐漸增多,數據的可視化分析和數據挖掘算法兩者成為挖掘數據價值,實現產業(yè)賦能的核心。
對于華為來說,海量、線性擴展、 經濟、可靠、高效是FusionInsight產品研發(fā)的初衷,FusionInsight需要同時滿足數千個節(jié)點的功能、運維、多租戶、可用性、安全性、兼容性、擴展性、易用性等能力。
華為FusionInsight大數據平臺長期與金融、電信等不同行業(yè)合作,有著豐富的經驗。金融行業(yè)更需要以數據挖掘為基礎的服務升級,運營商也面臨數據數量、種類的爆炸式增長,需要提升數據處理速度,提升容災備份能力和可靠性,需要敏捷的啟動和運維能力,提升競爭力。華為FusionInsight大數據平臺為這些問題提供了解決方案。
從2011年開始,華為開始投入FusionInsight大數據解決方案平臺。截止去年(2017年)年底,在全球TOP 50的客戶里面有30個客戶選擇華為FusionInsight大數據平臺,國內TOP 20的一半企業(yè)選擇華為FusionInsight大數據平臺,包括公共安全、政務都在廣泛的應用。
數據之"光" 華為FusionInsight應用落地
華為FusionInsight大數據解決方案中就包含了四個子產品FusionInsight HD、FusionInsight LibrA、FusionInsight Miner、FusionInsight Farmer和一個操作系統(tǒng)FusionInsight Manafer組成。
依托全球人才,華為擁有從芯片、硬件、算法、模型等全方位布局服務全球客戶,與法國等國家成立了聯合實驗室,一起孵化創(chuàng)新解決方案,在國內與交通領域、交管領域和公安部交管所合作實現實時風控,并在監(jiān)察系統(tǒng)等方面構筑了比較領先的應用解決方案。
在與各大運營商與金融行業(yè)客戶合作的案例中,雙方在大數據平臺、數據集成系統(tǒng)、數據倉庫等方面進行了深入合作。以運營商為例,原來煙囪式應用系統(tǒng)導致數據重復存儲,跨系統(tǒng)數據共享難度大,業(yè)務決策分析緩慢,面對大量非結構化數據壓力,使運營商數據體量極大,處理難度更大。
在當前的實際的應用環(huán)境下,數據一般都是分布化存在的,應用也是分布式的。而數據治理就是在你想把數據轉化,實現價值變現過程中必不可少的一部分。
數據治理:現在流行的精準營銷,其核心就是數據的治理與分類,建立好不同類別的目錄,在據此分析用戶行為數據,進行精準營銷。數據治理本身和水污染治理很像,都需要一個框架指導規(guī)范,在此之上,建立數據管理成熟度模型。
方案架構圖
很大程度上,數據服務的好壞取決于數據治理的程度。說數據治理一定要說數據戰(zhàn)略,成立數據專項小組做數據治理規(guī)劃和措施,在確定數據生命周期,進行全程化管理。
具體而言就是在數據治理過程中,首先采集數據,通過歸檔日志等方式解析數據,分析出主數據;然后先到ODS層,可以進行數據備份、查詢、分析,進而分擔系統(tǒng)壓力;在進行ELT二次抽取,建設標準庫,對上一層ODS里面額的數據進行處理;再在據此按照一定主題或維度,建立華為架構融合和數據融合"兩條腿走路"的融合數據倉庫。
不同于傳統(tǒng)數倉,華為的融合數倉可以將原有的資源進行整合,提供更具擴展性、優(yōu)化的融合數倉方案。
FusionInsight LibrA:華為OLAP型數據庫FusionInsight LibrA,能夠實現PB級數量處理能力,建立可靠數據倉庫、數據集市、BI系統(tǒng)、決策支持系統(tǒng)和大數據SQL結構化數據分析解決方案。用于支撐各類數據倉庫系統(tǒng)、數據集市、BI(Business Intelligence)系統(tǒng)和決策支持系統(tǒng)。
LibrA采用MPP(Massive Parallel Processing)架構,提供了標準SQL支持、數據庫存儲管理功能、組建管理和HA數據節(jié)點、API和安全管理,支持行存儲與列存儲,提供PB(Petabyte,250字節(jié))級別數據量的處理能力,滿足當下數據多形態(tài)與大體量的需求。
LibrA采用Share-nothing架構,不同架構對比
基于開源數據庫Postgres-XC開發(fā)的華為FusionInsight LibrA分布式并行關系型數據庫系統(tǒng)采用無共享架構,使數據分析任務被推送到數據所在位置就近執(zhí)行,通過控制模塊協(xié)調,能夠實現并行大規(guī)模數據處理,實現快速反應。
在可靠性與安全性方面,LibrA擁有全方位安全保障機制,獨創(chuàng)的主+備+Handoff三重數據保護,協(xié)調節(jié)點多活設計,提供企業(yè)級可靠性保障。
古龍說"只有陽光是最公平的,不管你這個人是不是快死了,都同樣照在你身上,讓你覺得光明,溫暖。" LibrA在英文中還代表了天秤座,這個星座最大的特點便是如同陽光一樣公平公正,同時懂得因地制宜,像FusionInsight LibrA一樣彈性可靠,適應力強。
面對持續(xù)激增的海量數據信息,企業(yè)開始認識到數據的價值,希望通過數據采集、挖掘、治理,完成大數據輔助決策,實現數據到價值的轉換。華為FusionInsight大數據平臺通過融合倉庫、LibrA等技術駕馭海量信息,幫助企業(yè)快速構建海量數據信息處理系統(tǒng),對企業(yè)內部和外部的信息數據進行實時與非實時的分析挖掘,幫助企業(yè)將數據"點石成金",賦能行業(yè)并實現價值,讓數據煥發(fā)智慧之光。
轉自:中關村在線
版權及免責聲明:凡本網所屬版權作品,轉載時須獲得授權并注明來源“中國產業(yè)經濟信息網”,違者本網將保留追究其相關法律責任的權力。凡轉載文章,不代表本網觀點和立場。版權事宜請聯系:010-65363056。
延伸閱讀
版權所有:中國產業(yè)經濟信息網京ICP備11041399號-2京公網安備11010502003583