大數(shù)據(jù)(BigData)環(huán)境下的商業(yè)智能平臺技術解析

原創(chuàng)
作者：馬沛 2011-07-27 16:11:11

云計算

商業(yè)智能 hadoop 分布式文件系統(tǒng)、MapReduce 算法、大規(guī)模并行處理（MPP）數(shù)據(jù)庫技術最先是由Google、Facebook等互聯(lián)網(wǎng)公司發(fā)展起來的。Hadoop作為開源技術，現(xiàn)在吸引了很多企業(yè)級用戶開始嘗試。

平樂ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

【51CTO專訪報道】BigData又是一個沒有規(guī)范定義的概念，不同的應用對大數(shù)據(jù)都有不同的理解。雖然我們不能現(xiàn)在就下結論是否大數(shù)據(jù)又開啟了一個新時代，但是，近期Facebook宣布用戶量目前超過了7.5億，每天的分享的次數(shù)達到40億。IDC預測從2009年到2020年，數(shù)據(jù)總量將增長44倍，達到35ZB(zettabyte)，并且其中80%的數(shù)據(jù)都是非結構化數(shù)據(jù)。

“僅僅是數(shù)量級上的不斷刷新并不能代表就是Big Data大數(shù)據(jù)”，51CTO記者采訪Informatica企業(yè)數(shù)據(jù)集成產(chǎn)品管理總監(jiān)鄭瑋時，她分享道：“大數(shù)據(jù)有兩個明顯的特征，***，數(shù)據(jù)的屬性是非結構化或者半結構化數(shù)據(jù)；第二，數(shù)據(jù)之間頻繁產(chǎn)生交互，大規(guī)模進行數(shù)據(jù)分析，并實時與業(yè)務結合進行數(shù)據(jù)挖掘?！?/p>

[[37690]]

Informatica企業(yè)數(shù)據(jù)集成產(chǎn)品管理總監(jiān)鄭瑋

大數(shù)據(jù)的技術解構

從這兩大特征可以看出，大數(shù)據(jù)是包括了交易和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)，無論從規(guī)模還是復雜程度上，遠超出常用數(shù)據(jù)庫或者商業(yè)智能技術的捕捉、管理和處理能力。一些企業(yè)已經(jīng)感受到失控的數(shù)據(jù)增長對業(yè)務造成的影響，鄭瑋認為大數(shù)據(jù)是由三項主要技術趨勢匯聚組成的：
1、大交易數(shù)據(jù)：在從 ERP 應用程序到數(shù)據(jù)倉庫應用程序的在線交易處理（OLTP）與分析系統(tǒng)中，傳統(tǒng)的關系數(shù)據(jù)以及非結構化和半結構化信息仍在繼續(xù)增長。隨著企業(yè)將更多的數(shù)據(jù)和業(yè)務流程移向公共和私有云，這一局面變得更加復雜。
2、大交互數(shù)據(jù)：這一新生力量由源于 Facebook、Twitter、LinkedIn 及其它來源的社交媒體數(shù)據(jù)構成。它包括了呼叫詳細記錄（CDR）、設備和傳感器信息、GPS 和地理定位映射數(shù)據(jù)、通過管理文件傳輸（Manage File Transfer）協(xié)議傳送的海量圖像文件、Web 文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等。
3、大數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設計用于數(shù)據(jù)密集型處理的架構，例如具有開放源碼、在商品硬件群中運行的 Apache Hadoop。對于企業(yè)來說，難題在于以具備成本效益的方式快速可靠地從 Hadoop 中存取數(shù)據(jù)。

不久前在美國舉行的2011 Hadoop論壇，5500名參會者，入場券據(jù)說在開放后8小時全部售罄。Hadoop 分布式文件系統(tǒng)、MapReduce 算法、大規(guī)模并行處理（MPP）數(shù)據(jù)庫技術***是由Google、Facebook等互聯(lián)網(wǎng)公司發(fā)展起來的。Hadoop作為開源技術，現(xiàn)在吸引了很多企業(yè)級用戶開始嘗試。相對于之前昂貴的大規(guī)模并行處理和海量數(shù)據(jù)分析技術，Hadoop確實能夠用比較經(jīng)濟的、有更高性價比的方式進行大數(shù)據(jù)的部署應用?！皩鹘y(tǒng)的交易數(shù)據(jù)與全新的交互數(shù)據(jù)組合起來，獲得企業(yè)的洞察力和商業(yè)價值”，鄭瑋舉例談到：“企業(yè)可以通過社交媒體來了解客戶的喜好，完善客戶資料來提高目標營銷的效率?！?/p>

大數(shù)據(jù)的應用平臺

從業(yè)務角度來看，大數(shù)據(jù)環(huán)境中企業(yè)仍然需要數(shù)據(jù)集成、商業(yè)智能，只是它們的規(guī)模進入海量級別，同時對數(shù)據(jù)集成的基礎架構要有更好的延展性。今年6月Informatica推出了Informatica9.1 for Big Data，鄭瑋認為這是全球***個專門為大數(shù)據(jù)而構建的統(tǒng)一數(shù)據(jù)集成平臺。“這個平臺的開發(fā)目標非常明確，就是以Informatica的數(shù)據(jù)集成技術為基礎，幫助企業(yè)用戶充分發(fā)揮大數(shù)據(jù)的業(yè)務潛力”，鄭瑋說：“數(shù)據(jù)集成平臺上在IT 部門保持操控權的基礎上，通過自助服務增強所有用戶獲取相關信息的能力，并且能夠自適應數(shù)據(jù)服務，提供按業(yè)務需求進行調(diào)整的相關數(shù)據(jù)和可信數(shù)據(jù)，獲得業(yè)務洞察力和一致性?！?/p>

應對大數(shù)據(jù)的特征，Informatica 9.1在數(shù)據(jù)集成的三個方面分別提供了創(chuàng)新的解決方案。首先是全新的數(shù)據(jù)倉庫設備包能夠與大交易數(shù)據(jù)相互連接，并且通過OLTP在線分析處理存儲數(shù)據(jù)，提供對高流量的交易數(shù)據(jù)的訪問速度。其次，借助與新型社交媒體的連接器與大交互數(shù)據(jù)的連接。訪問如 Facebook、Twitter、LinkedIn 和其它媒體的數(shù)據(jù)源。將數(shù)據(jù)收集的范圍擴大到企業(yè)所在行業(yè)的新興價值數(shù)據(jù)集，還包括了設備和傳感器、CDR、海量圖像文件。

第三，利用平臺的連接功能支持對海量數(shù)據(jù)的處理。讓 IT 部門將不同來源的數(shù)據(jù)輸入Hadoop，并對Hadoop中的數(shù)據(jù)應用、數(shù)據(jù)質量進行探查和挖掘計算。更好的將Hadoop系統(tǒng)內(nèi)外的交互數(shù)據(jù)進行統(tǒng)一的管理，提供企業(yè)的洞察力。

“我們的某個客戶，是一家領先的專業(yè)時裝零售商，通過當?shù)氐陌儇浬痰辍⒕W(wǎng)絡及其郵購目錄業(yè)務為客戶提供服務”，鄭瑋向我們介紹了Informatica的一個成功案例：“公司希望向客戶提供差異化服務，如何定位公司的差異化，他們通過從 Twitter 和 Facebook 上收集社交信息，更深入的理解化妝品的營銷模式，隨后他們認識到必須保留兩類有價值的客戶：高消費者和高影響者。希望通過接受免費化妝服務，讓用戶進行口碑宣傳，這是交易數(shù)據(jù)與交互數(shù)據(jù)的***結合，為業(yè)務挑戰(zhàn)提供了解決方案?！盜nformatica的技術幫助這家零售商用社交平臺上的數(shù)據(jù)充實了客戶主數(shù)據(jù)，使他的業(yè)務服務更具有目標性。

新聞名稱：大數(shù)據(jù)(BigData)環(huán)境下的商業(yè)智能平臺技術解析
URL地址：http://www.dlmjj.cn/article/djpihhh.html