BI商業智能與大數據應用的(de)區别；
BI（Business Intelligence），即商務智能，它是一(yī)套完整的(de)解決方案，用來将企業中現有的(de)數據進行有效的(de)整合，快速準确的(de)提供報表并提出決策依據，幫助企業做(zuò)出明智的(de)業務經營決策。
伴随着BI的(de)發展，ETL，數據集成平台等概念相繼提出。ETL（Extraction Transformation Loading），即數據提取、轉換和(hé)加載，數據集成平台主要功能對各種業務數據進行抽取和(hé)相關轉化，以此來滿足BI、數據倉庫對數據格式和(hé)內(nèi)容挖掘的(de)要求。

1     數據集成平台
數據集成平台的(de)基礎工作與ETL有很大的(de)相似性，其主要功能是實現不同系統不同格式數據地(dì)抽取，并且按照目标需求轉化成為(wèi)相應的(de)格式。數據集成開始是點對點的(de)，慢慢地(dì)發現這種模式對于系統之間，不同所有權的(de)企業數據流向以及數據标準控制很難，為(wèi)此，誕生了對統一(yī)企業數據平台的(de)需求，來實現企業級之間的(de)數據交互。
數據集成平台就像網絡中的(de)Hub，可(kě)以連接所有應用系統，實現系統之間數據的(de)互通有無。數據集成平台以BI、數據倉庫需求而産生，現在已經跨越了最初的(de)需求，上升到了一(yī)個更高(gāo)的(de)階段。

2.     大數據

如(rú)今大數據應用更多關注非結構化數據，更多談論互聯網，Twitter、Facebook、博客等非結構化數據，如(rú)此理(lǐ)解大數據應用，顯然就有些走偏了。結構化數據也屬于大數據，且呈現出相同的(de)特點和(hé)特征，如(rú)數據量大，增長(cháng)越來越快，對數據處理(lǐ)要求高(gāo)等。結構化數據是廣義大
數據中含金量或者價值密度最高(gāo)的(de)一(yī)部分數據，與之相比，非結構化數據含金量高(gāo)但價值密度低(dī)。在Hadoop平台出現之前，沒有人談論大數據。數據應用主要是結構化數據，多采用IBM、HP等老牌廠商的(de)小型機或服務器設備。
采用傳統方法處理(lǐ)這些價值密度低(dī)的(de)非結構化數據，被認為(wèi)是不值得的(de)，因為(wèi)其産出實在是有限。Hadoop平台出現之後，提供了一(yī)種開放的(de)、廉價的(de)、基于普通商業硬件的(de)平台，其核心是分布式大規模并行處理(lǐ)，從而為(wèi)非結構化數據處理(lǐ)創造條件。
大數據應用的(de)數據來源應該包括結構化數據，如(rú)各種數據庫、各種結構化文件、消息隊列和(hé)應用系統數據等，其次才是非結構化數據，又可(kě)以進一(yī)步細分為(wèi)兩部分，一(yī)是社交媒體，如(rú)Twitter、Facebook、博客等産生的(de)數據，包括用戶點擊的(de)習慣/
特點，發表的(de)評論，評論的(de)特點，網民之間的(de)關系等，這些都構成了大數據來源。另外一(yī)部分數據，也是數據量比較大的(de)數據，就是機器設備以及傳感器所産生的(de)數據。以電信行業為(wèi)例，CDR、呼叫記錄，這些數據都屬于原始傳感器數據，主要來自(zì)路由器或者基站。此外，手機的(de)置傳感器，各種手持設備、門禁系統，攝像頭、ATM機等，其數據量也非常巨大。

3.     大數據分析工具
對于分析大數據的(de)工具，目前所有的(de)分析工具都側重于結構化分析，例如(rú)針對社交媒體評論方向的(de)分析，根據特定的(de)詞頻或者語義，通過統計正面/負面評論的(de)比例，來确定評論性質。如(rú)果有一(yī)個應用系統是接收結構化數據的(de)，例如(rú)一(yī)個分析系統，接收這些語義就可(kě)以便于分析。

4.     大數據應用實例
讓大數據應用落地(dì)，其中的(de)關鍵在于與行業應用的(de)深度融合。
1)      公安行業
公安行業的(de)視(shì)頻影像處理(lǐ)是一(yī)個特定應用領域，傳統BI、ETL工具拿這些數據沒有辦法，采用分布式Hadoop進行處理(lǐ)能夠帶來很
好的(de)效益，因為(wèi)Hadoop可(kě)以處理(lǐ)數據量足夠大。公安行業實際上已采集了大量視(shì)頻影像數據，利用這些數據，可(kě)以追蹤一(yī)個嫌疑犯的(de)行蹤，什麽時間在全國(guó)哪些地(dì)區出現過。這些應用不可(kě)能單純依靠人的(de)力量，需要借助人臉識别、圖像識别技術、模式處理(lǐ)，數據壓縮等技術，需要海量處理(lǐ)軟件，抓出相關特征，幫助公安人員提高(gāo)工作效率。

2)      電信行業
在電信行業，計費系統實際上是對各種數據進行整合後的(de)結果，是一(yī)個縮小的(de)數據。借助大數據應用，運營商可(kě)以原始大數據進行
分析，例如(rú)分析傳感器數據是否有異常，從而判斷設備異常等，這些都是一(yī)些用傳統BI工具無法實現的(de)分析，其結果往往會出乎意料，幫助運營商提高(gāo)服務水平以及用戶的(de)滿意度。

3)      互聯網行業
在互聯網行業，通過分析手機上網軌迹，可(kě)以分析了解客戶群，了解用戶的(de)偏好，此外，獲取地(dì)理(lǐ)位置的(de)信息，也具有特定價值。
從這些行業大數據應用分析來看，一(yī)個是視(shì)頻影像處理(lǐ)，一(yī)個是日志分析，另外一(yī)個是處理(lǐ)特定文件格式的(de)分析處理(lǐ)，彼此之間顯然沒有任何通
用性的(de)特點，其共同點就是利用了廉價的(de)大數據處理(lǐ)平台。

大數據處理(lǐ)的(de)十大工具；
大數據的(de)日益增長(cháng),給企業管理(lǐ)大量的(de)數據帶來了挑戰的(de)同時也帶來了一(yī)些機遇。下面是用于信息化管理(lǐ)的(de)大數據工具列表：

1.ApacheHive

Hive是一(yī)個建立在hadoop上的(de)開源數據倉庫基礎設施，通過Hive可(kě)以很容易的(de)進行數據的(de)ETL,對數據進行結構化處理(lǐ),并對Hadoop上大數據文件
進行查詢和(hé)處理(lǐ)等。Hive提供了一(yī)種簡單的(de)類似SQL的(de)查詢語言—HiveQL,這為(wèi)熟悉SQL語言的(de)用戶查詢數據提供了方便。
2JaspersoftBI套件
Jaspersoft包是一(yī)個通過數據庫列生成報表的(de)開源軟件。行業領導者發現Jaspersoft軟件是一(yī)流的(de),許多企業已經使用它來将SQL表轉化為(wèi)pdf,，這
使每個人都可(kě)以在會議上對其進行審議。另外，JasperReports提供了一(yī)個連接配置單元來替代HBase。

3.1010data

1010data創立于2000年(nián)，是一(yī)個總部設在紐約的(de)分析型雲服務，旨在為(wèi)華爾街的(de)客戶提供服務，甚至包括NYSEEuronext、遊戲和(hé)電信的(de)客戶。
它在設計上支持可(kě)伸縮性的(de)大規模并行處理(lǐ)。它也有它自(zì)己的(de)查詢語言,支持SQL函數和(hé)廣泛的(de)查詢類型，包括圖和(hé)時間序列分析。這個私有雲的(de)方法減少了客戶在基礎設施管理(lǐ)和(hé)擴展方面的(de)壓力。

4.Actian
Actian之前的(de)名字叫做(zuò)IngresCorp，它擁有超過一(yī)萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分别導緻了
ActianVector和(hé)ActianMatrix的(de)創建。它有Apache，Cloudera，Hortonworks以及其他發行版本可(kě)供選擇。

5.PentahoBusinessAnalytics

從某種意義上說,Pentaho與Jaspersoft相比起來,盡管Pentaho開始于報告生成引擎，但它目前通過簡化新來源中獲取信息的(de)過程來支持大數據處
理(lǐ)。Pentaho的(de)工具可(kě)以連接到NoSQL數據庫，例如(rú)MongoDB和(hé)Cassandra。PeterWayner指出,PentahoData(一(yī)個更有趣的(de)圖形編程界面工具)有很多內(nèi)置模塊，你可(kě)以把它們拖放到一(yī)個圖片上,然後将它們連接起來。

6.KarmasphereStudioandAnalyst
KarsmasphereStudio是一(yī)組構建在Eclipse上的(de)插件,它是一(yī)個更易于創建和(hé)運行Hadoop任務的(de)專用IDE。在配置一(yī)個Hadoop工作時，
Karmasphere工具将引導您完成每個步驟并顯示部分結果。當出現所有數據處于同一(yī)個Hadoop集群的(de)情況時，KarmaspehereAnalyst旨在簡化
篩選的(de)過程,。

7.Cloudera

Cloudera正在努力為(wèi)開源Hadoop,提供支持，同時将數據處理(lǐ)框架延伸到一(yī)個全面的(de)“企業數據中心”範疇,這個數據中心可(kě)以作為(wèi)首選目标和(hé)管
理(lǐ)企業所有數據的(de)中心點。Hadoop可(kě)以作為(wèi)目标數據倉庫，高(gāo)效的(de)數據平台，或現有數據倉庫的(de)ETL來源。企業規模可(kě)以用作集成Hadoop與傳
統數據倉庫的(de)基礎。Cloudera緻力于成為(wèi)數據管理(lǐ)的(de)“重心”。

8.HPVerticaAnalyticsPlatformVersion7
HP提供了用于加載Hadoop軟件發行版所需的(de)參考硬件配置,因為(wèi)它本身并沒有自(zì)己的(de)Hadoop版本。計算機行業領袖将其大數據平台架構命名為(wèi)
HAVEn(意為(wèi)Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了一(yī)個“FlexZone”，允許用
戶在定義數據庫方案以及相關分析、報告之前探索大型數據集中的(de)數據。這個版本通過使用HCatalog作為(wèi)元數據存儲，與Hadoop集成後為(wèi)用戶
提供了一(yī)種探索HDFS數據表格視(shì)圖的(de)方法。

9.TalendOpenStudio
Talend’s工具用于協助進行數據質量、數據集成和(hé)數據管理(lǐ)等方面工作。Talend是一(yī)個統一(yī)的(de)平台，它通過提供一(yī)個統一(yī)的(de)，跨企業邊界生命周
期管理(lǐ)的(de)環境，使數據管理(lǐ)和(hé)應用更簡單便捷。這種設計可(kě)以幫助企業構建靈活、高(gāo)性能的(de)企業架構,在次架構下，集成并啓用百分之百開源服務的(de)分布式應用程序變為(wèi)可(kě)能。

10.ApacheSpark
ApacheSpark是Hadoop開源生态系統的(de)新成員。它提供了一(yī)個比Hive更快的(de)查詢引擎，因為(wèi)它依賴于自(zì)己的(de)數據處理(lǐ)框架而不是依靠Hadoop的(de)
HDFS服務。同時，它還用于事件流處理(lǐ)、實時查詢和(hé)機器學(xué)習等方面。

責任編輯：中山網站建設
 【網訊網絡】國(guó)家高(gāo)新技術企業》十年(nián)專注軟件開發，網站建設，網頁設計，APP開發，小程序，微信公衆号開發，定制各類企業管理(lǐ)軟件（OA、CRM、ERP、訂單管理(lǐ)系統、進銷存管理(lǐ)軟件等)！服務熱線：0760-88610046、13924923903，http://www.wansion.net