1、大數(shù)據(jù)平臺(tái)目前業(yè)界也沒(méi)有統(tǒng)一的定義，但一般情況下，使用了Hadoop、Spark、Storm、Flink等這些分布式的實(shí)時(shí)或者離線計(jì)算框架，建立計(jì)算集群，并在上面運(yùn)行各種計(jì)算任務(wù)，這就是通常理解上的大數(shù)據(jù)平臺(tái)。

2、至于一家企業(yè)什么時(shí)候需要大數(shù)據(jù)平臺(tái)，這取決于這么幾方面：

業(yè)務(wù)需求：業(yè)務(wù)需求引導(dǎo)是必須的，不能光為了建平臺(tái)而建平臺(tái)，建立平臺(tái)的最終目的是為了服務(wù)業(yè)務(wù)，讓業(yè)務(wù)發(fā)展的更好。企業(yè)內(nèi)大數(shù)據(jù)平臺(tái)一般是信息管理部門、IT部門承建并承接一些數(shù)據(jù)需求，業(yè)務(wù)部門其實(shí)不關(guān)心你是不是用大數(shù)據(jù)平臺(tái)還是用Oracle數(shù)據(jù)庫(kù)計(jì)算出來(lái)的，那么這怎么評(píng)估呢？其實(shí)主要還是數(shù)據(jù)量，比如業(yè)務(wù)部門是不是偶爾會(huì)提“去年全年的XX怎么樣？”、“去年全年的銷售按照渠道、產(chǎn)品類別幾個(gè)維度進(jìn)行細(xì)分”、“需要用戶行為數(shù)據(jù)、訂單數(shù)據(jù)結(jié)合來(lái)做用戶畫(huà)像”、“需要給用戶打標(biāo)簽”、“設(shè)備傳感器的數(shù)據(jù)都有了，需要做實(shí)時(shí)的故障預(yù)測(cè)”等等，在承接各種業(yè)務(wù)需求的時(shí)候，是不是偶爾會(huì)出現(xiàn)任務(wù)運(yùn)行很久的情況？會(huì)不會(huì)出現(xiàn)有些需求根本難以實(shí)現(xiàn)，因?yàn)橛?jì)算量太大的問(wèn)題？這就說(shuō)明，業(yè)務(wù)上已經(jīng)有大數(shù)據(jù)的訴求了，技術(shù)上并沒(méi)有滿足。

說(shuō)到業(yè)務(wù)需求，企業(yè)內(nèi)的信息管理部門也要注意，自己不能光承擔(dān)需求，更重要的是要深入業(yè)務(wù)，理解業(yè)務(wù)，本部門對(duì)技術(shù)了解，如果對(duì)業(yè)務(wù)也多了解一下，就能夠利用技術(shù)優(yōu)勢(shì)做到“想業(yè)務(wù)部門所未想”，實(shí)現(xiàn)比業(yè)務(wù)部門能提出更好的需求，并且能用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)這個(gè)需求，這時(shí)候，信息管理部門的價(jià)值就更突出了，在企業(yè)內(nèi)就再也不是一個(gè)承接需求或者背鍋的部門了。

數(shù)據(jù)量與計(jì)算量：涉及到數(shù)據(jù)量的評(píng)估，也包括2方面：

現(xiàn)有的情況：現(xiàn)在有多少數(shù)據(jù)？都存儲(chǔ)在哪里？業(yè)務(wù)部門提的各種指標(biāo)需求，每天需要多長(zhǎng)時(shí)間計(jì)算完成？每天什么時(shí)候完成昨天經(jīng)營(yíng)情況的數(shù)據(jù)更新？

增長(zhǎng)的情況：每天、每周、每個(gè)月的數(shù)據(jù)增量有多少？按照這個(gè)增速，現(xiàn)有的配置還能滿足多長(zhǎng)時(shí)間的需求？

以上2個(gè)方面需要綜合評(píng)估，現(xiàn)有數(shù)據(jù)量較多或者增長(zhǎng)較快，那就需要做大數(shù)據(jù)平臺(tái)的打算了。

先進(jìn)性：本企業(yè)在技術(shù)上的布局是否需要一定前瞻性？需要早在數(shù)據(jù)量不太大的時(shí)候就進(jìn)行技術(shù)探索？亦或是未來(lái)會(huì)上馬新項(xiàng)目，新項(xiàng)目會(huì)產(chǎn)生大量數(shù)據(jù)。

公有云與私有云的選擇：如果企業(yè)對(duì)公有云比較接受，其實(shí)可以考慮直接數(shù)據(jù)上公有云，公有云在國(guó)內(nèi)主要就是阿里云、騰訊云、百度云等，其中阿里云的技術(shù)最為成熟，此外還有亞馬遜的AWS等，但這里說(shuō)的是搭建自己的大數(shù)據(jù)平臺(tái)，就不深入展開(kāi)了。

3、如何搭建大數(shù)據(jù)平臺(tái)

建設(shè)一個(gè)大數(shù)據(jù)平臺(tái)不是一朝一夕能完成的，不是下載安裝幾個(gè)開(kāi)源組件那么簡(jiǎn)單。

涉及到：

技術(shù)層面：如何進(jìn)行系統(tǒng)架構(gòu)設(shè)計(jì)？集群資源如何評(píng)估？需要哪些組件？Hadoop、Spark、Tez、Storm、Flink，這些組件有什么區(qū)別？它們之間如何有機(jī)的組合起來(lái)？

團(tuán)隊(duì)層面：現(xiàn)有的技術(shù)團(tuán)隊(duì)配比如何？有沒(méi)有人力搭建并且運(yùn)維這個(gè)平臺(tái)？有沒(méi)有能力運(yùn)營(yíng)好這個(gè)平臺(tái)？

對(duì)于非常重視主營(yíng)業(yè)務(wù)的傳統(tǒng)企業(yè)，信息技術(shù)部門的團(tuán)隊(duì)規(guī)模一般比較有限，建設(shè)一個(gè)大數(shù)據(jù)平臺(tái)的成本是很高的，這個(gè)成本不僅是經(jīng)濟(jì)成本，還包括人才投入的成本、時(shí)間消耗的成本等等，如何能快速滿足企業(yè)的大數(shù)據(jù)平臺(tái)需求。這時(shí)候就可以考慮直接采購(gòu)商用的大數(shù)據(jù)平臺(tái)。

商用的大數(shù)據(jù)平臺(tái)，市場(chǎng)上也有很多可以選擇，比如星環(huán)、華為，此外還有袋鼠云數(shù)棧。

數(shù)棧的目標(biāo)是通過(guò)產(chǎn)品化的方式，幫助企業(yè)構(gòu)建數(shù)據(jù)共享能力中心。數(shù)棧不僅僅是一個(gè)大數(shù)據(jù)平臺(tái)，同時(shí)附加各類數(shù)據(jù)處理工具，包括：

開(kāi)發(fā)套件：一站式大數(shù)據(jù)開(kāi)發(fā)平臺(tái)，幫助企業(yè)快速完全數(shù)據(jù)中臺(tái)搭建

數(shù)據(jù)質(zhì)量: 對(duì)過(guò)程數(shù)據(jù)和結(jié)果數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，幫助企業(yè)及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題

數(shù)據(jù)地圖: 可視化的數(shù)據(jù)資產(chǎn)中心，幫助企業(yè)全盤掌控?cái)?shù)據(jù)資產(chǎn)情況和數(shù)據(jù)的來(lái)源去向

數(shù)據(jù)模型: 使企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化，模型化，幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)管理規(guī)范化

數(shù)據(jù)API: 快速生成數(shù)據(jù)API、統(tǒng)一管理API服務(wù)，幫助企業(yè)提高數(shù)據(jù)開(kāi)放效率

主要特點(diǎn)有：

1.一站式。一站式數(shù)據(jù)開(kāi)發(fā)產(chǎn)品體系，滿足企業(yè)建設(shè)數(shù)據(jù)中臺(tái)過(guò)程中的多樣復(fù)雜需求。

2.兼容性強(qiáng)。支持對(duì)接多種計(jì)算引擎，兼容離線&實(shí)時(shí)任務(wù)開(kāi)發(fā)。

3.開(kāi)箱即用?；赪eb的圖形化操作界面，開(kāi)箱即用，快速上手。

4.性價(jià)比高。滿足中小企業(yè)數(shù)據(jù)中臺(tái)建設(shè)需求，降低企業(yè)投入成本。

有了數(shù)棧，企業(yè)搭建數(shù)據(jù)平臺(tái)就不再是什么問(wèn)題，核心需求也就會(huì)從搭建數(shù)據(jù)平臺(tái)轉(zhuǎn)為滿足更多的業(yè)務(wù)訴求，實(shí)現(xiàn)真正的企業(yè)數(shù)據(jù)共享能力中心