數(shù)據(jù)中臺炙手可熱，然而很多人并不知道數(shù)據(jù)中臺有什么作用，也不懂為什么人人都在談論數(shù)據(jù)中臺。總之，提到「數(shù)據(jù)中臺」4 個字，很多人都會「不明覺厲」。其實簡單來說，數(shù)據(jù)中臺就是企業(yè)用戶數(shù)據(jù)的鏈接樞紐，數(shù)據(jù)中臺的搭建就是以數(shù)據(jù)創(chuàng)造價值的過程。

那么，本期邀請了有著8年多年數(shù)據(jù)平臺架構(gòu)，數(shù)據(jù)管理，數(shù)據(jù)分析經(jīng)驗的王廣老師，就職于某AI藥物設計公司大數(shù)據(jù)架構(gòu)師，目前帶領公司大數(shù)據(jù)部門進行企業(yè)數(shù)字化轉(zhuǎn)型！

1. 什么是數(shù)據(jù)中臺

數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來”的機制，是一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務模式和組織架構(gòu)，通過有形的產(chǎn)品和實施方法論支撐，構(gòu)建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務于業(yè)務的機制。數(shù)據(jù)來自于業(yè)務，并反哺業(yè)務，不斷循環(huán)迭代，實現(xiàn)數(shù)據(jù)可視、可用、可運營。

2. 數(shù)據(jù)中臺的三個核心認知

2.1 數(shù)據(jù)中臺需要提升到企業(yè)下一代基礎設施的高度，進行規(guī)?；度耄?/p>

2.2 數(shù)據(jù)中臺需要全新的數(shù)據(jù)價值觀和方法論，并在其指引下形成平臺級能力；

2.3 數(shù)據(jù)中臺圍繞業(yè)務、數(shù)據(jù)、分析會衍生出全新人才素養(yǎng)要求，需要盡快啟動人才儲備；

3. 數(shù)據(jù)中臺驅(qū)動模式

以上四種驅(qū)動模式，最優(yōu)的就是業(yè)務能力驅(qū)動模式。需要業(yè)務架構(gòu)師和數(shù)據(jù)架構(gòu)師聯(lián)合驅(qū)動，從公司頂層的視角構(gòu)建公司業(yè)務架構(gòu)，從業(yè)務架構(gòu)到數(shù)據(jù)架構(gòu)從上而下去建設是最好的。但是這種情況還是比較少的。在國企、央企、政府比較多，因為，采用這種方式的公司，一般它對數(shù)字化轉(zhuǎn)型非常重視。

4. 數(shù)據(jù)中臺推進原則

4.1堅持"業(yè)務牽引，咨詢、平臺、實施三位一體推進"原則

♦以滿足相關(guān)業(yè)務應用需求為目標

♦總體規(guī)劃

♦按需搭建平臺

4.2遵循"橫向規(guī)劃，縱向切入"建設模式

♦規(guī)劃必須全盤考慮，打通企業(yè)的所有板塊

♦數(shù)據(jù)中臺建設不可能一蹴而就，需要從業(yè)務應用出發(fā)倒推數(shù)據(jù)需求

♦圍繞單個業(yè)務場景的閉環(huán)快速搭建數(shù)據(jù)中臺的各種能力

♦按照全景規(guī)劃依次迭代，逐步實現(xiàn)全局數(shù)據(jù)中臺

5. 數(shù)據(jù)中臺架構(gòu)原則

5.1 核心紀律嚴明

創(chuàng)建新的架構(gòu)范例的目的是要敏捷和創(chuàng)新，但它需要實用的治理。這種平衡是一條需要把握的微妙線。第一條神圣的原則體現(xiàn)了這種平衡。在核心上遵守規(guī)則意味著存儲數(shù)據(jù)的各個層需要按照它們的數(shù)據(jù)管理方法進行結(jié)構(gòu)化。這些層需要有詳細的治理策略，不能留下任何模糊的空間。然而，DataLakeHouse的邊緣，即數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)屏蔽和有助于洞察的層，需要具有靈活性。靈活性并不意味著在方法中亂作一團。這些層仍然由Data LakeHouse的策略管理。但是，它們在創(chuàng)建基于需求的新特性時具有一定的靈活性。在邊緣靈活的一個例子是，將來自Data LakeHous的原始數(shù)據(jù)和來自數(shù)據(jù)服務層的數(shù)據(jù)倉庫的數(shù)據(jù)混合起來，以創(chuàng)建一個ML模型。這些數(shù)據(jù)集具有不同級別的質(zhì)量分數(shù)和屬性。然而，這種靈活性是可以接受的，因為它有利于快速洞察的創(chuàng)建。

5.2 解耦計算和存儲

Data LakeHouse存儲大量的數(shù)據(jù)。它以結(jié)構(gòu)化和非結(jié)構(gòu)化的格式將數(shù)據(jù)存儲在數(shù)據(jù)湖層和服務層。數(shù)據(jù)需要用不同類型的計算引擎來處理。它可以是基于批處理的計算，也可以是基于流的計算。緊密耦合的計算和存儲層剝離了Data LakeHouse所需的靈活性。解耦計算和存儲也有成本影響——存儲是廉價和持久的，但計算是昂貴和短暫的。它提供了按需旋轉(zhuǎn)計算服務和根據(jù)需要擴展計算服務的靈活性，還提供了更好的成本控制和成本可預測性。EDW和數(shù)據(jù)湖模式面臨的一個關(guān)鍵挑戰(zhàn)是計算和存儲的緊密耦合。無論是否正在使用，都需要分配計算。隨著存儲的增加，計算也需要相應地伸縮。云計算平臺提供了解耦計算和存儲的靈活性。

5.3 關(guān)注功能而不是技術(shù)

下一個神圣的原則是關(guān)注組件的功能，而不是它的技術(shù)化身。這一原則體現(xiàn)了靈活性。正如系統(tǒng)上下文圖中所描述的，Data LakeHouse可以滿足很多人的需求。Data LakeHouse的技術(shù)表現(xiàn)形式有大量的技術(shù)選擇。它可以部署在任何云平臺上，甚至可以使用不同類型的選擇在內(nèi)部部署。此外，技術(shù)正在迅速變化。許多新產(chǎn)品都在商業(yè)上或開放源碼世界中發(fā)展，專注于實現(xiàn)特定的功能。讓我們以實時處理為例。Apache Storm是2011年發(fā)布的一款針對實時處理進行了優(yōu)化的產(chǎn)品。Apache Spark在2010年開源，到2013年成為了事實上的流處理引擎。Apache Spark一直在發(fā)展，而Apache Flink現(xiàn)在正在挑戰(zhàn)Apache Spark作為流處理引擎的霸主地位。技術(shù)的發(fā)展是迅速的。然而，功能仍然是相同的流處理。專注于一個組件完成的任務是至關(guān)重要的。此外，隨著技術(shù)的發(fā)展，我們可以很容易地替換技術(shù)來滿足相同的功能。

5.4 創(chuàng)建模塊化架構(gòu)

模塊化架構(gòu)指的是由可連接的獨立組件組成的任何系統(tǒng)的設計。模塊化架構(gòu)的美妙之處在于，您可以替換或添加任何部件(模塊)，而不會影響系統(tǒng)的其余部分。模塊化架構(gòu)確保了Data LakeHouse架構(gòu)的靈活創(chuàng)建，并且我們可以在不破壞現(xiàn)有功能的情況下無縫添加新功能。例如，假設將來需要向Data LakeHouse架構(gòu)添加新功能。在這種情況下，可以添加組件，使其遵循與所有其他組件相同的模式。它從數(shù)據(jù)湖層獲取數(shù)據(jù)，執(zhí)行其功能，并將數(shù)據(jù)存儲到經(jīng)過處理的數(shù)據(jù)存儲中，以便為其提供服務。模塊化架構(gòu)原則確保了數(shù)據(jù)保持在核心位置。根據(jù)不同的功能，可以實例化不同的服務以根據(jù)需要使用數(shù)據(jù)。

5.5 積極開展編碼

防止Data LakeHouse變成沼澤的唯一最重要的原則是在其層內(nèi)進行編目的程度。因此，執(zhí)行主動編目是一個神圣的原則。編目是防止數(shù)據(jù)湖變成數(shù)據(jù)沼澤的關(guān)鍵。勤奮的編目可以確保Data LakeHouse的用戶具有數(shù)據(jù)感知能力。他們應該理解存儲在不同生命階段的數(shù)據(jù)的屬性。他們需要理解數(shù)據(jù)轉(zhuǎn)換過程的血緣，從數(shù)據(jù)生成到數(shù)據(jù)消費。需要對Data LakeHouse架構(gòu)的所有組件進行編目，以便使用DataLakeHouse提供整個數(shù)據(jù)生命周期的整體視圖。

6. 常見數(shù)據(jù)問題

♦獨：煙囪系統(tǒng)，數(shù)據(jù)孤島嚴重。重復開發(fā)，成本浪費；

♦斷：數(shù)據(jù)理解與數(shù)據(jù)價值鏈條的斷層；

♦缺：缺標準、缺治理、缺數(shù)據(jù)、缺流程、缺組織、缺制度；

♦難：知數(shù)據(jù)難、要數(shù)據(jù)難、懂數(shù)據(jù)難、溯源難；

♦臟：數(shù)據(jù)質(zhì)量差；

♦安全：數(shù)據(jù)存在泄漏風險

7. 數(shù)據(jù)中臺的業(yè)務價值和技術(shù)價值

7.1 業(yè)務價值：從洞察走向賦能業(yè)務創(chuàng)新，形成核心壁壘

在以客戶為中心的時代，數(shù)據(jù)中臺對數(shù)字化轉(zhuǎn)型具有重要作用，以數(shù)據(jù)中臺為基礎的數(shù)據(jù)系統(tǒng)將位于企業(yè)應用的核心，通過數(shù)據(jù)從企業(yè)降本增效、精細化經(jīng)營等方面為企業(yè)帶來巨大收益。具體來說，包含以下三個層面：

◆ 以客戶為中心，用洞察驅(qū)動企業(yè)穩(wěn)健行動

在以客戶為中心的時代，客戶的觀念和行為正在從根本上改變企業(yè)的經(jīng)營方式以及企業(yè)與客戶的互動方式。

數(shù)據(jù)中臺建設的核心目標就是以客戶為中心的持續(xù)規(guī)?；瘎?chuàng)新，而數(shù)據(jù)中臺的出現(xiàn)，將會極大提升數(shù)據(jù)的應用能力，將海量數(shù)據(jù)轉(zhuǎn)化為高質(zhì)量數(shù)據(jù)資產(chǎn)，為企業(yè)提供更深層的客戶洞察，從而為客戶提供更具個性化和智能化的產(chǎn)品和服務。

譬如，數(shù)據(jù)中臺能夠匯聚全渠道的數(shù)據(jù)，在標簽管理、營銷圈人、效果分析等應用上實現(xiàn)全域的閉環(huán)，優(yōu)化對客戶全生命周期的理解。此外，以數(shù)據(jù)中臺為基礎，通過數(shù)據(jù)化運營提升客戶留存、復購和忠誠度，也得到諸多企業(yè)的認可。

◆ 以數(shù)據(jù)為基礎，支持大規(guī)模商業(yè)模式創(chuàng)新

只有依托數(shù)據(jù)和算法，將由海量數(shù)據(jù)提煉的洞察轉(zhuǎn)化為行動，才能推動大規(guī)模的商業(yè)創(chuàng)新。數(shù)據(jù)中臺在通過算法將洞察直接轉(zhuǎn)化為行動、實現(xiàn)大規(guī)模商業(yè)創(chuàng)新方面的能力，令人矚目。

另一方面，數(shù)據(jù)無法被業(yè)務用起來的一個原因是數(shù)據(jù)沒辦法變得可閱讀、易理解。

信息技術(shù)人員不夠懂業(yè)務，而業(yè)務人員不夠懂數(shù)據(jù)，導致數(shù)據(jù)應用到業(yè)務變得很困難，數(shù)據(jù)中臺需要考慮將信息技術(shù)人員與業(yè)務人員之間的障礙打破，信息技術(shù)人員將數(shù)據(jù)變成業(yè)務人員可閱讀、易理解的內(nèi)容，業(yè)務人員看到內(nèi)容后能夠很快結(jié)合到業(yè)務中去，這樣才能更好地支撐商業(yè)模式的創(chuàng)新。

此外，數(shù)據(jù)中臺提供標準的數(shù)據(jù)訪問能力，簡化集成復雜性、促進互操作性等特性也非常受企業(yè)CIO們的青睞。同時，在快速構(gòu)建服務能力、加快商業(yè)創(chuàng)新、提升業(yè)務適配等方面，數(shù)據(jù)中臺也將會發(fā)揮重要的作用。

◆ 盤活全量數(shù)據(jù)，構(gòu)筑堅實壁壘以持續(xù)領先

在以客戶為中心的時代，只有贏得客戶的企業(yè)才能在競爭中保持優(yōu)勢。企業(yè)能否真正做到“客戶至上”，并不斷提高對客戶的快速響應力來滿足客戶的需求，甚至引領市場潮流，持續(xù)推進規(guī)?；瘎?chuàng)新，終將決定企業(yè)能否在充滿挑戰(zhàn)和機遇的市場上發(fā)展壯大，長久保持生命力與競爭力。

7.2 技術(shù)價值：能力多、成本低、應用廣

數(shù)字化轉(zhuǎn)型的需求必將催生多元化的數(shù)據(jù)場景，而多元化的數(shù)據(jù)場景將會帶來以下技術(shù)需求，企業(yè)數(shù)據(jù)中臺建設勢在必行。

◆ 應對多數(shù)據(jù)處理的需求

針對不同的數(shù)據(jù)應用場景，需要能夠快速應對多數(shù)據(jù)處理需求，比如：

要保持原來的報表需求，仍需要保持批量離線計算的能力（Hadoop、Oracle RAC）；

針對準實時的指標統(tǒng)計和實時推薦，需要實時流式計算的能力（Storm、Spark Streaming、Flink）；

針對決策類業(yè)務如海量人群的圈人需求和ad-hoc需求，需要即席計算能力（Greenplum、Elasticsearch、Impala）；

針對高并發(fā)業(yè)務場景（如用戶畫像），需要在線計算能力（MySQL、Redis、Oracle）。

因此，企業(yè)需要一個統(tǒng)一的數(shù)據(jù)中臺來滿足離線／實時計算需求、各種查詢需求（實時查詢和ad hoc），同時在將來新數(shù)據(jù)引擎（更快的計算框架，更快的查詢響應）出現(xiàn)時，又不需要重構(gòu)目前的大數(shù)據(jù)體系。

◆ 豐富標簽數(shù)據(jù)，降低管理成本

根據(jù)全國信標委大數(shù)據(jù)標準工作組發(fā)布的《數(shù)據(jù)管理能力成熟度模型》（DCMM），針對數(shù)據(jù)標準提到的數(shù)據(jù)分類主要有主數(shù)據(jù)、參考數(shù)據(jù)和指標數(shù)據(jù)，但根據(jù)目前真實的數(shù)據(jù)建設情況來看，需要對一類數(shù)據(jù)進行定義和分類，譬如標簽名為“消費特征”，標簽值為“促銷敏感”“貨比三家”“猶豫不決”。

數(shù)據(jù)中臺能對這類標簽進行快速定義和有效管理。

◆ 數(shù)據(jù)的價值能體現(xiàn)業(yè)務系統(tǒng)效果而不僅是準確度

過去的數(shù)據(jù)應用場景主要為報表需求，注重數(shù)據(jù)的準確性，但在更多數(shù)據(jù)場景下，特別是對于標簽數(shù)據(jù)的應用，越來越多的數(shù)據(jù)是需要不斷“優(yōu)化”的，數(shù)據(jù)本身沒有準不準確之分，比如某個會員是屬于促銷敏感人群，這個數(shù)據(jù)其實更多的說的是概率。

◆ 支持跨主題域訪問數(shù)據(jù)

企業(yè)早期建設的應用數(shù)據(jù)層ADS（傳統(tǒng)數(shù)據(jù)倉庫ODS/DW/ADS）更多是為某個主題域所服務的，如營銷域、人力資源域、風控域，而企業(yè)在數(shù)據(jù)應用的時候往往需要打破各個業(yè)務主題，會從業(yè)務對象主體出發(fā)來考慮數(shù)據(jù)應用，如人（會員、供應商、渠道、員工）和物（商品、倉庫、合同），從全域角度設計完整的面向?qū)ο蟮臄?shù)據(jù)標簽體系。

◆ 數(shù)據(jù)可以快速復用而不僅是復制

傳統(tǒng)的架構(gòu)中，要將數(shù)據(jù)應用到業(yè)務中，通用的做法都是通過數(shù)據(jù)同步能力，把計算的結(jié)果同步給業(yè)務系統(tǒng)，由業(yè)務系統(tǒng)自行處理，這會帶來一個數(shù)據(jù)管理問題，即無法獲取數(shù)據(jù)在應用場景中的具體價值和熱度，整個數(shù)據(jù)血緣鏈路也是割裂的。

1.數(shù)字化轉(zhuǎn)型面臨的問題

利用數(shù)據(jù)中臺，實現(xiàn)數(shù)據(jù)采集、存儲、處理、分析和服務的統(tǒng)一管理，提高信息和數(shù)據(jù)的響應時間，提高經(jīng)營管理工作效率，有利于壓縮開支，降低管理成本，推進數(shù)字化轉(zhuǎn)型發(fā)展。”5步走”解決問題！

?1種戰(zhàn)略行動：把用數(shù)據(jù)中臺驅(qū)動業(yè)務發(fā)展定位為企業(yè)級戰(zhàn)略，全局謀劃；

?2項保障條件：通過宣導統(tǒng)一組織間的數(shù)據(jù)認知，通過流程加速組織變革；

?3條目標準則：將數(shù)據(jù)的可見、可用、可運營3個核心準則始終貫穿于中臺建設的全過程，保障建設在正確軌道上；

?4套建設內(nèi)容：通過技術(shù)體系、數(shù)據(jù)體系、運營體系建設保證中臺建設的全面性和可持續(xù)性；

?5個關(guān)鍵步驟：通過理現(xiàn)狀、立架構(gòu)、建資產(chǎn)、用數(shù)據(jù)、做運營5個關(guān)鍵行動控制中臺建設關(guān)鍵節(jié)點的質(zhì)量；

1.數(shù)據(jù)中臺架構(gòu)圖

2.典型應用場景介紹

民生服務、經(jīng)營決策、風險控制、精準營銷、績效考核

♦場景一：在財務管理中使用 BI 找到數(shù)據(jù)關(guān)鍵

BI 可以幫用戶獲取外部、本地的各種財務數(shù)據(jù)。還可以利用拖放可視化工具，完善客戶對財務狀況的分析。

♦場景二：幫助市場營銷活動管理數(shù)據(jù)

借助 BI，用戶可以監(jiān)控并分析當前的市場狀況，從而把營銷資源投入到更有效率的渠道上。 

♦場景三：在銷售活動中預測市場機會，達成業(yè)績目標，提高利潤

BI 可以幫用戶管理公司的各種銷售渠道。 

♦場景四：掌握人力資源的相關(guān)信息

BI能幫用戶收集和監(jiān)測所有重要數(shù)據(jù)。儀表板還能幫用戶追蹤合規(guī)性、人員編制和其他信息，保護公司和員工數(shù)據(jù)。

♦場景五：IT領域提高工作效率

通過BI，用戶可以創(chuàng)建各類儀表板，從而監(jiān)測并分析從 Active Directory 到 Zendesk等各種服務。如果需要企業(yè)級別的商業(yè)智能解決方案，您還能將它與 SSAS 服務包無縫集成。

♦場景六：在運維工作中以數(shù)據(jù)為向?qū)?/p>

BI 能夠監(jiān)測包括 Excel表、本地數(shù)據(jù)庫和云服務等所有來源的數(shù)據(jù)，并為用戶的產(chǎn)品、商場績效、申報額分析等發(fā)現(xiàn)新的可能

3.數(shù)據(jù)使用者

一旦數(shù)據(jù)被接入到Data LakeHouse，各種利益相關(guān)方將以原始或轉(zhuǎn)換后的形式使用它。這些利益相關(guān)者將從Data LakeHouse中提取用于特定目的的數(shù)據(jù)。每個消費者都有使用Data LakeHouse的個人動機。一個架構(gòu)良好的Data LakeHouse應該能夠滿足每一個涉眾的需求。

讓我們看看一些典型的用戶和系統(tǒng)，他們使用來自Data LakeHouse的數(shù)據(jù)，如下所示:

♦數(shù)據(jù)科學家

我們看到使用Data LakeHouse的第一類人是數(shù)據(jù)科學家，他們從Data LakeHouse中提取數(shù)據(jù)，以測試他們可能想要證明或反對的各種假設。數(shù)據(jù)科學家研究各種類型的數(shù)據(jù)：結(jié)構(gòu)化的、非結(jié)構(gòu)化的、原始的和處理過的。Data LakeHouse需要能夠確保數(shù)據(jù)對于特定用途是容易識別的，用戶必須精通許多編程語言和技術(shù)，包括Python、R和結(jié)構(gòu)化查詢語言(SQL)， 架構(gòu)需要為這個用戶提供正確的平臺來創(chuàng)建和測試他們的模型。

♦數(shù)據(jù)分析師

使用Data LakeHouse的第二類人是分析師。他們主要是業(yè)務驅(qū)動的，尋求業(yè)務問題的答案，并且精通報表工具或基于SQL的語言。他們主要處理處理過的數(shù)據(jù)，他們的日常工作包括執(zhí)行業(yè)務分析。通過查詢、聚合和切片數(shù)據(jù)(主要是清理和處理的數(shù)據(jù))來完成這項任務。DataLakeHouse應該迎合這樣的用戶，為他們提供一個平臺，進行有效和無縫的數(shù)據(jù)分析。

♦管理人員

第三類大量使用Data LakeHouse的人是管理人員，他們需要定期的報表以進行業(yè)務決策。他們深入研究那些按特定業(yè)務需求處理過數(shù)據(jù)。他們可能是半技術(shù)通，可能需要一個使用商業(yè)智能(BI)工具創(chuàng)建報表或分析的地方。這些人通常通過報表系統(tǒng)獲取他們所需的報表。

♦報表系統(tǒng)

Data LakeHouse的其他關(guān)鍵用戶是報表系統(tǒng)。報表系統(tǒng)間接地迎合了希望訂閱預定的、臨時的或自助報表的人員。此外，可能還有其他類型的報表系統(tǒng)是為了監(jiān)管報表。這些系統(tǒng)定期從Data LakeHouse中提取數(shù)據(jù)，然后存儲報表以便交付。

♦下游應用系統(tǒng)

當數(shù)據(jù)從上游應用程序接入到Data LakeHouse時，下游應用程序也會使用處理過的信息。這些應用程序可能是OLTP系統(tǒng)，也可能是另一個數(shù)據(jù)倉庫或數(shù)據(jù)湖，其任務與企業(yè)DataLakeHouse(EDL)不同。通常，用于下游消費的數(shù)據(jù)要么定期從Data LakeHouse中提取，要么使用一種可行的機制將數(shù)據(jù)推送到目的地。

♦基于應用程序編程接口(API)的系統(tǒng)

Data LakeHouse還需要能夠以API的形式公開數(shù)據(jù)。DataLakeHouse處理各種類型的數(shù)據(jù)，需要服務于多個內(nèi)部和外部系統(tǒng)。雖然緊密耦合的交付機制可能適用于特定的使用者，但基于API的數(shù)據(jù)使用是一種可伸縮且實用的選擇。此外，基于API的系統(tǒng)還可以公開不屬于組織的外部涉眾所使用的數(shù)據(jù)。

♦數(shù)據(jù)共享系統(tǒng)

數(shù)據(jù)共享系統(tǒng)代表了一種新型的數(shù)據(jù)消費機制。當數(shù)據(jù)作為數(shù)據(jù)市場的一部分被消費或共享時，就會使用這種機制。當需要就數(shù)據(jù)使用的特定條款達成一致時，也可以使用數(shù)據(jù)共享機制。