很可惜 T 。T 您現在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請把文章發(fā)送到郵箱tougao@appcpx.com,一經錄用會有專人和您聯系
咨詢如何成為春羽作者請聯系:鳥哥筆記小羽毛(ngbjxym)
數據實際上是一個非常傳統(tǒng)的行業(yè)。
有軟件開始的那一天起,數據這個行業(yè)就存在了。比如說原來最早的時候,有非常多的數據報表數據可視化,然后到后來,有了商業(yè)智能,有了Data Warehouse(就是數據倉庫),然后數據挖掘,并且在數據這個行業(yè)里面是有非常多的巨頭的,比如:teradata、cognos,biee、microstrategy等。
數據這個行業(yè)不僅僅是軟件,它還有管理的部分,也就是說數據治理,即如何讓企業(yè)的數據治理的質量更好。所以數據這個行業(yè)本身是一個非常傳統(tǒng)的行業(yè),每個大型一點的企業(yè)都有自己的數據分析部門,數據倉庫部門。
那么為什么數據湖也好,數據平臺也好,在過去都沒有像今年數據中臺這么熱門。而且關注數據中臺的還不僅僅是技術部門,很多都是業(yè)務部門。那么業(yè)務部門為什么這么熱衷于數據中臺,業(yè)務部門以前不是特別關注這些技術的數據平臺和這些技術的概念。
大概在04,05年,我就開始從事一些跟數據相關的工作,在06年的時候做過一個數據倉庫的項目。
講到數據中臺,我們就要提到平臺化。我們現在所講的SARS也好,所講的path也好,所講的數據中臺也好,所講的業(yè)務中臺也好,它實際上根本的思想來源是來自于平臺化,就是platform。
舉個例子:我們拿一個飲料廠的產品線來講,那么他可以生產果汁,可以生產飲料,還可以生產其他的產品,它可能是三四條不同的生產線。從原材料加工成飲料,它有很多環(huán)節(jié),雖然品種不一樣,但是它很多環(huán)節(jié)是類似的,比如裝瓶、攪拌。
那么這幾個不同的生產流程、生產線,我們可以把那些公共的部分合并起來,更加專業(yè)化,然后并且讓他們獨立去維護,之后把那些不同的產品面向客戶,使客戶體驗不同的產品,使它獨立出來,這就是平臺化的思路。
所以,平臺化的思路很重要的就是把那些有共性的資源,有共性的能力合并在一起,然后把那些面向客戶的價值獨立出來。
這樣的話,專業(yè)的人做專業(yè)的事情,并且對于企業(yè)的績效也非常的有利,不揉在一塊了,更加的清晰,所以這就是平臺化的思路。
那么不管什么中臺,它實際上都是平臺思想的一個體現,一種具象。
所以從軟件角度來看,那么這個圖是十幾年前,所謂的EAI,即企業(yè)應用集成。
最早的時候企業(yè)的應用集成是一種點對點的形式,以前沒有前后臺之分,比如說所有的業(yè)務系統(tǒng)可能最后都要結賬,都要算賬,那就叫財務系統(tǒng)。然后所有的財務系統(tǒng)在結賬的時候,WBS code,我們所講的項目編碼,叫項目系統(tǒng)。
所以這樣的話在這里面有很多的系統(tǒng),它的功能要被多個其他的系統(tǒng)所調用,原來的網狀點對點集成結構很復雜而且一團麻,摩擦非常多,經常搞不清楚,數據不統(tǒng)一、規(guī)則也不一致。
以前我們稱ESB,為企業(yè)的服務總線,然后將多個服務,用SOA的方式,把多個這種會復用的服務,抽象出來,變成企業(yè)級的service。ESB上可以提供其他的服務消費者所調用,中間的ESB,實際上它也是一個平臺。所以平臺化的優(yōu)勢就是能力復用,減少摩擦。
所有的這種無論是你的信息技術系統(tǒng)還是業(yè)務系統(tǒng),只要它能夠抽象出來,能夠被復用,則復用的這一層,那我們都可以把它理解為是中臺。
中臺是介于前臺和后臺之間的一個系統(tǒng),那么后臺實際上對我們現在來講的話,大部分情況下指的就是企業(yè)里的SAP,后臺的財務,hr系統(tǒng),客戶距離市場跟進的系統(tǒng)。
中臺里面很重要的兩個中臺,一個是業(yè)務中臺,一個是數據中臺。業(yè)務中臺是提供可復用的業(yè)務,API數據中臺是提供數據洞察和智能的。
我們前面介紹了一下背景,從平臺化到中臺,我們下面進入到數據中臺。
這里舉個例子,原來的數據平臺也好,數據湖也好,數據倉庫也好,它們的出發(fā)點很多時候有局限性,應該說更是一個支撐性的技術系統(tǒng),即一定要去考慮我先有什么數據,然后我能干什么,這是傳統(tǒng)的數據平臺,數據湖,依賴于現有數據的質量,現有數據的狀況來做的這樣的一個支撐性的技術平臺。
但是數據中臺在我們現在所講的概念里面,它更多的是從業(yè)務出發(fā),比如說:我們現在所設計的一套精益數據的方法,它就是從業(yè)務出發(fā),一開始都不用看你系統(tǒng)里面有什么數據,重點的是去解決你的業(yè)務需要什么樣的數據服務?
作為第一出發(fā)點,作為切入點。然后再來看這些業(yè)務,你需要這些數據服務,它有什么價值?至于說這些數據服務所依賴的數據有沒有,那是我們的實現方式,只要這個服務有價值,那我們就去想辦法去拿到數據,如果沒有能力,我們去建技術能力,去完成數據服務的提供。
所以數據中臺最重要區(qū)別于傳統(tǒng)數據平臺,技術類平臺的區(qū)別在于數據中臺的思維是業(yè)務思維,他從業(yè)務問題出發(fā),這也就是為什么業(yè)務部門對數據中臺會這么歡迎。
我們的目標是哪怕我的數據只有50%的準確性,那么在我提高數據質量同時,我也希望這50%準確的數據也能為我產生業(yè)務價值。這句話是我們現在正在嘗試的,也是用來做的。
在過去,業(yè)務部門跟技術部門同數據倉庫的人提需求,數據倉庫的人說不行,沒有數據,數據質量不好,現在做不到,現在我們只有這些數據,然后看看在這些數據里面,你們能干點啥,這是原來的思路。
但是我們所講的數據中臺指的是業(yè)務需要什么,我們就用數據中臺提供什么,哪怕說現在可能你連數據庫都沒有,但是只要業(yè)務需要這樣的數據服務,我們手工的去錄入構建這樣的一個API也要讓它實現,也要為業(yè)務產生價值。然后慢慢的我們再來完善數據服務,把它自動化。
所以這就是我們所講的業(yè)務中臺第一個最大的區(qū)別,一定是從業(yè)務價值出發(fā),所以業(yè)務部門過去這么多年里,實際上對數據的需求和業(yè)務的需求從來沒有發(fā)生過變化。從來沒有說原來因為數據平臺沒有數據中臺的概念,所以我提的需求少一點。
業(yè)務對于數據的需求沒有變化,但是它需要一種新的思維方式,一種新的技術平臺,幫他去快速解決從數據到業(yè)務價值到業(yè)務服務的這個過程。所以這是第一點,數據中臺是面向業(yè)務的,它不依賴于你現在數據中臺的建設方法,不依賴于你現在有什么數據。
為什么在過去我們所講的數據治理這么火,而現在,實際上我們越來越覺得數據治理可能是一種企業(yè)級的大而全的數據治理,但這可能是個偽命題,因為它數據質量是不可能同你的真實的業(yè)務百分之百一致。
但是數據的系統(tǒng)數據平臺,數據倉庫,很多時候是以你的數據質量作為度量標準的,即現在這個數據平臺存儲了多少數據,數據報表開發(fā)了多少張報表,這個是你的價值。但是在數據中臺層面上,我們所講的數據中臺的價值度量,是它為你的業(yè)務提供了多少有價值的數據服務。至于說這個數據服務后面的數據質量可能不是那么的好,但是只要它能夠給業(yè)務帶來價值,這個就是好的數據服務。
所以我們很快地拆解一下,從數據中臺這四個字上來看,實際上它也能夠快速的讓我們大家理解什么是數據中臺,首先是數據,數據讓業(yè)務更智慧。數據中臺提供數據分析,數據挖掘,將數據提供給前臺,是以數據為核心,它介于前臺與后臺之間。
在某種角度上來講,大家會問是不是也會有數據后臺?
是的,在有的維度里面,我們把傳統(tǒng)的數據湖作為數據后臺,前臺中也有數據,提供消費數據服務的就是數據前臺。中臺是為多個業(yè)務系統(tǒng)提供服務的,能夠使一個系統(tǒng)變成一個數據服務的生態(tài),它是不斷演進的。
用一句話來概括數據中臺,我們把數據中臺理解為是企業(yè)的數據服務工廠。所謂的數據服務工廠在我看來,以后所有的企業(yè)中的本質就是加工處理數據,產生數字化世界里的產品,然后把它連接到物理世界,生產出來,銷售出去。所以數據中臺對企業(yè)來講,它是數據服務的工廠。
過去那么多年,建設的系統(tǒng)是把業(yè)務數據化,現在我們很多的企業(yè)在后臺系統(tǒng)建設好以后,在做的業(yè)務系統(tǒng)實際上是把數據業(yè)務化,而且有一點也是我們現在行業(yè)里面重點強調的,原來我們講先有業(yè)務,后有數據,先有應用系統(tǒng),后有數據系統(tǒng)。這個觀點從今年開始要發(fā)生改變了,在業(yè)務系統(tǒng)還沒有建立起來的時候,我們就要有數據思維,就要把數據集成到業(yè)務系統(tǒng)的架構里面去。
原來我們所講的業(yè)務系統(tǒng)叫OLTP,即在線交易系統(tǒng),然后數據類的系統(tǒng)叫OLAP,即在線分析性系統(tǒng)。
現在可以看到一個趨勢,這個趨勢就是OLTP和OLAP在融合,也就是很多企業(yè)所講的P流一體,即為批處理和實時流數據處理一體化。原來我們的OLTP、OLAP是平行的關系,先要通過OLTP系統(tǒng)產生數據,然后ETL,然后抽取到OLAP里面,再把多個OLTP的系統(tǒng)抽在一起,之后在OLTP、OLAP的系統(tǒng)里面產生洞見,變成數據可視化報表給業(yè)務部門去看,再去改變你的OLTP的做法,這里的OLTP和OLAP是平行的關系。
我們現在提到得是OLAP和OLAP的融合,每個業(yè)務系統(tǒng)都會需要都會趨于具有大數據處理能力,智慧能力的交易系統(tǒng),之前把它叫做在線交易系統(tǒng)和在線分析系統(tǒng),我們現在把它叫做在線分析型交易系統(tǒng),它是有跨域的,有歷史的集成數據分析交易系統(tǒng)。
這樣的話,原來的數據百分之七八十在企業(yè)里的應用都是數據可視化,都是BI,都是data house報表,讓人看,這叫人機接口,這個是人看完數據以后,然后再去提取,之后去做你的決策,改變你的行為,去看數據。
從今年開始,數據中臺更多強調的是機器與機器的接口,就是我的數據分析出來的結果,不僅僅以報表可視化的形式讓人看,而更多的是把這些API這樣的一些數據服務直接地嵌入到交易系統(tǒng)里面產生影響,變成你的價格策略,變成你的推薦引擎,變成你的風險管控。
那么我們所講數據中臺,它不僅僅是一個技術平臺,它還是一個體系。
數據中臺會對應到一個企業(yè)里的一個部門一個組織,也要有數據戰(zhàn)略的支撐,要有數據治理,數據中臺上面生長一個數據服務,數據服務提供給我們業(yè)務系統(tǒng),提供給我們業(yè)務中臺,然后我們所接收到的數據消費者,就都生長在數據中臺之上。數據中臺是一個生態(tài),是一個平臺,是一個數據服務,是生產、加工、交易、度量、運營的平臺,所以我們把數據中臺實際上叫做一個體系。
這張圖,我們認為未來所有的企業(yè)都是一個數據工廠,看上去現在華為在生產的是手機、電腦、電信設備,但是只要他掌握了用戶的數據,B端、C端,它知道用戶喜歡什么,行為模式,消費模式,它完全可以在現有的用戶數據基礎上開發(fā)出產品。然后至于說這個產品可能是農業(yè)的,可能是汽車的,然后它快速的把用戶產品的畫像連接到供應鏈上,讓行業(yè)里幫它生產出這樣的產品。所以未來的企業(yè)都會是數據工廠,都是加工生產數據的工廠。
這樣的一個數據工廠需要什么東西,需要什么樣的結構,我們可以看到它需要有數據員,就是原材料的加工,然后把原材料取過來過磅,原材料經過質檢檢驗,進入到原材料倉庫,這就是我們所講的數據湖。
然后不同的數據產品它會有不同的生產線,這就是我們所講的data plan數據流水線,然后數據流水線生產出數據服務,這個數據模型就放到數據集市里面,它就是半成品的數據的服務。
生產數據的廠房會有創(chuàng)新實驗室,專門研發(fā)新產品,會有治理數據的管理辦公室,去保證工廠整個運營的效率,也有控制中心,監(jiān)控中心,保證整個data pipeline、數據處理的性能,安全性和穩(wěn)定性。然后最頂上是你的數據服務商店,把這個數據產品,一個一個的數據服務,一個一個的智能模型,算法模型放到這個商店里面,供數據消費者去調用和使用。所以我們把這個理解為成廣義的數據中臺。
原來我們在做一張報表,或者是在業(yè)務系統(tǒng)里面需要查詢一個數據結果的時候,它的過程是比較麻煩的,而且它的測試往往也是比較復雜的,因為業(yè)務系統(tǒng)是有業(yè)務屬性的,但是數據是跨業(yè)務的,是融合的。
在OLAP領域中,很多這種情況,比如說我的企業(yè),Java開發(fā)工程師很好找,做應用的人很好找,懂data,知道如何做數據建模,如何做算法的人相對來講是比較少的。但是在我們應用開發(fā)過程當中,我們會發(fā)現有太多的數據需求,這種情況下應用開發(fā)的速度是快于數據開發(fā)的速度。
在很多時候我們會發(fā)現不同的應用開發(fā)項目組,他們都會調用同樣的數據模型,同樣的數據服務,但是由于不了解數據,并且他們也不知道底層的數據結構。所以他們不同的項目組可能對同樣的數據處理會用不同的方法,自己做自己的,然后出來的結果不一樣。有的是錯誤的,所以開發(fā)速度慢,并且數據結果不準確,質量低,這就是過去應用開發(fā)和數據開發(fā)所面臨的矛盾。
但是現在數據中臺就要解決這個問題,數據中臺要把那些復用的數據模型,要把那些數據模型data派對中一些數據復用的能力,變成一個數據的能力平臺,讓那些做數據的人專注在做數據,把數據變成一個樂高積木,數據服務提供給應用開發(fā)。
然后不同的應用開發(fā)項目組可以共同的去調用唯一的SARS數據服務,去保證它的數據質量和一致性,加速從數據到價值的服務產生過程,打造高響應力且更加智慧的業(yè)務。
回顧
數據中臺解決的核心問題:
解決應用開發(fā)快于數據開發(fā)的效率問題。
解決數據開發(fā)與數據產生價值的協(xié)作問題。
解決在很多企業(yè),它的開發(fā)人員,技術人員沒有數據能力的問題,這是它從技術層面的核心問題上來解決問題。
那是不是一定要做到保證數據質量百分之百,在沒有問題的情況下,才能夠去做數據系統(tǒng),才能去做數據服務?
從這點上來講,實際上數據和業(yè)務之間的速度一直是不一致的,我們的業(yè)務永遠比這個系統(tǒng)的開發(fā)速度要快,就是我們物理世界里的業(yè)務一定比你的軟件的開發(fā)要快。然后軟件從軟件本身到沉淀出數據,這又是一個滯后的過程,所以數據與你的企業(yè)的業(yè)務一定是不一致的。
數據的及時性,數據的一致性和數據的集成性問題,在某種角度上來講,它是不可能百分之百徹底解決的,除非你的業(yè)務是靜態(tài)的。因為你的業(yè)務呈現是在變化的,你的用戶天天在變,我們的業(yè)務部門天天在思考創(chuàng)新,天天在希望找到新的客戶的模式,這一切的創(chuàng)新落地下來就是數據,你的數據時時刻刻在發(fā)生變化。
就是說,有的企業(yè)的業(yè)務報表系統(tǒng)上線以后,上線兩個月很好,上線到第三個月的時候就發(fā)現報表不對了,而且他也不知道問題在哪里,然后他就需要去查看整個的過程。因為數據系統(tǒng)它有很強的不確定性,因為它的來源控制不了,它的來源是來自于它的業(yè)務系統(tǒng),然后業(yè)務系統(tǒng)是變化的。
如何加快從你的業(yè)務到數據到你的數據產品之間的反饋的速度響應力,也是數據中臺要解決的問題。它要把應用的價值,應用的速度,和你數據產生的速度中間的差異,時間的差異和有時候業(yè)務理解上的差異,通過數據中臺去把它彌補起來。
下面這個圖,我們把它定義成是現在數據驅動的智能企業(yè)的一個模型,然后我們可以看到這里面有六大功能,其中除了灰色的部分,我們認為是傳統(tǒng)的數據平臺提供的功能。那么之外的這五大功能,我們認為這就是現在企業(yè)里面所講的數據中臺所應該具備的能力。
如果有一個數據中臺所謂的廠商找到大家說我們給大家提供數據中臺,我們可以對比一下,他有沒有現在所講的五個功能,五大領域的功能。
你有什么數據資產要存什么數據,這個東西一定是要有統(tǒng)一的規(guī)劃的,而且是要有系統(tǒng)經營管理的,所以每一個數據中臺一定要有一個數據資產目錄。至于數據資產目錄是長什么樣子的,要怎么去構建,那么在其他的topic里面我們去討論,這里就不詳細去講了。
這就是傳統(tǒng)的數據湖數據倉庫所做的事情。
數據仲裁很重要的一個功能是讓企業(yè)的數據,企業(yè)擁有的數據,能夠在內部開放,對你的生態(tài)開放、用戶、員工開放、數據的消費者開放共享和協(xié)作。在很多時候我們看到有些企業(yè),他自己的部門之間都不清楚他企業(yè)有哪些數據,數據在哪里,有什么價值,如果這一點數據中臺解決不了,那它就不能稱之為是一個完整的數據中臺。
這個是怎么去做的?我們把它叫data is great。就是數據探索的平臺。
數據中臺一定要有一個能力,就是除了存儲數據,然后管理數據資產之外,它一定要能夠提供面向用戶的這種價值探索工具。讓用戶,讓不同層面的用戶,比如說有數據分析人員,有業(yè)務分析人員,讓他們能夠在數據中臺提供的工具里面去探索業(yè)務價值。
比如說我們現在在研發(fā),當然行業(yè)里面有很多也有這樣的系統(tǒng),它能夠讓你把你企業(yè)里的數據服務,同你企業(yè)的數據集放在一起,然后讓業(yè)務部門,讓你的業(yè)務人員做self service,自己去探索這些數據集,發(fā)現它的業(yè)務價值,我們把它叫做datenight。
然后當你發(fā)現這個數據集很有價值,對你的業(yè)務很有幫助的時候,數據中臺能夠提供一個能力,那就是快速的把這些數據數據集以一種合適的方式發(fā)布成數據服務。
當然這個數據服務一定是要有治理的,不能出現數據服務重疊,然后浪費好多服務放在那里沒有人用。
數據類的項目一定是一個持續(xù)的項目,它一定是不斷迭代不斷分析的項目,它不僅僅是說我產生完數據我就完事了,或者說我把數據報表開發(fā)出來我就不管了,一定不是這樣,所有數據的項目都是要持續(xù)的去運營的。
運營的目的就是去看我產品數據服務是有誰在用,他們用的反饋如何,哪些報表,哪些數據產品沒有人用,哪些產品它是可以合并的,使用這些產品的用戶畫像是什么,他們有什么特點,如何更好地為他們提供服務,所以數據中臺一定要具備數據產品運營的能力。
剛才我們所講的這六大功能,在這個數據服務工廠里面都能一一得到映射。
我們所講的是一個廣義的數據中臺,然后同時我們現在在很多企業(yè)里面,我們也會看到,有的企業(yè)它不可能一上來就構建一個這么龐大的數據服務工廠,如果他要做數據平臺,它先做什么?他現在可能連數據湖都沒有,數據平臺也沒有,那怎么辦?他還要不要做數據中臺?
我們所講過的,只要你的前臺業(yè)務系統(tǒng)有多個,而且你希望你的數據服務未來是可復用的,被多個業(yè)務系統(tǒng)所使用,提供平臺性的能力的話,你就要構建數據中臺。
那么你的數據中臺可以簡單到它就是只提供一個data API,哪怕它后面沒有數據庫,沒有數據湖,沒有數據平臺,然后是人去維護一個excel表,然后把這個excel表的數據變成一個data API讓業(yè)務部門去調用,我們覺得這就是數據中臺的一個核心,那就是提供數據服務。所以我們所講狹義的數據中臺,那就是數據服務data API。
data API和傳統(tǒng)的數據報表很大的區(qū)別在于數據報表是單向的,是人機接口,人看報表。數據API是什么數據?
API是可被監(jiān)控的,是可被調度的,它是一個機器與機器之間的接口,是由你的電腦,你的應用去消費數據,不是由人去看數據。
所以這是很重要的,數據服務是我們所講的狹義的數據中臺最重要的部分。如果你要做一個最簡單的數據中臺,那么很簡單,你只需要去把你的數據變成服務提供給你的多個業(yè)務用戶,或者是你的多個業(yè)務系統(tǒng),它就可以被稱之為一個數據中臺。
數據中臺距離業(yè)務更近,數據平臺、數據湖是被動地響應業(yè)務需求,用戶說我要什么,然后你有什么數據,然后我來給你提供什么數據服務,但是數據中臺是業(yè)務需求驅動的業(yè)務服務平臺。
比如說,現在很多企業(yè)在做數據中臺規(guī)劃的時候,第一件事情不是去看他的數據,他有什么數據,那是第二件事情,第一件事情先看他需要什么樣的數據服務,什么樣的數據對他有價值。
數據平臺、數據倉庫和數據中臺的關鍵關系?
數據倉庫是分析報表及服務,數據平臺和數據湖是提供數據集,我把一個數據集給到你,然后業(yè)務部門根據這個數據集拿到數據庫的鏈接,自己去做開發(fā)。
數據中臺是什么數據?數據中臺最核心的就是data API,它提供一個一個的可以復用的標準,這種數據服務給到業(yè)務系統(tǒng)。
構建數據中臺和構建數據平臺也有很大的區(qū)別,構建數據中臺一定是業(yè)務價值出發(fā),而且數據中臺一定不是一個單體的產品,數據中臺里面的組件是有的是可以產品化的,比如數據存儲,比如說你的數據分析工具,比如說你的數據探索的工具,你是可以有產品去組合的。
但是數據中臺一定不是一個產品,每個企業(yè)的數據中臺會依賴于他企業(yè)的業(yè)務模式,他企業(yè)的信息化水平,他企業(yè)的投資預算,依賴于很多他的個體化,個性化的因素。所以數據中臺對于不同的企業(yè)來講,它一定是一個定制化的系統(tǒng)。因為它跟業(yè)務息息相關。數據中臺的架構一定不是一個固定的,它一定是眼鏡式架構。
比如我們現在在有一個客戶那里,一個做全球潤滑油的零售客戶,我們跟他們合作已經兩年多了,將近三年了,他們最早的時候還沒有數據中臺的概念,但是從他們最早的時候,由于在中國沒有it,所以他們最早的預算非常低,非常小。
但是在那樣的情況下,可能也就很少的預算,我們也能構建一個數據中臺的雛形,然后一點一點地快速地為他們的業(yè)務產生價值,并且持續(xù)的演進到現在他們已經有了自己真正的數據中臺,做的是比較完善的了。
數據中臺的建設要有戰(zhàn)略耐心
投資方要有戰(zhàn)略耐性。
不是說我給你錢,給你1000萬,你趕緊給我買個數據平臺回來,然后買完了以后趕緊要產生業(yè)務價值,往往這樣的項目,我們認為數據中臺的構建一定要是平臺就是數據的部分,技術的部分和業(yè)務的部分要同時前進。
但是它一定會有一定的過程,你的數據價值的探索,到你的數據價值變成一個數據產品的設計,然后變成一個可用的軟件上線,這是一個需要時間的,所以我們認為投資方要有戰(zhàn)略耐心。要認識到從數據到業(yè)務價值是有一個過程的。
建設方也要有耐心。
建設方不能好高騖遠,一上來就做一個龐大的能力,然后在上面再生長,因為變化太快,技術更新太快,業(yè)務變化太快。所以我們所講的數據中臺的構建方式一定是敏捷的,然后是不斷的迭代。
是因為在五年以前,十年以前,我在做傳統(tǒng)的數據,做了很多數據治理項目,那樣的數據治理項目在他看來很多是不成功的。之前我們所講的成功是項目系統(tǒng)驗收了叫成功,但是現在我們理解成功指的是它對企業(yè)的業(yè)務帶來價值。
我們回想起來,過去的數據治理的項目,會產生三大類的服務:
第一類,一堆流程,一堆標準,就是一堆文檔。
第二類,產生一堆崗位,就是會有很多的人,原來做業(yè)務的,做技術的,現在專門出來給它個名詞叫數據管理員,或者給它個名詞叫數據管理委員會,或者是物料審批員,像這樣的名詞會產生一堆崗位。
第三類,會產生一堆系統(tǒng),元數據管理系統(tǒng),但是數據治理的項目都往往做起來都很龐大,因為我們希望就從根本上解決企業(yè)級數據質量的問題。但是現在我們回過頭來看,我們覺得這種方式不一定是最有效的,而且很多時候當你把這些標準做出來,把系統(tǒng)做出來,實際上當時認為你可以解決的這些問題的這些數據已經發(fā)生了變化。
刻舟求劍是一個很好的名詞來形容這個數據類項目數據治理的特點,因為數據在企業(yè)里面它是流動的,像河水一樣,永遠是在流動的。
就是數據的流動速度。我的數據流動越快,我產生的數據越多,我對用戶的維度越細分,我的企業(yè)的經營就越有活力,我在市場上就越具有競爭力。但是你流動的越快,你很難保證。因為它一定會有你想不到的東西,你的系統(tǒng)響應力一定沒那么快。
這種情況下,我們希望現在用做一個數據標準做一個數據模型,然后做一個數據治理,然后就好像是說在河水上加標準化的檢測站一樣,這是做不到的。所以我們現在所講的治理,把它叫精益數據治理,在業(yè)務層面跟業(yè)務一起去治理數據,而且我們追求的不是說一定要把數據質量設計到好多完美,做不到,這是不可行的,達不到的。
我們的目標是哪怕我的數據只有50%的準確性,那么在我提高數據質量同時,我也希望這50%準確的數據也能為我產生業(yè)務價值。這句話是我們現在正在嘗試的,也是用來做的。
業(yè)務中臺讓前臺開發(fā)更敏捷,為什么業(yè)務中臺起的作用是把多個交易權,比如用戶查用戶創(chuàng)建訂單的API,你的生成庫存入庫單的這種API全部把它合并成一個,然后讓前臺去調用,它是為了讓前臺開發(fā)更敏捷,速度更快,而且更標準。
數據中使前臺更智慧。當然它也可以加快前臺的開發(fā)速度,但它更重要的是使前臺更智慧。
業(yè)務系統(tǒng),原來是跨類的,是分領域的財務系統(tǒng),我只有財務系統(tǒng)的數據,我就看不到物資系統(tǒng)的數據,我的物資系統(tǒng)的數據,只能看到物資的,我看不到我的設備。所有的跨域的數據融合在一起,形成數據動產,形成數據有洞察跨域的歷史的融合,將這些數據服務提供給前臺,能夠讓前臺更智慧。
舉個例子:最直接的就是動態(tài)價格,像滴滴每時每刻的價格一定是不一樣的,在不同時間點怎么出來的,一定有當時現在的空間上的,不同地點的這種價格的一個匹配,同時它應該也會有歷史的在這個時間,在這個地點的一個價格的數據,然后融合在一起,快速地生成這種實時性的價格。就是OLAP的這些數據服務,從原來的數據報表的形式變成一個一個的這種API時時的去驅動著業(yè)務的變化。
數據中臺和業(yè)務中臺的關系,在行業(yè)中認為最經典的就是數據中臺在提供服務到前臺業(yè)務,同時它也提供數據服務給到業(yè)務中臺。
業(yè)務中臺和數據中臺的服務的區(qū)別,剛才提到了,這個數據中臺是智慧的服務,有這種智能的數據服務,也有查詢類的,還有搜索類的,它總的來講就是給業(yè)務系統(tǒng)提供你的數據動產,提供你的這種智慧的決策,提供你的業(yè)務規(guī)則。
業(yè)務中臺是產生數據。我去產生一個訂單,我去生成一個庫存,生成一個項目編碼,這是業(yè)務中臺。
所以總的來講,數據中臺是企業(yè)的數據服務的工廠。那么這樣的一個工廠是企業(yè)運營數據、加工數據、交易數據的一個平臺。在把這個數據中臺做好以后,我們還需要運營。
我們認為數據正在逐漸成為一個新的領域,新的行業(yè)。像現在的很多原生的數據,原生的這種數字化企業(yè),它實際上加工生產的就是數據,像今日頭條,它本身沒有任何的實物,數據是它的原材料,它生產出來的都是數據產品。
前面講到數據,中臺一定是一個組織,是個團隊。那么如何對這樣一個組織團隊進行績效,很重要的就是度量數據服務調用的滿意度,你這個數據中臺產生的數據服務運營,被你的消費者所使用,他們的滿意度產生資產,帶來業(yè)務價值。
所以我們希望通過數據和智能這樣的技術,通過數據中臺能夠賦給企業(yè)以數據和智能的能力,我們認為這是數據中臺應該承載的價值作用。
本文為作者獨立觀點,不代表鳥哥筆記立場,未經允許不得轉載。
《鳥哥筆記版權及免責申明》 如對文章、圖片、字體等版權有疑問,請點擊 反饋舉報
我們致力于提供一個高質量內容的交流平臺。為落實國家互聯網信息辦公室“依法管網、依法辦網、依法上網”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據本公約中的條款對注冊用戶和發(fā)布在本平臺的內容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質內容,同時也將采取必要措施管理違法、侵權或有其他不良影響的網絡信息。
一、根據《網絡信息內容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權,破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團結;
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權益;
11)通過網絡以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網絡欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內容;
2. 不友善:不尊重用戶及其所貢獻內容的信息或行為。主要表現為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應,蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進行負面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網站秩序的內容,或進行相關行為。主要表現為:
1)多次發(fā)布包含售賣產品、提供服務、宣傳推廣內容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內容;
4)多次發(fā)布包含欺騙性外鏈的內容,如未注明的淘寶客鏈接、跳轉網站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產品、品牌等內容獲取搜索引擎中的不正當曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網站秩序的推廣內容及相關交易。
7)發(fā)布包含欺騙性的惡意營銷內容,如通過偽造經歷、冒充他人等方式進行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內容審核的廣告內容。
4. 色情低俗信息,主要表現為:
1)包含自己或他人性經驗的細節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內容;
4)帶有性暗示、性挑逗等易使人產生性聯想;
5)展現血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內容。
5. 不實信息,主要表現為:
1)可能存在事實性錯誤或者造謠等內容;
2)存在事實夸大、偽造虛假經歷等誤導他人的內容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構或個人存在關聯。
6. 傳播封建迷信,主要表現為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治病;
2)求推薦算命看相大師;
3)針對具體風水等問題進行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標題黨,主要表現為:
1)以各種夸張、獵奇、不合常理的表現手法等行為來誘導用戶;
2)內容與標題之間存在嚴重不實或者原意扭曲;
3)使用夸張標題,內容與標題嚴重不符的。
8.「飯圈」亂象行為,主要表現為:
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網絡水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內容,主要表現為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的;
2)不當評述自然災害、重大事故等災難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網絡生態(tài)造成不良影響的其他內容。
二、違規(guī)處罰
本網站通過主動發(fā)現和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內容質量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內容時,本網站將依據相關用戶違規(guī)情節(jié)嚴重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內容時,本網站將加重處罰。
三、申訴
隨著平臺管理經驗的不斷豐富,本網站出于維護本網站氛圍和秩序的目的,將不斷完善本公約。
如果本網站用戶對本網站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網站進行反饋。
(規(guī)則的最終解釋權歸屬本網站所有)