chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

怎么理解寬表？

問(wèn)題：

明細(xì)寬表怎么理解，選擇好業(yè)務(wù)過(guò)程后，直接從ods取數(shù)到一張寬表里嗎？

如果是，那這種寬表豈不是耦合了度量值和維度值。也沒(méi)有獨(dú)立的維度表了，模型上豈不是很無(wú)章法？

討論：

具體看情況吧，并不是必須按照你講的那樣來(lái)，大多數(shù)寬表都是空間換時(shí)間。

我理解，建模不可能?chē)?yán)格按照第三范式，適當(dāng)?shù)娜哂嗍荗K的。

都是混合建模方式，沒(méi)有絕對(duì)，適合自己業(yè)務(wù)，好用就行。

我們?cè)?jīng)在dw層想過(guò)用范式來(lái)應(yīng)對(duì)上層變化的業(yè)務(wù)需求 后來(lái)發(fā)現(xiàn)有點(diǎn)天真了。

共享維度層必須要有。

不然怎么保證一致性維度？

寬表算不上模式，就是實(shí)在搞不定了，先拉個(gè)大表用著。實(shí)在搞不定了指的是現(xiàn)有技術(shù)和方法生態(tài)搞不定，不是指哪個(gè)團(tuán)隊(duì)那個(gè)人。

維度建模這種數(shù)據(jù)抽象方式對(duì)olap場(chǎng)景表現(xiàn)出了強(qiáng)勁的適應(yīng)性。但是數(shù)據(jù)科學(xué)這今年突飛猛進(jìn)，策略算法，圖算法，運(yùn)籌，數(shù)字化運(yùn)營(yíng)，需要的數(shù)據(jù)組織方式遠(yuǎn)遠(yuǎn)不是一兩種建模方式能搞定的。

從來(lái)都是先有問(wèn)題，再有大神站出來(lái)把問(wèn)題抽象掉形成方法，不是反過(guò)來(lái)。

對(duì)于新出現(xiàn)的問(wèn)題，現(xiàn)有的不管是方法論還是技術(shù)生態(tài)還遠(yuǎn)遠(yuǎn)不夠。

你們這根本不叫建模，純粹寬表，最后依賴會(huì)很混亂。后期風(fēng)險(xiǎn)很大，更不用說(shuō)保證數(shù)據(jù)一致性了。

本來(lái)就是不得已為之，幾個(gè)十億級(jí)別的表，誰(shuí)來(lái)了也得這么干。算不上什么方法，被逼的野狐禪。

沒(méi)有所謂的混合建模方式，必須以一種建模方式為指導(dǎo)，基于業(yè)務(wù)做權(quán)衡，建模過(guò)程必須很清楚的指導(dǎo)這個(gè)權(quán)衡的優(yōu)缺點(diǎn)，以及為什么要這么權(quán)衡，另外維度建模不等于冗余。

維度建模的核心是一致性維度，不能保證維度一致性不能叫維度建模。

大寬表就是容易造成依賴關(guān)系的混亂。

問(wèn)題就是不做冗余sql有些寫(xiě)起來(lái)太復(fù)雜了 join一大堆的表，換個(gè)人來(lái)看文檔都要崩潰了有些字段不知道去哪兒找。所以我們后面還是放棄了嚴(yán)格的范式。

寬表在dws和dwt吧?；赿wd模型層。

dws我們都是通用的派生指標(biāo)，ads層才是寬表，直接面向后端。

所以我一直都比較好奇 維度冗余的邊界在哪兒。

首先要能解決問(wèn)題，解決不了問(wèn)題，再規(guī)范也不實(shí)用。很多東西都是一次性的，根本做不到復(fù)用也沒(méi)必要復(fù)用。其實(shí)還是得看各自的業(yè)務(wù)場(chǎng)景，有的場(chǎng)景適合，有的場(chǎng)景不適合。

維度冗余沒(méi)有邊界，但是所有事實(shí)里冗余的維度屬性都要保證從共享維度里來(lái)。

把緯度冗余進(jìn)事實(shí)表，如果緯度變化了，也要更新緯度表，這也增加了工作量呀。

變化了就要重跑下游依賴的所有的表……

我覺(jué)得靠冗余字段來(lái)提高訪問(wèn)效率這個(gè)出發(fā)點(diǎn)，現(xiàn)在已經(jīng)不應(yīng)該采用了。因?yàn)楹竺嫖覀儾皇怯衚ylin這些工具幫我們提高速度了嘛。

你就想明白你這個(gè)模型的定位，使用時(shí)你允許使用這張表進(jìn)行關(guān)聯(lián)擴(kuò)充維度屬性那就保留ID，如果不允許那就不需要，如果很糾結(jié)，那就思辨，允許會(huì)帶來(lái)什么樣的好處和壞處，不允許會(huì)帶來(lái)什么樣的好處和壞處，然后做權(quán)衡。

我現(xiàn)在公司里面在做集市項(xiàng)目，他們做了個(gè)匯總層，沒(méi)有dwd，直接ods采數(shù)去做“明細(xì)寬表”，也沒(méi)有維度表。我在想他們這樣下去，這模型還是模型嗎？

這就是最原始的ods+ads兩層的做法吧。

寬表對(duì)業(yè)務(wù)來(lái)說(shuō)主要是解決清單關(guān)聯(lián)過(guò)多查詢慢和不方便導(dǎo)出的問(wèn)題吧。

統(tǒng)計(jì)來(lái)說(shuō)寬表也是減少join(太耗時(shí)間)的目的。

id還是要有的，不然以后追溯和沖刷數(shù)據(jù)，以及對(duì)數(shù)簡(jiǎn)直就是噩夢(mèng)。再說(shuō)也不差那點(diǎn)存儲(chǔ)吧？

感謝@何同學(xué)-數(shù)據(jù)建模-廣州、@賴志明-金融監(jiān)管大數(shù)據(jù)-北京、@北京-數(shù)據(jù)開(kāi)發(fā)-郭東、@sun-上海_大數(shù)據(jù)、@L Y-消金數(shù)倉(cāng)-北京、@Luka-數(shù)倉(cāng)-深圳、@魏濤－數(shù)據(jù)產(chǎn)品經(jīng)理－長(zhǎng)沙、@sqlboy-大數(shù)據(jù)開(kāi)發(fā)-杭州、@Old-數(shù)倉(cāng)-杭州、@生命不息取數(shù)不止-指標(biāo)設(shè)計(jì)-北京、@碎星-信息化-德陽(yáng)、@陶瓷魚(yú)、@倪武龍-數(shù)據(jù)治理-深圳 等一眾大佬的絕世好問(wèn)題和精彩討論！

公共數(shù)據(jù)治理

問(wèn)題：

有個(gè)不太成熟的問(wèn)題向大家請(qǐng)教一下：如果客戶管理從集團(tuán)層面出發(fā)，不同領(lǐng)域?qū)ν粋€(gè)**進(jìn)行管理或者變更，具體哪個(gè)領(lǐng)域?qū)灿脭?shù)據(jù)維護(hù)和質(zhì)量負(fù)責(zé)？

討論：

主數(shù)據(jù)管理。

這個(gè)就需要指定負(fù)責(zé)部門(mén)了。公共數(shù)據(jù)將信息的變更歷史詳細(xì)記錄，如果必要可以分級(jí)和審批。

這部分?jǐn)?shù)據(jù)是否要統(tǒng)一管理？業(yè)界有沒(méi)有好的實(shí)踐？

數(shù)據(jù)治理里面有專(zhuān)門(mén)一塊叫做主數(shù)據(jù)管理，你可以看看。

ibm ecif就是干這個(gè)的？IBM有相關(guān)的產(chǎn)品 IBM MDM。

這一塊是不是和 用戶畫(huà)像里面的 id-mapping有點(diǎn)像?

也有人直接寫(xiě)J**A搞一個(gè)主數(shù)據(jù)管理系統(tǒng)。

收到，感謝，目前我們按主數(shù)據(jù)管理在實(shí)踐的，但是落地的時(shí)候遇到這樣的問(wèn)題。

很多廠商，數(shù)據(jù)治理產(chǎn)品，數(shù)據(jù)資產(chǎn)管理和主數(shù)據(jù)管理都是分開(kāi)的。

客戶主數(shù)據(jù)要有對(duì)應(yīng)數(shù)據(jù)擁有者去統(tǒng)一管理，不同領(lǐng)域的變更的話你可以考慮用某個(gè)領(lǐng)域?yàn)橹鲗?dǎo)，正常來(lái)說(shuō)，所有變更都應(yīng)該發(fā)生在同一個(gè)主數(shù)據(jù)管理系統(tǒng)里面，然后同步到所有業(yè)務(wù)領(lǐng)域，這樣才不會(huì)產(chǎn)生沖突。

感謝@李瑞-數(shù)據(jù)治理、@倪武龍-數(shù)據(jù)治理-深圳、@胡俊-愛(ài)?？萍?數(shù)據(jù)平臺(tái)-北京、@NULL-數(shù)據(jù)開(kāi)發(fā)-深圳、@劉繼峰-金山云架構(gòu)師-北京 等各位大佬的絕世好問(wèn)題和精彩討論！

數(shù)據(jù)組織架構(gòu)

問(wèn)題：

能否在大數(shù)據(jù)組織架構(gòu)設(shè)計(jì)上有所探討？數(shù)據(jù)平臺(tái)團(tuán)隊(duì)（基礎(chǔ)平臺(tái)和數(shù)據(jù)湖層）和數(shù)據(jù)應(yīng)用團(tuán)隊(duì)（數(shù)據(jù)集市、數(shù)據(jù)分析及產(chǎn)品）分離會(huì)帶來(lái)哪些問(wèn)題？ 。

討論：

數(shù)據(jù)平臺(tái)團(tuán)隊(duì)多以技術(shù)比較牛逼的開(kāi)發(fā)人員組成，重視平臺(tái)的高可用高性能高可靠，往往只著眼于如何解決問(wèn)題，很少會(huì)關(guān)注為什么有這樣的問(wèn)題？數(shù)據(jù)應(yīng)用團(tuán)隊(duì)以業(yè)務(wù)場(chǎng)景需求為導(dǎo)向，關(guān)注如何靈活取數(shù)，如何適配快速變化的業(yè)務(wù)。

前者追求高度抽象，通用的架構(gòu)，后者追求個(gè)性化，迅速的響應(yīng)，這兩者在共性和個(gè)性的關(guān)系上往往會(huì)有不一致的情況，這個(gè)時(shí)候一般是要一個(gè)橋梁一樣的角色，比如架構(gòu)師，權(quán)衡折中。

不然平臺(tái)建了人家業(yè)務(wù)也不認(rèn)可你，人家業(yè)務(wù)自己從業(yè)務(wù)系統(tǒng)取數(shù)分析，效率也不高。

好的產(chǎn)品經(jīng)理好的架構(gòu)師，都可以很好地解決這個(gè)問(wèn)題，找到折衷的最優(yōu)解。

2張皮的問(wèn)題，用考核和評(píng)價(jià)指標(biāo)來(lái)解決？平臺(tái)好不好 得有應(yīng)用團(tuán)隊(duì)說(shuō)了算？

應(yīng)用團(tuán)隊(duì)天生就不會(huì)對(duì)平臺(tái)團(tuán)隊(duì)說(shuō)好話。

我個(gè)人覺(jué)得，首先第一點(diǎn)這個(gè)平臺(tái)初期建設(shè)的時(shí)候應(yīng)該就是雙方的事兒，收集好應(yīng)用方的痛點(diǎn)，平臺(tái)的構(gòu)建也是為了數(shù)據(jù)更好的管理和使用，是給自己團(tuán)隊(duì)和應(yīng)用團(tuán)隊(duì)使用的

第二點(diǎn)，后期投入使用由于著力點(diǎn)不一樣導(dǎo)致的摩擦，確實(shí)是需要一些指標(biāo)來(lái)管控的，既然平臺(tái)團(tuán)隊(duì)是服務(wù)于應(yīng)用的，那么應(yīng)用端提的不管是到位時(shí)間上的需求還是數(shù)據(jù)準(zhǔn)備的需求，提工單，平臺(tái)團(tuán)隊(duì)評(píng)估完給你做，能做不能做也事先說(shuō)好，到時(shí)候工單都在那兒，可以拿出來(lái)說(shuō)話。

但是一般離錢(qián)越近話語(yǔ)權(quán)越大，這個(gè)比較靠后的平臺(tái)團(tuán)隊(duì)還是要全力以赴支持應(yīng)用團(tuán)隊(duì)的，只是有些說(shuō)不清的還是要流程化，比如提交工單，審批之類(lèi)的。

離錢(qián)越近越有話語(yǔ)權(quán)，說(shuō)得對(duì)！

反之，享有背鍋義務(wù)。正因?yàn)橐袚?dān)背鍋的這個(gè)責(zé)任，所以距離錢(qián)近。

你說(shuō)的分離是拆分部門(mén)嗎？

基礎(chǔ)平臺(tái) ：底層開(kāi)發(fā)（理解為底層hadoop源碼開(kāi)發(fā)）獨(dú)立，因?yàn)椴簧婕皹I(yè)務(wù)（可以一個(gè)團(tuán)隊(duì)）；

基礎(chǔ)的元數(shù)據(jù)和主數(shù)據(jù)你必須知道業(yè)務(wù)和后面的存儲(chǔ)（倉(cāng)、湖） 是一體的 （可以一個(gè)團(tuán)隊(duì)）。

應(yīng)用層是用數(shù)據(jù)的，集市、分析、產(chǎn)品設(shè)計(jì)倒是可以單獨(dú)去做（可以多個(gè)不同團(tuán)隊(duì)）。

業(yè)務(wù)大了分離是必然，帶來(lái)的最主要問(wèn)題就是溝通成本增加。

如果沒(méi)有一個(gè)中間的應(yīng)用平臺(tái)層（中臺(tái)），應(yīng)用層還是有可能重復(fù)造輪子。

可以看看數(shù)據(jù)中臺(tái)的三個(gè)階段。

 不過(guò)當(dāng)中臺(tái)趕不上前臺(tái)敏捷需要時(shí)，有時(shí)候不得不重復(fù)造輪子。

重復(fù)造輪子有時(shí)候也不是壞事呀，特別對(duì)于新業(yè)務(wù)線，隨時(shí)在變化的業(yè)務(wù)線來(lái)說(shuō)，畢竟中臺(tái)也好，重復(fù)造輪子也好，最終都想實(shí)現(xiàn)降本增效，若是中臺(tái)還給業(yè)務(wù)線拉了后腿，也就是去它的意義了。

感謝@建輝、@阿姣-上海-數(shù)倉(cāng)架構(gòu)、@林鈺鑫-數(shù)據(jù)架構(gòu)-深圳、@賴志明-金融監(jiān)管大數(shù)據(jù)-北京、@Jack-數(shù)倉(cāng)-北京、@胡俊-愛(ài)?？萍?數(shù)據(jù)平臺(tái)-北京 等各位大佬的絕世好問(wèn)題和精彩討論！

結(jié)語(yǔ)

用一個(gè)哥們的私信作為結(jié)語(yǔ)吧：

感謝閱讀，本次分享的內(nèi)容就結(jié)束了。

歡迎大家加我微信好友，盡個(gè)點(diǎn)贊之交，一起進(jìn)化吧!

推薦閱讀：

更多精彩：