(網(wǎng)經(jīng)社訊)奇點(diǎn)云創(chuàng)始人兼CEO——行在、阿里公共數(shù)據(jù)平臺(tái)負(fù)責(zé)人——羅金鵬，在云棲大會(huì)、Data Tech、Smart Retail 2019等大會(huì)中分享了：阿里的“雙中臺(tái)+ET”數(shù)字化轉(zhuǎn)型方法論及成果、云+端的整體技術(shù)架構(gòu)才符合企業(yè)中臺(tái)戰(zhàn)略需要以及阿里數(shù)據(jù)中臺(tái)產(chǎn)品OneData、OneID、OneService、Dataphin的建設(shè)實(shí)踐。
下面我們跟隨技術(shù)大咖，一起來(lái)學(xué)習(xí)數(shù)據(jù)中臺(tái)的建設(shè)方法論、建設(shè)實(shí)踐、組織中臺(tái)如果支撐數(shù)據(jù)中臺(tái)、以及數(shù)據(jù)中臺(tái)建設(shè)分哪些步驟等等。
阿里數(shù)據(jù)中臺(tái)全景圖
阿里數(shù)據(jù)中臺(tái)在架構(gòu)的組成上，呈現(xiàn)了一個(gè)“四橫三縱”的結(jié)構(gòu)，底層的基礎(chǔ)設(shè)施來(lái)自于阿里云平臺(tái)。
四橫。在這張架構(gòu)圖中，從下往上看，最下面的內(nèi)容主要數(shù)據(jù)采集和接入，按照業(yè)態(tài)接入數(shù)據(jù)（比如淘寶、天貓、盒馬等），我們把這些數(shù)據(jù)抽取到計(jì)算平臺(tái)；通過(guò)OneData體系，以“業(yè)務(wù)板塊+分析維度”為架構(gòu)去構(gòu)建“公共數(shù)據(jù)中心”。
基于公共數(shù)據(jù)中心在上層根據(jù)業(yè)務(wù)需求進(jìn)行建設(shè)：消費(fèi)者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、內(nèi)容數(shù)據(jù)體系等。
（圖片來(lái)源：云棲社區(qū)）
經(jīng)過(guò)深度加工后，數(shù)據(jù)就可以發(fā)揮其價(jià)值被產(chǎn)品、業(yè)務(wù)所用；最后通過(guò)統(tǒng)一的數(shù)據(jù)服務(wù)中間件“OneService”提供統(tǒng)一數(shù)據(jù)服務(wù)。
三縱。為保證阿里巴巴整個(gè)數(shù)據(jù)體系的快速、高效、高質(zhì)量數(shù)據(jù)接入，需要有一套智能數(shù)據(jù)研發(fā)平臺(tái)來(lái)實(shí)現(xiàn)，將理論及實(shí)踐過(guò)程，通過(guò)一整套的工具體系及研發(fā)流程去保障落地，確保每一個(gè)團(tuán)隊(duì)，每一個(gè)BU，通過(guò)統(tǒng)一規(guī)則去建設(shè)數(shù)據(jù)體系；同時(shí)，當(dāng)數(shù)據(jù)多了以后最直接問(wèn)題就是成本，因此我們還建立了統(tǒng)一的數(shù)據(jù)質(zhì)量管理平臺(tái)。
╱“雙中臺(tái)”支撐的“大中臺(tái)+小前臺(tái)”架構(gòu)╱
奇點(diǎn)云創(chuàng)始人兼CEO——行在曾在訪談中提到，阿里中臺(tái)主要體現(xiàn)為由業(yè)務(wù)中臺(tái)和數(shù)字中臺(tái)并肩構(gòu)成的雙中臺(tái)，并肩扛起了所有前臺(tái)業(yè)務(wù)。
業(yè)務(wù)中臺(tái)將后臺(tái)資源進(jìn)行抽象包裝整合，轉(zhuǎn)化為前臺(tái)友好的可重用共享的核心能力，實(shí)現(xiàn)了后端業(yè)務(wù)資源到前臺(tái)易用能力的轉(zhuǎn)化。
數(shù)據(jù)中臺(tái)從后臺(tái)及業(yè)務(wù)中臺(tái)將數(shù)據(jù)流入，完成海量數(shù)據(jù)的存儲(chǔ)、計(jì)算、產(chǎn)品化包裝過(guò)程，構(gòu)成企業(yè)的核心數(shù)據(jù)能力，為前臺(tái)基于數(shù)據(jù)的定制化創(chuàng)新和業(yè)務(wù)中臺(tái)基于數(shù)據(jù)反饋的持續(xù)演進(jìn)提供了強(qiáng)大支撐。
業(yè)務(wù)中臺(tái)與數(shù)據(jù)中臺(tái)相輔相成、互相支撐，一起構(gòu)建起了戰(zhàn)場(chǎng)強(qiáng)大的后方炮火群和雷達(dá)陣。
╱阿里數(shù)據(jù)中臺(tái)OneData體系╱
OneData是阿里數(shù)據(jù)中臺(tái)的核心，阿里公共數(shù)據(jù)平臺(tái)負(fù)責(zé)人羅金鵬介紹，OneData體系建立的集團(tuán)數(shù)據(jù)公共層，從設(shè)計(jì)、開(kāi)發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標(biāo)準(zhǔn)數(shù)據(jù)輸出。
統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)是一項(xiàng)非常復(fù)雜的工作，譬如，針對(duì)UV這一相同的指標(biāo)，在統(tǒng)一之前阿里內(nèi)部竟然有10多種數(shù)據(jù)定義。據(jù)介紹，OneData數(shù)據(jù)公共層總共對(duì)30000多個(gè)數(shù)據(jù)指標(biāo)進(jìn)行了口徑的規(guī)范和統(tǒng)一，梳理后縮減為3000余個(gè)。
在DT時(shí)代，數(shù)據(jù)暴增對(duì)存儲(chǔ)計(jì)算成本帶來(lái)很大的挑戰(zhàn)。據(jù)羅金鵬介紹在沒(méi)有建設(shè)統(tǒng)一的數(shù)據(jù)公共層時(shí)，阿里內(nèi)部服務(wù)器需求量會(huì)在5年之后達(dá)到現(xiàn)在的100倍之多。而經(jīng)過(guò)數(shù)據(jù)公共層的統(tǒng)一建設(shè)，5年后的服務(wù)器需求量相對(duì)會(huì)節(jié)約90%。
阿里數(shù)據(jù)中臺(tái)之OneData也并非是“一次成型”的，它經(jīng)歷了三個(gè)階段的能力演進(jìn)：
第一階段：完全應(yīng)用驅(qū)動(dòng)的時(shí)代。這個(gè)時(shí)期主要將數(shù)據(jù)以與源結(jié)構(gòu)相同的方式同步到Oracle，那時(shí)候的數(shù)據(jù)架構(gòu)只有兩層ODS+DSS，嚴(yán)格說(shuō)來(lái)基本只有一個(gè)ODS層，也基本沒(méi)有模型方法體系。
第二階段：隨著阿里業(yè)務(wù)的快速發(fā)展，數(shù)據(jù)量也在飛速增長(zhǎng)，性能已經(jīng)是一個(gè)較大問(wèn)題，希望通過(guò)一些模型技術(shù)改變煙囪式的開(kāi)發(fā)模型，消除一些冗余，提升數(shù)據(jù)的一致性，所以阿里引入了Greenplum。
第三階段：引入以hadoop為代表的分布式存儲(chǔ)計(jì)算平臺(tái)，確立第三代模型架構(gòu)（OneData），核心CDM層都采用多維模型。選擇了以Kimball維度建模為核心理念的模型方法論，同時(shí)對(duì)其進(jìn)行了一定的升級(jí)和擴(kuò)展，構(gòu)建了阿里集團(tuán)的數(shù)據(jù)架構(gòu)體系。
╱數(shù)據(jù)中臺(tái)PasS層Dataphin╱
（圖片來(lái)源：云棲社區(qū)）
在整個(gè)數(shù)據(jù)中臺(tái)模式中，PasS層產(chǎn)品Dataphin如引擎般存在，下到規(guī)劃數(shù)倉(cāng)，上至輸出主題式服務(wù)。
有了Dataphin之后，種種數(shù)據(jù)問(wèn)題彈指間即可迎刃而解，它既可以保證數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范定義、數(shù)據(jù)模型設(shè)計(jì)即自動(dòng)化開(kāi)發(fā)、主題式數(shù)據(jù)服務(wù)即時(shí)生成。
同時(shí)還能提供數(shù)據(jù)資產(chǎn)化管理的門(mén)戶，有效降低數(shù)倉(cāng)建設(shè)門(mén)檻，也提高生產(chǎn)效率、降低生產(chǎn)成本，輕松實(shí)現(xiàn)讓數(shù)據(jù)從成本中心真正變成價(jià)值中心，且可量化呈現(xiàn)。
╱Quick BI助力云上企業(yè)數(shù)據(jù)分析╱
大數(shù)據(jù)構(gòu)建與管理完畢之后，我們需要利用Quick BI這一智能數(shù)據(jù)與可視化組件將數(shù)據(jù)背后的價(jià)值展現(xiàn)在人們面前。
Quick BI扭轉(zhuǎn)了當(dāng)初重度依賴專(zhuān)業(yè)數(shù)據(jù)分析人才的局面，能夠賦予一線業(yè)務(wù)人員智能化的分析工具，真正的做到了“數(shù)據(jù)化運(yùn)營(yíng)”讓數(shù)據(jù)產(chǎn)生價(jià)值。
現(xiàn)在，越來(lái)越多的企業(yè)開(kāi)始數(shù)據(jù)上云，也有的行業(yè)如政府、金融因?yàn)閲?yán)苛的安全需求而自建本地?cái)?shù)據(jù)庫(kù)，導(dǎo)致企業(yè)出現(xiàn)數(shù)據(jù)分散式存儲(chǔ)的狀況。而Quick BI卻可以鏈接各種數(shù)據(jù)源，滿足云上和本地的不同需求，整合為可被統(tǒng)一調(diào)度的數(shù)據(jù)集。
╱阿里大數(shù)據(jù)能力框架╱
阿里巴巴提出的數(shù)據(jù)中臺(tái)模式，正是為解決問(wèn)題而生，并通過(guò)實(shí)踐形成了統(tǒng)一全域數(shù)據(jù)體系，實(shí)現(xiàn)了計(jì)算存儲(chǔ)累計(jì)過(guò)億的成本降低、響應(yīng)業(yè)務(wù)效率多倍提升、為業(yè)務(wù)快速創(chuàng)新提供堅(jiān)實(shí)保障。
全域數(shù)據(jù)采集與引入：以需求為驅(qū)動(dòng)，以數(shù)據(jù)多樣性的全域思想為指導(dǎo)，采集與引入全業(yè)務(wù)、多終端、多形態(tài)的數(shù)據(jù)。
標(biāo)準(zhǔn)規(guī)范數(shù)據(jù)架構(gòu)與研發(fā)：統(tǒng)一基礎(chǔ)層、公共中間層、百花齊放應(yīng)用層的數(shù)據(jù)分層架構(gòu)模式，通過(guò)數(shù)據(jù)指標(biāo)結(jié)構(gòu)化規(guī)范化的方式實(shí)現(xiàn)指標(biāo)口徑統(tǒng)一。
連接與深度萃取數(shù)據(jù)價(jià)值：形成以業(yè)務(wù)核心對(duì)象為中心的連接和標(biāo)簽體系，深度萃取數(shù)據(jù)價(jià)值。
統(tǒng)一數(shù)據(jù)資產(chǎn)管理：構(gòu)建元數(shù)據(jù)中心，通過(guò)資產(chǎn)分析、應(yīng)用、優(yōu)化、運(yùn)營(yíng)四方面對(duì)看清數(shù)據(jù)資產(chǎn)、降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價(jià)值。
統(tǒng)一主題式服務(wù)：通過(guò)構(gòu)建服務(wù)元數(shù)據(jù)中心和數(shù)據(jù)服務(wù)查詢引擎，面向業(yè)務(wù)統(tǒng)一數(shù)據(jù)出口與數(shù)據(jù)查詢邏輯，屏蔽多數(shù)據(jù)源與多物理表。
極大地豐富和完善了阿里巴巴大數(shù)據(jù)中心，OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識(shí)的方法論體系。
╱數(shù)據(jù)中臺(tái)演進(jìn)的四個(gè)階段╱
奇點(diǎn)云創(chuàng)始人兼CEO——行在提出：數(shù)據(jù)中臺(tái)演進(jìn)經(jīng)歷了四個(gè)階段（詳見(jiàn)：2019，數(shù)據(jù)中臺(tái)元年），分別是：
一、數(shù)據(jù)庫(kù)階段，主要是OLTP（聯(lián)機(jī)事務(wù)處理）的需求；
二、數(shù)據(jù)倉(cāng)庫(kù)階段，OLAP（聯(lián)機(jī)分析處理）成為主要需求；
三、數(shù)據(jù)平臺(tái)階段，主要解決BI和報(bào)表需求的技術(shù)問(wèn)題；
四、數(shù)據(jù)中臺(tái)階段，通過(guò)系統(tǒng)來(lái)對(duì)接OLTP（事務(wù)處理）和OLAP（報(bào)表分析）的需求，強(qiáng)調(diào)數(shù)據(jù)業(yè)務(wù)化的能力。
╱數(shù)據(jù)中臺(tái)的建設(shè)步驟╱
第一，組織架構(gòu)升級(jí)。比如以前負(fù)責(zé)數(shù)據(jù)的部門(mén)或團(tuán)隊(duì)往往缺乏話語(yǔ)權(quán)，面對(duì)業(yè)務(wù)需求往往是被動(dòng)的接受的角色，這讓一切數(shù)據(jù)中臺(tái)的想法化為泡影，需要為數(shù)據(jù)中臺(tái)團(tuán)隊(duì)授權(quán)。
第二，工作方式的改變。現(xiàn)在很多企業(yè)的數(shù)據(jù)團(tuán)隊(duì)的主要工作內(nèi)容就是項(xiàng)目管理、需求管理等等，當(dāng)一個(gè)項(xiàng)目完成后又投入到下一個(gè)項(xiàng)目，做好一個(gè)需求后又開(kāi)始負(fù)責(zé)下一個(gè)需求，這樣的工作確實(shí)非常鍛煉人的組織、協(xié)調(diào)能力，但這樣能力的提升與工作時(shí)間的長(zhǎng)短并不是呈線性增長(zhǎng)的，雖然增加了項(xiàng)目和需求管理經(jīng)驗(yàn)，但并不能在某一個(gè)專(zhuān)業(yè)領(lǐng)域得到知識(shí)和經(jīng)驗(yàn)的沉淀，隨著時(shí)間的流逝，越來(lái)越多的人會(huì)失去最初的工作積極性和創(chuàng)造性，事實(shí)上，數(shù)據(jù)人員只有深入的研究業(yè)務(wù)、數(shù)據(jù)和模型，端到端的去實(shí)踐，打造出數(shù)據(jù)中臺(tái)，才是最大的價(jià)值創(chuàng)造，才能使得持續(xù)創(chuàng)新成為可能。
第三，角色的轉(zhuǎn)換。數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)要從傳統(tǒng)的支撐角色逐步向運(yùn)營(yíng)轉(zhuǎn)變，不僅在數(shù)據(jù)上，在業(yè)務(wù)上也要努力趕超業(yè)務(wù)人員，中臺(tái)人員要逐步建立起對(duì)于業(yè)務(wù)的話語(yǔ)權(quán)，不僅僅是接受需求的角色，更要能提出合理的建議，能為業(yè)務(wù)帶來(lái)新的增長(zhǎng)點(diǎn)，比如數(shù)據(jù)驅(qū)動(dòng)營(yíng)銷(xiāo)。
第四，適合企業(yè)特點(diǎn)。好的中臺(tái)是當(dāng)你深入了解業(yè)務(wù)、產(chǎn)品、系統(tǒng)、組織，而且不僅了解今天在哪里，還要了解過(guò)去是怎么演變而來(lái)，未來(lái)又會(huì)怎么演化。只有當(dāng)了解所有的東西之后，才能做出較好的中臺(tái)架構(gòu)設(shè)計(jì)。
╱阿里中臺(tái)建設(shè)方法論╱
中臺(tái)建設(shè)的基礎(chǔ)協(xié)議
就是要根據(jù)我們對(duì)商業(yè)的理解，把一些基礎(chǔ)協(xié)議梳理出來(lái)。例如什么是業(yè)務(wù)？什么是業(yè)務(wù)身份？各個(gè)業(yè)務(wù)領(lǐng)域的邊界是什么？每個(gè)領(lǐng)域提供的基礎(chǔ)服務(wù)是什么？再在這些思想的指導(dǎo)下去建立業(yè)務(wù)平臺(tái)化的實(shí)施標(biāo)準(zhǔn)和業(yè)務(wù)管控標(biāo)準(zhǔn)。
中臺(tái)的基礎(chǔ)設(shè)施：中心化控制單元
就是運(yùn)營(yíng)平臺(tái)，它主要由協(xié)議標(biāo)準(zhǔn)、能力地圖、業(yè)務(wù)需求結(jié)構(gòu)分解、全局業(yè)務(wù)身份、業(yè)務(wù)全景圖、業(yè)務(wù)度量等構(gòu)成。能讓我們有一個(gè)地方縱觀全局，把控細(xì)節(jié)。
╱阿里的組織中臺(tái)：數(shù)據(jù)中臺(tái)的組織保證╱
亞當(dāng)斯密出版了《國(guó)富論》，與此同時(shí)，瓦特改良了蒸汽機(jī)，社會(huì)大分工理論與工業(yè)革命相生相伴，在人類(lèi)文明史上寫(xiě)下了濃墨重彩的一筆。
金字塔式的科層制，伴隨著工業(yè)文明成為組織的核心底層邏輯，在強(qiáng)調(diào)秩序和大規(guī)模高效率生產(chǎn)的工業(yè)時(shí)代，甚至是強(qiáng)調(diào)如臂使指的軍隊(duì)組織，科層制（官僚制）是保證自上而下的命令得到有力執(zhí)行的高效組織架構(gòu)。
隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，消費(fèi)者的需求被極大釋放，工業(yè)時(shí)代的大規(guī)模生產(chǎn)方式受到了挑戰(zhàn)，轉(zhuǎn)而向“大規(guī)模定制”的生產(chǎn)方式轉(zhuǎn)型，傳統(tǒng)的科層制是建立在大規(guī)模生產(chǎn)基礎(chǔ)上的，因此也面臨組織模式轉(zhuǎn)換，向扁平化、自組織的方式轉(zhuǎn)變。
而中臺(tái)建設(shè)真正困難的是組織上的重構(gòu)，這往往是大家有意無(wú)意避而不談的。
中臺(tái)戰(zhàn)略的成功、能否實(shí)現(xiàn)技術(shù)架構(gòu)與組織架構(gòu)的匹配，是一道繞不過(guò)去、但必須要邁過(guò)的門(mén)檻。從阿里成立共享事業(yè)部，海爾的人單合一、職能并聯(lián)，到近期大家關(guān)注的騰訊的組織架構(gòu)重構(gòu)都是這些企業(yè)在這方面做出的努力。
╱本文要點(diǎn)小結(jié)╱
1、阿里數(shù)據(jù)中臺(tái)全景圖。阿里數(shù)據(jù)中臺(tái)在架構(gòu)的組成上，呈現(xiàn)了一個(gè)“四橫三縱”的結(jié)構(gòu)，底層的基礎(chǔ)設(shè)施來(lái)自于阿里云平臺(tái)。
2、阿里“雙中臺(tái)”共同支撐的“大中臺(tái)+小前臺(tái)”架構(gòu)。業(yè)務(wù)中臺(tái)與數(shù)據(jù)中臺(tái)相輔相成、互相支撐，一起構(gòu)建起了戰(zhàn)場(chǎng)強(qiáng)大的后方炮火群和雷達(dá)陣。
3、阿里數(shù)據(jù)中臺(tái)OneData體系。OneData體系建立的集團(tuán)數(shù)據(jù)公共層，從設(shè)計(jì)、開(kāi)發(fā)、部署和使用上保障了數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)全鏈路管理，提供標(biāo)準(zhǔn)數(shù)據(jù)輸出。
4、數(shù)據(jù)中臺(tái)PasS層Dataphin。PasS層產(chǎn)品Dataphin如引擎般存在，下到規(guī)劃數(shù)倉(cāng)，上至輸出主題式服務(wù)。
5、Quick BI助力云上企業(yè)數(shù)據(jù)分析。能夠賦予一線業(yè)務(wù)人員智能化的分析工具，真正的做到了“數(shù)據(jù)化運(yùn)營(yíng)”讓數(shù)據(jù)產(chǎn)生價(jià)值。
6、阿里大數(shù)據(jù)能力框架。數(shù)據(jù)中臺(tái)極大的豐富和完善了阿里巴巴大數(shù)據(jù)中心，OneData、OneID、OneService漸趨成熟并成為上至CEO、下至一線員工共識(shí)的方法論體系。
7、數(shù)據(jù)中臺(tái)演進(jìn)的四個(gè)階段。數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)。
8、數(shù)據(jù)中臺(tái)的建設(shè)步驟。組織架構(gòu)升級(jí)、工作方式的改變、角色的轉(zhuǎn)換、適合企業(yè)特點(diǎn)。
9、阿里中臺(tái)建設(shè)方法論。中臺(tái)建設(shè)和基礎(chǔ)協(xié)議、中心化操控單元。
10、阿里的組織中臺(tái)：數(shù)據(jù)中臺(tái)的組織保證。阿里人力三支柱、公共事業(yè)部的組織架構(gòu)升級(jí)。( 來(lái)源：微信公眾號(hào)技術(shù)領(lǐng)導(dǎo)力 文/技術(shù)領(lǐng)導(dǎo)力社區(qū) 編選：網(wǎng)經(jīng)社)
