(網(wǎng)經(jīng)社訊)4月29日，數(shù)據(jù)中臺(tái)建設(shè)實(shí)戰(zhàn)系列課程「數(shù)智加速度」第4課，奇點(diǎn)云數(shù)據(jù)模型架構(gòu)專家天啟帶來(lái)分享《AI驅(qū)動(dòng)的數(shù)據(jù)中臺(tái)架構(gòu)設(shè)計(jì)》，步步踏實(shí)落地，帶大家從0開(kāi)始建設(shè)數(shù)據(jù)中臺(tái)。
天啟，奇點(diǎn)云數(shù)據(jù)模型架構(gòu)專家、原海爾集團(tuán)數(shù)據(jù)架構(gòu)師、原阿里巴巴政務(wù)團(tuán)隊(duì)數(shù)據(jù)架構(gòu)師，精通數(shù)據(jù)倉(cāng)庫(kù)建模理論及數(shù)據(jù)開(kāi)發(fā)技術(shù)，具備零售、政務(wù)、醫(yī)藥、制造等多個(gè)領(lǐng)域數(shù)倉(cāng)和數(shù)據(jù)中臺(tái)建設(shè)經(jīng)驗(yàn)，及PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)中臺(tái)建設(shè)經(jīng)驗(yàn)。
在這一課里，你會(huì)聽(tīng)到：
1. 數(shù)據(jù)中臺(tái)的選型與構(gòu)建˙
2. 數(shù)據(jù)中臺(tái)踩過(guò)的那些坑
3. AI是如何驅(qū)動(dòng)數(shù)據(jù)中臺(tái)
4. 數(shù)據(jù)中臺(tái)新理解與暢想
下文為分享節(jié)選，點(diǎn)擊文末[閱讀原文]可收看完整回放：
數(shù)據(jù)中臺(tái)：正確的人+正確的工具+正確的事=降本增效
數(shù)據(jù)中臺(tái)對(duì)于許多傳統(tǒng)企業(yè)而言，依舊是很陌生的概念。
如何從零開(kāi)始建設(shè)數(shù)據(jù)中臺(tái)？
我們把它簡(jiǎn)化為一個(gè)方程式，正確的人+正確的工具+正確的事，三者缺一不可。
正確的人
數(shù)據(jù)中臺(tái)在國(guó)內(nèi)有完整實(shí)踐的企業(yè)不多，相關(guān)的人才也相對(duì)較少。企業(yè)在選擇數(shù)據(jù)中臺(tái)時(shí)，需要有方法論、實(shí)踐經(jīng)驗(yàn)去指導(dǎo)，以避免從零摸索帶來(lái)大量人力物力的浪費(fèi)。這也是企業(yè)在選擇服務(wù)商時(shí)需要留意的。
正確的工具
在這里主要指的是狹義上的數(shù)據(jù)中臺(tái)產(chǎn)品。市面上的產(chǎn)品五花八門(mén)，數(shù)據(jù)中臺(tái)產(chǎn)品各型各樣，如何選擇非常關(guān)鍵。
正確的事
數(shù)據(jù)中臺(tái)不是擺設(shè)，并不是說(shuō)搭建一個(gè)產(chǎn)品意義的數(shù)據(jù)中臺(tái)，企業(yè)就完成數(shù)字化轉(zhuǎn)型了。數(shù)據(jù)中臺(tái)最終還是要為業(yè)務(wù)服務(wù)。我們要用數(shù)據(jù)中臺(tái)做什么，解決什么業(yè)務(wù)痛點(diǎn)，需要考慮清楚。
這個(gè)方程式最終導(dǎo)向了我們建設(shè)數(shù)據(jù)中臺(tái)的目的：為企業(yè)帶來(lái)降本增效?！敢唇o老板省錢(qián)（降本），要么給老板掙錢(qián)（增效）。」
數(shù)據(jù)中臺(tái)的選型與構(gòu)建
首先需要強(qiáng)調(diào)的是，在這里我們分享的只是一般情況，不同企業(yè)、不同數(shù)據(jù)情況和不同需求，不可一概而論。不管黑貓白貓，能解決痛點(diǎn)的就是好貓。
數(shù)據(jù)中臺(tái)的底層是大數(shù)據(jù)架構(gòu)，大數(shù)據(jù)架構(gòu)如何去選型？
在架構(gòu)選型時(shí)，成本、場(chǎng)景支持是我們考慮最關(guān)鍵的2個(gè)要素。
綜合實(shí)施周期、實(shí)施成本、是否支持實(shí)時(shí)計(jì)算、數(shù)據(jù)冗余與數(shù)據(jù)一致性情況等因素，我們認(rèn)為L(zhǎng)ambda架構(gòu)成本相對(duì)適中，又能滿足實(shí)時(shí)計(jì)算和離線計(jì)算兩個(gè)場(chǎng)景。
當(dāng)然，選擇Lambda架構(gòu)也會(huì)不可避免地面臨數(shù)據(jù)冗余的問(wèn)題，而目前大部分傳統(tǒng)企業(yè)用到實(shí)時(shí)計(jì)算的場(chǎng)景偏少一些，相對(duì)來(lái)說(shuō)產(chǎn)生的數(shù)據(jù)冗余也較少，可以通過(guò)數(shù)據(jù)治理等方式解決。
底層之上是引擎，包括離線計(jì)算引擎和實(shí)時(shí)計(jì)算引擎，又應(yīng)當(dāng)如何去選型？
離線計(jì)算：三種離線計(jì)算引擎各有特點(diǎn)，可以綜合企業(yè)的數(shù)據(jù)情況和需求，選擇合適的計(jì)算引擎。
實(shí)時(shí)計(jì)算：在批處理+流處理上，F(xiàn)link備受青睞，穩(wěn)定性較好、吞吐量較大。一般來(lái)說(shuō)推薦使用Flink。
在架構(gòu)上層，則涉及到了：數(shù)據(jù)模型應(yīng)如何設(shè)計(jì)？
數(shù)據(jù)模型是為業(yè)務(wù)服務(wù)的。具體來(lái)說(shuō)，就是把業(yè)務(wù)抽象化，提煉成數(shù)據(jù)模型，再通過(guò)數(shù)據(jù)解決業(yè)務(wù)問(wèn)題。
建數(shù)據(jù)模型，會(huì)經(jīng)歷業(yè)務(wù)建模、概念建模、邏輯建模和物理建模四個(gè)階段。
在模型選擇上，我們僅列舉兩種模型，星型模型與雪花模型。通常情況下，為了能下游能更好地理解業(yè)務(wù)，快速提供數(shù)據(jù)服務(wù)，我們會(huì)采用空間換時(shí)間的方式，從而選擇星型模型；而在維度信息變化非常頻繁，或者數(shù)據(jù)存儲(chǔ)成本非常高的情況下，我們可以采用雪花模型。歸根到底，數(shù)據(jù)模型沒(méi)有好壞之分，只有能否解決業(yè)務(wù)問(wèn)題。
最后需要強(qiáng)調(diào)，對(duì)于技術(shù)和模型的選擇，我們做了一些推薦和優(yōu)劣勢(shì)的介紹，但技術(shù)和模型本身沒(méi)有對(duì)錯(cuò)之分，適合自己的才是最好的（能解決業(yè)務(wù)問(wèn)題才是最好的）。
數(shù)據(jù)中臺(tái)的架構(gòu)設(shè)計(jì)
我們把數(shù)據(jù)中臺(tái)的架構(gòu)分為三層，數(shù)據(jù)資產(chǎn)層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)應(yīng)用層。
這張圖從下往上看，首先通過(guò)數(shù)據(jù)治理、數(shù)據(jù)開(kāi)發(fā)、借助數(shù)據(jù)倉(cāng)庫(kù)，把數(shù)據(jù)轉(zhuǎn)化為可用的數(shù)據(jù)，即資產(chǎn)「數(shù)據(jù)資產(chǎn)化」；然后建立數(shù)據(jù)能力，把數(shù)據(jù)用起來(lái)，例如標(biāo)簽工廠、模型分析等，即「資產(chǎn)服務(wù)化」；再通過(guò)智能化的場(chǎng)景給業(yè)務(wù)賦能，也就是「服務(wù)智能化」。
AI驅(qū)動(dòng)的數(shù)據(jù)中臺(tái)
奇點(diǎn)云創(chuàng)立三年來(lái)，數(shù)據(jù)中臺(tái)的實(shí)踐在零售、時(shí)尚、百購(gòu)等行業(yè)相繼落地成功，在實(shí)踐經(jīng)驗(yàn)中，探索并檢驗(yàn)出了數(shù)據(jù)中臺(tái)的王道：AI驅(qū)動(dòng)的數(shù)據(jù)中臺(tái)。
所謂「AI驅(qū)動(dòng)」，我們可以看到在架構(gòu)中融入了奇點(diǎn)云獨(dú)創(chuàng)的「云（智能）+端（感知）」的解決方案，從數(shù)據(jù)采集層的AIoT到數(shù)據(jù)服務(wù)層的算法服務(wù)、分析引擎再到頂部的數(shù)據(jù)智能應(yīng)用，實(shí)現(xiàn)了「云賦能端，端豐富云」，既解決企業(yè)數(shù)據(jù)生產(chǎn)的問(wèn)題，又解決企業(yè)數(shù)據(jù)使用的問(wèn)題。
在「AI驅(qū)動(dòng)的數(shù)據(jù)中臺(tái)」實(shí)踐的道路上，奇點(diǎn)云自研一站式大數(shù)據(jù)智能服務(wù)平臺(tái)——DataSimba，旨在為企業(yè)提供全鏈路的產(chǎn)品+技術(shù)+方法論服務(wù)。其核心模塊包括全域數(shù)據(jù)采集、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)API、數(shù)據(jù)科學(xué)、數(shù)據(jù)質(zhì)量、標(biāo)簽工廠。助力企業(yè)快速搭建安全、易用的數(shù)據(jù)中臺(tái)，最大化釋放價(jià)值，驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)與創(chuàng)新。
