(網(wǎng)經(jīng)社訊)摘要：隨著信息技術(shù)和工業(yè)技術(shù)的迅猛發(fā)展，新型工業(yè)化道路應(yīng)運(yùn)而生，而工業(yè)大數(shù)據(jù)的平臺(tái)建設(shè)對(duì)加快新型工業(yè)化道路具有十分重要的意義，本文通過對(duì)工業(yè)和互聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行對(duì)比分析，結(jié)合工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)，闡述了二者之間的內(nèi)在聯(lián)系。基于此，提出了工業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)以及相關(guān)的數(shù)據(jù)分級(jí)處理流程，最后指出了工業(yè)大數(shù)據(jù)平臺(tái)的應(yīng)用，包括資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析和安全服務(wù)，為工業(yè)企業(yè)提供了平臺(tái)支持和數(shù)據(jù)服務(wù)。
1 引言（Introduction）
隨著信息化和產(chǎn)業(yè)化進(jìn)程的加快，新型工業(yè)化道路應(yīng)運(yùn)而生，以運(yùn)用現(xiàn)代信息技術(shù)，用信息化帶動(dòng)工業(yè)化。工業(yè)4.0和中國(guó)制造2025都以創(chuàng)新為共同發(fā)展理念，強(qiáng)調(diào)以信息技術(shù)為載體，加強(qiáng)創(chuàng)新驅(qū)動(dòng)與智能化服務(wù)水平。因此強(qiáng)調(diào)建設(shè)工業(yè)化的網(wǎng)絡(luò)平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行整理、分析、總結(jié)，工業(yè)企業(yè)應(yīng)當(dāng)發(fā)揮工業(yè)互聯(lián)網(wǎng)的作用，形成終端的服務(wù)信息系統(tǒng)。通過建設(shè)大數(shù)據(jù)的平臺(tái)，為傳統(tǒng)工業(yè)化的改造指明了方向，對(duì)新型工業(yè)化建設(shè)具有重要意義[1]。對(duì)工業(yè)互聯(lián)網(wǎng)信息進(jìn)行智能處理，實(shí)現(xiàn)數(shù)據(jù)同步、交換、集成、調(diào)用等功能，為工業(yè)企業(yè)提供數(shù)據(jù)平臺(tái)服務(wù)和決策支持[2]。
2 工業(yè)大數(shù)據(jù)分析與應(yīng)用（Analysis and application of industrial big data）
2.1 工業(yè)大數(shù)據(jù)分析
大數(shù)據(jù)特征體現(xiàn)在量、速度、多樣性、真實(shí)性四個(gè)方面，而工業(yè)大數(shù)據(jù)的特征在結(jié)合大數(shù)據(jù)的基礎(chǔ)上，附加了可見性和價(jià)值兩個(gè)特點(diǎn)。工業(yè)大數(shù)據(jù)歷經(jīng)了三個(gè)階段，如表1所示。工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)相比，最大的區(qū)別在于工業(yè)大數(shù)據(jù)具有很強(qiáng)的目的性，而互聯(lián)網(wǎng)大數(shù)據(jù)更多的是一種關(guān)聯(lián)的挖掘，是更加發(fā)散的一種分析，對(duì)數(shù)據(jù)的預(yù)測(cè)和解讀顯得尤為重要[3]，如表2所示。
2.2 工業(yè)大數(shù)據(jù)應(yīng)用
隨著信息技術(shù)的迅猛發(fā)展，工業(yè)企業(yè)也相繼進(jìn)入了互聯(lián)網(wǎng)工業(yè)的新的發(fā)展階段，工業(yè)大數(shù)據(jù)在此背景下創(chuàng)新和變革，其應(yīng)用范圍很寬泛。工業(yè)大數(shù)據(jù)通常應(yīng)用在制造、航空、軌道交通、船舶、石油、建筑等方面[4，5]，如表3所示。
3 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)（Industrial Internet and big data）
3.1 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的聯(lián)系
工業(yè)企業(yè)發(fā)展的動(dòng)力來自工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的融合，通過工業(yè)互聯(lián)網(wǎng)，將來自數(shù)據(jù)操控平臺(tái)中的信息匯總，依據(jù)相應(yīng)的產(chǎn)品技術(shù)要求，實(shí)現(xiàn)數(shù)據(jù)的解讀與分析，從而提煉出對(duì)企業(yè)有價(jià)值的信息。而大數(shù)據(jù)可以在跨學(xué)科技術(shù)融合的基礎(chǔ)上，進(jìn)行信息匯總與管理，提煉產(chǎn)品最具有價(jià)值的信息。通過互聯(lián)網(wǎng)與線下的其他傳播渠道，從而建立新投資目標(biāo)、發(fā)現(xiàn)新趨勢(shì)、提供解決復(fù)雜問題的新路徑。
3.2 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用
工業(yè)互聯(lián)網(wǎng)是互聯(lián)網(wǎng)與智能制造的交叉點(diǎn)，在融合大數(shù)據(jù)的前提下，提升了產(chǎn)品的智能性，并充分拓展了行業(yè)的相關(guān)應(yīng)用。產(chǎn)品的智能化是把機(jī)器處理和導(dǎo)出系統(tǒng)滲透到產(chǎn)品的生產(chǎn)過程中，保證產(chǎn)品的感知、存儲(chǔ)等能力，實(shí)現(xiàn)產(chǎn)品的信息化定位、識(shí)別、復(fù)原。目前互聯(lián)網(wǎng)汽車、工程機(jī)械、智能家電等是產(chǎn)品智能化的熱點(diǎn)領(lǐng)域。同時(shí)，工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)通過網(wǎng)絡(luò)連接到企業(yè)管理平臺(tái)。企業(yè)管理平臺(tái)可以利用無線網(wǎng)絡(luò)、視頻遠(yuǎn)程故障診斷等信息服務(wù)系統(tǒng)對(duì)設(shè)備運(yùn)行實(shí)現(xiàn)遠(yuǎn)程操控，及時(shí)播報(bào)預(yù)警[6]。
3.3 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)
在工業(yè)互聯(lián)網(wǎng)時(shí)代，通過納入來自產(chǎn)業(yè)鏈上下游以及跨界的數(shù)據(jù)，實(shí)現(xiàn)工業(yè)從數(shù)據(jù)向大數(shù)據(jù)的轉(zhuǎn)變。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)主要呈現(xiàn)四個(gè)方面的特點(diǎn)，即：全要素、全過程、全方位、全融合。全要素是指為保證產(chǎn)品數(shù)據(jù)的完整性，其攜帶了產(chǎn)品全部的尺寸、工藝、制造、售后使用信息等;全過程是指為確保產(chǎn)品的最終質(zhì)量，在數(shù)據(jù)設(shè)計(jì)和使用時(shí)，必須要考慮跨越不同的設(shè)計(jì)、制造階段;全方位指具體到產(chǎn)品的生產(chǎn)線，從設(shè)計(jì)、制造、采購(gòu)等，全方位地關(guān)注相關(guān)信息，確保產(chǎn)品的實(shí)用性。全融合指在信息技術(shù)支持的背景下，關(guān)注企業(yè)各業(yè)務(wù)的全面關(guān)聯(lián)及融合。
4 工業(yè)大數(shù)據(jù)平臺(tái)建設(shè)（Construction of industrial big data platform）
4.1 云平臺(tái)總體架構(gòu)
工業(yè)大數(shù)據(jù)云平臺(tái)通過尋找統(tǒng)一數(shù)據(jù)源、數(shù)據(jù)口徑和數(shù)據(jù)的出入口，來實(shí)現(xiàn)對(duì)各種專業(yè)的合理分析，并最終統(tǒng)一和完善企業(yè)信息模型。云平臺(tái)的總體架構(gòu)包括PaaS環(huán)境層、PaaS業(yè)務(wù)層、PaaS服務(wù)層。PaaS環(huán)境層為業(yè)務(wù)應(yīng)用提供支撐的軟件組件、各種中間件和數(shù)據(jù)庫(kù)等，以Hadoop為代表的大數(shù)據(jù)處理;PaaS業(yè)務(wù)層包含了應(yīng)用的后合程序、數(shù)據(jù)處理算法以及業(yè)務(wù)數(shù)據(jù)等實(shí)現(xiàn)業(yè)務(wù)能力的元素;PaaS服務(wù)層是指將業(yè)務(wù)層的業(yè)務(wù)、算法和數(shù)據(jù)以接口的形式提供給上層的前端應(yīng)用直接訪問?？傮w來說，云平臺(tái)總體架構(gòu)面向一般數(shù)據(jù)中心典型的應(yīng)用場(chǎng)景，提供對(duì)混合IT資源的統(tǒng)一接入，以構(gòu)筑云模式下基礎(chǔ)資源調(diào)度的最佳實(shí)踐，同時(shí)以PaaS能力為核心，將應(yīng)用系統(tǒng)的典型軟件組件以服務(wù)形態(tài)提供，為業(yè)務(wù)系統(tǒng)提供統(tǒng)一環(huán)境支持，并進(jìn)行統(tǒng)一管理和監(jiān)控，將大數(shù)據(jù)平臺(tái)作為典型服務(wù)組件整合到云平臺(tái)中進(jìn)行統(tǒng)一管理，以適應(yīng)未來應(yīng)用對(duì)大數(shù)據(jù)能力的普遍使用。為用戶更好地提供面向DevOps的統(tǒng)一云服務(wù)業(yè)務(wù)流程，以統(tǒng)一平臺(tái)提供傳統(tǒng)的laaS和PaaS能力，并貫穿開發(fā)、測(cè)試和生產(chǎn)的全過程[7]。
4.2 大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)
大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)包括五個(gè)層面：應(yīng)用層、能力層、數(shù)據(jù)層、獲取層、數(shù)據(jù)源，如圖1所示。其中Hadoop平臺(tái)是大數(shù)據(jù)平臺(tái)中的核心。通過建立分布式的文件管理系統(tǒng)，保證了大量數(shù)據(jù)安全存儲(chǔ)，建立了數(shù)據(jù)分析處理框架。Hadoop集群能迅速擴(kuò)展到頂級(jí)服務(wù)器，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的批量處理。同時(shí)，Hadoop通過MapReduce可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中，實(shí)現(xiàn)大規(guī)模并行計(jì)算，同時(shí)考慮到設(shè)備的不穩(wěn)定性，保證了計(jì)算的準(zhǔn)確性和高效性。而Hadoop云平臺(tái)以半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)為主，通過存儲(chǔ)海量數(shù)據(jù)，確保使用時(shí)的時(shí)效性與高效性。
4.3 大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)分級(jí)存儲(chǔ)
數(shù)據(jù)分級(jí)存儲(chǔ)應(yīng)當(dāng)滿足一定的原則，即大數(shù)據(jù)平臺(tái)強(qiáng)調(diào)數(shù)據(jù)的生命周期性，隨著數(shù)據(jù)生命周期的變化逐步向通用性能存儲(chǔ)遷移，是分級(jí)存儲(chǔ)管理的主線。同時(shí)數(shù)據(jù)分級(jí)存儲(chǔ)在保證主線暢通的情況下，考慮到其他分級(jí)原則，確保數(shù)據(jù)遷移能夠覆蓋到各個(gè)層面。在滿足相關(guān)原則的基礎(chǔ)上，將核心模型改造，轉(zhuǎn)化為現(xiàn)有主數(shù)據(jù)倉(cāng)庫(kù)的核心模型，減少了數(shù)據(jù)冗余。集成改造后，將主數(shù)據(jù)倉(cāng)庫(kù)中的關(guān)鍵性數(shù)據(jù)轉(zhuǎn)移到一個(gè)低成本的分布式數(shù)據(jù)庫(kù)中，降低了主數(shù)據(jù)庫(kù)的存儲(chǔ)壓力。同時(shí)此存儲(chǔ)系統(tǒng)也支持?jǐn)?shù)據(jù)的深度分析。
4.4 大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)處理流程
在滿足相關(guān)技術(shù)的基礎(chǔ)上，數(shù)據(jù)的采集工作通常包括結(jié)構(gòu)化和非結(jié)構(gòu)化的兩種數(shù)據(jù)采集，數(shù)據(jù)的具體處理過程分為七個(gè)環(huán)節(jié)：①源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫(kù);②基礎(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫(kù)，規(guī)劃保存三年;③清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫(kù)規(guī)劃保存兩個(gè)月，具體數(shù)據(jù)分析和匯總在分布數(shù)據(jù)庫(kù)中進(jìn)行，規(guī)劃保存兩年;④ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺(tái)做長(zhǎng)久保存;⑤非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺(tái)完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫(kù);⑥生成KPI和高度匯總數(shù)振加載到主數(shù)據(jù)倉(cāng)庫(kù);⑦業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。
5 工業(yè)大數(shù)據(jù)平臺(tái)應(yīng)用（Application of industrial big data platform）
5.1 資產(chǎn)管理服務(wù)
資產(chǎn)管理服務(wù)的重點(diǎn)目標(biāo)是資產(chǎn)建模、連接資產(chǎn)和數(shù)據(jù)源，其服務(wù)范圍分為三個(gè)板塊：接口層支持資產(chǎn)分層、屬性分類和自定義建模對(duì)象，終端訪問對(duì)象建模層，通過轉(zhuǎn)換數(shù)據(jù)格式，以便于數(shù)據(jù)庫(kù)存儲(chǔ)和查詢;相關(guān)查詢引擎利用圖形表達(dá)式語言檢索數(shù)據(jù);圖形數(shù)據(jù)庫(kù)中包含資產(chǎn)服務(wù)數(shù)據(jù)存儲(chǔ)，并將原始數(shù)據(jù)描述成數(shù)據(jù)模型。資產(chǎn)管理服務(wù)中的資產(chǎn)模型是工業(yè)大數(shù)據(jù)平臺(tái)的關(guān)鍵，是連接平臺(tái)所有服務(wù)的中樞，能幫助應(yīng)用開發(fā)者更好的理解、分析和處理數(shù)據(jù)。
5.2 數(shù)據(jù)管理與服務(wù)
大數(shù)據(jù)平臺(tái)常用的數(shù)據(jù)管理與服務(wù)包括對(duì)各種類型數(shù)據(jù)進(jìn)行接入、處理和儲(chǔ)存。數(shù)據(jù)接入指支持多渠道、多類型的數(shù)據(jù)接入，包括實(shí)時(shí)數(shù)據(jù)接入和批量數(shù)據(jù)接入;數(shù)據(jù)處理包含對(duì)傳感器數(shù)據(jù)進(jìn)行標(biāo)簽處理、資產(chǎn)數(shù)據(jù)與ERP數(shù)據(jù)相結(jié)合等;數(shù)據(jù)儲(chǔ)存是根據(jù)不同的需求選擇相應(yīng)的存儲(chǔ)方式，類似時(shí)間序列存儲(chǔ)傳感器實(shí)時(shí)數(shù)據(jù)、BLOB數(shù)據(jù)庫(kù)存儲(chǔ)圖片式數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)其他數(shù)據(jù)等。
5.3 數(shù)據(jù)分析服務(wù)
數(shù)據(jù)分析服務(wù)通常指通過分析實(shí)時(shí)數(shù)據(jù)檢測(cè)設(shè)備狀態(tài)、預(yù)防設(shè)備故障、優(yōu)化生產(chǎn)過程等，并進(jìn)行迭代提升，在對(duì)歷史數(shù)據(jù)進(jìn)行整合和分析，包括異常檢測(cè)、事件流處理、分析運(yùn)行環(huán)境、分析界面、分析日志等服務(wù)項(xiàng)目，建立工業(yè)級(jí)的預(yù)測(cè)模型，以進(jìn)行更有效地生產(chǎn)和運(yùn)營(yíng)。相較于數(shù)據(jù)自身的特點(diǎn)，數(shù)據(jù)分析服務(wù)在涉及技術(shù)層面的基礎(chǔ)上，更應(yīng)當(dāng)滿足企業(yè)與客戶的應(yīng)用需求，將極度專業(yè)化的技術(shù)描述，轉(zhuǎn)化為更容易的商業(yè)需求。
5.4 數(shù)據(jù)安全服務(wù)
數(shù)據(jù)安全服務(wù)的主要目標(biāo)為建立企業(yè)互聯(lián)網(wǎng)應(yīng)用，解決安全性問題，從而滿足企業(yè)互聯(lián)網(wǎng)端對(duì)端的安全需求。其服務(wù)范圍包括租戶管理、用戶賬戶和身份驗(yàn)證、訪問控制三個(gè)方面。租戶管理指為租戶提供特定服務(wù)實(shí)體及注冊(cè)表，完成租戶和服務(wù)實(shí)體間的完美映射，在確保客戶數(shù)據(jù)信息安全的基礎(chǔ)上，實(shí)現(xiàn)服務(wù)生命周期管理。用戶賬戶和身份驗(yàn)證是在傳統(tǒng)用戶信息驗(yàn)證方法的基礎(chǔ)上，增加多種驗(yàn)證方法完善身份驗(yàn)證系統(tǒng)。訪問控制是指建立資源訪問限制，增強(qiáng)用戶賬戶信息驗(yàn)證的權(quán)威性，同時(shí)不斷提升和優(yōu)化網(wǎng)絡(luò)訪問信息安全，實(shí)現(xiàn)復(fù)雜條件下的訪問控制。
6 結(jié)論（Conclusion）
隨著新型工業(yè)化道路的推進(jìn)，傳統(tǒng)的工業(yè)化道路已不能適應(yīng)當(dāng)前社會(huì)的發(fā)展需求，本文在結(jié)合信息化和產(chǎn)業(yè)化的手段，搭建了工業(yè)大數(shù)據(jù)平臺(tái)，并應(yīng)用于資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)安全服務(wù)等方面，未來工業(yè)發(fā)展的趨勢(shì)應(yīng)當(dāng)在構(gòu)建平臺(tái)的基礎(chǔ)上，實(shí)現(xiàn)產(chǎn)品智能化，確保產(chǎn)品生產(chǎn)的高效性。同時(shí)工業(yè)大數(shù)據(jù)平臺(tái)也為工業(yè)企業(yè)提供了商業(yè)支持和服務(wù)。
參考文獻(xiàn)（References）
[1] Du B，Huang R，Chen X，et al.Active CTDaaS：A Data Service Framework Based on Transparent IoD in City Traffic[J].IEEE Transactions on Computers，2016，65：1-10.
[2] Valerio Persico，Antonio Pescapé，Antonio Picariello，et al.
Benchmarking big data architectures for social networks data processing using public cloud platforms[J].Future Generation Computer Systems，2018，89：98-109.
[3] Jeon S，Hong B.Monte Carlo simulation-based traffic speed forecasting using historical big data[J].Future Generation Computer Systems，2016，65：182-195.
[4] 劉德賀，史玉峰.基于TLS技術(shù)的道路邊坡地表位移監(jiān)測(cè)研究[J].森林工程，2018，34（02）：95-99.
[5] 吳佳蔚，李希勝，曹璐琳，等.基于BIM技術(shù)的綠色建筑節(jié)地設(shè)計(jì)自動(dòng)評(píng)價(jià)[J].建筑科學(xué)，2017，33（04）：123-128.
[6] 鄭加柱，高業(yè)何敏.自動(dòng)推算室內(nèi)接入點(diǎn)坐標(biāo)算法[J].測(cè)繪通報(bào)，2018（02）：21-24;29.
[7] 魏洋，盧海鵬，劉小明，等.基于長(zhǎng)標(biāo)距光纖光柵傳感器的連續(xù)梁橋監(jiān)測(cè)技術(shù)[J].鐵道科學(xué)與工程學(xué)報(bào)，2017，14（10）：2231-2238.(來源：軟件工程雜志 文/許基偉 馬欣 編選：網(wǎng)經(jīng)社)
