(網(wǎng)經(jīng)社訊)摘要：隨著信息技術(shù)和工業(yè)技術(shù)的迅猛發(fā)展，新型工業(yè)化道路應(yīng)運而生，而工業(yè)大數(shù)據(jù)的平臺建設(shè)對加快新型工業(yè)化道路具有十分重要的意義，本文通過對工業(yè)和互聯(lián)網(wǎng)大數(shù)據(jù)進行對比分析，結(jié)合工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點，闡述了二者之間的內(nèi)在聯(lián)系?；诖?，提出了工業(yè)大數(shù)據(jù)平臺架構(gòu)以及相關(guān)的數(shù)據(jù)分級處理流程，最后指出了工業(yè)大數(shù)據(jù)平臺的應(yīng)用，包括資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析和安全服務(wù)，為工業(yè)企業(yè)提供了平臺支持和數(shù)據(jù)服務(wù)。
1 引言（Introduction）
隨著信息化和產(chǎn)業(yè)化進程的加快，新型工業(yè)化道路應(yīng)運而生，以運用現(xiàn)代信息技術(shù)，用信息化帶動工業(yè)化。工業(yè)4.0和中國制造2025都以創(chuàng)新為共同發(fā)展理念，強調(diào)以信息技術(shù)為載體，加強創(chuàng)新驅(qū)動與智能化服務(wù)水平。因此強調(diào)建設(shè)工業(yè)化的網(wǎng)絡(luò)平臺，對數(shù)據(jù)進行整理、分析、總結(jié)，工業(yè)企業(yè)應(yīng)當(dāng)發(fā)揮工業(yè)互聯(lián)網(wǎng)的作用，形成終端的服務(wù)信息系統(tǒng)。通過建設(shè)大數(shù)據(jù)的平臺，為傳統(tǒng)工業(yè)化的改造指明了方向，對新型工業(yè)化建設(shè)具有重要意義[1]。對工業(yè)互聯(lián)網(wǎng)信息進行智能處理，實現(xiàn)數(shù)據(jù)同步、交換、集成、調(diào)用等功能，為工業(yè)企業(yè)提供數(shù)據(jù)平臺服務(wù)和決策支持[2]。
2 工業(yè)大數(shù)據(jù)分析與應(yīng)用（Analysis and application of industrial big data）
2.1 工業(yè)大數(shù)據(jù)分析
大數(shù)據(jù)特征體現(xiàn)在量、速度、多樣性、真實性四個方面，而工業(yè)大數(shù)據(jù)的特征在結(jié)合大數(shù)據(jù)的基礎(chǔ)上，附加了可見性和價值兩個特點。工業(yè)大數(shù)據(jù)歷經(jīng)了三個階段，如表1所示。工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)相比，最大的區(qū)別在于工業(yè)大數(shù)據(jù)具有很強的目的性，而互聯(lián)網(wǎng)大數(shù)據(jù)更多的是一種關(guān)聯(lián)的挖掘，是更加發(fā)散的一種分析，對數(shù)據(jù)的預(yù)測和解讀顯得尤為重要[3]，如表2所示。
2.2 工業(yè)大數(shù)據(jù)應(yīng)用
隨著信息技術(shù)的迅猛發(fā)展，工業(yè)企業(yè)也相繼進入了互聯(lián)網(wǎng)工業(yè)的新的發(fā)展階段，工業(yè)大數(shù)據(jù)在此背景下創(chuàng)新和變革，其應(yīng)用范圍很寬泛。工業(yè)大數(shù)據(jù)通常應(yīng)用在制造、航空、軌道交通、船舶、石油、建筑等方面[4，5]，如表3所示。
3 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)（Industrial Internet and big data）
3.1 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的聯(lián)系
工業(yè)企業(yè)發(fā)展的動力來自工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的融合，通過工業(yè)互聯(lián)網(wǎng)，將來自數(shù)據(jù)操控平臺中的信息匯總，依據(jù)相應(yīng)的產(chǎn)品技術(shù)要求，實現(xiàn)數(shù)據(jù)的解讀與分析，從而提煉出對企業(yè)有價值的信息。而大數(shù)據(jù)可以在跨學(xué)科技術(shù)融合的基礎(chǔ)上，進行信息匯總與管理，提煉產(chǎn)品最具有價值的信息。通過互聯(lián)網(wǎng)與線下的其他傳播渠道，從而建立新投資目標(biāo)、發(fā)現(xiàn)新趨勢、提供解決復(fù)雜問題的新路徑。
3.2 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用
工業(yè)互聯(lián)網(wǎng)是互聯(lián)網(wǎng)與智能制造的交叉點，在融合大數(shù)據(jù)的前提下，提升了產(chǎn)品的智能性，并充分拓展了行業(yè)的相關(guān)應(yīng)用。產(chǎn)品的智能化是把機器處理和導(dǎo)出系統(tǒng)滲透到產(chǎn)品的生產(chǎn)過程中，保證產(chǎn)品的感知、存儲等能力，實現(xiàn)產(chǎn)品的信息化定位、識別、復(fù)原。目前互聯(lián)網(wǎng)汽車、工程機械、智能家電等是產(chǎn)品智能化的熱點領(lǐng)域。同時，工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)通過網(wǎng)絡(luò)連接到企業(yè)管理平臺。企業(yè)管理平臺可以利用無線網(wǎng)絡(luò)、視頻遠程故障診斷等信息服務(wù)系統(tǒng)對設(shè)備運行實現(xiàn)遠程操控，及時播報預(yù)警[6]。
3.3 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點
在工業(yè)互聯(lián)網(wǎng)時代，通過納入來自產(chǎn)業(yè)鏈上下游以及跨界的數(shù)據(jù)，實現(xiàn)工業(yè)從數(shù)據(jù)向大數(shù)據(jù)的轉(zhuǎn)變。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)主要呈現(xiàn)四個方面的特點，即：全要素、全過程、全方位、全融合。全要素是指為保證產(chǎn)品數(shù)據(jù)的完整性，其攜帶了產(chǎn)品全部的尺寸、工藝、制造、售后使用信息等;全過程是指為確保產(chǎn)品的最終質(zhì)量，在數(shù)據(jù)設(shè)計和使用時，必須要考慮跨越不同的設(shè)計、制造階段;全方位指具體到產(chǎn)品的生產(chǎn)線，從設(shè)計、制造、采購等，全方位地關(guān)注相關(guān)信息，確保產(chǎn)品的實用性。全融合指在信息技術(shù)支持的背景下，關(guān)注企業(yè)各業(yè)務(wù)的全面關(guān)聯(lián)及融合。
4 工業(yè)大數(shù)據(jù)平臺建設(shè)（Construction of industrial big data platform）
4.1 云平臺總體架構(gòu)
工業(yè)大數(shù)據(jù)云平臺通過尋找統(tǒng)一數(shù)據(jù)源、數(shù)據(jù)口徑和數(shù)據(jù)的出入口，來實現(xiàn)對各種專業(yè)的合理分析，并最終統(tǒng)一和完善企業(yè)信息模型。云平臺的總體架構(gòu)包括PaaS環(huán)境層、PaaS業(yè)務(wù)層、PaaS服務(wù)層。PaaS環(huán)境層為業(yè)務(wù)應(yīng)用提供支撐的軟件組件、各種中間件和數(shù)據(jù)庫等，以Hadoop為代表的大數(shù)據(jù)處理;PaaS業(yè)務(wù)層包含了應(yīng)用的后合程序、數(shù)據(jù)處理算法以及業(yè)務(wù)數(shù)據(jù)等實現(xiàn)業(yè)務(wù)能力的元素;PaaS服務(wù)層是指將業(yè)務(wù)層的業(yè)務(wù)、算法和數(shù)據(jù)以接口的形式提供給上層的前端應(yīng)用直接訪問?？傮w來說，云平臺總體架構(gòu)面向一般數(shù)據(jù)中心典型的應(yīng)用場景，提供對混合IT資源的統(tǒng)一接入，以構(gòu)筑云模式下基礎(chǔ)資源調(diào)度的最佳實踐，同時以PaaS能力為核心，將應(yīng)用系統(tǒng)的典型軟件組件以服務(wù)形態(tài)提供，為業(yè)務(wù)系統(tǒng)提供統(tǒng)一環(huán)境支持，并進行統(tǒng)一管理和監(jiān)控，將大數(shù)據(jù)平臺作為典型服務(wù)組件整合到云平臺中進行統(tǒng)一管理，以適應(yīng)未來應(yīng)用對大數(shù)據(jù)能力的普遍使用。為用戶更好地提供面向DevOps的統(tǒng)一云服務(wù)業(yè)務(wù)流程，以統(tǒng)一平臺提供傳統(tǒng)的laaS和PaaS能力，并貫穿開發(fā)、測試和生產(chǎn)的全過程[7]。
4.2 大數(shù)據(jù)平臺目標(biāo)架構(gòu)
大數(shù)據(jù)平臺目標(biāo)架構(gòu)包括五個層面：應(yīng)用層、能力層、數(shù)據(jù)層、獲取層、數(shù)據(jù)源，如圖1所示。其中Hadoop平臺是大數(shù)據(jù)平臺中的核心。通過建立分布式的文件管理系統(tǒng)，保證了大量數(shù)據(jù)安全存儲，建立了數(shù)據(jù)分析處理框架。Hadoop集群能迅速擴展到頂級服務(wù)器，實現(xiàn)對大數(shù)據(jù)的批量處理。同時，Hadoop通過MapReduce可將任務(wù)分布并行運行在一個集群服務(wù)器中，實現(xiàn)大規(guī)模并行計算，同時考慮到設(shè)備的不穩(wěn)定性，保證了計算的準(zhǔn)確性和高效性。而Hadoop云平臺以半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)為主，通過存儲海量數(shù)據(jù)，確保使用時的時效性與高效性。
4.3 大數(shù)據(jù)平臺中的數(shù)據(jù)分級存儲
數(shù)據(jù)分級存儲應(yīng)當(dāng)滿足一定的原則，即大數(shù)據(jù)平臺強調(diào)數(shù)據(jù)的生命周期性，隨著數(shù)據(jù)生命周期的變化逐步向通用性能存儲遷移，是分級存儲管理的主線。同時數(shù)據(jù)分級存儲在保證主線暢通的情況下，考慮到其他分級原則，確保數(shù)據(jù)遷移能夠覆蓋到各個層面。在滿足相關(guān)原則的基礎(chǔ)上，將核心模型改造，轉(zhuǎn)化為現(xiàn)有主數(shù)據(jù)倉庫的核心模型，減少了數(shù)據(jù)冗余。集成改造后，將主數(shù)據(jù)倉庫中的關(guān)鍵性數(shù)據(jù)轉(zhuǎn)移到一個低成本的分布式數(shù)據(jù)庫中，降低了主數(shù)據(jù)庫的存儲壓力。同時此存儲系統(tǒng)也支持數(shù)據(jù)的深度分析。
4.4 大數(shù)據(jù)平臺中的數(shù)據(jù)處理流程
在滿足相關(guān)技術(shù)的基礎(chǔ)上，數(shù)據(jù)的采集工作通常包括結(jié)構(gòu)化和非結(jié)構(gòu)化的兩種數(shù)據(jù)采集，數(shù)據(jù)的具體處理過程分為七個環(huán)節(jié)：①源數(shù)據(jù)導(dǎo)入ETL，進行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫;②基礎(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存三年;③清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存兩個月，具體數(shù)據(jù)分析和匯總在分布數(shù)據(jù)庫中進行，規(guī)劃保存兩年;④ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺做長久保存;⑤非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫;⑥生成KPI和高度匯總數(shù)振加載到主數(shù)據(jù)倉庫;⑦業(yè)務(wù)應(yīng)用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。
5 工業(yè)大數(shù)據(jù)平臺應(yīng)用（Application of industrial big data platform）
5.1 資產(chǎn)管理服務(wù)
資產(chǎn)管理服務(wù)的重點目標(biāo)是資產(chǎn)建模、連接資產(chǎn)和數(shù)據(jù)源，其服務(wù)范圍分為三個板塊：接口層支持資產(chǎn)分層、屬性分類和自定義建模對象，終端訪問對象建模層，通過轉(zhuǎn)換數(shù)據(jù)格式，以便于數(shù)據(jù)庫存儲和查詢;相關(guān)查詢引擎利用圖形表達式語言檢索數(shù)據(jù);圖形數(shù)據(jù)庫中包含資產(chǎn)服務(wù)數(shù)據(jù)存儲，并將原始數(shù)據(jù)描述成數(shù)據(jù)模型。資產(chǎn)管理服務(wù)中的資產(chǎn)模型是工業(yè)大數(shù)據(jù)平臺的關(guān)鍵，是連接平臺所有服務(wù)的中樞，能幫助應(yīng)用開發(fā)者更好的理解、分析和處理數(shù)據(jù)。
5.2 數(shù)據(jù)管理與服務(wù)
大數(shù)據(jù)平臺常用的數(shù)據(jù)管理與服務(wù)包括對各種類型數(shù)據(jù)進行接入、處理和儲存。數(shù)據(jù)接入指支持多渠道、多類型的數(shù)據(jù)接入，包括實時數(shù)據(jù)接入和批量數(shù)據(jù)接入;數(shù)據(jù)處理包含對傳感器數(shù)據(jù)進行標(biāo)簽處理、資產(chǎn)數(shù)據(jù)與ERP數(shù)據(jù)相結(jié)合等;數(shù)據(jù)儲存是根據(jù)不同的需求選擇相應(yīng)的存儲方式，類似時間序列存儲傳感器實時數(shù)據(jù)、BLOB數(shù)據(jù)庫存儲圖片式數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫存儲其他數(shù)據(jù)等。
5.3 數(shù)據(jù)分析服務(wù)
數(shù)據(jù)分析服務(wù)通常指通過分析實時數(shù)據(jù)檢測設(shè)備狀態(tài)、預(yù)防設(shè)備故障、優(yōu)化生產(chǎn)過程等，并進行迭代提升，在對歷史數(shù)據(jù)進行整合和分析，包括異常檢測、事件流處理、分析運行環(huán)境、分析界面、分析日志等服務(wù)項目，建立工業(yè)級的預(yù)測模型，以進行更有效地生產(chǎn)和運營。相較于數(shù)據(jù)自身的特點，數(shù)據(jù)分析服務(wù)在涉及技術(shù)層面的基礎(chǔ)上，更應(yīng)當(dāng)滿足企業(yè)與客戶的應(yīng)用需求，將極度專業(yè)化的技術(shù)描述，轉(zhuǎn)化為更容易的商業(yè)需求。
5.4 數(shù)據(jù)安全服務(wù)
數(shù)據(jù)安全服務(wù)的主要目標(biāo)為建立企業(yè)互聯(lián)網(wǎng)應(yīng)用，解決安全性問題，從而滿足企業(yè)互聯(lián)網(wǎng)端對端的安全需求。其服務(wù)范圍包括租戶管理、用戶賬戶和身份驗證、訪問控制三個方面。租戶管理指為租戶提供特定服務(wù)實體及注冊表，完成租戶和服務(wù)實體間的完美映射，在確保客戶數(shù)據(jù)信息安全的基礎(chǔ)上，實現(xiàn)服務(wù)生命周期管理。用戶賬戶和身份驗證是在傳統(tǒng)用戶信息驗證方法的基礎(chǔ)上，增加多種驗證方法完善身份驗證系統(tǒng)。訪問控制是指建立資源訪問限制，增強用戶賬戶信息驗證的權(quán)威性，同時不斷提升和優(yōu)化網(wǎng)絡(luò)訪問信息安全，實現(xiàn)復(fù)雜條件下的訪問控制。
6 結(jié)論（Conclusion）
隨著新型工業(yè)化道路的推進，傳統(tǒng)的工業(yè)化道路已不能適應(yīng)當(dāng)前社會的發(fā)展需求，本文在結(jié)合信息化和產(chǎn)業(yè)化的手段，搭建了工業(yè)大數(shù)據(jù)平臺，并應(yīng)用于資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)安全服務(wù)等方面，未來工業(yè)發(fā)展的趨勢應(yīng)當(dāng)在構(gòu)建平臺的基礎(chǔ)上，實現(xiàn)產(chǎn)品智能化，確保產(chǎn)品生產(chǎn)的高效性。同時工業(yè)大數(shù)據(jù)平臺也為工業(yè)企業(yè)提供了商業(yè)支持和服務(wù)。
參考文獻（References）
[1] Du B，Huang R，Chen X，et al.Active CTDaaS：A Data Service Framework Based on Transparent IoD in City Traffic[J].IEEE Transactions on Computers，2016，65：1-10.
[2] Valerio Persico，Antonio Pescapé，Antonio Picariello，et al.
Benchmarking big data architectures for social networks data processing using public cloud platforms[J].Future Generation Computer Systems，2018，89：98-109.
[3] Jeon S，Hong B.Monte Carlo simulation-based traffic speed forecasting using historical big data[J].Future Generation Computer Systems，2016，65：182-195.
[4] 劉德賀，史玉峰.基于TLS技術(shù)的道路邊坡地表位移監(jiān)測研究[J].森林工程，2018，34（02）：95-99.
[5] 吳佳蔚，李希勝，曹璐琳，等.基于BIM技術(shù)的綠色建筑節(jié)地設(shè)計自動評價[J].建筑科學(xué)，2017，33（04）：123-128.
[6] 鄭加柱，高業(yè)何敏.自動推算室內(nèi)接入點坐標(biāo)算法[J].測繪通報，2018（02）：21-24;29.
[7] 魏洋，盧海鵬，劉小明，等.基于長標(biāo)距光纖光柵傳感器的連續(xù)梁橋監(jiān)測技術(shù)[J].鐵道科學(xué)與工程學(xué)報，2017，14（10）：2231-2238.(來源：軟件工程雜志 文/許基偉 馬欣 編選：網(wǎng)經(jīng)社)
