(電子商務(wù)研究中心訊) 摘要：從身邊的信息認識大數(shù)據(jù)。分析了大數(shù)據(jù)應(yīng)用的現(xiàn)狀，認識典型的應(yīng)用領(lǐng)域。分析了大數(shù)據(jù)解決方案地現(xiàn)狀，指出了面對大數(shù)據(jù)解決方案所遇到的問題，并通過剖析成功案例闡述了大數(shù)據(jù)與云計算之間的聯(lián)系以及解決方案中不同于分布式架構(gòu)的特點，表明觀點：大數(shù)據(jù)解決方案不同于云計算解決方案，它應(yīng)當(dāng)兼顧整合與集中的特性。
關(guān)鍵詞：大數(shù)據(jù)；云計算；虛擬化
1認識大數(shù)據(jù)
相信大家都還記得2013年5月10日淘寶十周年晚會上，阿里巴巴集團董事局主席馬云在其卸任集團CEO職位的演講中說到：“大家還沒搞清PC時代的時候，移動互聯(lián)網(wǎng)來了，還沒搞清移動互聯(lián)網(wǎng)的時候，大數(shù)據(jù)時代來了。”
什么是大數(shù)據(jù)？
早在1980年，當(dāng)時著名的未來學(xué)家阿爾文·托夫勒便在其著作《第三次浪潮》中熱情洋溢地將大數(shù)據(jù)贊頌為“第三次浪潮的華彩樂章”。不過直到時光抵達2009年，“大數(shù)據(jù)”才開始成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。
環(huán)顧四周，我們都已經(jīng)切身感受到了當(dāng)今的信息量正在以前所未有的速度膨脹。當(dāng)我們的普通民眾在上世紀90年代剛剛接觸個人計算機的時候，1MB的磁盤，1GB的硬盤已經(jīng)是不錯的配置。然而現(xiàn)在呢？GB、TB都已經(jīng)無法滿足我們丈量數(shù)據(jù)大小的需要，PB、EB、ZB已經(jīng)義無反顧地承擔(dān)起了丈量數(shù)據(jù)的大任。
隨著互聯(lián)網(wǎng)自媒體的普及，每天都有數(shù)以億計的人在發(fā)微博、寫微信、更新個人主頁、使用社交網(wǎng)站、發(fā)表個人評論……全球互聯(lián)網(wǎng)上每天會有220萬TB的新數(shù)據(jù)產(chǎn)生，90%的數(shù)據(jù)都是在過去的24個月內(nèi)創(chuàng)造出來的，如今，這個比例還在不斷上升。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中，他們對大數(shù)據(jù)的表述是：大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。他們對大數(shù)據(jù)的特性進行了歸納，提出了4V特點，即Volume(數(shù)據(jù)量大)、Velocity(要求實時性強)、Variety(數(shù)據(jù)的種類多樣)、Value(數(shù)據(jù)是有價值的)。
而《互聯(lián)網(wǎng)周刊》則認為“大數(shù)據(jù)”的概念遠不止大量的數(shù)據(jù)和處理大量數(shù)據(jù)的技術(shù)，或者所謂的“4V特點”之類的簡單概念。大數(shù)據(jù)是涵蓋了人們在大規(guī)模數(shù)據(jù)的基礎(chǔ)上所能做到的事務(wù)，而這些事務(wù)在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法實現(xiàn)的。換句話說，大數(shù)據(jù)讓我們能夠以一種前所未有的方式，通過對海量數(shù)據(jù)進行分析，獲得具有巨大價值的產(chǎn)品和服務(wù)，或者深刻的洞見，進而最終形成變革世界的力量。
2大數(shù)據(jù)應(yīng)用的現(xiàn)狀分析
最早提出世界已經(jīng)迎來“大數(shù)據(jù)”時代的機構(gòu)則是全球知名的咨詢公司——麥肯錫。麥肯錫在其研究報告中指出：數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。
大家都或多或少地意識到應(yīng)該能從這些海量的數(shù)據(jù)中獲取些什么，然而究竟我們能獲取到什么呢？
一個被廣為傳播的典型案例是：在2012年初美國的一家Target超市，一位憤怒的父親突然闖進來對店鋪經(jīng)理咆哮道：“你們竟然給我17歲的女兒發(fā)嬰兒尿片和童車的優(yōu)惠券，她才17歲啊！”經(jīng)理下意識地認為是店里出了問題，也許是誤發(fā)了優(yōu)惠券，于是立即向這位父親道歉。然而經(jīng)理卻沒有意識到，其實這是公司正在運行的一套大數(shù)據(jù)系統(tǒng)得出的分析結(jié)論。
Target會從其會員的購買記錄中去了解該顧客的性格、類別等一些列業(yè)務(wù)活動。上面的例子正是Target為適齡女性創(chuàng)建的一套懷孕期變化分析模型，如果相關(guān)客戶第一次購買了嬰兒用品，系統(tǒng)將會在接下去的幾年中根據(jù)嬰兒的生長周期向顧客推薦相關(guān)的產(chǎn)品，從而培養(yǎng)和提高客戶的忠誠度。
果然，一個月后，該名憤怒的父親打電話給商鋪道歉，因為Target發(fā)來的嬰兒用品優(yōu)惠券不是誤會，他的女兒確實懷孕了。
利用數(shù)據(jù)挖掘用戶的行為習(xí)慣和喜好，在凌亂紛繁的數(shù)據(jù)背后發(fā)掘出更符合用戶興趣和習(xí)慣的信息、產(chǎn)品和服務(wù)，并對這些目標化的信息、產(chǎn)品和服務(wù)進行針對性地調(diào)整和優(yōu)化，這便是大數(shù)據(jù)能帶給商家最誘人的價值之一。
隨著社交網(wǎng)絡(luò)在人們生產(chǎn)生活中地位的快速提升，大量UGC(User Generated Content用戶自生成的內(nèi)容)進入互聯(lián)網(wǎng)，上述價值的實現(xiàn)也變得越來越明顯。
事實上，全球IT業(yè)巨頭都已經(jīng)意識到數(shù)據(jù)的重要意義和“大數(shù)據(jù)”時代的到來。包括IBM、EMC、惠普、微軟在內(nèi)的全球知名跨國公司都陸續(xù)通過收購與“大數(shù)據(jù)”相關(guān)的廠商來實現(xiàn)技術(shù)整合。
目前典型的大數(shù)據(jù)應(yīng)用領(lǐng)域有：
商業(yè)智能。例如：用戶行為分析，即結(jié)合用戶資料、產(chǎn)品、服務(wù)、計費、財務(wù)等信息進行綜合分析，得出細致、精確的結(jié)果，實現(xiàn)對用戶個性化的策略控制，這在營銷網(wǎng)絡(luò)的流量經(jīng)營分析中占有越來越舉足輕重的地位。個性化推薦，即在各類增值業(yè)務(wù)中，根據(jù)用戶喜好推薦各類業(yè)務(wù)或應(yīng)用，這已成為運營商和門戶提供商服務(wù)用戶的一個最有效方式之一，比如應(yīng)用商店的軟件推薦、IPTV視頻節(jié)目的點播推薦、購物或旅游網(wǎng)站的猜你喜歡等。
公共服務(wù)。一方面，公共機構(gòu)可以利用大數(shù)據(jù)技術(shù)把積累的海量歷史數(shù)據(jù)進行挖掘利用，從而提供更為廣泛和深度的公共服務(wù)，如實時路況和交通引導(dǎo)；另一方面，公共機構(gòu)也可以通過對某些領(lǐng)域的大數(shù)據(jù)實時分析，提高危機的預(yù)判能力，如疾病預(yù)防、環(huán)境保護等，為實現(xiàn)更好、更科學(xué)的危機響應(yīng)提供技術(shù)基礎(chǔ)。
政府決策。通過對數(shù)據(jù)的挖掘，從而有效提高政府決策的科學(xué)性和時效性。例如：日本大地震發(fā)生后僅僅9分鐘，美國國家海洋和大氣管理局(NOAA)就發(fā)布了詳細的海嘯預(yù)警。并且隨即NOAA通過對海洋傳感器獲得的實時數(shù)據(jù)進行了計算機模擬，制定出詳細的應(yīng)急方案，并將制作的海嘯影響模型實時發(fā)布在了YouTube等網(wǎng)站上。 3大數(shù)據(jù)解決方案的現(xiàn)狀分析
以往談及大的數(shù)據(jù)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。如今把“大數(shù)據(jù)”作為一個專有名詞提及，通常指的是解決問題的一種方法，即通過收集和整理生產(chǎn)生活中方方面面的數(shù)據(jù)，然后對其進行整理、挖掘、分析、處理，進而從中獲得有用的價值信息。這種衍化出的新的商業(yè)模式即為通常意義上的大數(shù)據(jù)解決方案。
雖然通常意義上的大數(shù)據(jù)解決方案描述了一種通常的行為，但要實現(xiàn)這種通常的行為，往往會遇到諸多技術(shù)和硬件上的問題。一個顯而易見的問題就是：大數(shù)據(jù)包絡(luò)萬象，而且像音頻、文本信息、視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)正以突飛猛進的速度增長，加上移動互聯(lián)網(wǎng)的普及所帶來的如位置、生活信息等富含價值的數(shù)據(jù)，現(xiàn)有的，或者傳統(tǒng)的對數(shù)據(jù)的處理手段和硬件配置已越來越跟不上數(shù)據(jù)發(fā)展的步伐。
于是革命爆發(fā)了！
哈佛大學(xué)社會學(xué)教授加里·金就說道：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進程。”
數(shù)據(jù)需要存儲，存儲需要設(shè)備，存儲設(shè)備的容量和可擴展性以及讀取的速度成為了一大問題(容量問題)；大數(shù)據(jù)不是一日而成的，往往都需要一定周期的積累，在數(shù)據(jù)的積累過程中，以前的數(shù)據(jù)和現(xiàn)在的數(shù)據(jù)在存儲上應(yīng)該是能保持一致的，無論設(shè)備升級與否，而且這些數(shù)據(jù)要長期有效，這是一個持久的問題(積累問題)；與持久相對應(yīng)的，互聯(lián)網(wǎng)是變化的、經(jīng)濟活動是變化的、整個世界都是變化的，針對某些實時問題，如交易、金融等，用已經(jīng)過去的數(shù)據(jù)顯然是不合適的，這也是一大問題(延遲問題)；大數(shù)據(jù)包絡(luò)萬象，有些是可以隨意獲得、發(fā)布和消除的，有些，如金融數(shù)據(jù)、醫(yī)療信息、政府情報等，則是需要按不同級別進行保護和加密的，特別是在需要交叉數(shù)據(jù)參考的應(yīng)用中，不同部分的數(shù)據(jù)有著不同的安全需要，這又是一大問題(安全問題)；為了滿足上述問題，我們顯然可以通過不斷加大投入，購買更多的存儲設(shè)備、雇傭跟多的工作人員、建設(shè)更多的數(shù)據(jù)中心和分析中心，但這一切都是由成本的，特別是對于以盈利為目的的商業(yè)機構(gòu)而言，成本和收益永遠都是最優(yōu)先考慮的問題之一(成本問題)；當(dāng)然還有很多其他的問題，這里就不一一羅列了。
驅(qū)動商業(yè)機構(gòu)解決上述問題的動力肯定是商業(yè)利益。以全球知名的IT制造與服務(wù)和咨詢提供商IBM為例，其全球CEO調(diào)研顯示，唯有在數(shù)據(jù)獲取、將數(shù)據(jù)轉(zhuǎn)換為洞察力、再將洞察力轉(zhuǎn)化為行動力等方面表現(xiàn)優(yōu)秀的企業(yè)，才能有持續(xù)的績效表現(xiàn)?？冃怀稣邚暮Ａ繑?shù)據(jù)中挖掘出有價信息的能力是績效不佳者的2倍。
IBM認為由于當(dāng)今企業(yè)、市場、社會、政府之間的聯(lián)系變得越來越緊密，傳統(tǒng)的數(shù)據(jù)分析正日益呈現(xiàn)出“大數(shù)據(jù)”時代的新特點，即容量要求更高、速度要求更快、數(shù)據(jù)類型多樣和數(shù)據(jù)來源復(fù)雜4個方面。結(jié)合多家領(lǐng)先市場咨詢機構(gòu)的調(diào)研數(shù)據(jù)顯示：
2010-2015年，“大數(shù)據(jù)”市場年均符合增長率為39.4%，將是整個信息與通信技術(shù)市場增速的7倍；管理及維護數(shù)據(jù)的成本將是購買存儲設(shè)備所需成本的4倍；全球數(shù)據(jù)量的年均復(fù)合增長速度為59%；未來需要分析的信息源中，混合類型數(shù)據(jù)所占比重將高達85%；數(shù)據(jù)分析直接受到服務(wù)器性能制約的數(shù)據(jù)量將占到總體的87%；僅2012年一年，服務(wù)器在整體“大數(shù)據(jù)”市場投資中就將占去14%的比重。
這就意味著傳統(tǒng)計算的低效正在為企業(yè)發(fā)展帶來阻礙，企業(yè)感到當(dāng)前的IT系統(tǒng)變得更加復(fù)雜且難以管理。數(shù)據(jù)顯示：企業(yè)用于運營和維護IT系統(tǒng)的費用已經(jīng)超過整體預(yù)算的70%，并且這一比例仍在持續(xù)增長；企業(yè)有三分之二的IT項目及解決方案部署超出了原定計劃；IT架構(gòu)的復(fù)雜度將以當(dāng)前速度每兩年就增加一倍。
于是出乎絕大多數(shù)人意料的事情發(fā)生了：IT部門，這個曾經(jīng)作為企業(yè)現(xiàn)代化和創(chuàng)新化能力標志的部門，正越來越成為企業(yè)新創(chuàng)新的阻力而非動力。
怎么辦？
很多人立即想到了另外一個熱詞：“云計算”。
IBM全球高級副總裁Rod Adkins認為，當(dāng)前全球IT領(lǐng)域有了令人振奮的發(fā)展趨勢和挑戰(zhàn)，現(xiàn)在每天有大量數(shù)據(jù)和信息生成，這為大數(shù)據(jù)分析提供了機會；數(shù)據(jù)中心的挑戰(zhàn)也為IT提供了新機會，比如云計算，能降低數(shù)據(jù)中心成本。
EMC資深產(chǎn)品經(jīng)理李君鵬認為，大數(shù)據(jù)本身就是一個問題集，云技術(shù)是目前解決大數(shù)據(jù)問題集最重要有效的手段。云計算提供了基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)應(yīng)用在這個平臺上運行。目前公認處理大數(shù)據(jù)集最有效手段的分布式處理，也是云計算思想的一種具體體現(xiàn)。Teradata技術(shù)總監(jiān)Stephen Brobst則表示，公有云架構(gòu)對數(shù)據(jù)倉庫沒有影響，因為企業(yè)的CIO不會無緣無故把財務(wù)數(shù)據(jù)或者客戶數(shù)據(jù)放到云上，那樣很危險。然而，是私有云架構(gòu)確實有影響：第一，通過私有云，可以鞏固數(shù)據(jù)集市，減少利用率不足的問題；第二，可以通過靈敏的方式將數(shù)據(jù)集成，實現(xiàn)業(yè)務(wù)價值。
于是有人就此理解為：大數(shù)據(jù)的最佳解決方案是采用云計算和分布式處理，利用互聯(lián)網(wǎng)將運算能力、存儲能力都做分布式的處理，認為這樣做就可以最大程度上地降低成本、增加擴展性和靈活性。
然而事實真的如此嗎？
讓我們來分析一下最近IBM公司在國內(nèi)針對百萬人口的城市級信息中心制定的解決方案：
面對數(shù)量龐大且增長迅速的各類交通信息：120萬輛機動車電子卡、4萬輛機動車的實時GPS定位、200萬筆公交IC卡數(shù)據(jù)、518個高清卡口的113億張圖片等，該市信息中心的領(lǐng)導(dǎo)意識到，當(dāng)前多個項目能源消耗大、占地要求非常高、并且原有的網(wǎng)絡(luò)設(shè)備難以滿足新增的需求，網(wǎng)絡(luò)設(shè)備經(jīng)常更換，并且這些相互獨立的數(shù)據(jù)庫、服務(wù)器和存儲，以及不同的訪問權(quán)限和沒有統(tǒng)一的管理界面，讓本就壓力巨大的數(shù)據(jù)中心的效率大打折扣，同時也極大浪費了寶貴的人力、能源和其他各種資源。
IBM給出的解決方案是：
首先，在基礎(chǔ)平臺上摒棄了分布式的服務(wù)器架構(gòu)，而是采用大型服務(wù)器在基礎(chǔ)架構(gòu)上對處理能力、I/O吞吐和主存儲進行了整合，這樣做的最大亮點是，將原有成百計的分布式服務(wù)器整合到了個位數(shù)，極大地節(jié)省了空間和能源，做到綠色環(huán)保；因為不用考慮各分布式服務(wù)器之間的互通互聯(lián)和各服務(wù)器之間的狀態(tài)及負載均衡與調(diào)配，節(jié)省了相當(dāng)數(shù)量的管理人員；另外大型服務(wù)器自身端到端的管理功能和適用于異構(gòu)工作負載且基于策略的框架，有效幫助信息中心實現(xiàn)中心控制，實現(xiàn)極高的性能。
其次，在整合的基礎(chǔ)平臺之上，采用“云計算”框架虛擬化設(shè)計，實現(xiàn)了智能交通和政務(wù)網(wǎng)站的整合。這一方案讓用戶在使用上可以享受與分布式架構(gòu)相同甚至更加優(yōu)越的性能。由基礎(chǔ)平臺通過虛擬化形成的任意數(shù)量的虛機，在統(tǒng)一云管理軟件URM的配置下，能夠提供統(tǒng)一的管理視圖和管理機制，簡化在多套異構(gòu)業(yè)務(wù)系統(tǒng)環(huán)境下系統(tǒng)的運營和維護工作。
而在本方案中的存儲部分則采用了運行穩(wěn)定、性能領(lǐng)先、技術(shù)成熟的SAN網(wǎng)絡(luò)架構(gòu)，具有很好的穩(wěn)定性，能為前端各應(yīng)用提供可靠的數(shù)據(jù)存儲平臺，并且整個SAN網(wǎng)絡(luò)中的部件都配置了雙冗余組件，保證任一部件的損壞不會影響整個系統(tǒng)的運行，而關(guān)鍵數(shù)據(jù)庫的數(shù)據(jù)都通過合理的備份策略，定期備份在了物理磁帶上，保證關(guān)鍵數(shù)據(jù)的絕對安全。
總結(jié)下來，整合的基礎(chǔ)平臺，“云計算”框架的虛擬化設(shè)計，和定制化的高速存儲，打造出了最穩(wěn)定、最可靠、最安全、最綠色的運行環(huán)境，讓政府的大數(shù)據(jù)應(yīng)用完美落地。
可見，大數(shù)據(jù)的解決方案不同于純粹云計算的解決方案，雖然云計算帶來了看上去更便宜的處理能力和存儲能力，但對于往往都有相當(dāng)數(shù)量級規(guī)模的大數(shù)據(jù)應(yīng)用而言，在基礎(chǔ)架構(gòu)上巧妙地整合和部分的集中，反而能更好地解決安全性、可靠性、穩(wěn)定性和綠色環(huán)保的需要。
4結(jié)束語
大數(shù)據(jù)為云計算大規(guī)模與分布式的計算能力提供了應(yīng)用的空間，解決了傳統(tǒng)計算機無法解決的問題，海量的數(shù)據(jù)需要足夠存儲來容納它，快速、低廉、綠色的數(shù)據(jù)中心將成為這一切的關(guān)鍵。
然而大數(shù)據(jù)并不意味著整合的、集中式的服務(wù)器架構(gòu)已走向了末路，相反，大數(shù)據(jù)所帶來的規(guī)模效應(yīng)，使得我們越來越需要更加高效可靠的大型整合的混合負載服務(wù)器，巧妙地整合和適當(dāng)?shù)募?，將成為大?shù)據(jù)解決方案里重要的一種思想和方向，特別是針對關(guān)鍵行業(yè)的核心數(shù)據(jù)，高安全、高可靠、高穩(wěn)定將始終是使用者的首要考慮。（文/萬澤春 編選：中國電子商務(wù)研究中心）
