大數(shù)據(jù)有多大
在當(dāng)今信息網(wǎng)絡(luò)時(shí)代，人們的網(wǎng)上操作，平時(shí)的一舉一動(dòng)，機(jī)器的運(yùn)轉(zhuǎn)活動(dòng)，大自然的隨時(shí)變化都會(huì)產(chǎn)生許許多多的數(shù)據(jù)。這些數(shù)據(jù)量大且復(fù)雜，用現(xiàn)有的計(jì)算工具難以處理，人們形象地稱之為“大數(shù)據(jù)”。
我們來(lái)看看這些：互聯(lián)網(wǎng)一天產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD；每天通過(guò)網(wǎng)絡(luò)傳輸?shù)碾娮余]件達(dá)2000多億封，發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè)，賣出的手機(jī)為37.8萬(wàn)臺(tái)；騰訊公司注冊(cè)用戶超過(guò)7億，同時(shí)在線人數(shù)超過(guò)1億；創(chuàng)建“平安城市”，一個(gè)攝像頭運(yùn)行一小時(shí)，產(chǎn)生的數(shù)據(jù)是3.6G；醫(yī)院檢查一次CT產(chǎn)生幾個(gè)G的影像數(shù)據(jù)；在數(shù)字化工業(yè)設(shè)計(jì)的今天，設(shè)計(jì)一架飛機(jī)，幾十萬(wàn)個(gè)零部件的尺寸、大小、形狀均是數(shù)據(jù)；我們每個(gè)人每天打電話、刷卡支付，會(huì)產(chǎn)生很多數(shù)據(jù)；想象一下這些數(shù)據(jù)會(huì)是多么龐大？IBM的研究稱，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過(guò)去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。大數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多、數(shù)據(jù)變化快、價(jià)值密度低等四個(gè)典型特征，傳統(tǒng)處理方法和軟件工具已不能分析處理這些大量的數(shù)據(jù)，需要?jiǎng)?chuàng)新數(shù)據(jù)處理方法和軟件分析工具。
產(chǎn)生這么多的數(shù)據(jù)不難理解。從智能手機(jī)的普及到二維碼的流行，再到可穿戴設(shè)備的面世，我們的衣食住行基本都可以電子化了，海量的數(shù)據(jù)也隨之而來(lái)；工業(yè)設(shè)備、汽車、電表上無(wú)數(shù)傳感器，隨時(shí)測(cè)量和傳遞著各種各樣的信息，都會(huì)產(chǎn)生海量的數(shù)據(jù)；不斷成熟的手機(jī)指紋識(shí)別傳感器、嗅覺(jué)傳感器甚至可以感知情緒的新技術(shù)接踵而至，這一切使得人類活動(dòng)以及物理世界數(shù)據(jù)化變?yōu)榭赡堋?/p>
這么“大”的數(shù)據(jù)，如何存放呢？當(dāng)然，這得益于科技的發(fā)展：反映計(jì)算機(jī)硬件技術(shù)進(jìn)步的摩爾定律是這樣描述的——大約每隔18個(gè)月集成電路的集成度增加一倍，而價(jià)格下降一半。成本的不斷下降促進(jìn)了大數(shù)據(jù)的可存儲(chǔ)性。同時(shí)，隨著量子計(jì)算、光計(jì)算等新型介質(zhì)研究與應(yīng)用發(fā)展，數(shù)據(jù)存儲(chǔ)能力將進(jìn)一步大幅提升。
大數(shù)據(jù)的價(jià)值
如果你是亞馬遜的會(huì)員，你可能早都發(fā)現(xiàn)“猜你喜歡”推薦的書(shū)常常是你感興趣的；如果近期你打算網(wǎng)購(gòu)一套空氣凈化設(shè)備，并在網(wǎng)上了解過(guò)相關(guān)信息，你會(huì)發(fā)現(xiàn)你的淘寶首頁(yè)，有很多銷售空氣凈化機(jī)的推送，甚至上其他網(wǎng)站，都會(huì)時(shí)不時(shí)彈出有關(guān)空氣凈化機(jī)的商品信息。
這些都?xì)w功于商家對(duì)“大數(shù)據(jù)”的開(kāi)發(fā)應(yīng)用。他們依靠計(jì)算機(jī)進(jìn)行數(shù)據(jù)處理，根據(jù)你的瀏覽、搜索、購(gòu)物記錄等等，“猜測(cè)”出你的喜好，從而幫你選擇可能會(huì)喜歡、可能會(huì)購(gòu)買的商品?？纯?ldquo;百度”“微信”“淘寶”這些我們工作生活離不開(kāi)的應(yīng)用吧：百度數(shù)據(jù)是需求數(shù)據(jù)，需要什么搜索什么；騰訊微信反映出的是興趣和關(guān)系數(shù)據(jù)，而淘寶網(wǎng)數(shù)據(jù)形成交易數(shù)據(jù)，如果同時(shí)掌握興趣和關(guān)系、需求及交易數(shù)據(jù)，就能夠把一個(gè)人的行為搞清楚。同樣的道理，各行各業(yè)只要數(shù)據(jù)足夠“大”，預(yù)見(jiàn)未來(lái)似乎也并不難。
有人說(shuō)“預(yù)見(jiàn)未來(lái)”是大數(shù)據(jù)的核心價(jià)值。那么，這種預(yù)見(jiàn)未來(lái)的價(jià)值，能為我們的生活帶來(lái)哪些改變呢？
以“百度遷徙”為例。1月26日，“百度遷徙”網(wǎng)站正式上線。網(wǎng)站主頁(yè)的中國(guó)地圖上，每一個(gè)跳躍的點(diǎn)，都是人們出發(fā)和到達(dá)的目的地。點(diǎn)擊任一城市，就會(huì)出現(xiàn)過(guò)往8小時(shí)內(nèi)這一城市遷出與遷入人次最多的數(shù)據(jù)。“百度遷徙”就是把手機(jī)網(wǎng)民的定位信息匯總成大數(shù)據(jù)進(jìn)行分析，從而勾勒出人們的遷徙軌跡。這些信息對(duì)分析人口遷移的方向、城鎮(zhèn)化進(jìn)程、春運(yùn)運(yùn)輸調(diào)配等方面有著重要的價(jià)值。[page]
毋庸置疑，對(duì)大數(shù)據(jù)的利用可以提升政府等管理部門(mén)的社會(huì)管理水平，例如對(duì)車輛運(yùn)行數(shù)據(jù)的分析利用，可以使城市規(guī)劃更加科學(xué)；流感高發(fā)季節(jié)，對(duì)疾病到來(lái)提前預(yù)測(cè)；旅游旺季，對(duì)熱門(mén)景區(qū)高峰期游客數(shù)量提前預(yù)測(cè)，可以提升社會(huì)服務(wù)水平等等。
一項(xiàng)對(duì)國(guó)際大公司的數(shù)據(jù)應(yīng)用研究表明：數(shù)據(jù)的使用率提升10%，零售業(yè)的效率將提升49%，咨詢服務(wù)業(yè)提升39%，航空、食品加工、建筑、鋼鐵、汽車、出版、基礎(chǔ)設(shè)施等行業(yè)都能提升20%左右。數(shù)據(jù)的巨大價(jià)值由此可見(jiàn)一斑。
當(dāng)然，數(shù)據(jù)只是一堆冰冷的數(shù)字而已。大數(shù)據(jù)的價(jià)值是隱藏在數(shù)據(jù)之內(nèi)的，要經(jīng)過(guò)整合、分析、挖掘之后才會(huì)顯現(xiàn)。同時(shí)，大數(shù)據(jù)的價(jià)值也是難以評(píng)估的。例如，現(xiàn)在看來(lái)沒(méi)有任何價(jià)值的數(shù)據(jù)，可能以后會(huì)有價(jià)值；單個(gè)的數(shù)據(jù)沒(méi)有價(jià)值，長(zhǎng)時(shí)間的累積可能價(jià)值巨大；在一件業(yè)務(wù)中看似沒(méi)有價(jià)值的數(shù)據(jù)，可能在另外的業(yè)務(wù)中會(huì)有大價(jià)值。因此，要不斷提升大數(shù)據(jù)分析的方法和工具。數(shù)據(jù)再多，沒(méi)有很好的整合和挖掘，其價(jià)值就不能得到體現(xiàn)。
剛剛起步的大數(shù)據(jù)
大數(shù)據(jù)的研究應(yīng)用和產(chǎn)業(yè)形態(tài)已引發(fā)國(guó)際國(guó)內(nèi)廣泛關(guān)注。2012年，奧巴馬政府宣布推出“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”，將投資兩億多美元，推動(dòng)和改善大數(shù)據(jù)的收集、組織和分析技術(shù)，這標(biāo)志著大數(shù)據(jù)從商業(yè)行為上升到國(guó)家戰(zhàn)略層面。IBM、甲骨文、微軟等跨國(guó)IT巨頭也紛紛發(fā)布大數(shù)據(jù)戰(zhàn)略，對(duì)大數(shù)據(jù)產(chǎn)品進(jìn)行全面布局。在我國(guó)，科技部已經(jīng)批準(zhǔn)大數(shù)據(jù)重大基礎(chǔ)研究項(xiàng)目，并將大數(shù)據(jù)作為國(guó)家未來(lái)重點(diǎn)發(fā)展的重大科技任務(wù)之一。工業(yè)與信息化部在“工業(yè)與信息化深度融合專項(xiàng)行動(dòng)計(jì)劃”中提出重視工業(yè)大數(shù)據(jù)的應(yīng)用；電信、聯(lián)通、移動(dòng)三大運(yùn)營(yíng)商以及眾多IT企業(yè)也積極開(kāi)拓大數(shù)據(jù)市場(chǎng)。2014年春節(jié)期間的人口遷徙大數(shù)據(jù)分析、“兩會(huì)大數(shù)據(jù)”就是大數(shù)據(jù)應(yīng)用的生動(dòng)實(shí)例。陜西省也把大數(shù)據(jù)作為戰(zhàn)略性新興產(chǎn)業(yè)重點(diǎn)發(fā)展方向之一，大力推動(dòng)大數(shù)據(jù)應(yīng)用基礎(chǔ)研究和產(chǎn)業(yè)園區(qū)發(fā)展。
國(guó)際國(guó)內(nèi)對(duì)大數(shù)據(jù)的廣泛關(guān)注已呈現(xiàn)出一個(gè)良好的開(kāi)始。迎接大數(shù)據(jù)時(shí)代，與之相關(guān)的很多問(wèn)題還需要科研人員奮力攻關(guān)。如何對(duì)復(fù)雜的大數(shù)據(jù)快速完成價(jià)值“提純”，是亟待解決的難題。與此同時(shí)，如何保證數(shù)據(jù)的完整性和真實(shí)性、數(shù)據(jù)的共享，如何解決大數(shù)據(jù)所帶來(lái)的安全和隱私以及計(jì)算機(jī)系統(tǒng)硬件與軟件適應(yīng)大數(shù)據(jù)特點(diǎn)等挑戰(zhàn)，都是隨著“大數(shù)據(jù)”的到來(lái)要必須面對(duì)的。此外，采集、存貯和發(fā)掘大數(shù)據(jù)需要較大人力和經(jīng)費(fèi)投入，如何得到良好的回報(bào)率，也將是影響大數(shù)據(jù)發(fā)展的重要因素?？傊?，大數(shù)據(jù)對(duì)我們的科學(xué)技術(shù)和數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)。
無(wú)論如何，大數(shù)據(jù)時(shí)代正在來(lái)臨！
