大數(shù)據(jù)無疑是今年時髦的詞匯了。不管是云計算、社交網(wǎng)絡,還是物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和智慧城市,都要與大數(shù)據(jù)扯上關系。各種與大數(shù)據(jù)有關的會議、文章、書籍鋪天蓋地。有人談論大數(shù)據(jù)時代的公民生活,也有人談論大數(shù)據(jù)時代網(wǎng)絡反腐。仿佛一夜之間我們就進入了大數(shù)據(jù)時代。
大數(shù)據(jù)火爆,引發(fā)思想啟蒙
國際上,大數(shù)據(jù)還真是熱火朝天,各方都在積極行動。一方面,政府積極介入推動。2009年,聯(lián)合國啟動“全球脈動計劃”,借大數(shù)據(jù)推動落后地區(qū)發(fā)展。2012年1月,世界經(jīng)濟論壇年會把“大數(shù)據(jù)、大影響”作為重要議題。美國從開放政府數(shù)據(jù)、開展關鍵技術研究和推動大數(shù)據(jù)應用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國在開放政府上非常積極,通過Data.gov開放37萬個數(shù)據(jù)集,并開放網(wǎng)站的API和源代碼,提供上千個數(shù)據(jù)應用。除了推動推動本國政府數(shù)據(jù)開放,美國倡導發(fā)起全球開放政府數(shù)據(jù)運動, 已有41個國家響應。美國政府還投資兩億美元促進大數(shù)據(jù)核心技術研究和和應用,把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位置,從國家層面推進。
另一方面,資本市場也對大數(shù)據(jù)鐘愛有加。2012年4月,大數(shù)據(jù)分析公司Splunk高調IPO,引發(fā)投資者關注。12月初,為企業(yè)市場提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera在E輪融資中獲得6500萬美元融資,估值約為7億美元。近期,高盛聯(lián)席主席斯科特·斯坦福說:“投資大數(shù)據(jù)及其運用回報率最高”。大數(shù)據(jù)領域的企業(yè)并購熱度也在上升,單筆平均并購金額方面,大數(shù)據(jù)超過云計算位居IT領域榜首,在總并購額上也位居第二。
在各方力量的推動下,大數(shù)據(jù)科研和產(chǎn)品開發(fā)逐漸活躍起來。一個新概念的興起,最初往往會有人快速地“新瓶裝舊酒”。已經(jīng)存在好多年的商業(yè)智能、數(shù)據(jù)倉庫等技術被重新包裝,以大數(shù)據(jù)系統(tǒng)的面目出現(xiàn)在市場上。這也使人困惑:到底大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)分析技術有什么差別?可以說大數(shù)據(jù)最重要的特征是將數(shù)據(jù)處理的對象擴展到互聯(lián)網(wǎng)級別(Internet Scale),技術上的進展主要包括:1)單數(shù)據(jù)集達到PB級別;2)非結構化占主流;3)幾天至數(shù)秒內完成高速處理。技術形成了批處理、流處理和交互分析三種計算模式:離線批處理(Batch Processing)技術以MapReduce和Hadoop系統(tǒng)為代表,實時流處理(Stream Processing)技術以Yahoo的S4系統(tǒng)和Twitter的Storm系統(tǒng)為代表,交互式分析(Interactive Analysis)技術以谷歌的Dremel系統(tǒng)為代表。
大數(shù)據(jù)的火爆,也帶動了國內學術界、產(chǎn)業(yè)界和政府對大數(shù)據(jù)的熱情,但筆者覺得更大意義在于喚醒了人們對數(shù)據(jù)的重視。今年以來,中國計算機學會、中國通信學會先后成立了大數(shù)據(jù)委員會,研究大數(shù)據(jù)中的科學與工程問題,科技部的《中國云科技發(fā)展“十二五”專項規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術作為一項重點予以支持。這些舉措著眼長遠,短期難以看到效果。但這種熱潮的確觸發(fā)了一場思想啟蒙運動,使得“大數(shù)據(jù)是資產(chǎn),不是包袱”、“要拿數(shù)據(jù)說話”等觀念逐步深入人心,改變了以往不重視數(shù)據(jù)積累,不相信數(shù)據(jù)分析等認識。有了這種思維模式的改變,大數(shù)據(jù)的應用就有了希望。
空談誤國,拒絕被大數(shù)據(jù)忽悠
炒作歸炒作,但真正可以落地,或者已經(jīng)落地的應用有哪些?在哪里?聯(lián)合國“全球脈動(Global Pulse)”今年5月發(fā)布的報告,給出了用Twitter預測大米價格、用谷歌趨勢(Google trends)跟蹤登革熱疫情等生動案例;美國中央情報局官員也披露大數(shù)據(jù)在幫助他們追捕恐怖分子方面立下功勞;有人聲稱成功利用Twitter預測了本屆美國大選。這些聽起來很炫的案例在各種場合被人們反復引用。各大咨詢公司和解決方案提供商也都會盡力挖掘大數(shù)據(jù)的應用場景。但實際看到的大規(guī)模應用案例除了互聯(lián)網(wǎng)搜索引擎、電商和社交網(wǎng)站,以及少數(shù)國家的政府網(wǎng)站外,其他領域還并不多見。國內應用案例就更是鳳毛麟角了。