大數(shù)據(jù)時(shí)代不是突然出現(xiàn)的,實(shí)際上過去的幾十年間,數(shù)學(xué)分析就已經(jīng)涉獵金融行業(yè)了,諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者哈里.馬克維茨、威廉.夏普、羅伯特.恩格爾就是利用計(jì)量經(jīng)濟(jì)學(xué)知識(shí)和金融市場數(shù)據(jù)來建立數(shù)學(xué)模型,預(yù)測金融市場產(chǎn)品收益同風(fēng)險(xiǎn)波動(dòng)的關(guān)系。大數(shù)據(jù)時(shí)代的出現(xiàn)簡單的講是海量數(shù)據(jù)同完美計(jì)算能力結(jié)合的結(jié)果。確切的說是移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)產(chǎn)生了海量的數(shù)據(jù),大數(shù)據(jù)計(jì)算技術(shù)完美地解決了海量數(shù)據(jù)的收集、存儲(chǔ)、計(jì)算、分析的問題。大數(shù)據(jù)時(shí)代開啟人類社會(huì)利用數(shù)據(jù)價(jià)值的另一個(gè)時(shí)代。
首先來介紹一下大數(shù)據(jù)時(shí)代中新出現(xiàn)的數(shù)據(jù)類型:
1)過于一些記錄是以模擬形式方式存在的,或者以數(shù)據(jù)形式存在但是存貯在本地,不是公開數(shù)據(jù)資源,沒有開放給互聯(lián)網(wǎng)用戶,例如音樂、照片、視頻、監(jiān)控錄像等影音資料。現(xiàn)在這些數(shù)據(jù)不但數(shù)據(jù)量巨大,并且共享到了互聯(lián)網(wǎng)上,面對(duì)所有互聯(lián)網(wǎng)用戶,其數(shù)量之大是前所未有。舉個(gè)例子Facebook每天有18億張照片上傳或被傳播,形成了海量的數(shù)據(jù)。
2)移動(dòng)互聯(lián)網(wǎng)出現(xiàn)后,移動(dòng)設(shè)備的很多傳感器收集了大量的用戶點(diǎn)擊行為數(shù)據(jù),已知IPHONE有3個(gè)傳感器,三星有6個(gè)傳感器。它們每天產(chǎn)生了大量的點(diǎn)擊數(shù)據(jù),這些數(shù)據(jù)被某些公司所有擁有,形成用戶大量行為數(shù)據(jù)。
3)電子地圖如高德、百度、Google地圖出現(xiàn)后,其產(chǎn)生了大量的數(shù)據(jù)流數(shù)據(jù),這些數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù),傳統(tǒng)數(shù)據(jù)代表一個(gè)屬性或一個(gè)度量值,但是這些地圖產(chǎn)生的流數(shù)據(jù)代表著一種行為、一種習(xí)慣,這些流數(shù)據(jù)經(jīng)頻率分析后會(huì)產(chǎn)生巨大的商業(yè)價(jià)值?;诘貓D產(chǎn)生的數(shù)據(jù)流是一種新型的數(shù)據(jù)類型,在過去是不存在的。
4)進(jìn)入了社交網(wǎng)絡(luò)的年代后,互聯(lián)網(wǎng)行為主要由用戶參與創(chuàng)造,大量的互聯(lián)網(wǎng)用戶創(chuàng)造出海量的社交行為數(shù)據(jù),這些數(shù)據(jù)是過去未曾出現(xiàn)的。其揭示了人們行為特點(diǎn)和生活習(xí)慣。
5)電商戶崛起產(chǎn)來了大量網(wǎng)上交易數(shù)據(jù),包含支付數(shù)據(jù),查詢行為,物流運(yùn)輸、購買喜好,點(diǎn)擊順序,評(píng)價(jià)行為等,其是信息流和資金流數(shù)據(jù)。
6)傳統(tǒng)的互聯(lián)網(wǎng)入口轉(zhuǎn)向搜索引擎之后,用戶的搜索行為和提問行為聚集了海量數(shù)據(jù)。單位存儲(chǔ)價(jià)格的下降也為存儲(chǔ)這些數(shù)據(jù)提供了經(jīng)濟(jì)上的可能。
我們所指的大數(shù)據(jù)不同與過去傳統(tǒng)的數(shù)據(jù),其產(chǎn)生方式、存儲(chǔ)載體、訪問方式、表現(xiàn)形式、來源特點(diǎn)等都同傳統(tǒng)數(shù)據(jù)不同。大數(shù)據(jù)更接近于某個(gè)群體行為數(shù)據(jù),它是全面的數(shù)據(jù)、準(zhǔn)確的數(shù)據(jù)、有價(jià)值的數(shù)據(jù)。
一、大數(shù)據(jù)時(shí)代帶給我們的思考
1)大數(shù)據(jù)計(jì)算提高數(shù)據(jù)處理效率,增加人類認(rèn)知盈余
大數(shù)據(jù)技術(shù)就像其他的技術(shù)革命一樣,是從效率提升入手。大數(shù)據(jù)技術(shù)平臺(tái)的出現(xiàn)提升了數(shù)據(jù)處理效率。其效率的提升是幾何級(jí)數(shù)增長的,過去需要幾天或更多時(shí)間處理的數(shù)據(jù),現(xiàn)在可能在幾分鐘之內(nèi)就會(huì)完成。大數(shù)據(jù)的高效計(jì)算能力,為人類節(jié)省了更多的時(shí)間。我們都知道效率提升是人類社會(huì)進(jìn)步的典型標(biāo)志,可以推斷大數(shù)據(jù)技術(shù)將帶領(lǐng)人類社會(huì)進(jìn)入另外一個(gè)階段。通過大數(shù)據(jù)計(jì)算節(jié)省下來的時(shí)間,人們可以去消費(fèi),娛樂和創(chuàng)造。未來大數(shù)據(jù)計(jì)算將釋放人類社會(huì)巨大的產(chǎn)能,增加人類認(rèn)知盈余,幫助人類更好地改造世界。
2)大數(shù)據(jù)通過全局的數(shù)據(jù)讓人類了解事物背后的真相
相對(duì)于過去的樣本代替全體的統(tǒng)計(jì)方法,大數(shù)據(jù)將使用全局的數(shù)據(jù),其統(tǒng)計(jì)出來的結(jié)果更為精確,更接事物真相,幫助科學(xué)家了解事物背后的真相。大數(shù)據(jù)帶來的統(tǒng)計(jì)結(jié)果將糾正過去人們對(duì)事物錯(cuò)誤的認(rèn)識(shí),影響過去人類行為、社會(huì)行為的結(jié)論,帶來全新的認(rèn)知。有利于政府、企業(yè)、科學(xué)家對(duì)過去人類社會(huì)的各種歷史行為真正原因的了解,大數(shù)據(jù)統(tǒng)計(jì)將糾正樣本統(tǒng)計(jì)誤差,為統(tǒng)計(jì)結(jié)論不斷糾錯(cuò)。大數(shù)據(jù)可以讓人類更加接近了解大自然,增加對(duì)自然災(zāi)害原因的了解。
3)大數(shù)據(jù)有助于了解事物發(fā)展的客觀規(guī)律,利于科學(xué)決策
大數(shù)據(jù)收集了全局的數(shù)據(jù),準(zhǔn)確的數(shù)據(jù),通過大數(shù)據(jù)計(jì)算統(tǒng)計(jì)出了解事物發(fā)展過程中的真相,通過數(shù)據(jù)分析出解人類社會(huì)的發(fā)展規(guī)律,自然界發(fā)展規(guī)律。利用大數(shù)據(jù)提供的分析結(jié)果來歸納和演繹出事物的發(fā)展規(guī)律,通過掌握事物發(fā)展規(guī)律來幫助人們進(jìn)行科學(xué)決策,大數(shù)據(jù)時(shí)代的精準(zhǔn)營銷就是典型的應(yīng)用。
4)大數(shù)據(jù)提供了同事物的連接,客觀了解人類行為
在沒有大數(shù)據(jù)之前,我們了解人類行為的數(shù)據(jù)往往來源于一些被動(dòng)的調(diào)查表格及滯后的統(tǒng)計(jì)數(shù)據(jù)。擁有了大數(shù)據(jù)技術(shù)之后,大量的傳感器如手機(jī)APP、攝像頭、分享的圖片和視頻等讓我們更加客觀的了解人類的行為。大數(shù)據(jù)技術(shù)連接了人類行為,通過大數(shù)據(jù)將人類的行為數(shù)據(jù)收集起來,經(jīng)過一定的分析后來統(tǒng)計(jì)人類行為,幫助我們了解人類的行為??梢哉f大數(shù)據(jù)的一個(gè)重要作用就是將人類行為數(shù)據(jù)進(jìn)行收集分析,了解人類行為特點(diǎn),為數(shù)據(jù)價(jià)值的商業(yè)運(yùn)用提供基礎(chǔ)資產(chǎn)
5)大數(shù)據(jù)改變過去的經(jīng)驗(yàn)思維,幫助人們建立數(shù)據(jù)思維
人類社會(huì)的發(fā)展一直都在依賴著數(shù)據(jù),無論是各國文明的演化,農(nóng)業(yè)的規(guī)劃,工業(yè)的發(fā)展,軍事戰(zhàn)役及政治事件等。但是出現(xiàn)大數(shù)據(jù)之后,我們將會(huì)面對(duì)著海量的數(shù)據(jù),多種維度的數(shù)據(jù)、行為的數(shù)據(jù)、情緒的數(shù)據(jù)、實(shí)時(shí)的數(shù)據(jù)。這些數(shù)據(jù)是過去沒有了解到的,通過大數(shù)據(jù)計(jì)算和分析技術(shù),人們將會(huì)得到不同的事物真相,不同的事物發(fā)展規(guī)律。依靠大數(shù)據(jù)提供的數(shù)據(jù)分析報(bào)告,人們將會(huì)發(fā)現(xiàn)決定一件事、判斷一件事、了解一件事不再變得困難。各國政府和企業(yè)將借助于大數(shù)據(jù)來了解民眾需求,拋棄過去的經(jīng)驗(yàn)思維和慣性思維,掌握客觀規(guī)律,跳出歷史預(yù)測未來的困境。
二、大數(shù)據(jù)的企業(yè)應(yīng)用場景
大數(shù)據(jù)時(shí)代最有意義就是利用大數(shù)據(jù)及大數(shù)據(jù)技術(shù)創(chuàng)造價(jià)值,大數(shù)據(jù)的企業(yè)應(yīng)用場景就是介紹大數(shù)據(jù)在行業(yè)的應(yīng)用,體現(xiàn)大數(shù)據(jù)商業(yè)價(jià)值。大數(shù)據(jù)的應(yīng)用場景會(huì)將提升企業(yè)對(duì)大數(shù)據(jù)的關(guān)注,鼓勵(lì)企業(yè)大數(shù)據(jù)產(chǎn)業(yè)中投入更多的資源,利用大數(shù)據(jù)這個(gè)工具,為人類社會(huì)造福。大數(shù)據(jù)的應(yīng)用可以分為企業(yè)應(yīng)用和政府應(yīng)用,其關(guān)注點(diǎn)有所不同,我們分開介紹,先從大數(shù)據(jù)在企業(yè)應(yīng)用開始談起。
1)醫(yī)療行業(yè)
醫(yī)療行業(yè)擁有大量的病例,病理報(bào)告,治愈方案,藥物報(bào)告等等。如果這些數(shù)據(jù)可以被整理和應(yīng)用將會(huì)極大地幫助醫(yī)生和病人。我們面對(duì)的數(shù)目及種類眾多的病菌、病毒,以及腫瘤細(xì)胞,其都處于不斷的進(jìn)化的過程中。在發(fā)現(xiàn)診斷疾病時(shí),疾病的確診和治療方案的確定是最困難的。在未來,借助于大數(shù)據(jù)平臺(tái)我們可以收集不同病例和治療方案,以及病人的基本特征,可以建立針對(duì)疾病特點(diǎn)的數(shù)據(jù)庫。如果未來基因技術(shù)發(fā)展成熟,可以根據(jù)病人的基因序列特點(diǎn)進(jìn)行分類,建立醫(yī)療行業(yè)的病人分類數(shù)據(jù)庫。在醫(yī)生診斷病人時(shí)可以參考病人的疾病特征、化驗(yàn)報(bào)告和檢測報(bào)告,參考疾病數(shù)據(jù)庫來快速幫助病人確診,明確定位疾病。在制定治療方案時(shí),醫(yī)生可以依據(jù)病人的基因特點(diǎn),調(diào)取相似基因、年齡、人種、身體情況相同的有效治療方案,制定出適合病人的治療方案,幫助更多人及時(shí)進(jìn)行治療。同時(shí)這些數(shù)據(jù)也有利于醫(yī)藥行業(yè)開發(fā)出更加有效的藥物和醫(yī)療器械。醫(yī)療行業(yè)的數(shù)據(jù)應(yīng)用一直在進(jìn)行,但是數(shù)據(jù)沒有打通,都是孤島數(shù)據(jù),沒有辦法起大規(guī)模應(yīng)用。未來需要將這些數(shù)據(jù)統(tǒng)一收集起來,納入統(tǒng)一的大數(shù)據(jù)平臺(tái),為人類健康造福。政府和醫(yī)療行業(yè)是推動(dòng)這一趨勢的重要?jiǎng)恿Α?/div>
責(zé)任編輯:admin
2)生物技術(shù)
主要是指大數(shù)據(jù)技術(shù)在基因分析上的應(yīng)用,通過大數(shù)據(jù)平臺(tái)人類可以將自身和生物體基因分析的結(jié)果進(jìn)行記錄和存儲(chǔ),利用建立基于大數(shù)據(jù)技術(shù)的基因數(shù)據(jù)庫。大數(shù)據(jù)技術(shù)將會(huì)加速基因技術(shù)的研究,快速幫助科學(xué)家進(jìn)行模型的建立和基因組合模擬計(jì)算?;蚣夹g(shù)是人類未來戰(zhàn)勝疾病的重要武器,借助于大數(shù)據(jù)技術(shù)的應(yīng)用,人們將會(huì)加快自身基因和其它他生物的基因的研究進(jìn)程。未來利用生物基因技術(shù)來改良農(nóng)作物,利用基因技術(shù)來培養(yǎng)人類器官,利用基因技術(shù)來消滅害蟲都即將實(shí)現(xiàn)。
3)金融行業(yè)
大數(shù)據(jù)在金融行業(yè)應(yīng)用范圍較廣,典型的案例有花旗銀行利用IBM沃森電腦為財(cái)富管理客戶推薦產(chǎn)品,美國銀行利用客戶點(diǎn)擊數(shù)據(jù)集為客戶提供特色服務(wù),如有競爭的信用額度。,招商銀行利用客戶刷卡、存取款、電子銀行轉(zhuǎn)帳、微信評(píng)論等行為數(shù)據(jù)進(jìn)行分析,每周給客戶發(fā)送針對(duì)性廣告信息,里面有顧客可能感興趣的產(chǎn)品和優(yōu)惠信息。大數(shù)據(jù)在金融行業(yè)的應(yīng)用可以總結(jié)為以下五個(gè)方面:
精準(zhǔn)營銷:依據(jù)客戶消費(fèi)習(xí)慣、地理位置、消費(fèi)時(shí)間進(jìn)行推薦
風(fēng)險(xiǎn)管控:依據(jù)客戶消費(fèi)和現(xiàn)金流提供信用評(píng)級(jí)或融資支持,利用客戶社交行為記錄實(shí)施信用卡反欺詐
決策支持:利用抉策樹技術(shù)進(jìn)抵押貸款管理,利用數(shù)據(jù)分析報(bào)告實(shí)施產(chǎn)業(yè)信貸風(fēng)險(xiǎn)控制
效率提升:利用金融行業(yè)全局?jǐn)?shù)據(jù)了解業(yè)務(wù)運(yùn)營薄弱點(diǎn),利用大數(shù)據(jù)技術(shù)加快內(nèi)部數(shù)據(jù)處理速度
產(chǎn)品設(shè)計(jì):利用大數(shù)據(jù)計(jì)算技術(shù)為財(cái)富客戶推薦產(chǎn)品,利用客戶行為數(shù)據(jù)設(shè)計(jì)滿足客戶需求的金融產(chǎn)品
4)零售行業(yè)
零售行業(yè)大數(shù)據(jù)應(yīng)用有兩個(gè)層面,一個(gè)層面是零售行業(yè)可以了解客戶消費(fèi)喜好和趨勢,進(jìn)行商品的精準(zhǔn)營銷,降低營銷成本。另一層面是依據(jù)客戶購買產(chǎn)品,為客戶提供可能購買的其它產(chǎn)品,擴(kuò)大銷售額,也屬于精準(zhǔn)營銷范疇。另外零售行業(yè)可以通過大數(shù)據(jù)掌握未來消費(fèi)趨勢,有利于熱銷商品的進(jìn)貨管理和過季商品的處理。零售行業(yè)的數(shù)據(jù)對(duì)于產(chǎn)品生產(chǎn)廠家是非常寶貴的,零售商的數(shù)據(jù)信息將會(huì)有助于資源的有效利用,降低產(chǎn)能過剩,廠商依據(jù)零售商的信息按實(shí)際需求進(jìn)行生產(chǎn),減少不必要的生產(chǎn)浪費(fèi)。
5)電商
電商是最早利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷的行業(yè),除了精準(zhǔn)營銷,電商可以依據(jù)客戶消費(fèi)習(xí)慣來提前為客戶備貨,并利用便利店作為貨物中轉(zhuǎn)點(diǎn),在客戶下單15分鐘內(nèi)將貨物送上門,提高客戶體驗(yàn)。馬云的菜鳥網(wǎng)絡(luò)宣稱的24小時(shí)完成在中國境內(nèi)的送貨,以及京的劉強(qiáng)東宣傳未來京東將在15分鐘完成送貨上門都是基于客戶消費(fèi)習(xí)慣的大數(shù)據(jù)分析和預(yù)測。電商可以利用其交易數(shù)據(jù)和現(xiàn)金流數(shù)據(jù),為其生態(tài)圈內(nèi)的商戶提供基于現(xiàn)金流的小額貸款,電商業(yè)也可以將此數(shù)據(jù)提供給銀行,同銀行合作為中小企業(yè)提供信貸支持。由于電商的數(shù)據(jù)較為集中,數(shù)據(jù)量足夠大,數(shù)據(jù)種類較多,因此未來電商數(shù)據(jù)應(yīng)用將會(huì)有更多的想象空間,包括預(yù)測流行趨勢,消費(fèi)趨勢、地域消費(fèi)特點(diǎn)、客戶消費(fèi)習(xí)慣、各種消費(fèi)行為的相關(guān)度、消費(fèi)熱點(diǎn)、影響消費(fèi)的重要因素等。依托大數(shù)據(jù)分析,電商的消費(fèi)報(bào)告將有利于品牌公司產(chǎn)品設(shè)計(jì),生產(chǎn)企業(yè)的庫存管理和計(jì)劃生產(chǎn),物流企業(yè)的資源配制,生產(chǎn)資料提供方產(chǎn)能安排等等,有利于精細(xì)化社會(huì)化大生產(chǎn),有利于精細(xì)化社會(huì)的出現(xiàn)。
6)農(nóng)牧業(yè)
大數(shù)據(jù)在農(nóng)業(yè)應(yīng)用主要是指依據(jù)未來商業(yè)需求的預(yù)測來進(jìn)行農(nóng)牧產(chǎn)品生產(chǎn),降低菜賤傷農(nóng)的概率。同時(shí)大數(shù)據(jù)的分析將會(huì)更見精確預(yù)測未來的天氣氣候,幫助農(nóng)牧民做好自然災(zāi)害的預(yù)防工作。大數(shù)據(jù)同時(shí)也會(huì)幫助農(nóng)民依據(jù)消費(fèi)者消費(fèi)習(xí)慣決定來增加哪些品種的種植,減少哪些品種農(nóng)作物的生產(chǎn),提高單位種植面積的產(chǎn)值,同時(shí)有助于快速銷售農(nóng)產(chǎn)品,完成資金回流。牧民可以通過大數(shù)據(jù)分析來安排放牧范圍,有效利用牧場。漁民可以利用大數(shù)據(jù)安排休漁期、定位捕魚范圍等。
三、大數(shù)據(jù)的政府應(yīng)用場景
大數(shù)據(jù)另外一個(gè)重要應(yīng)用領(lǐng)域就是在政府。利用提供的全局的數(shù)據(jù)、準(zhǔn)確的數(shù)據(jù)、高效的數(shù)據(jù),政府可以實(shí)現(xiàn)精細(xì)化管理。政府過去一直都在利用數(shù)據(jù)來進(jìn)行管理,但是過去由于沒有高效的數(shù)據(jù)處理平臺(tái),造成了很多數(shù)據(jù)只是在收集,沒有體現(xiàn)其社會(huì)價(jià)值。由于缺少全局的數(shù)據(jù)和完善的數(shù)據(jù),數(shù)據(jù)自身沒有體現(xiàn)其應(yīng)用的價(jià)值,所以在過去政府不重視數(shù)據(jù)價(jià)值。依托于大數(shù)據(jù)和大數(shù)據(jù)技術(shù),政府可以及時(shí)得到更加準(zhǔn)確信息,利用這些信息,政府可以更加高效的管理國家這部機(jī)器,實(shí)現(xiàn)精細(xì)化資源配置和宏觀調(diào)控。
1)交通
交通的大數(shù)據(jù)應(yīng)用主要在兩個(gè)方面,一方面可以利用大數(shù)據(jù)傳感器數(shù)據(jù)來了解車輛通行密度,合理進(jìn)行道路規(guī)劃包括單行線路規(guī)劃。另一方面可以利用大活數(shù)據(jù)來實(shí)現(xiàn)即時(shí)信號(hào)燈調(diào)度,提高已有線路運(yùn)行能力??茖W(xué)的安排信號(hào)燈是一個(gè)復(fù)雜的系統(tǒng)工程,必須利用大數(shù)據(jù)計(jì)算平臺(tái)才能計(jì)算出一個(gè)較為合理的方案。科學(xué)的信號(hào)燈安排將會(huì)提高30%左右已有道路的通行能力。在美國,政府依據(jù)某一路段的交通事故信息來增設(shè)信號(hào)燈,降低了50%以上的交通事故率。機(jī)場的航班起降依靠大數(shù)據(jù)將會(huì)提高航班管理的效率,航空公司利用大數(shù)據(jù)可以提高上座率,降低運(yùn)行成本。鐵路利用大數(shù)據(jù)可以有效安排客運(yùn)和貨運(yùn)列車,提高效率、降低成本。
2)天氣預(yù)報(bào)
借助于大數(shù)據(jù)技術(shù),天氣預(yù)報(bào)的準(zhǔn)確性和實(shí)效性將會(huì)大大提高,預(yù)報(bào)的及時(shí)性將會(huì)大大提升,同時(shí)對(duì)于重大自然災(zāi)害,例如龍卷風(fēng),通過大數(shù)據(jù)計(jì)算平臺(tái),人們將會(huì)更加精確地了解其運(yùn)動(dòng)軌跡和危害的等級(jí),有利于幫助人們提高應(yīng)對(duì)自然災(zāi)害的能力。天氣預(yù)報(bào)的準(zhǔn)確度的提升和預(yù)測周期的延長將會(huì)有利于農(nóng)業(yè)生產(chǎn)的安排。
3)農(nóng)牧業(yè)
由于農(nóng)產(chǎn)品不容易保存,因此合理種植和養(yǎng)殖農(nóng)產(chǎn)品對(duì)十分重要。如果沒有規(guī)劃好,容易產(chǎn)生菜賤傷農(nóng)的悲劇。過去出現(xiàn)的豬肉過剩、卷心菜過剩、香蕉過剩的原因就是農(nóng)牧業(yè)沒有規(guī)劃好。借助于大數(shù)據(jù)提供的消費(fèi)趨勢報(bào)告和消費(fèi)習(xí)慣報(bào)告,政府將為農(nóng)牧業(yè)生產(chǎn)提供合理引導(dǎo),建議依據(jù)需求進(jìn)行生產(chǎn),避免產(chǎn)能過剩,造成不必要的資源和社會(huì)財(cái)富浪費(fèi)。農(nóng)業(yè)關(guān)乎到國計(jì)民生,科學(xué)的規(guī)劃將有助于社會(huì)整體效率提升。大數(shù)據(jù)技術(shù)可以幫助政府實(shí)現(xiàn)農(nóng)業(yè)的精細(xì)化管理,實(shí)現(xiàn)科學(xué)決策。在數(shù)據(jù)驅(qū)動(dòng)下,結(jié)合無人機(jī)技術(shù),農(nóng)民可以采集農(nóng)產(chǎn)品生長信息,病蟲害信息。相對(duì)于過去雇傭飛機(jī)成本將大大降低,同時(shí)精度也將大大提高。
4)醫(yī)藥衛(wèi)生
食品安全問題直是國家的重點(diǎn)關(guān)注問題,關(guān)系大人們的身體健康和國家安全。最近幾年外國旅游者減少了到中國旅游,進(jìn)口食品大幅度增加,食品安全問題是其中的一個(gè)重要原因。在數(shù)據(jù)驅(qū)動(dòng)下,采集人們?cè)诨ヂ?lián)網(wǎng)上提供的舉報(bào)信息,國家可以掌握部分鄉(xiāng)村和城市的死角信息,挖出不法加工點(diǎn),提高執(zhí)法透明度,降低執(zhí)法成本。國家可以參考醫(yī)院提供的就診信息,分析出涉及食品安全的信息,及時(shí)進(jìn)行監(jiān)督檢查,第一時(shí)間進(jìn)行處理,降低已有不安全食品的危害。參考個(gè)體在互聯(lián)網(wǎng)的搜索信息,掌握流行疾病在某些區(qū)域和季節(jié)的爆發(fā)趨勢,及時(shí)進(jìn)行干預(yù),降低其流行危害。政府可以提供不安全食品廠商信息,不安全食品信息,幫助人們提高食品安全意識(shí)。
5)宏觀調(diào)控和財(cái)政支出
政府利用大數(shù)據(jù)技術(shù)可以了解各地區(qū)的經(jīng)濟(jì)發(fā)展情況,各產(chǎn)業(yè)發(fā)展情況,消費(fèi)支出和產(chǎn)品銷售情況,依據(jù)數(shù)據(jù)分析結(jié)果,科學(xué)地制定宏觀政策,平衡各產(chǎn)業(yè)發(fā)展,避免產(chǎn)能過剩,有效利用自然資源和社會(huì)資源,提高社會(huì)生產(chǎn)效率。大數(shù)據(jù)還還可以幫助政府進(jìn)行監(jiān)控自然資源的管理,無論是國土資源、水資源、礦產(chǎn)資源、能源等,大數(shù)據(jù)通過各種傳感器來提高其管理的精準(zhǔn)度。同時(shí)大數(shù)據(jù)技術(shù)也能幫助政府進(jìn)行支出管理,透明合理的財(cái)政支出將有利于提高公信力和監(jiān)督財(cái)政支出。大數(shù)據(jù)及大數(shù)據(jù)技術(shù)帶給政府的不僅僅是效率提升、科學(xué)決策、精細(xì)管理,更重要的是數(shù)據(jù)治國、科學(xué)管理的意識(shí)改變,未來大數(shù)據(jù)將會(huì)從各個(gè)方面來幫助政府實(shí)施高效和精細(xì)化管理。政府運(yùn)作效率的提升,決策的科學(xué)客觀,財(cái)政支出合理透明都將大大提升國家整體實(shí)力,成為國家競爭優(yōu)勢。大數(shù)據(jù)帶個(gè)國家和社會(huì)的益處將會(huì)具有極大的想象空間。
6)社會(huì)群體自助及犯罪管理
國家正在將大數(shù)據(jù)技術(shù)用于輿情監(jiān)控,其收集到的數(shù)據(jù)除了解民眾訴求,降低群體事件之外,還可以用于犯罪管理。大量的社會(huì)行為正逐步走向互聯(lián)網(wǎng),人們更愿意借助于互聯(lián)網(wǎng)平臺(tái)來表述自己的想法和宣泄情緒。社交媒體和朋友圈正成為追蹤人們社會(huì)行為的平臺(tái),正能量的東西有,負(fù)能量的東西也不少。一些好心人通過微博來幫助別人尋找走失的親人或提供可能被拐賣人口的信息,這些都是社會(huì)群體互助的例子。國家可以利用社交媒體分享的圖片和交流信息,來收集個(gè)體情緒信息,預(yù)防個(gè)體犯罪行為和反社會(huì)行為。最近警方通過微搏信息抓獲了聚眾吸毒的人,處罰了虐待小孩的家長。[page]
四、大數(shù)據(jù)技術(shù)及廠商
由于本篇文章主要的目的是進(jìn)行大數(shù)據(jù)知識(shí)普及,因此在大數(shù)據(jù)技術(shù)和平臺(tái)方面就不進(jìn)行深入探討,主要介紹一些典型的大數(shù)據(jù)技術(shù)和行業(yè)解決方案,具體的大家可以參考趙剛老師的《大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南》,以及邁克爾.梅內(nèi)里(MichaelMinelli)《大數(shù)據(jù)分析決生互連網(wǎng)金融時(shí)代》(BIGDATABIGANALYTICS)。以下內(nèi)容主要來源于以上兩本書。
大數(shù)據(jù)技術(shù)必談的Hadoop和MapReduce.
Hadoop的最早創(chuàng)始人是DougCutting(曾經(jīng)在雅虎公司工作,現(xiàn)在Cloudera工作)和MikeCafrella.他們當(dāng)時(shí)在從事一個(gè)名為Nutch的開源項(xiàng)目,該項(xiàng)目主要致力于創(chuàng)建Web海量檢索框架,在研究過程中他們參考了google的MapReduce和GFS(GoogleFilesSystem)的技術(shù),開發(fā)出Hadoop數(shù)據(jù)處理平臺(tái)。Hadoop的名稱來源于Doug的兒子為一只黃毛絨玩具長毛象取的名字。
Hadoop主要特點(diǎn)是,運(yùn)行在標(biāo)準(zhǔn)硬件之上的Hadoop可以以傳統(tǒng)解決方案1/10的成本從海量的數(shù)分析分析復(fù)雜問題,可以勝任收搜索系統(tǒng)、登錄系統(tǒng)、推薦系統(tǒng)、數(shù)據(jù)倉庫、語音/圖像分析等。其是一個(gè)開源軟件,同傳統(tǒng)的技術(shù)不Hadoop能在它原有格式里存儲(chǔ)任意種類數(shù)據(jù),并基于這些數(shù)據(jù)衍生一系列分析和變化。可以廉價(jià)的存儲(chǔ)百萬兆(Terabyte)甚至千萬億字節(jié)(Petabyte)數(shù)據(jù)。HDFS和MapReduece是其兩個(gè)關(guān)鍵要素。
HDFS將數(shù)據(jù)分成若干片段后分布存儲(chǔ)在集群中的不同服務(wù)器上。每臺(tái)服務(wù)器只存儲(chǔ)數(shù)據(jù)的若干片段,并且數(shù)據(jù)的每個(gè)片段被冗余存儲(chǔ)在多個(gè)服務(wù)器之上。分析工作可以在存儲(chǔ)數(shù)據(jù)的每個(gè)服務(wù)器上并行計(jì)算分析。每臺(tái)服務(wù)同時(shí)對(duì)自己存儲(chǔ)的數(shù)據(jù)片段進(jìn)行分析并將結(jié)果范圍,最后在匯總計(jì)算為一個(gè)詳盡的分析結(jié)果,MapReduce就是這種收集和匯總分析結(jié)果代理。
主流的大數(shù)據(jù)廠商分為大數(shù)據(jù)分析基礎(chǔ)設(shè)施,大數(shù)據(jù)操作基礎(chǔ)設(shè)施,大數(shù)據(jù)基礎(chǔ)云服務(wù),傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫,商業(yè)智能,可視化領(lǐng)域等,下面將一一介紹。
1)大數(shù)據(jù)分析基礎(chǔ)設(shè)施
主要指Hadoop的發(fā)行版本產(chǎn)品,主要廠商有Cloudera,Hortonworks,MapR.其他還包括HP的Vertica,EMC的GreenplumHD,IBM的BigInsights
2)大數(shù)據(jù)操作基礎(chǔ)設(shè)施
主要是指企業(yè)級(jí)的NoSQL數(shù)據(jù)庫和SQLonHadoop產(chǎn)品。主要產(chǎn)品有Caouchbase,Hadapt,Teredata,Marklogic等
3)大數(shù)據(jù)基礎(chǔ)云服務(wù)(IAAS)
基于大數(shù)據(jù)基礎(chǔ)設(shè)施提供云服務(wù)的有AmazonWebServiceElasticMapReduce、GoogleBigQuery、Infochimps、MicrosoftWindowsAzure,阿里云等
4)關(guān)系型數(shù)據(jù)庫
關(guān)系型數(shù)據(jù)庫產(chǎn)品Oracle、MicrosoftSQLserver、SAPSybase、IBMDB2、MySQL、PostgreSAL,MemSQL等
5)數(shù)據(jù)云服務(wù)(DAAS)
DaaS的服務(wù)主要有WindowsAzureMarketplace、Datasift、SpaceCurve、Factual等
6)商業(yè)智能產(chǎn)品
BI產(chǎn)品主要有Oracle的Hyperion、SAPBusinessObjects,MicrosoftBusinessIntelligence、IBMCongnos,SAS,HP的Autonomy、QlikView等這些產(chǎn)品通常具有分析和可視化能力。
7)分析和可視化應(yīng)用
主要產(chǎn)品有SAS,TeraDataAster,EMCGreenplum,TableauSoftware,Tibco等。
8)日志應(yīng)用
主要產(chǎn)品有Splunk、Loggly、SumoLogic。其中Splunk是一個(gè)可運(yùn)行于各種平臺(tái)的IT數(shù)據(jù)、日志分析軟件。
9)廣告/媒體應(yīng)用
主要產(chǎn)品有MediaScience、BlucefinLaps、RocketFuelDataXu,RecordedFuture.其中RocketFuel是一家廣告優(yōu)化公司,每天處理15億次品牌廣告展示,廣告效果完全基于數(shù)據(jù)來改善。
10)垂直應(yīng)用
主要有PredictivePliciing、BloomReach,Myrrix,Atigeo.其中BloomReach公司面向市場開發(fā)大數(shù)據(jù)應(yīng)用(BDA),通過機(jī)器學(xué)習(xí),網(wǎng)絡(luò)爬蟲和搜索技術(shù)來挖掘數(shù)據(jù),對(duì)網(wǎng)站的數(shù)據(jù)進(jìn)行分析,然后為網(wǎng)站帶來更多的流量,從而給他們的客戶帶來更多的利潤。
國內(nèi)的互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)應(yīng)用和研發(fā)方面處于較好的水平例如淘寶、百度、騰訊、新浪等。但是在大數(shù)據(jù)產(chǎn)品和技術(shù)服務(wù)領(lǐng)域卻落后于國際廠商。國際主流大數(shù)據(jù)產(chǎn)商包括Cloudera、Hortonworks、MapR,IBM,Oracle,EMC,Intel,SAP,Teredata。具體的解決方案請(qǐng)參考趙剛老師的書《大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)踐指南》
五、大數(shù)據(jù)產(chǎn)業(yè)鏈介紹
由于大數(shù)據(jù)及大數(shù)據(jù)技術(shù)是一個(gè)工具,無法像互聯(lián)網(wǎng)企業(yè)那樣形成一個(gè)大數(shù)據(jù)生態(tài)圈,形成閉環(huán)。但是從數(shù)據(jù)的收集,存貯,處理,分析,銷毀等方面分析,可以形成大數(shù)據(jù)產(chǎn)業(yè)鏈。
數(shù)據(jù)的收集
主要是指各種數(shù)據(jù)通過傳感器或其他方式被采集,大數(shù)據(jù)的的采集除了傳統(tǒng)的互連網(wǎng)入口、社交平臺(tái)、搜索引擎、電商交易數(shù)據(jù)、在線問答、企業(yè)業(yè)務(wù)數(shù)據(jù)外,移動(dòng)互聯(lián)網(wǎng)的App將是一個(gè)重要的數(shù)據(jù)入口,例如通過手機(jī)APP內(nèi)嵌的SDK將手機(jī)App上的用戶行為數(shù)據(jù)集中進(jìn)行收集和處理,TalkingData目前是這一領(lǐng)域的領(lǐng)先的大數(shù)據(jù)廠商,他們既有大數(shù)據(jù)又有數(shù)據(jù)管理平臺(tái)DMP。攝像頭采集的數(shù)據(jù)、導(dǎo)航地圖的軌跡數(shù)據(jù)、物流信息、移動(dòng)互聯(lián)網(wǎng)App的LBS位置數(shù)據(jù)等都大數(shù)據(jù)的重要來源。在這個(gè)階段主要是指擁有大數(shù)據(jù)的公司例如BAT,通訊行業(yè)、互聯(lián)網(wǎng)企業(yè)、物流行業(yè)、零售行業(yè)、醫(yī)療行業(yè)等,它們需要大數(shù)據(jù)采集和存儲(chǔ)產(chǎn)品。
數(shù)據(jù)的存儲(chǔ)
主要是指利用何種方式進(jìn)行數(shù)據(jù)存貯,對(duì)于中小企業(yè),云存儲(chǔ)是以個(gè)不錯(cuò)的原則,對(duì)于金融行業(yè)和其他對(duì)數(shù)據(jù)保有權(quán)較為重視的企業(yè),私有云將是一個(gè)不錯(cuò)的選擇。政府主導(dǎo)的大數(shù)據(jù)存儲(chǔ)平臺(tái)可以作為參考。如果認(rèn)為云平臺(tái)無法采用時(shí),采用低端的并行計(jì)算機(jī)可能是一個(gè)經(jīng)濟(jì)的方案,但是由于沒有云操作系統(tǒng),其存儲(chǔ)的效率是個(gè)較大的挑戰(zhàn)。EMC、NetAPP、日立的NAS存儲(chǔ)可以考慮。SAN存儲(chǔ)由于成本過高,不建議用于大數(shù)據(jù)存儲(chǔ),但是土豪除外。
數(shù)據(jù)處理
數(shù)據(jù)處理主要是指數(shù)據(jù)處理平臺(tái),采用了SAAS概念的大數(shù)據(jù)處理平臺(tái)都可以考慮,企業(yè)在考慮處理平臺(tái)時(shí)建議,循序漸進(jìn),以未來2年內(nèi)的數(shù)據(jù)處理量為參考,千萬不要一次投資到位,因?yàn)閿?shù)據(jù)處理的技術(shù)發(fā)展是幾何級(jí)數(shù)的,兩年后采用新的技術(shù)平臺(tái),其ROI將會(huì)大大降低,采用Cloudera,Hortonworks,MapR的Hadoop產(chǎn)品都可以,如果其在中國沒有成熟團(tuán)隊(duì)建議考慮IBM,HP,Oracle的解決方案,他們的案例較多。
數(shù)據(jù)分析
主要是指如何對(duì)處理完的數(shù)據(jù)進(jìn)行商業(yè)分析,業(yè)務(wù)需求和技術(shù)需求必須有本企業(yè)技術(shù)和商業(yè)人員主導(dǎo),外部廠商很難了解企業(yè)自身的商業(yè)需求,但是數(shù)據(jù)展現(xiàn)形式和分析方式可以交給廠商來做,主要涉及的廠商是傳統(tǒng)的商業(yè)智能產(chǎn)品和可視化應(yīng)用,包括Oracle的Hyperion、Teredata、SAPBusinessObjects,IBMCongnos,SAS,HP的Autonomy、QlikView等。
數(shù)據(jù)銷毀
主要是指數(shù)據(jù)如何進(jìn)行安全管理,對(duì)于不再需要的數(shù)據(jù)如何進(jìn)行銷毀,鑒于數(shù)據(jù)的數(shù)量較大,存儲(chǔ)需要重用,因此數(shù)據(jù)索引刪除、數(shù)據(jù)空間7次重寫,數(shù)據(jù)混淆、數(shù)據(jù)對(duì)稱加密等方式都可以用作數(shù)據(jù)銷毀,目前此階段市場需求不多,因此還沒有較為成熟的方案和廠商,未來將會(huì)用安全廠商進(jìn)入此領(lǐng)域。
由于目前大數(shù)據(jù)產(chǎn)業(yè)的商業(yè)模式和盈利模式還在探索之中,大數(shù)據(jù)帶來的直接收益還沒有明確,目前主要的商業(yè)形式還是大數(shù)企業(yè)自身的大數(shù)據(jù)應(yīng)用(例如,大數(shù)據(jù)計(jì)算平臺(tái),大數(shù)據(jù)采集和分析,數(shù)據(jù)分析報(bào)告),行業(yè)應(yīng)用處于一個(gè)探索的階段,在大數(shù)據(jù)較為集中的電信行業(yè),并沒有成立數(shù)據(jù)事業(yè)部,數(shù)據(jù)被當(dāng)作資產(chǎn)良好的保存起來,國外的大數(shù)據(jù)投資`在2005年就開始了,很多高科技企業(yè)已經(jīng)大數(shù)產(chǎn)業(yè)鏈上投入巨資進(jìn)行技術(shù)開發(fā)和行業(yè)應(yīng)用。
六、大數(shù)據(jù)隱私保護(hù)
大數(shù)據(jù)的隱私和倫理已經(jīng)爭論了很多年,由于其涉及我們每個(gè)人的自身利益,大數(shù)據(jù)隱私保護(hù)是大數(shù)據(jù)產(chǎn)業(yè)需要正面面對(duì)的問題。大數(shù)據(jù)在采集過程中必定會(huì)涉及到隱私數(shù)據(jù),的收集,如果其保護(hù)的不好將會(huì)造成嚴(yán)重的后果,成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的瓶頸。過度強(qiáng)調(diào)大數(shù)據(jù)的商業(yè)應(yīng)用而忽視了大數(shù)據(jù)產(chǎn)業(yè)的隱私保護(hù),將會(huì)產(chǎn)生災(zāi)難性的后果,大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展可能會(huì)因此被禁止。過度強(qiáng)調(diào)隱私保護(hù)而不發(fā)展大數(shù)據(jù)產(chǎn)業(yè)也是一個(gè)錯(cuò)誤的選擇,人類可能會(huì)錯(cuò)失一個(gè)高速發(fā)展的機(jī)遇。大數(shù)據(jù)產(chǎn)業(yè)發(fā)展要建立在隱私保護(hù)基礎(chǔ)之上,同時(shí)隱私保護(hù)也將通過適當(dāng)約束來助推大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。
大數(shù)據(jù)企業(yè)在采集外部數(shù)據(jù)時(shí),應(yīng)該注意盡量不要收集可以識(shí)別出個(gè)人的PII信息,參照美國個(gè)人隱私定義者,PII信息包括姓名、地址、手機(jī)號(hào)碼、身份證號(hào)、駕駛證號(hào)、銀行帳號(hào)、借記卡/信用卡號(hào)。大數(shù)據(jù)企業(yè)在使用自身擁有的信息時(shí)也要注意保護(hù)敏感信息例如民族、政治意見、宗教信仰、健康/醫(yī)療信息,婚姻狀況、性生活、年齡、性別、犯罪記錄、個(gè)人喜好、標(biāo)準(zhǔn)IP地址等。
大數(shù)據(jù)企業(yè)應(yīng)該在其公司的章程和文件中體現(xiàn)對(duì)個(gè)人隱私數(shù)據(jù)的保護(hù),堅(jiān)持遵守全球隱私保護(hù)7條原則;
1)知曉權(quán)(透明性):應(yīng)該通知本人關(guān)于所收集信息的目的
2)選擇權(quán):提供機(jī)會(huì)選擇或放棄所提供的個(gè)人信息是否被使用或如何被使用
3)同意權(quán):再符合知曉權(quán)和選擇權(quán)的情況下才可以向第三方透露個(gè)人數(shù)據(jù)信息
4)安全權(quán):采取負(fù)責(zé)的措施保護(hù)個(gè)人信息免受丟失、濫用、未授權(quán)獲取、泄露、篡改、毀壞的威脅
5)數(shù)據(jù)完整性:確保個(gè)人信息在最終用途、合理防護(hù)方面的可靠性,確保信息精確、完整、無誤。
6)可查詢:提供本人查詢個(gè)人信息的途徑
7)責(zé)任性:企業(yè)有責(zé)任遵守上述法則,并應(yīng)確保合規(guī)的機(jī)制。
大數(shù)據(jù)企業(yè)面對(duì)的數(shù)據(jù)分為公開數(shù)據(jù),授權(quán)數(shù)據(jù),隱私數(shù)據(jù)。公開數(shù)據(jù)來源于公共媒體因此可以無須強(qiáng)調(diào)保護(hù),授權(quán)數(shù)據(jù)來源于數(shù)據(jù)收集過程中,客戶對(duì)企業(yè)的授權(quán),需要依據(jù)簽訂的協(xié)議使用范圍來使用,不能過越權(quán)進(jìn)行數(shù)據(jù)轉(zhuǎn)讓和販賣,大數(shù)據(jù)企業(yè)僅能在簽署的授權(quán)范圍內(nèi)部進(jìn)行使用,企業(yè)在使用大數(shù)據(jù)時(shí)盡量使用分類數(shù)據(jù)、群體數(shù)據(jù)、趨勢數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)。不要使用針對(duì)個(gè)體的數(shù)據(jù),同時(shí)在數(shù)據(jù)分析是需要注意關(guān)注隱私數(shù)據(jù)保護(hù)。大數(shù)據(jù)企業(yè)在利用隱私數(shù)據(jù)時(shí)將要特別注意對(duì)其的保護(hù),即使在客戶授權(quán)的前提下,也要注意數(shù)據(jù)的使用場合和揭示方式,不要向外泄露受保護(hù)的PII信息。
大數(shù)據(jù)隱私保護(hù)應(yīng)該從企業(yè)法律意識(shí)、國家法律法規(guī)、數(shù)據(jù)保護(hù)技術(shù)等幾個(gè)方面入手進(jìn)行大數(shù)據(jù)隱私保護(hù),其是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一個(gè)重要前提,解決了大數(shù)據(jù)隱私保護(hù)問題才能打開大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的空間,大數(shù)據(jù)產(chǎn)業(yè)發(fā)展才有明確的未來。
七、大數(shù)據(jù)的風(fēng)險(xiǎn)控制
任何一中事物出現(xiàn)后都會(huì)有其有利的一個(gè)方面,也有其不利的方面,片面的夸大了它的作用而不談它的弊端,這就是傳銷了。大數(shù)據(jù)和其他的新鮮事物一樣,它不是神,不可能天生沒有缺陷,不可能天生沒有風(fēng)險(xiǎn),我們要正視大數(shù)據(jù)時(shí)代的弊端,在享受大數(shù)據(jù)時(shí)代的紅利時(shí),希望能夠認(rèn)清其弊端,不要成為數(shù)據(jù)的奴隸,不要成為Matrix的營養(yǎng)品。
大數(shù)據(jù)本質(zhì)就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣是人類的工具,能有限地幫助人們但是不能代替人們思考和做決策。大數(shù)據(jù)不能幫助人類解決生理需要、情感溝通、心理安慰的問題,大數(shù)據(jù)只是一個(gè)提高效率和輔助人類決策的工具。
我們聊一聊如何控制大數(shù)據(jù)帶來的風(fēng)險(xiǎn)。
1)數(shù)據(jù)不能起到?jīng)Q定作用,僅應(yīng)提供輔助決策。決策應(yīng)來源于人類集體智慧和決策層,千萬不能讓數(shù)據(jù)或人工智能指揮一切。
2)數(shù)據(jù)報(bào)表不能代替人類思考,有些因素沒有辦法進(jìn)行量化,有些因素?cái)?shù)據(jù)報(bào)表無法提供信息,重大決定人類必需綜進(jìn)行綜合考慮。
3)利用數(shù)據(jù)進(jìn)行決策,應(yīng)考慮其不良影響,顧及其他群體的利益,避免多數(shù)人暴政和少數(shù)精英獨(dú)斷專行。
4)有些領(lǐng)域不能過度依靠參考數(shù)據(jù),還應(yīng)該從尊重生命出發(fā)如食品安全管理問題等。
5)應(yīng)建立數(shù)據(jù)分析和決策之間的防火墻,避免出現(xiàn)黑客帝國的場景。
大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)思維歸根到底還是商業(yè)思維的具體體現(xiàn),同樣的大數(shù)據(jù)在不同的人眼里,會(huì)表現(xiàn)出不同的表現(xiàn)形式,同樣一組數(shù)據(jù),通過不同的緯度看將會(huì)產(chǎn)生不同的商業(yè)結(jié)果。因此大數(shù)據(jù)僅是工具,其不能代替人類自身對(duì)社會(huì)的理解,以及人類社會(huì)自身的道德約束等。
八、中國的大數(shù)據(jù)之路任重而道遠(yuǎn)
中國目前的大數(shù)據(jù)應(yīng)用環(huán)境和技術(shù)相對(duì)于美國而言,在整體技術(shù)水平、應(yīng)用環(huán)境、國民意識(shí)、商業(yè)環(huán)境、技術(shù)廠商、技術(shù)平臺(tái)上面相差超過5年左右。在大數(shù)據(jù)應(yīng)用的國家戰(zhàn)略層面落后的也較多。
2012年3月,美國奧巴馬政府宣布推出“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”。該計(jì)劃涉及美國國家科學(xué)基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級(jí)研究計(jì)劃局、美國地質(zhì)勘探局等6個(gè)聯(lián)邦政府部門,承諾將投資兩億多美元,大力推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù),以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識(shí)和洞見的能力。美國奧巴馬政府宣布投資大數(shù)據(jù)領(lǐng)域,是大數(shù)據(jù)從商業(yè)行為上升到國家戰(zhàn)略的分水嶺,表明大數(shù)據(jù)正式提升到戰(zhàn)略層面,大數(shù)據(jù)在經(jīng)濟(jì)社會(huì)各個(gè)層面、各個(gè)領(lǐng)域都開始受到重視。
2014年從“兩會(huì)”的提案、議案看,很多人建議將大數(shù)據(jù)業(yè)務(wù)上升為國家戰(zhàn)略,互聯(lián)網(wǎng)領(lǐng)軍人物李彥宏在政協(xié)記者會(huì)上表示,政府應(yīng)該把更多和人民生活有關(guān)的數(shù)據(jù)資料,公開地放到網(wǎng)絡(luò)上;雷軍則直接建議將大數(shù)據(jù)納入國家戰(zhàn)略,推動(dòng)大數(shù)據(jù)切實(shí)地被用起來;科大訊飛劉慶峰建議國家建設(shè)聲紋數(shù)據(jù)庫進(jìn)行大數(shù)據(jù)反恐。張近東、馬化騰、楊元慶的提案也與數(shù)據(jù)應(yīng)用有著緊密聯(lián)系。但是在中國大數(shù)據(jù)國家戰(zhàn)略和大數(shù)據(jù)產(chǎn)業(yè)發(fā)展發(fā)面還沒有一個(gè)清晰的藍(lán)圖。
目前了解到的信息是上海政府計(jì)劃建設(shè)大數(shù)據(jù)產(chǎn)業(yè)園,通過政府自身投資來建立大數(shù)據(jù)平臺(tái),吸引中小企業(yè)將信息系統(tǒng)及數(shù)據(jù)放到政府主導(dǎo)的數(shù)據(jù)平臺(tái)上,政府將利用此平臺(tái)來挖掘數(shù)據(jù)信息,提供數(shù)據(jù)信息報(bào)告。另外一個(gè)大數(shù)據(jù)應(yīng)用是地方政府請(qǐng)一些大數(shù)據(jù)公司來開發(fā)輿情檢測系統(tǒng),及時(shí)了解社會(huì)輿論。無論是大數(shù)據(jù)產(chǎn)業(yè)園還是輿情監(jiān)控。我個(gè)人認(rèn)為沒有抓住大數(shù)據(jù)優(yōu)勢的核心,大數(shù)據(jù)產(chǎn)業(yè)園的管理機(jī)制和創(chuàng)新動(dòng)力不足,無法發(fā)揮大數(shù)據(jù)計(jì)算的優(yōu)勢,反而浪費(fèi)了大量的投資,效率較低。輿情監(jiān)控本身就無法發(fā)揮大數(shù)據(jù)的商業(yè)應(yīng)用優(yōu)勢,反而阻礙大數(shù)據(jù)產(chǎn)業(yè)的商業(yè)應(yīng)用。我們應(yīng)該提供大數(shù)據(jù)產(chǎn)業(yè)優(yōu)惠政策,在資金、場地、稅收、科研方面提供外部支持,讓企業(yè)自身投入到大數(shù)據(jù)產(chǎn)業(yè)建設(shè)之中,從企業(yè)自身商業(yè)需求出發(fā),投入資金來發(fā)展大數(shù)據(jù)產(chǎn)業(yè)。
IBM現(xiàn)已擁有全世界最先進(jìn)的大數(shù)據(jù)和分析技術(shù)能力,其擁有400多位IBM數(shù)學(xué)家。2013年IBM就成功的申請(qǐng)了1500項(xiàng)大數(shù)據(jù)與分析的相關(guān)專利,自2005年開始對(duì)收購和研發(fā)投資達(dá)240億美元,2013年IBM大數(shù)據(jù)分析領(lǐng)域營收高達(dá)160億美金。美國的通用電氣公司投入了15億美金建立了軟件分析公司,雇用了400名數(shù)據(jù)科學(xué)家進(jìn)行大數(shù)據(jù)產(chǎn)業(yè)研究。但是在中國除了我們熟知的BAT涉及大數(shù)據(jù)產(chǎn)業(yè)外,知名的大數(shù)據(jù)產(chǎn)業(yè)企業(yè)就非常少,市場機(jī)會(huì)巨大。北京騰云天下科技有限公司(TalkingData)是為數(shù)不多的大數(shù)據(jù)領(lǐng)先公司,其既有大數(shù)據(jù)又有大數(shù)據(jù)技術(shù)平臺(tái),其目前是國內(nèi)最大的第三方移動(dòng)大數(shù)據(jù)平臺(tái),旗下?lián)碛斜姸鄰V受歡迎的移動(dòng)端數(shù)據(jù)統(tǒng)計(jì)、分析、監(jiān)測產(chǎn)品。TalkingData與國內(nèi)眾多應(yīng)用分發(fā)平臺(tái)、渠道、廣告聯(lián)盟保持著緊密的合作關(guān)系,三年來積累了大量的移動(dòng)互聯(lián)網(wǎng)用戶行為、興趣數(shù)據(jù)。中國銀聯(lián)、招商銀行、聚美優(yōu)品等企業(yè),正在使TalkingData提供的數(shù)據(jù)服務(wù)。
最后總結(jié)一下,大數(shù)據(jù)時(shí)代將會(huì)給人類社會(huì)帶來巨大變化,它是一個(gè)好的工具,就像計(jì)算機(jī)一樣,幫助人們提升社會(huì)生產(chǎn)效率,了解事物真相,認(rèn)識(shí)客觀規(guī)律。重要的大數(shù)據(jù)可以幫助政府和企業(yè)進(jìn)行科學(xué)決策,降低決策風(fēng)險(xiǎn),加快進(jìn)入智慧社會(huì)。
免責(zé)聲明:除非特別注明,國脈電子政務(wù)網(wǎng)所載內(nèi)容及圖片來源于互聯(lián)網(wǎng)、微信公眾號(hào)等公開渠道,不代表本站觀點(diǎn),僅供參考、交流之目的。轉(zhuǎn)載的稿件及圖片版權(quán)歸原作者或機(jī)構(gòu)所有,如有侵權(quán),請(qǐng)聯(lián)系刪除。
關(guān)注國脈電子政務(wù)網(wǎng),政府CIO的思想陣地與交流平臺(tái),5000位政府CIO在這里讀懂“互聯(lián)網(wǎng)+政務(wù)”
