2017年6月11日，由中國(guó)新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟指導(dǎo)，CIO時(shí)代學(xué)院、光明網(wǎng)聯(lián)合主辦，北大軟件工程研究中心、北達(dá)軟、政府采購(gòu)信息報(bào)社協(xié)辦，CIO時(shí)代APP承辦的“第十一屆中國(guó)電子政務(wù)高峰論壇暨2017中國(guó)新型智慧城市創(chuàng)新50強(qiáng)授牌”在京隆重舉行。萬(wàn)山數(shù)據(jù)CTO、北大信息化與信息管理研究中心技術(shù)顧問(wèn)魯四海在活動(dòng)中發(fā)表了題為《智慧城市中的大數(shù)據(jù)分析服務(wù)》的主題演講。以下為演講實(shí)錄：
萬(wàn)山數(shù)據(jù)CTO、北大信息化與信息管理研究中心技術(shù)顧問(wèn) 魯四海
大家下午好！各位專(zhuān)家都提到了在新型智慧城市建設(shè)中，大數(shù)據(jù)是非常重要的，大數(shù)據(jù)的實(shí)施落地，如何讓數(shù)據(jù)產(chǎn)生經(jīng)濟(jì)效益將是智慧城市建設(shè)中的重點(diǎn)工作。
先從時(shí)間維度看，2013、2015、2017都有說(shuō)是大數(shù)據(jù)的元年，但主題詞確有不同，2013是技術(shù)，2015年是集中、共享、開(kāi)放，2017卻是進(jìn)向全面數(shù)字化、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新的起點(diǎn)。顯然智慧城市是大數(shù)據(jù)的主要應(yīng)用領(lǐng)域。
大數(shù)據(jù)在智慧城市的應(yīng)用主要體現(xiàn)在四個(gè)方向：對(duì)于政府是提供決策支持；對(duì)于企業(yè)是監(jiān)控、創(chuàng)新引導(dǎo)；對(duì)于市民是提供智能分析，實(shí)現(xiàn)智慧生活，例如通過(guò)智能地圖出行；通過(guò)大數(shù)據(jù)優(yōu)化城市發(fā)展與環(huán)境的問(wèn)題。
從技術(shù)層面看，智慧城市重要支撐是物聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù)。物聯(lián)網(wǎng)解決數(shù)據(jù)感知和智慧化響應(yīng)，大數(shù)據(jù)技術(shù)則是兩個(gè)過(guò)程中最核心的過(guò)程，是通過(guò)數(shù)據(jù)挖掘?qū)?shù)據(jù)變成知識(shí)、變成決策、變成行動(dòng)指令的過(guò)程。
大數(shù)據(jù)之于智慧城市如此重要，那在建設(shè)過(guò)程是否也面臨一些問(wèn)題和挑戰(zhàn)，我們團(tuán)隊(duì)調(diào)研發(fā)現(xiàn)主要有以下幾個(gè)方面：
一是數(shù)據(jù)安全問(wèn)題制約數(shù)據(jù)開(kāi)放；二是用戶不能便捷使用數(shù)據(jù)進(jìn)行分析；三是統(tǒng)一的平臺(tái)如何滿足不同部門(mén)對(duì)數(shù)據(jù)的要求；四是很多數(shù)據(jù)不是鮮活的，建設(shè)好大數(shù)據(jù)平臺(tái)，其中很多數(shù)據(jù)可能是歷史的。從技術(shù)視角看，缺少一個(gè)敏捷數(shù)據(jù)分析平。
敏捷大數(shù)據(jù)分析平臺(tái)，四個(gè)特點(diǎn)：
第一，它是面向用戶的。大數(shù)據(jù)分析不僅是IT部門(mén)或數(shù)據(jù)分析師的事情，它應(yīng)有運(yùn)營(yíng)和BD、PR的參與。例如企業(yè)，可能是客服，政府是市民服務(wù)熱線等服務(wù)機(jī)構(gòu)。
第二，一定要面向業(yè)務(wù)場(chǎng)景。在不同的領(lǐng)域，比如交通、社區(qū)服務(wù)，在使用過(guò)程中，日?qǐng)?bào)、周報(bào)能夠反饋過(guò)來(lái)。
第三，即時(shí)計(jì)算。如果一個(gè)分析需要幾個(gè)小時(shí)或更長(zhǎng)時(shí)間，對(duì)于普通用戶是完全接受不了的。
第四，支持探索式的分析。要做到探索式的分析要做好三個(gè)方面的事情，一是數(shù)據(jù)的可視化，分析人員看到的數(shù)據(jù)是可理解的，而不是數(shù)據(jù)庫(kù)中的英文字母；二是分析的可視化，指的是分析的過(guò)程所見(jiàn)即所得的；三是算法模型的可視化，對(duì)于業(yè)務(wù)用戶“看得見(jiàn)”可用的模型，能簡(jiǎn)單地調(diào)用相關(guān)模型算法，然后連接自己的數(shù)據(jù)就要能實(shí)現(xiàn)數(shù)據(jù)挖掘。
提到敏捷分析時(shí)，大家可能會(huì)想是不是講敏捷BI。此敏捷非彼敏捷。最大的區(qū)別在于敏捷BI重視工具本身的輕便，即安裝部署的輕便，而忽視的使用戶的輕便和功能的豐富程度。所以導(dǎo)致很多人一說(shuō)敏捷就是HTML5、圖表、不建、直接分析等，敏捷的最終目的是讓業(yè)務(wù)用戶參與數(shù)據(jù)分析，實(shí)際上這幾點(diǎn)解決不了這個(gè)問(wèn)題。
需要的未來(lái)發(fā)展的敏捷數(shù)據(jù)平臺(tái)應(yīng)該具備以下特點(diǎn)：
第一，多數(shù)據(jù)源集成；
因?yàn)榇髷?shù)據(jù)分析挖掘一定是廣泛維度的數(shù)據(jù)才能產(chǎn)生它的價(jià)值。
第二，業(yè)務(wù)化語(yǔ)言表達(dá)；
對(duì)于分析人員，不是容易看懂?dāng)?shù)據(jù)標(biāo)的東西。
第三，未來(lái)的建設(shè)應(yīng)是集約化的；
工具平臺(tái)是可以通用的，大部分?jǐn)?shù)據(jù)應(yīng)是共享的，當(dāng)然也存在個(gè)性化數(shù)據(jù)。未來(lái)的平臺(tái)是一種這樣的結(jié)構(gòu)，平臺(tái)層應(yīng)是功能上完全通用，能夠通過(guò)多租戶的技術(shù)供給不同組織使用。在這個(gè)過(guò)程中，不同的租戶可以享受一些公共開(kāi)放的數(shù)據(jù)，但也有自己配置管理的權(quán)限，這樣才可達(dá)到快速發(fā)展的過(guò)程。
第四，靈活的數(shù)據(jù)管理。
將分散的數(shù)據(jù)快速實(shí)現(xiàn)邏輯集中，跨表、跨庫(kù)等問(wèn)題不需要分析師的關(guān)注，他只需要分析他所得東西，分析師要找到數(shù)據(jù)，然后選擇合適的模型算法和可視化工具，快速完成分析。
第五，KPI；
作為一個(gè)分析平臺(tái)，分析后要反映到業(yè)務(wù)過(guò)程中，其中很重要的一點(diǎn)是有很多的KPI，通過(guò)KPI監(jiān)控，把異常即時(shí)反饋到業(yè)務(wù)過(guò)程中，通知到人及時(shí)做出決策，通知到系統(tǒng)及時(shí)做出反饋。
第六，算法庫(kù)；
很多基礎(chǔ)算法是通用的，只是數(shù)據(jù)的不同。比如環(huán)比、同比等，根據(jù)業(yè)務(wù)場(chǎng)景的特點(diǎn)，用的時(shí)候選擇相應(yīng)的數(shù)據(jù)對(duì)應(yīng)可能出現(xiàn)的結(jié)果。
萬(wàn)山數(shù)據(jù)提供的敏捷分析平臺(tái)即是按這樣的應(yīng)用需求設(shè)計(jì)，不僅有豐富的功能，還在數(shù)據(jù)安全管理、共享開(kāi)放上下了很多功夫，同時(shí)兼容各種數(shù)據(jù)分析環(huán)節(jié)中的事實(shí)標(biāo)準(zhǔn)，比如報(bào)表兼容Jasper、BIRT，圖表兼容Hightcharts、ExtJS，數(shù)據(jù)挖掘完全支持R語(yǔ)言，還能直接集及TOS的ETL任務(wù)調(diào)度……
最后，介紹一下萬(wàn)山數(shù)據(jù)，北京萬(wàn)山數(shù)據(jù)科技有限公司，核心團(tuán)隊(duì)由來(lái)自于著名科研機(jī)構(gòu)、知名企業(yè)的大數(shù)據(jù)專(zhuān)家組成。是中國(guó)新新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟孵化的首家大數(shù)據(jù)公司。我們主要提供兩個(gè)方向的產(chǎn)品和服務(wù)：大數(shù)據(jù)分析技術(shù)與工具、數(shù)據(jù)分析服務(wù)。
技術(shù)與工具包括大數(shù)據(jù)敏捷分析平臺(tái)、文本數(shù)據(jù)的挖掘平臺(tái)、大數(shù)據(jù)多屏互動(dòng)系統(tǒng)，解決從數(shù)據(jù)集成、分析到交互中的問(wèn)題。僅有工具是不夠的，數(shù)據(jù)分析需要模型、算法，還需要對(duì)數(shù)據(jù)資源的全面了解、對(duì)數(shù)據(jù)質(zhì)量的管理，因此我們提供了大數(shù)據(jù)資源規(guī)劃的服務(wù)，主要解決三個(gè)問(wèn)題，知道有什么數(shù)據(jù)，哪些數(shù)據(jù)是可用的，以及解決怎么用的問(wèn)題。謝謝大家！
