2017年6月11日，由中國新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟指導(dǎo)，CIO時代學(xué)院、光明網(wǎng)聯(lián)合主辦，北大軟件工程研究中心、北達(dá)軟、政府采購信息報社協(xié)辦，CIO時代APP承辦的“第十一屆中國電子政務(wù)高峰論壇暨2017中國新型智慧城市創(chuàng)新50強(qiáng)授牌”在京隆重舉行。萬山數(shù)據(jù)CTO、北大信息化與信息管理研究中心技術(shù)顧問魯四海在活動中發(fā)表了題為《智慧城市中的大數(shù)據(jù)分析服務(wù)》的主題演講。以下為演講實(shí)錄：
萬山數(shù)據(jù)CTO、北大信息化與信息管理研究中心技術(shù)顧問 魯四海
大家下午好！各位專家都提到了在新型智慧城市建設(shè)中，大數(shù)據(jù)是非常重要的，大數(shù)據(jù)的實(shí)施落地，如何讓數(shù)據(jù)產(chǎn)生經(jīng)濟(jì)效益將是智慧城市建設(shè)中的重點(diǎn)工作。
先從時間維度看，2013、2015、2017都有說是大數(shù)據(jù)的元年，但主題詞確有不同，2013是技術(shù)，2015年是集中、共享、開放，2017卻是進(jìn)向全面數(shù)字化、數(shù)據(jù)驅(qū)動業(yè)務(wù)創(chuàng)新的起點(diǎn)。顯然智慧城市是大數(shù)據(jù)的主要應(yīng)用領(lǐng)域。
大數(shù)據(jù)在智慧城市的應(yīng)用主要體現(xiàn)在四個方向：對于政府是提供決策支持；對于企業(yè)是監(jiān)控、創(chuàng)新引導(dǎo)；對于市民是提供智能分析，實(shí)現(xiàn)智慧生活，例如通過智能地圖出行；通過大數(shù)據(jù)優(yōu)化城市發(fā)展與環(huán)境的問題。
從技術(shù)層面看，智慧城市重要支撐是物聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù)。物聯(lián)網(wǎng)解決數(shù)據(jù)感知和智慧化響應(yīng)，大數(shù)據(jù)技術(shù)則是兩個過程中最核心的過程，是通過數(shù)據(jù)挖掘?qū)?shù)據(jù)變成知識、變成決策、變成行動指令的過程。
大數(shù)據(jù)之于智慧城市如此重要，那在建設(shè)過程是否也面臨一些問題和挑戰(zhàn)，我們團(tuán)隊(duì)調(diào)研發(fā)現(xiàn)主要有以下幾個方面：
一是數(shù)據(jù)安全問題制約數(shù)據(jù)開放；二是用戶不能便捷使用數(shù)據(jù)進(jìn)行分析；三是統(tǒng)一的平臺如何滿足不同部門對數(shù)據(jù)的要求；四是很多數(shù)據(jù)不是鮮活的，建設(shè)好大數(shù)據(jù)平臺，其中很多數(shù)據(jù)可能是歷史的。從技術(shù)視角看，缺少一個敏捷數(shù)據(jù)分析平。
敏捷大數(shù)據(jù)分析平臺，四個特點(diǎn)：
第一，它是面向用戶的。大數(shù)據(jù)分析不僅是IT部門或數(shù)據(jù)分析師的事情，它應(yīng)有運(yùn)營和BD、PR的參與。例如企業(yè)，可能是客服，政府是市民服務(wù)熱線等服務(wù)機(jī)構(gòu)。
第二，一定要面向業(yè)務(wù)場景。在不同的領(lǐng)域，比如交通、社區(qū)服務(wù)，在使用過程中，日報、周報能夠反饋過來。
第三，即時計算。如果一個分析需要幾個小時或更長時間，對于普通用戶是完全接受不了的。
第四，支持探索式的分析。要做到探索式的分析要做好三個方面的事情，一是數(shù)據(jù)的可視化，分析人員看到的數(shù)據(jù)是可理解的，而不是數(shù)據(jù)庫中的英文字母；二是分析的可視化，指的是分析的過程所見即所得的；三是算法模型的可視化，對于業(yè)務(wù)用戶“看得見”可用的模型，能簡單地調(diào)用相關(guān)模型算法，然后連接自己的數(shù)據(jù)就要能實(shí)現(xiàn)數(shù)據(jù)挖掘。
提到敏捷分析時，大家可能會想是不是講敏捷BI。此敏捷非彼敏捷。最大的區(qū)別在于敏捷BI重視工具本身的輕便，即安裝部署的輕便，而忽視的使用戶的輕便和功能的豐富程度。所以導(dǎo)致很多人一說敏捷就是HTML5、圖表、不建、直接分析等，敏捷的最終目的是讓業(yè)務(wù)用戶參與數(shù)據(jù)分析，實(shí)際上這幾點(diǎn)解決不了這個問題。
需要的未來發(fā)展的敏捷數(shù)據(jù)平臺應(yīng)該具備以下特點(diǎn)：
第一，多數(shù)據(jù)源集成；
因?yàn)榇髷?shù)據(jù)分析挖掘一定是廣泛維度的數(shù)據(jù)才能產(chǎn)生它的價值。
第二，業(yè)務(wù)化語言表達(dá)；
對于分析人員，不是容易看懂?dāng)?shù)據(jù)標(biāo)的東西。
第三，未來的建設(shè)應(yīng)是集約化的；
工具平臺是可以通用的，大部分?jǐn)?shù)據(jù)應(yīng)是共享的，當(dāng)然也存在個性化數(shù)據(jù)。未來的平臺是一種這樣的結(jié)構(gòu)，平臺層應(yīng)是功能上完全通用，能夠通過多租戶的技術(shù)供給不同組織使用。在這個過程中，不同的租戶可以享受一些公共開放的數(shù)據(jù)，但也有自己配置管理的權(quán)限，這樣才可達(dá)到快速發(fā)展的過程。
第四，靈活的數(shù)據(jù)管理。
將分散的數(shù)據(jù)快速實(shí)現(xiàn)邏輯集中，跨表、跨庫等問題不需要分析師的關(guān)注，他只需要分析他所得東西，分析師要找到數(shù)據(jù)，然后選擇合適的模型算法和可視化工具，快速完成分析。
第五，KPI；
作為一個分析平臺，分析后要反映到業(yè)務(wù)過程中，其中很重要的一點(diǎn)是有很多的KPI，通過KPI監(jiān)控，把異常即時反饋到業(yè)務(wù)過程中，通知到人及時做出決策，通知到系統(tǒng)及時做出反饋。
第六，算法庫；
很多基礎(chǔ)算法是通用的，只是數(shù)據(jù)的不同。比如環(huán)比、同比等，根據(jù)業(yè)務(wù)場景的特點(diǎn)，用的時候選擇相應(yīng)的數(shù)據(jù)對應(yīng)可能出現(xiàn)的結(jié)果。
萬山數(shù)據(jù)提供的敏捷分析平臺即是按這樣的應(yīng)用需求設(shè)計，不僅有豐富的功能，還在數(shù)據(jù)安全管理、共享開放上下了很多功夫，同時兼容各種數(shù)據(jù)分析環(huán)節(jié)中的事實(shí)標(biāo)準(zhǔn)，比如報表兼容Jasper、BIRT，圖表兼容Hightcharts、ExtJS，數(shù)據(jù)挖掘完全支持R語言，還能直接集及TOS的ETL任務(wù)調(diào)度……
最后，介紹一下萬山數(shù)據(jù)，北京萬山數(shù)據(jù)科技有限公司，核心團(tuán)隊(duì)由來自于著名科研機(jī)構(gòu)、知名企業(yè)的大數(shù)據(jù)專家組成。是中國新新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟孵化的首家大數(shù)據(jù)公司。我們主要提供兩個方向的產(chǎn)品和服務(wù)：大數(shù)據(jù)分析技術(shù)與工具、數(shù)據(jù)分析服務(wù)。
技術(shù)與工具包括大數(shù)據(jù)敏捷分析平臺、文本數(shù)據(jù)的挖掘平臺、大數(shù)據(jù)多屏互動系統(tǒng)，解決從數(shù)據(jù)集成、分析到交互中的問題。僅有工具是不夠的，數(shù)據(jù)分析需要模型、算法，還需要對數(shù)據(jù)資源的全面了解、對數(shù)據(jù)質(zhì)量的管理，因此我們提供了大數(shù)據(jù)資源規(guī)劃的服務(wù)，主要解決三個問題，知道有什么數(shù)據(jù)，哪些數(shù)據(jù)是可用的，以及解決怎么用的問題。謝謝大家！
