12月16日，2023 CCF國際AIOps挑戰(zhàn)賽決賽暨“大模型時代的AIOps”研討會于北京西郊賓館成功舉辦。活動吸引了來自行業(yè)內(nèi)眾多一流專家、學(xué)者參與，共同探討和展示了他們在智能運(yùn)維領(lǐng)域的新研究成果和技術(shù)應(yīng)用，為智能運(yùn)維技術(shù)的學(xué)術(shù)研究、生產(chǎn)實(shí)踐和生態(tài)發(fā)展打開了新思路和新局面。
本屆CCF國際AIOps挑戰(zhàn)賽由中國計(jì)算機(jī)學(xué)會（CCF）、清華大學(xué)、中國建設(shè)銀行股份有限公司、南開大學(xué)聯(lián)合主辦；CCF互聯(lián)網(wǎng)專委會、清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系、中國建設(shè)銀行股份有限公司運(yùn)營數(shù)據(jù)中心、南開大學(xué)軟件學(xué)院、北京必示科技有限公司承辦；華為技術(shù)有限公司、國網(wǎng)寧夏電力有限公司電力科學(xué)研究院、軟通動力信息技術(shù)（集團(tuán)）股份有限公司特別贊助支持。
CCF國際AIOps挑戰(zhàn)賽由CCF、清華大學(xué)和南開大學(xué)自2018年聯(lián)合發(fā)起，旨在借助社區(qū)力量，運(yùn)用人工智能算法解決各類運(yùn)維難題。迄今為止已經(jīng)成功舉辦六屆，吸引了大量AIOps從業(yè)者和關(guān)注者，隨著賽事規(guī)模和影響力的不斷擴(kuò)大，逐漸成為智能運(yùn)維領(lǐng)域具有影響力的專業(yè)賽事。
本屆CCF國際AIOps挑戰(zhàn)賽更迎來全新升級，開放型賽題吸引了更廣泛的參與，共有來自265支隊(duì)伍的677名選手報(bào)名參賽，輻射圈層廣泛涵蓋產(chǎn)學(xué)研用各界行業(yè)代表。同時，本次大會采用線下參會＋線上全程直播形式，決賽現(xiàn)場有超300人線下參會，同時有近5萬人次觀看線上直播。
大會開場，中國計(jì)算機(jī)學(xué)會互聯(lián)網(wǎng)專委會主任蘇金樹，中國建設(shè)銀行運(yùn)營數(shù)據(jù)中心副主任常冬冬，南開大學(xué)軟件學(xué)院院長張玉志，華為云核心網(wǎng)網(wǎng)絡(luò)自動駕駛產(chǎn)品總監(jiān)韓寧，清華大學(xué)計(jì)算機(jī)系長聘副教授裴丹作為主辦方和贊助方代表致辭。
接下來，由清華大學(xué)、中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、南開大學(xué)、必示科技、中興通訊、中亦科技、騰訊、華為、聯(lián)想、國泰君安證券、基石數(shù)據(jù)、Zabbix中國宏時數(shù)據(jù)、日志易等多家首批社區(qū)成員單位共同發(fā)布了國內(nèi)首個運(yùn)維大語言模型評測基準(zhǔn)OpsEval。中科院計(jì)算機(jī)網(wǎng)絡(luò)信息中心副研究員裴昶華對OpsEval的社區(qū)定位、榜單結(jié)果解讀以及后續(xù)規(guī)劃進(jìn)行了分享。目前OpsEval已經(jīng)擁有近一萬七千道多場景評測題目，評估了十余種主流大模型及其變種，并不斷有新的社區(qū)成員加入。
接下來的AIOps挑戰(zhàn)賽決賽答辯環(huán)節(jié)，十支入圍決賽的隊(duì)伍分別向評審專家及觀眾展示各自的方案，并進(jìn)行了現(xiàn)場答辯。值得一提的是，本屆開放型賽題恰逢其時，多支隊(duì)伍提出了基于大語言模型的智能運(yùn)維方案，引發(fā)了評審專家和觀眾的熱烈討論。
本屆挑戰(zhàn)賽決賽由學(xué)術(shù)屆及工業(yè)屆的資深評審專家組成，邀請中國計(jì)算機(jī)學(xué)會互聯(lián)網(wǎng)專委會主任蘇金樹，北京郵電大學(xué)計(jì)算機(jī)學(xué)院（國家示范性軟件學(xué)院）副院長（主持工作）王尚廣，南開大學(xué)杰出教授張海寧，中國建設(shè)銀行運(yùn)營數(shù)據(jù)中心云計(jì)算產(chǎn)品處處長王荔，中國移動研究院主任研究員朱琳，華為5.5G核心網(wǎng)云原生首席架構(gòu)師姚弋宇，中興通訊無線及算力研究院算法部部長耿鵬，香港中文大學(xué)（深圳）助理教授賀品嘉等8位重量級專家，從多個維度對決賽答辯進(jìn)行了評議。
經(jīng)評委認(rèn)真審議后確定最終名次：字節(jié)跳動的SRE－Copilot戰(zhàn)隊(duì)獲得本屆大賽冠軍。華為技術(shù)有限公司的輕舟已過萬重山、國電南瑞科技股份有限公司的CheerX兩支隊(duì)伍獲得亞軍。季軍獲得者分別是：中山大學(xué)的DDopS、浙商銀行的系統(tǒng)隨機(jī)生成、億陽信通股份有限公司aiboco三支隊(duì)伍。中原銀行的zybank_aiops、南開大學(xué)的尊嘟假嘟戰(zhàn)隊(duì)、華為技術(shù)有限公司的輕舟隊(duì)、北京城建智控科技股份有限公司的UCI四支隊(duì)伍獲得優(yōu)秀獎。
同時，大會也為在本屆競賽附加賽活動“龍舟生態(tài)節(jié)”中取得優(yōu)勝成績的龍舟SAAS項(xiàng)目和選手頒獎。以“授漁之道，以舟載云，眾擎易舉”為主題的龍舟生態(tài)節(jié)旨在為競賽選手、龍舟用戶提供一個培訓(xùn)交流、一展身手的舞臺，并持續(xù)探索優(yōu)秀競賽方案孵化。
下午的研討會主題圍繞“大模型時代的AIOps”，清華大學(xué)計(jì)算機(jī)系裴丹副教授首先帶來主旨演講。他從大模型時代運(yùn)維界普遍關(guān)注的幾個問題開始，提出了大模型時代的AIOps整體框架是“建立多AIOps智能體的人機(jī)協(xié)同系統(tǒng)”。同時，結(jié)合落地挑戰(zhàn)以近期、中期、中長期的應(yīng)用為例，具體回答了大模型時代的AIOps發(fā)力方向。最后，他提出了建立OpenAIOpsAlliance社區(qū)的建議，構(gòu)建一個“AIOps領(lǐng)域的HuggingFace”的開放聯(lián)盟，使大家的數(shù)據(jù)集和知識能夠共享，并呼吁更多的組織和企業(yè)加入進(jìn)來，共同受益。
接下來的“運(yùn)維大模型論文閃電分享”環(huán)節(jié)，帶來了ESEC／FSE2023、ICLR2023、NeurIPS2023、IWQoS2023、ICSE2024等多場國際會議的優(yōu)質(zhì)論文，從大模型應(yīng)用、指標(biāo)大模型、日志大模型三個方向分享基于大語言模型的智能運(yùn)維新的研究成果和觀點(diǎn)?，F(xiàn)場南開大學(xué)軟件學(xué)院副教授張圣林、微軟主管研究員馬明華、清華大學(xué)計(jì)算機(jī)系周煊赫、香港中文大學(xué)（深圳）助理教授賀品嘉、莫納什大學(xué)金明、清華大學(xué)軟件學(xué)院吳海旭、東華大學(xué)副教授徐波、華為技術(shù)專家陶仕敏，分別帶來《評估和總結(jié)：使用大語言模型提高對故障的理解》、《基于大語言模型的云故障根因分析》、《基于大語言模型的數(shù)據(jù)庫異常診斷系統(tǒng)》、《基于上下文學(xué)習(xí)的自動化日志語句生成研究》、《Time－LLM：通過重編程大型語言模型進(jìn)行時間序列預(yù)測》、《TimesNet：任務(wù)通用的時間序列分析骨干網(wǎng)絡(luò)》、《SimMTM：時間序列掩碼預(yù)訓(xùn)練框架》、《KnowLog：基于知識增強(qiáng)的日志預(yù)訓(xùn)練語言模型》、《BigLog：面向統(tǒng)一日志表示的無監(jiān)督大規(guī)模預(yù)訓(xùn)練方法》、《LogPrompt：面向零樣本和可解釋性日志分析的提示工程》等頂會論文分享。
華為云核心網(wǎng)自動駕駛網(wǎng)絡(luò)解決方案首席SE魏宏帶來了《核心網(wǎng)運(yùn)維大模型應(yīng)用展望》的主題報(bào)告。從場景選擇、面臨挑戰(zhàn)以及對未來展望等方面，分享了在向未來5．5G智能化演進(jìn)過程中，核心網(wǎng)如何結(jié)合大模型技術(shù)實(shí)現(xiàn)運(yùn)維領(lǐng)域的跨代演進(jìn)，助力運(yùn)營運(yùn)維轉(zhuǎn)型。
圓桌論壇一“運(yùn)維大模型技術(shù)探討”，由中科院計(jì)算機(jī)網(wǎng)絡(luò)信息中心副研究員裴昶華主持，建信金融科技有限責(zé)任公司基礎(chǔ)技術(shù)中心人工智能工程部總經(jīng)理劉東東、中國移動研究院人工智能與智慧運(yùn)營中心主任研究員朱琳、華為云核心網(wǎng)網(wǎng)絡(luò)自動駕駛產(chǎn)品總監(jiān)韓寧、中興通訊無線及算力研究院算法部部長耿鵬、騰訊研發(fā)效能專家、騰訊研究院特約研究員張樂、亞信科技智能運(yùn)維產(chǎn)品總監(jiān)董昭陽、必示科技產(chǎn)品總監(jiān)溫希道共同參與，圍繞訓(xùn)練運(yùn)維大語言模型、指標(biāo)大模型、日志大模型的必要性，幻覺在實(shí)際場景中的影響及解決方案，大模型在AIOps的終極形態(tài)等問題，闡述了各自的觀點(diǎn)。
圓桌論壇二“運(yùn)維大模型落地探索”，由IDC金融行業(yè)研究總監(jiān)高飛主持，廣通優(yōu)云總裁劉東海、基調(diào)聽云研發(fā)VP楊金全、日志易產(chǎn)品VP饒琛琳、圖靈天問總經(jīng)理蔡明、基石數(shù)據(jù)技術(shù)總監(jiān)徐戟（白鱔）共同參與，首先探討了運(yùn)維大模型落地需要的前提條件、面臨的挑戰(zhàn)，然后討論了何種運(yùn)維場景應(yīng)用最有可能成為運(yùn)維大模型落地的killerapp，最后對大模型時代的運(yùn)維可觀測性將出現(xiàn)的改變發(fā)表了各自的見解。
CCF國際AIOps挑戰(zhàn)賽至今已舉辦至第六屆，受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。本屆挑戰(zhàn)賽吸引了來自全球的眾多優(yōu)秀隊(duì)伍參賽，同時也邀請到學(xué)術(shù)界和工業(yè)界的資深專家學(xué)者，分享了智能運(yùn)維的新進(jìn)展，發(fā)表了對大模型時代AIOps的深刻見解。這些探討、分享和交流，將為智能運(yùn)維行業(yè)知識共享與技術(shù)交流做出顯著貢獻(xiàn)。
