算力是數(shù)字經(jīng)濟時代的新型生產(chǎn)力。算力網(wǎng)是支撐數(shù)字經(jīng)濟高質(zhì)量發(fā)展的關(guān)鍵基礎設施，可通過網(wǎng)絡連接多源異構(gòu)、海量泛在算力，實現(xiàn)資源高效調(diào)度、設施綠色低碳、算力靈活供給、服務智能隨需。中國科學院院士王懷民在第三屆中國國際軟件發(fā)展大會上從算力中心內(nèi)看縱向貫通、從算力中心間看橫向聯(lián)接、從生態(tài)網(wǎng)演化看開源創(chuàng)新三個維度分享了如何加快構(gòu)建全國一體化算力網(wǎng)，形成跨地域、跨部門協(xié)同發(fā)展合力，統(tǒng)籌數(shù)算、超算、智算協(xié)同計算，算力、數(shù)據(jù)、算法協(xié)同應用，以算力高質(zhì)量發(fā)展賦能經(jīng)濟高質(zhì)量發(fā)展。

　　近年來，中國的算力、基礎設施、各類算力中心蓬勃發(fā)展。過去20年，通過“東數(shù)西算”，中國已經(jīng)建立了10個國家數(shù)據(jù)中心集群，為中國互聯(lián)網(wǎng)產(chǎn)業(yè)飛速發(fā)展提供重要的基礎設施。也是在過去20年，中國的超算中心迅速發(fā)展，14個國家超級計算中心已經(jīng)建立。數(shù)據(jù)中心和超算中心相互融合，“東數(shù)西算”十大數(shù)據(jù)中心和八大樞紐的建設正在推進。為支持人工智能、大模型技術(shù)的發(fā)展，9個國家新一代人工智能公共算力開放創(chuàng)新平臺已經(jīng)建立，至少有16個國家級智算中心正在籌備建設。

　　在這一過程中，不僅超算中心在云化，智算中心也在云化，如何將這些資源有效整合？數(shù)據(jù)中心為智算中心提供資源，超算和計算相結(jié)合，可以為面向科學工程的計算和面向科學工程的人工智能提供支持，形成相互交叉的新興應用形態(tài)，這一過程存在巨大的創(chuàng)新空間。

　　為滿足未來的算力需求，助力數(shù)字經(jīng)濟發(fā)展，工業(yè)和信息化部等六部門印發(fā)《算力基礎設施高質(zhì)量發(fā)展行動計劃》（簡稱《行動計劃》）的通知，其中特別提到“推進以云服務方式整合算力資源，充分發(fā)揮云計算資源彈性調(diào)度優(yōu)勢”，提出“算網(wǎng)融合發(fā)展行動”一是探索建設多層級算力調(diào)度平臺，逐步實現(xiàn)多元異構(gòu)算力跨域調(diào)度編排；二是構(gòu)建算力互聯(lián)互通體系，統(tǒng)一算力資源標識和身份認證。依托部省算力互聯(lián)互通平臺開展試點驗證。

　　從算力中心內(nèi)看縱向貫通

　　王懷民表示，我們希望算力網(wǎng)絡的核心，基礎軟件以及生態(tài)以“縱橫交錯”的形式有效推進。所謂“縱”是在算力中心內(nèi)部形成縱向、多級的軟件棧，實現(xiàn)有效的對各應用的支撐；“橫”是指以云的方式形成算力中心資源的有效鏈接，通過“生態(tài)演化”，促進開源創(chuàng)新模式的有效發(fā)展。

　　在縱向方面，以人工智能為例，縱向用大算力支持大模型，促進大數(shù)據(jù)的人工智能發(fā)展。王懷民以鵬城云腦為例，“鵬城云腦II” 包括4096顆昇騰910 AI處理器和2048顆鯤鵬920 CPU處理器，可以提供1E OPS智能算力，即不低于每秒100億億次操作的AI計算能力。這個體系在硬件平臺上又構(gòu)建了完全可以自主發(fā)展的人工智能計算架構(gòu)，高性能的人工智能框架運轉(zhuǎn)的軟件棧，深度學習的框架以及大模型的框架。“在此基礎上構(gòu)建一站式的開發(fā)環(huán)境，支持創(chuàng)建相應的服務項目，進行有效訓練，支持學術(shù)界的研究工作；支持構(gòu)建智算中心垂直體系的軟件全棧，支持這方面領域的研究，包括若干其它國產(chǎn)硬件平臺，以及英偉達在內(nèi)國際上其它平臺有效運作的垂直體系結(jié)構(gòu)。”

　　AI大模型通常有數(shù)億到數(shù)千億的參數(shù)，這些參數(shù)用于存儲和學習模型的知識。B是Biion（十億）的意思，如7B模型就是70億參數(shù)量的大模型。根據(jù)參數(shù)的不同，訓練大模型可以分為7B、33B、200B模型。7B用來進行策略的有效選擇，33B用來豐富語義的內(nèi)容生成，200B對標國際先進模型的研究平臺，推進各項工作。王懷民表示，鵬城云腦是以華為芯片和相關(guān)軟件棧為基礎的體系架構(gòu)。在這個體系架構(gòu)已經(jīng)形成若干模型訓練，包括7B、33B和200B，同時實現(xiàn)機內(nèi)并行、機間并行以及模型數(shù)據(jù)和流水線的各類并行模式，支持大模型的訓練和研究實驗。很多研究機構(gòu)對于大模型的可能性提出很多假設，但是假設的驗證需要算力支持，在應用領域也是如此。

　　從算力中心間看橫向聯(lián)接

　　算力中心的橫向銜接，可以通過云計算的模式實現(xiàn)。云計算長期面對三個方面挑戰(zhàn)：一是從云服務提供者角度看，效費比問題更加突出了；二是從云服務消費者角度看，平臺鎖定問題更加尖銳了；三是從云生態(tài)的角度看，服務模式問題更加現(xiàn)實了。如何解決費效比和平臺鎖定問題？王懷民表示：“希望建立多數(shù)據(jù)中心、多云服務商之間的有效協(xié)同模式。2017年在國家重點研發(fā)的支持下，我們提出云際計算的概念，以云服務商之間的開放協(xié)作為基礎，通過多方云資源，包括數(shù)據(jù)資源和模型資源的深度融合，方便開發(fā)者通過軟件定義的方式實現(xiàn)各類跨算力中心之間的協(xié)同，實現(xiàn)服務無邊界、云間有協(xié)作的云際計算模式，這也是上文提到的《行動計劃》所要求的形態(tài)。

　　據(jù)王懷民介紹，鵬城·腦海大模型7B版本已于北京、天津、沈陽、大連、長春、西安、武漢、成都8地人工智能計算中心成功測試及部署，優(yōu)化版本模型持續(xù)更新。鵬城·腦海大模型200B版本于武漢人工智能計算中心完成部署，同步進行性能優(yōu)化測試。

　　鵬城實驗室依托CCF開源發(fā)展委員會與8地計算中心基于大模型開源創(chuàng)新研究聯(lián)合體持續(xù)開展優(yōu)化研究與應用開發(fā)探索。這種協(xié)同體系如何形成有效的網(wǎng)絡化生態(tài)，實現(xiàn)開源創(chuàng)新發(fā)展？王懷民表示，這需要產(chǎn)業(yè)界共同構(gòu)建。在垂直方向，超算中心、數(shù)據(jù)中心、智算中心構(gòu)建軟件棧，橫向用云際計算連接基礎設施，將計算能力提供給全世界的開源社區(qū)，讓更多的參與開源的開發(fā)者能夠有效使用軟件棧，觸達計算資源，高效進行有關(guān)試驗的研究，進行產(chǎn)業(yè)創(chuàng)新生態(tài)應用場景的設計。

　　中國的開源創(chuàng)新正在實現(xiàn)質(zhì)的飛躍

　　“開源創(chuàng)新”正成為探索智能世界的關(guān)鍵之舉，是邁向萬物智聯(lián)世界的必由之路。在這一過程中，中國已經(jīng)開展了一系列實踐。王懷民舉例，比如已經(jīng)開源共享異構(gòu)資源的仿真環(huán)境，支持研發(fā)者邊研發(fā)邊論證，邊開展應用研究，全國100多所大學的開發(fā)者，在開源生態(tài)上托管和人工智能、大模型研究相關(guān)約2.1萬的倉庫和相關(guān)開發(fā)任務?！拔覀冇迷齐H化的手段，可以支持不同的社區(qū)采用統(tǒng)一的代碼倉存儲模式，在不同的數(shù)據(jù)中心實現(xiàn)有效的數(shù)據(jù)共享。幫助不同的社區(qū)在不同領域構(gòu)建項目，在不同的云數(shù)據(jù)中心管理代碼倉，同時能夠做出統(tǒng)一的項目管理視圖，有效實現(xiàn)數(shù)據(jù)資源的安全訪問和管理，這是正在推進的社區(qū)工作。希望通過這樣的工作，構(gòu)建人機協(xié)作、持續(xù)學習、成長演化的智能軟件相關(guān)開發(fā)環(huán)境。”

　　中國擁有豐富的應用場景，可以提供豐富的算力中心資源，特別是在國家的大力支持下，各級各類創(chuàng)新主體的積極參與下，中國孕育出的算力網(wǎng)基礎軟件將走向世界、影響世界。在鵬城云腦的部署下，可以實現(xiàn)數(shù)據(jù)的接入、訓練大模型，通過應用、驗證，數(shù)據(jù)再傳回，形成人機學習、成長演化的良好生態(tài)?！跋Ｍ蠹依^續(xù)推動這項工作，利用豐富的訓練環(huán)境產(chǎn)生更好的訓練效果，通過高效共建生態(tài)，奠定未來中國在整個開源生態(tài)中的主導地位?！蓖鯌衙癖硎荆爸袊拈_源創(chuàng)新正在實現(xiàn)質(zhì)的飛躍，進入蓄勢引領的新階段?！澳壳?，需要具有世界級影響力的開源項目，吸引全球的創(chuàng)新成果和創(chuàng)新資源加入其中，構(gòu)建全球性的開源生態(tài)。期待在中國構(gòu)建的面向全球的開源平臺上，能夠出現(xiàn)具有世界影響力的中國智能時代開源軟件項目?！?/p>

　　本文根據(jù)王懷民院士公開演講整理而成，未經(jīng)本人確認。

更多精彩，請關(guān)注“官方微信”