算力是數(shù)字經(jīng)濟(jì)時(shí)代的新型生產(chǎn)力。算力網(wǎng)是支撐數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的關(guān)鍵基礎(chǔ)設(shè)施，可通過(guò)網(wǎng)絡(luò)連接多源異構(gòu)、海量泛在算力，實(shí)現(xiàn)資源高效調(diào)度、設(shè)施綠色低碳、算力靈活供給、服務(wù)智能隨需。中國(guó)科學(xué)院院士王懷民在第三屆中國(guó)國(guó)際軟件發(fā)展大會(huì)上從算力中心內(nèi)看縱向貫通、從算力中心間看橫向聯(lián)接、從生態(tài)網(wǎng)演化看開(kāi)源創(chuàng)新三個(gè)維度分享了如何加快構(gòu)建全國(guó)一體化算力網(wǎng)，形成跨地域、跨部門協(xié)同發(fā)展合力，統(tǒng)籌數(shù)算、超算、智算協(xié)同計(jì)算，算力、數(shù)據(jù)、算法協(xié)同應(yīng)用，以算力高質(zhì)量發(fā)展賦能經(jīng)濟(jì)高質(zhì)量發(fā)展。

　　近年來(lái)，中國(guó)的算力、基礎(chǔ)設(shè)施、各類算力中心蓬勃發(fā)展。過(guò)去20年，通過(guò)“東數(shù)西算”，中國(guó)已經(jīng)建立了10個(gè)國(guó)家數(shù)據(jù)中心集群，為中國(guó)互聯(lián)網(wǎng)產(chǎn)業(yè)飛速發(fā)展提供重要的基礎(chǔ)設(shè)施。也是在過(guò)去20年，中國(guó)的超算中心迅速發(fā)展，14個(gè)國(guó)家超級(jí)計(jì)算中心已經(jīng)建立。數(shù)據(jù)中心和超算中心相互融合，“東數(shù)西算”十大數(shù)據(jù)中心和八大樞紐的建設(shè)正在推進(jìn)。為支持人工智能、大模型技術(shù)的發(fā)展，9個(gè)國(guó)家新一代人工智能公共算力開(kāi)放創(chuàng)新平臺(tái)已經(jīng)建立，至少有16個(gè)國(guó)家級(jí)智算中心正在籌備建設(shè)。

　　在這一過(guò)程中，不僅超算中心在云化，智算中心也在云化，如何將這些資源有效整合？數(shù)據(jù)中心為智算中心提供資源，超算和計(jì)算相結(jié)合，可以為面向科學(xué)工程的計(jì)算和面向科學(xué)工程的人工智能提供支持，形成相互交叉的新興應(yīng)用形態(tài)，這一過(guò)程存在巨大的創(chuàng)新空間。

　　為滿足未來(lái)的算力需求，助力數(shù)字經(jīng)濟(jì)發(fā)展，工業(yè)和信息化部等六部門印發(fā)《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動(dòng)計(jì)劃》（簡(jiǎn)稱《行動(dòng)計(jì)劃》）的通知，其中特別提到“推進(jìn)以云服務(wù)方式整合算力資源，充分發(fā)揮云計(jì)算資源彈性調(diào)度優(yōu)勢(shì)”，提出“算網(wǎng)融合發(fā)展行動(dòng)”一是探索建設(shè)多層級(jí)算力調(diào)度平臺(tái)，逐步實(shí)現(xiàn)多元異構(gòu)算力跨域調(diào)度編排；二是構(gòu)建算力互聯(lián)互通體系，統(tǒng)一算力資源標(biāo)識(shí)和身份認(rèn)證。依托部省算力互聯(lián)互通平臺(tái)開(kāi)展試點(diǎn)驗(yàn)證。

　　從算力中心內(nèi)看縱向貫通

　　王懷民表示，我們希望算力網(wǎng)絡(luò)的核心，基礎(chǔ)軟件以及生態(tài)以“縱橫交錯(cuò)”的形式有效推進(jìn)。所謂“縱”是在算力中心內(nèi)部形成縱向、多級(jí)的軟件棧，實(shí)現(xiàn)有效的對(duì)各應(yīng)用的支撐；“橫”是指以云的方式形成算力中心資源的有效鏈接，通過(guò)“生態(tài)演化”，促進(jìn)開(kāi)源創(chuàng)新模式的有效發(fā)展。

　　在縱向方面，以人工智能為例，縱向用大算力支持大模型，促進(jìn)大數(shù)據(jù)的人工智能發(fā)展。王懷民以鵬城云腦為例，“鵬城云腦II” 包括4096顆昇騰910 AI處理器和2048顆鯤鵬920 CPU處理器，可以提供1E OPS智能算力，即不低于每秒100億億次操作的AI計(jì)算能力。這個(gè)體系在硬件平臺(tái)上又構(gòu)建了完全可以自主發(fā)展的人工智能計(jì)算架構(gòu)，高性能的人工智能框架運(yùn)轉(zhuǎn)的軟件棧，深度學(xué)習(xí)的框架以及大模型的框架?！霸诖嘶A(chǔ)上構(gòu)建一站式的開(kāi)發(fā)環(huán)境，支持創(chuàng)建相應(yīng)的服務(wù)項(xiàng)目，進(jìn)行有效訓(xùn)練，支持學(xué)術(shù)界的研究工作；支持構(gòu)建智算中心垂直體系的軟件全棧，支持這方面領(lǐng)域的研究，包括若干其它國(guó)產(chǎn)硬件平臺(tái)，以及英偉達(dá)在內(nèi)國(guó)際上其它平臺(tái)有效運(yùn)作的垂直體系結(jié)構(gòu)?！?/p>

　　AI大模型通常有數(shù)億到數(shù)千億的參數(shù)，這些參數(shù)用于存儲(chǔ)和學(xué)習(xí)模型的知識(shí)。B是Biion（十億）的意思，如7B模型就是70億參數(shù)量的大模型。根據(jù)參數(shù)的不同，訓(xùn)練大模型可以分為7B、33B、200B模型。7B用來(lái)進(jìn)行策略的有效選擇，33B用來(lái)豐富語(yǔ)義的內(nèi)容生成，200B對(duì)標(biāo)國(guó)際先進(jìn)模型的研究平臺(tái)，推進(jìn)各項(xiàng)工作。王懷民表示，鵬城云腦是以華為芯片和相關(guān)軟件棧為基礎(chǔ)的體系架構(gòu)。在這個(gè)體系架構(gòu)已經(jīng)形成若干模型訓(xùn)練，包括7B、33B和200B，同時(shí)實(shí)現(xiàn)機(jī)內(nèi)并行、機(jī)間并行以及模型數(shù)據(jù)和流水線的各類并行模式，支持大模型的訓(xùn)練和研究實(shí)驗(yàn)。很多研究機(jī)構(gòu)對(duì)于大模型的可能性提出很多假設(shè)，但是假設(shè)的驗(yàn)證需要算力支持，在應(yīng)用領(lǐng)域也是如此。

　　從算力中心間看橫向聯(lián)接

　　算力中心的橫向銜接，可以通過(guò)云計(jì)算的模式實(shí)現(xiàn)。云計(jì)算長(zhǎng)期面對(duì)三個(gè)方面挑戰(zhàn)：一是從云服務(wù)提供者角度看，效費(fèi)比問(wèn)題更加突出了；二是從云服務(wù)消費(fèi)者角度看，平臺(tái)鎖定問(wèn)題更加尖銳了；三是從云生態(tài)的角度看，服務(wù)模式問(wèn)題更加現(xiàn)實(shí)了。如何解決費(fèi)效比和平臺(tái)鎖定問(wèn)題？王懷民表示：“希望建立多數(shù)據(jù)中心、多云服務(wù)商之間的有效協(xié)同模式。2017年在國(guó)家重點(diǎn)研發(fā)的支持下，我們提出云際計(jì)算的概念，以云服務(wù)商之間的開(kāi)放協(xié)作為基礎(chǔ)，通過(guò)多方云資源，包括數(shù)據(jù)資源和模型資源的深度融合，方便開(kāi)發(fā)者通過(guò)軟件定義的方式實(shí)現(xiàn)各類跨算力中心之間的協(xié)同，實(shí)現(xiàn)服務(wù)無(wú)邊界、云間有協(xié)作的云際計(jì)算模式，這也是上文提到的《行動(dòng)計(jì)劃》所要求的形態(tài)。

　　據(jù)王懷民介紹，鵬城·腦海大模型7B版本已于北京、天津、沈陽(yáng)、大連、長(zhǎng)春、西安、武漢、成都8地人工智能計(jì)算中心成功測(cè)試及部署，優(yōu)化版本模型持續(xù)更新。鵬城·腦海大模型200B版本于武漢人工智能計(jì)算中心完成部署，同步進(jìn)行性能優(yōu)化測(cè)試。

　　鵬城實(shí)驗(yàn)室依托CCF開(kāi)源發(fā)展委員會(huì)與8地計(jì)算中心基于大模型開(kāi)源創(chuàng)新研究聯(lián)合體持續(xù)開(kāi)展優(yōu)化研究與應(yīng)用開(kāi)發(fā)探索。這種協(xié)同體系如何形成有效的網(wǎng)絡(luò)化生態(tài)，實(shí)現(xiàn)開(kāi)源創(chuàng)新發(fā)展？王懷民表示，這需要產(chǎn)業(yè)界共同構(gòu)建。在垂直方向，超算中心、數(shù)據(jù)中心、智算中心構(gòu)建軟件棧，橫向用云際計(jì)算連接基礎(chǔ)設(shè)施，將計(jì)算能力提供給全世界的開(kāi)源社區(qū)，讓更多的參與開(kāi)源的開(kāi)發(fā)者能夠有效使用軟件棧，觸達(dá)計(jì)算資源，高效進(jìn)行有關(guān)試驗(yàn)的研究，進(jìn)行產(chǎn)業(yè)創(chuàng)新生態(tài)應(yīng)用場(chǎng)景的設(shè)計(jì)。

　　中國(guó)的開(kāi)源創(chuàng)新正在實(shí)現(xiàn)質(zhì)的飛躍

　　“開(kāi)源創(chuàng)新”正成為探索智能世界的關(guān)鍵之舉，是邁向萬(wàn)物智聯(lián)世界的必由之路。在這一過(guò)程中，中國(guó)已經(jīng)開(kāi)展了一系列實(shí)踐。王懷民舉例，比如已經(jīng)開(kāi)源共享異構(gòu)資源的仿真環(huán)境，支持研發(fā)者邊研發(fā)邊論證，邊開(kāi)展應(yīng)用研究，全國(guó)100多所大學(xué)的開(kāi)發(fā)者，在開(kāi)源生態(tài)上托管和人工智能、大模型研究相關(guān)約2.1萬(wàn)的倉(cāng)庫(kù)和相關(guān)開(kāi)發(fā)任務(wù)。“我們用云際化的手段，可以支持不同的社區(qū)采用統(tǒng)一的代碼倉(cāng)存儲(chǔ)模式，在不同的數(shù)據(jù)中心實(shí)現(xiàn)有效的數(shù)據(jù)共享。幫助不同的社區(qū)在不同領(lǐng)域構(gòu)建項(xiàng)目，在不同的云數(shù)據(jù)中心管理代碼倉(cāng)，同時(shí)能夠做出統(tǒng)一的項(xiàng)目管理視圖，有效實(shí)現(xiàn)數(shù)據(jù)資源的安全訪問(wèn)和管理，這是正在推進(jìn)的社區(qū)工作。希望通過(guò)這樣的工作，構(gòu)建人機(jī)協(xié)作、持續(xù)學(xué)習(xí)、成長(zhǎng)演化的智能軟件相關(guān)開(kāi)發(fā)環(huán)境?！?/p>

　　中國(guó)擁有豐富的應(yīng)用場(chǎng)景，可以提供豐富的算力中心資源，特別是在國(guó)家的大力支持下，各級(jí)各類創(chuàng)新主體的積極參與下，中國(guó)孕育出的算力網(wǎng)基礎(chǔ)軟件將走向世界、影響世界。在鵬城云腦的部署下，可以實(shí)現(xiàn)數(shù)據(jù)的接入、訓(xùn)練大模型，通過(guò)應(yīng)用、驗(yàn)證，數(shù)據(jù)再傳回，形成人機(jī)學(xué)習(xí)、成長(zhǎng)演化的良好生態(tài)?！跋Ｍ蠹依^續(xù)推動(dòng)這項(xiàng)工作，利用豐富的訓(xùn)練環(huán)境產(chǎn)生更好的訓(xùn)練效果，通過(guò)高效共建生態(tài)，奠定未來(lái)中國(guó)在整個(gè)開(kāi)源生態(tài)中的主導(dǎo)地位?！蓖鯌衙癖硎荆爸袊?guó)的開(kāi)源創(chuàng)新正在實(shí)現(xiàn)質(zhì)的飛躍，進(jìn)入蓄勢(shì)引領(lǐng)的新階段?！澳壳埃枰哂惺澜缂?jí)影響力的開(kāi)源項(xiàng)目，吸引全球的創(chuàng)新成果和創(chuàng)新資源加入其中，構(gòu)建全球性的開(kāi)源生態(tài)。期待在中國(guó)構(gòu)建的面向全球的開(kāi)源平臺(tái)上，能夠出現(xiàn)具有世界影響力的中國(guó)智能時(shí)代開(kāi)源軟件項(xiàng)目?！?/p>

　　本文根據(jù)王懷民院士公開(kāi)演講整理而成，未經(jīng)本人確認(rèn)。

更多精彩，請(qǐng)關(guān)注“官方微信”