隨著AI時(shí)代的到來(lái)，云數(shù)據(jù)中心如何實(shí)現(xiàn)節(jié)能提效正成為熱門話題。其中，SR-IOV技術(shù)憑借靈活度高以及可節(jié)約虛擬化業(yè)務(wù)算力等優(yōu)勢(shì)，是打造綠色低碳云數(shù)據(jù)中心的重要解決方案之一。

一、什么是SR-IOV 技術(shù)

SR-IOV 是由國(guó)際組織 PCI-SIG 組織定義的 PCIe 規(guī)范的擴(kuò)展規(guī)范，旨在消除VMM 對(duì)虛擬化 I/O 操作的干預(yù)，提高數(shù)據(jù)傳輸性能，為 VM（虛擬機(jī)）提供獨(dú)立的內(nèi)存空間、終端、DMA 數(shù)據(jù)流。具備 SR-IOV 功能的 I/O 設(shè)備基于 PCIe 規(guī)范可管理、創(chuàng)建多個(gè) VF（virtual function）。PCIe PF（physical function）是 PCIe 總線上的主要實(shí)體，一個(gè) PCIe 設(shè)備具有一個(gè)或多個(gè) PF，PF 設(shè)置 VF 數(shù)量，全局啟動(dòng)或停止 VF，VF 可以不通過(guò) VMM 的干預(yù)完成數(shù)據(jù)的訪問(wèn)和轉(zhuǎn)移。

圖1：傳統(tǒng)虛擬機(jī)與SR-IOV虛擬機(jī)對(duì)比

SR-IOV 功能下，原本是 VMM 承擔(dān)的中斷交由虛擬機(jī)直接處理，提升了設(shè)備 I/O 性能，同時(shí)虛擬機(jī)可以直接與 PCIe 設(shè)備進(jìn)行交互，大大減輕了物理主機(jī) CPU 的負(fù)擔(dān)，使其可承擔(dān)更多的虛擬機(jī)設(shè)備。另外，通過(guò) SR-IOV 功能，可以減少 PCIe 設(shè)備的需求量，節(jié)省 PCIe 插槽，使得硬件資源可以更加充分使用。

基于以上優(yōu)勢(shì)，多家 SSD 廠商開始布局 SR-IOV，目前憶聯(lián)已領(lǐng) 先在企業(yè)級(jí) UH8 系以及數(shù)據(jù)中心級(jí) UH7 系產(chǎn)品上成功實(shí)現(xiàn) SR-IOV 功能應(yīng)用，并在多個(gè)云數(shù)據(jù)中心投入使用。

二、憶聯(lián) SR-IOV 方案驗(yàn)證

1 驗(yàn)證環(huán)境

1.1 本次驗(yàn)證硬件配置

·CPU：2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads

·內(nèi)存：16*32GB 3200MT/S DDR4

·系統(tǒng)盤：1*960G 12Gbps

·SSD：1*UH8 系 3.84T

·HBA 卡：1*MegaRAID 9440-8i

·NIC：2* SC332

1.2 本次驗(yàn)證軟件配置

·操作系統(tǒng)：CentOS Linux release 8.3.2011

·內(nèi)核：Linux 4.18.0-240.el8.x86_64

·測(cè)試工具：2.6 及以上版本

·QEMU-KVM：2.12

·NVMe 開源驅(qū)動(dòng)：1.11.1

·umtool 工具：1.0.1.5

2 驗(yàn)證方法

本次驗(yàn)證，在虛擬化分區(qū)方式的場(chǎng)景下，通過(guò) SR-IOV 技術(shù)將一片 PCIe 4.0 3.84TB SSD(綁定 16 個(gè) CPU 核)配置為 2 個(gè)容量為 1.92TB VF(綁定 8 個(gè) CPU)，4 個(gè) 960G VF（綁定 4 個(gè)核），8 個(gè) 480G VF（綁定 2 個(gè)核），如下示意圖。

圖2：虛擬化分區(qū)方式場(chǎng)景

測(cè)試 IO 基本模型如下：

·讀寫帶寬（bs=128k,job=1,iodepth=128,read/write）

·讀 IOPS（bs=4k,job=16,iodepth=128,randread）

·寫 IOPS（bs=4k,job=8,iodepth=64,randwrite）

通過(guò)對(duì)盤進(jìn)行劃分為 2/4/8 個(gè) VF 的場(chǎng)景下，在常規(guī) IO 測(cè)試模型下進(jìn)行 SR-IOV 方案驗(yàn)證。

3 驗(yàn)證結(jié)果

3.1 SSD 性能充分使用，有效提高利用率

本次在 SR-IOV 功能下的不同 VF 場(chǎng)景下總性能與整盤的性能對(duì)比圖如下（以下數(shù)據(jù)為此次驗(yàn)證數(shù)據(jù)，僅供參考）。

*注：總帶寬/總 IOPS=平均性能×VF 數(shù)量

圖3：使用 SR-IOV 前后盤片性能對(duì)比圖

從圖 3 可以看到，在此次 SR-IOV 方案驗(yàn)證下，PF 性能、VF 性能總和與原盤的性能相比波動(dòng)較低，基本在 5%以內(nèi)，實(shí)現(xiàn)了對(duì)憶聯(lián) UH 系列 SSD 性能充分使用。在云場(chǎng)景下，可以減少用戶所需PCIe設(shè)備數(shù)量，有效提升租戶利用率，實(shí)現(xiàn)云虛擬化業(yè)務(wù)降本增效。

3.2 各場(chǎng)景下 VF 性能穩(wěn)定，擴(kuò)展性、靈活性高

為驗(yàn)證 VF 性能穩(wěn)定，在劃分 2/4/8 個(gè) VF 的場(chǎng)景下，分別進(jìn)行了測(cè)試，結(jié)果如下圖。

注：偏差值=（VF 均值-VF 性能）/VF 均值*100%

圖4：SR-IOV 功能下各 VF 與均值偏差圖

數(shù)據(jù)顯示，各 VF 測(cè)試值與 VF 均值基本偏差小于 1%，VF間性能分配較為穩(wěn)定，擴(kuò)展性較高，可靈活根據(jù)用戶需求進(jìn)行 VF 數(shù)量設(shè)置及管理。

3.3 SR-IOV with QoS 性能隔離明顯

將 SSD 拆分成多個(gè)虛擬盤后，為了避免出現(xiàn)多個(gè)虛擬機(jī)同時(shí)運(yùn)行以及同個(gè)虛擬機(jī)同時(shí)對(duì)盤上下業(yè)務(wù)從而出現(xiàn)性能上互相干擾的情況，憶聯(lián)針對(duì) SR-IOV 特性做了針對(duì)性能隔離的設(shè)計(jì)——SR-IOV with QoS，可通過(guò) SSD 芯片對(duì)各 VF 進(jìn)行流控，做到性能均衡，保障虛擬SSD盤的大帶寬、低時(shí)延等特性，滿足云數(shù)據(jù)中心對(duì)于高性能數(shù)據(jù)存儲(chǔ)的需求。

圖5：具體業(yè)務(wù)場(chǎng)景下 VF 的性能表現(xiàn)

三、憶聯(lián) SR-IOV技術(shù)的演進(jìn)方向

1、SR-IOV 的性能隔離功能進(jìn)一步優(yōu)化

當(dāng)前憶聯(lián) SR-IOV 使用 NS 對(duì) VF 進(jìn)行邏輯上的數(shù)據(jù)隔離，但因?yàn)樗?VF 都使用公共的Nand Flash 空間，各 VF 間不可避免會(huì)存在性能影響，雖然在 QoS 功能的調(diào)度下控制到了一定范圍內(nèi)，但在部分更為復(fù)雜業(yè)務(wù)場(chǎng)景下仍不可避免。為解決這個(gè)問(wèn)題，憶聯(lián)將繼續(xù)深耕 SR-IOV 在 SSD 上的應(yīng)用，進(jìn)一步優(yōu)化性能隔離算法，實(shí)現(xiàn)更好的隔離效果。

2、SR-IOV 的數(shù)據(jù)安全

虛擬機(jī)數(shù)據(jù)安全至關(guān)重要，當(dāng)前代次虛擬機(jī)數(shù)據(jù)可以通過(guò) trim 的方式進(jìn)行清除，但對(duì)于金融、政 府等對(duì)數(shù)據(jù)安全要求高的客戶仍存在不足，如當(dāng) SSD 離開數(shù)據(jù)中心機(jī)柜便存在數(shù)據(jù)被盜取的可能。憶聯(lián)針對(duì)虛擬機(jī)數(shù)據(jù)安全的研究方向已初具成果，后續(xù)可以做到在虛擬機(jī)釋放時(shí)，對(duì)應(yīng)到 SSD 上的物理數(shù)據(jù)同時(shí)徹底銷毀，為維護(hù)數(shù)據(jù)安全提供保障。

3、SR-IOV 的智能化

憶聯(lián)當(dāng)前代次的 SR-IOV 具備各 VF 性能統(tǒng)計(jì)能力，新一代 SSD 中支持虛擬機(jī)性能智能分析，根據(jù)性能狀態(tài)進(jìn)行性能配置反饋，支持對(duì)虛擬機(jī)狀態(tài)進(jìn)行智能診斷并遠(yuǎn)程修復(fù)等功能。

綜上所述，憶聯(lián) UH8 系列及 UH7 系列 SSD 的 SR-IOV 技術(shù)是可真正做到降本增效、綠色低碳可持續(xù)的存儲(chǔ)方案。能有效提高盤片利用率，減少存儲(chǔ)空間的浪費(fèi)，實(shí)現(xiàn)節(jié)能減排的同時(shí)，憶聯(lián) SR-IOV 方案表現(xiàn)出效果顯著的隔離度，更能滿足用戶在云化環(huán)境下對(duì)AI、分布式數(shù)據(jù)庫(kù)、高性能企業(yè)應(yīng)用等需求。

多年來(lái)，憶聯(lián)持續(xù)加大SSD產(chǎn)品的研發(fā)創(chuàng)新投入力度，結(jié)合自身在閃存領(lǐng)域的多重優(yōu)勢(shì)，通過(guò)硬件技術(shù)與用戶應(yīng)用場(chǎng)景結(jié)合，不斷迭代更為先進(jìn)的SSD產(chǎn)品助力企業(yè)業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行 。憶聯(lián) SR-IOV 方案是對(duì)公司研發(fā)創(chuàng)新能力好的驗(yàn)證，未來(lái)憶聯(lián)將進(jìn)一步夯實(shí)產(chǎn)品創(chuàng)新能力，為數(shù)字經(jīng)濟(jì)高質(zhì)量、可持續(xù)發(fā)展添磚加瓦。