界面新聞?dòng)浾?| 陸柯言

界面新聞編輯 | 文姝琪

幾乎在馬化騰與梁文鋒同框引起關(guān)注的同時(shí)，DeepSeek與騰訊悄悄進(jìn)行了一次技術(shù)合作。用騰訊工程師的話來說，此次合作的成果，相當(dāng)于實(shí)現(xiàn)了AI落地“最后一公里”的突破。

近日，DeepSeek工程師在Github首頁透露了此次合作細(xì)節(jié)。這名工程師表示，騰訊團(tuán)隊(duì)的代碼貢獻(xiàn)，讓DeepEP實(shí)現(xiàn)了““huge speedup”般的性能提升。這一次提升，也直接影響到每一位使用DeepSeek的用戶。

為此，界面新聞獨(dú)家采訪了騰訊混元大模型背后的星脈網(wǎng)絡(luò)團(tuán)隊(duì)，還原了此次合作背后的故事。

此次技術(shù)交流最早要追溯到今年2月。當(dāng)時(shí)，DeepSeek宣布開源五個(gè)核心代碼庫，以全透明的方式公開其如何用1/5的硬件資源實(shí)現(xiàn)傳統(tǒng)萬卡集群效能的核心技術(shù)，使得更多開發(fā)者能夠以低成本復(fù)現(xiàn)高性能AI訓(xùn)練方案，成為中國(guó)大模型開源生態(tài)的一個(gè)里程碑。

其中一個(gè)被開源的代碼庫名為DeepEP。這是一個(gè)專門為MoE模型訓(xùn)練和推理打造的通信庫，旨在解決阻礙MoE架構(gòu)可擴(kuò)展性的關(guān)鍵瓶頸，重點(diǎn)是優(yōu)化通信、減少延遲和提高GPU資源利用率。

MoE架構(gòu)以其對(duì)模型訓(xùn)練及推理成本的極大優(yōu)化能力而著稱，正是為GPT-4、DeepSeek等超大參數(shù)模型而生。24年初，騰訊自研的混元大模型，也在國(guó)內(nèi)率先采用了MoE架構(gòu)。過去MoE架構(gòu)的大模型訓(xùn)練都需要依賴成本高昂的英偉達(dá)NCCL通信庫，而DeepEP的出現(xiàn)則讓它們擺脫了這種依賴。

但DeepEP并不是萬能的，它有“富貴病”：在成本較高的InfiniBand（IB）專用網(wǎng)絡(luò)中如魚得水，卻難以適配更普適的RoCE（基于以太網(wǎng)）。而中國(guó)互聯(lián)網(wǎng)廠商采用的大多都是RoCE網(wǎng)絡(luò)，因此多數(shù)企業(yè)在部署DeepEP時(shí)都發(fā)現(xiàn)了網(wǎng)絡(luò)性能不佳的問題。

網(wǎng)絡(luò)性能不佳帶來的影響是顯著的。騰訊星脈網(wǎng)絡(luò)團(tuán)隊(duì)首席架構(gòu)師夏寅賁博士解釋道，大模型的訓(xùn)練和推理需要大量GPU，背后是極高的成本。網(wǎng)絡(luò)表現(xiàn)不佳會(huì)導(dǎo)致訓(xùn)練或推理過程中通信時(shí)間過長(zhǎng)，相當(dāng)于GPU在等待通信，浪費(fèi)了昂貴的GPU資源，同時(shí)也造成了用戶在屏幕前的長(zhǎng)時(shí)間等待。

每家互聯(lián)網(wǎng)廠商都在部署DeepEP，為什么最先解決問題的是騰訊？夏寅賁博士認(rèn)為，一個(gè)重要的前提是，得益于QQ、微信、游戲、騰訊云等高并發(fā)業(yè)務(wù)的需求，騰訊在過去十幾年間實(shí)現(xiàn)了網(wǎng)絡(luò)通信軟硬件的全面自研，也積累了豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。

2022年，騰訊發(fā)現(xiàn)針對(duì)AI場(chǎng)景的網(wǎng)絡(luò)需求與傳統(tǒng)的數(shù)據(jù)中心業(yè)務(wù)存在極大差異，因此開始設(shè)計(jì)針對(duì)AI大模型的專用網(wǎng)絡(luò)，即星脈網(wǎng)絡(luò)，旨在為騰訊混元大模型搭建高性能網(wǎng)絡(luò)底座。

騰訊開始著手解決DeepEP在RoCE網(wǎng)絡(luò)性能不佳的問題?；?/span>新一代自研TRMT（Tencent Remote Memory Transport）通信庫，騰訊星脈網(wǎng)絡(luò)團(tuán)隊(duì)結(jié)合在RoCEv2網(wǎng)絡(luò)協(xié)議棧與雙端口網(wǎng)卡架構(gòu)的研究經(jīng)驗(yàn)，對(duì)DeepEP進(jìn)行了優(yōu)化和增強(qiáng)：

一方面，利用流量預(yù)規(guī)劃技術(shù)來最大化雙端口網(wǎng)卡的帶寬利用率，另一方面，使GPU繞過CPU的控制，由GPU直控RDMA（遠(yuǎn)程直接內(nèi)存訪問）通信來消除控制面開銷，將通信時(shí)延降低至硬件極限。最終，實(shí)現(xiàn)了DeepEP在RoCEv2網(wǎng)絡(luò)性能提升100%、IB網(wǎng)絡(luò)性能提升30%。

“在訓(xùn)練場(chǎng)景中，性能提升10%意味著成本可以下降10%，而在推理任務(wù)當(dāng)中，除了成本下降，用戶等待的時(shí)間也可以減少10%。也就是說，過去問DeepSeek一個(gè)問題，過去要十秒鐘才能得到答案，現(xiàn)在平均可以下降到九秒。當(dāng)然，我們還會(huì)繼續(xù)努力縮短這個(gè)時(shí)間?！?/span>騰訊星脈網(wǎng)絡(luò)團(tuán)隊(duì)通信庫架構(gòu)師黃曉潔表示。

AI網(wǎng)絡(luò)按照傳輸協(xié)議的不同可分為兩類：IB網(wǎng)絡(luò)和RoCE網(wǎng)絡(luò)。其中IB網(wǎng)絡(luò)專為高性能計(jì)算和AI訓(xùn)練而生，以低延遲著稱。但由于英偉達(dá)幾乎壟斷了IB網(wǎng)絡(luò)的核心硬件，生態(tài)封閉且成本較高?？紤]到供應(yīng)“卡脖子”風(fēng)險(xiǎn)，騰訊星脈網(wǎng)絡(luò)一開始就選擇了基于以太網(wǎng)的RoCE網(wǎng)絡(luò)部署，并自研了適應(yīng)新型AI業(yè)務(wù)需求的通信庫TCCL，并進(jìn)一步演進(jìn)到新一代TRMT通信庫。

騰訊星脈網(wǎng)絡(luò)團(tuán)隊(duì)通信庫架構(gòu)師陳明卓提到，騰訊與DeepSeek團(tuán)隊(duì)一直存在緊密的技術(shù)溝通，其中也包括對(duì)未來技術(shù)的演進(jìn)?？偟膩碚f，AI網(wǎng)絡(luò)最核心的訴求是無限降低通信占比，也就是降低GPU等待通信的時(shí)間。

過去處理通信問題的一直是CPU，但效率太慢。騰訊的核心解決思路是，把多個(gè)GPU組合成一個(gè)超級(jí)GPU，使得它們彼此之間互相訪問數(shù)據(jù)的能力變得更強(qiáng)，逐漸替代CPU參與的場(chǎng)景。這也是國(guó)產(chǎn)GPU算力相對(duì)較低的背景下，提升AI網(wǎng)絡(luò)性能的一種主流解決方案。

目前，上述技術(shù)成果都已經(jīng)全面開源至DeepEP社區(qū)，并應(yīng)用于騰訊混元大模型等項(xiàng)目的訓(xùn)練推理，這一成果也得到了來自國(guó)內(nèi)其他頭部互聯(lián)網(wǎng)廠商的交流和建議。

騰訊是DeepSeek開源的受益者。馬化騰曾在一季度的騰訊業(yè)績(jī)會(huì)上提及DeepSeek對(duì)騰訊的影響：“我們特別敬佩市場(chǎng)上出現(xiàn)了一家真正開源、且非常自由的一款產(chǎn)品，而且中國(guó)工程師在成本和效率方面的優(yōu)勢(shì)也非常明顯。騰訊經(jīng)過了慎重思考，不僅是云業(yè)務(wù)接入了DeepSeek，元寶也選擇了積極擁抱?！?/span>

同時(shí)，騰訊也是全球開源社區(qū)的主要貢獻(xiàn)者之一。事實(shí)上，無論是普世價(jià)值上的技術(shù)民主化，還是增強(qiáng)產(chǎn)業(yè)信任度，對(duì)任何一家AI技術(shù)革命的參與者來說，開源都是極為重要的一環(huán)，也是聚合開發(fā)者生態(tài)的戰(zhàn)略選擇。