DeepEP通信庫(kù)是一款MoE（Mixture of Experts）模型的訓(xùn)練和推理的通信庫(kù)，專為分布式系統(tǒng)設(shè)計(jì)，支持多種通信協(xié)議幫助實(shí)現(xiàn)專家之間的高效通信和數(shù)據(jù)交換，提供低延遲、高吞吐量的數(shù)據(jù)傳輸，適用于實(shí)時(shí)數(shù)據(jù)處理、微服務(wù)架構(gòu)等場(chǎng)景。

DeepEP通信庫(kù)app實(shí)際性能

在H800（NVLink的最大帶寬約為160 GB/s）上測(cè)試常規(guī)內(nèi)核，每臺(tái)設(shè)備都連接到一塊CX7 InfiniBand 400 Gb/s的RDMA網(wǎng)卡（最大帶寬約為50 GB/s），并且遵循DeepSeek-V3/R1預(yù)訓(xùn)練設(shè)置（每批次4096個(gè)Tokens，7168個(gè)隱藏層單元，前4個(gè)組，前8個(gè)專家（模型），使用FP8格式進(jìn)行調(diào)度，使用BF16格式進(jìn)行合并）。

在H800上測(cè)試低延遲內(nèi)核，每臺(tái)H800都連接到一塊CX7 InfiniBand 400 Gb/s的RDMA網(wǎng)卡（最大帶寬約為50 GB/s），遵循DeepSeek-V3/R1的典型生產(chǎn)環(huán)境設(shè)置（每批次128個(gè)Tokens，7168個(gè)隱藏層單元，前8個(gè)專家（模型），采用FP8格式進(jìn)行調(diào)度，采用BF16格式進(jìn)行合并）。

DeepEP通信庫(kù)最新新聞

在上周DeepSeek宣布本周將是開(kāi)源周（OpenSourceWeek），并將連續(xù)開(kāi)源五個(gè)軟件庫(kù)后。DeepSeek今日向公眾開(kāi)源了DeepEP。據(jù)介紹，DeepEP是一個(gè)用于MoE（混合專家）模型訓(xùn)練和推理的EP（Expert Parallelism）通信庫(kù)，可以實(shí)現(xiàn)高效且優(yōu)化的全對(duì)全通信，支持包括FP8在內(nèi)的低精度運(yùn)算，適配現(xiàn)代高性能計(jì)算需求。

同時(shí)，DeepEP針對(duì)NVLink到RDMA的非對(duì)稱帶寬轉(zhuǎn)發(fā)場(chǎng)景進(jìn)行了深度優(yōu)化，不僅提供了高吞吐量，還支持SM（Streaming Multiprocessors）數(shù)量控制，兼顧訓(xùn)練和推理任務(wù)的高吞吐量表現(xiàn)。

目前，在宣布開(kāi)源20分鐘左右，GitHub上DeepEP已獲得超1000Star收藏。

DeepEP通信庫(kù)app簡(jiǎn)介

deepep開(kāi)源驅(qū)動(dòng)fp8技術(shù)分享給大家！在這里是第一個(gè)用于MoE模型訓(xùn)練和推理的開(kāi)源EP通信庫(kù)，高效且優(yōu)化的全對(duì)全通信，通過(guò)NVLink和RDMA支持節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間，用于訓(xùn)練和推理預(yù)填充的高量?jī)?nèi)核，用于推理解碼的低延遲內(nèi)核，原生FP8調(diào)度支持，靈活的GPU資源控制，用于計(jì)算通信重疊。

DeepEP通信庫(kù)優(yōu)勢(shì)

高效、優(yōu)化的 all-to-all 通信

節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間（intranode and internode）均支持 NVLink 和 RDMA

用于訓(xùn)練和推理預(yù)填充的高吞吐量?jī)?nèi)核

用于推理解碼的低延遲內(nèi)核

原生 FP8 調(diào)度支持

靈活的 GPU 資源控制，實(shí)現(xiàn)計(jì)算-通信重疊