PERFORMANCE / RESEARCH SNAPSHOT

让结果,有据可查。

从模型推理、配置搜索到真实 Agent 任务。在同一测试条件下比较,保留每一组重复结果。

—2 × Ascend 910B2BF16 / TP2下载数据 ↗

正在读取测试数据…

COMPLETE ENGINE / FIXED OUTPUT

整机吞吐,一组一组比较。

2 个模型 · 5 类输入 · 30 对独立进程测试

GenNovavLLM + Ascend

每条请求固定输出 256 token。条形长度为 3 次测试的吞吐中位数;倍率为逐对比值的中位数。

查看逐次结果与观测范围
吞吐单位 tokens/s;范围为最小—最大观测值。
输入重复GenNovavLLM倍率

READ THE CONDITIONS

数字的适用范围。

01 / ENVIRONMENT

固定环境与版本

两张 Ascend 910B2,每卡 64 GiB,BF16、TP2。GenNova 整机测试固定于研究版本;基线为 vLLM 0.23.0 + vLLM-Ascend 0.23.0。

02 / MEASUREMENT

独立重复,明确计时

同一设备对上交替运行引擎,3 对独立进程;每类输入预热两次。吞吐计时包含提交与输出接收,不包含初始化和预热,也不是 HTTP 客户端吞吐。

03 / INTERPRETATION

按测试条件解释

固定输出长度不代表相同任务质量。整机收益包含各自算子与调度配置,不能全部归因于单一机制。Autotune 搜索结果不等于独立留出集复验;当前结果不承诺最新主分支性能。

仓库需授权访问;公开汇总可直接下载。历史输入载荷未包含在紧凑归档中。