TERMINAL-BENCH
配对测试准备中
目前没有完成的 GenNova / vLLM 配对结果。正在准备任务执行与评分环境,通过后将同时公布解决率、耗时、测试条件与失败记录。
PERFORMANCE / RESEARCH SNAPSHOT
从模型推理、配置搜索到真实 Agent 任务。在同一测试条件下比较,保留每一组重复结果。
正在读取测试数据…
COMPLETE ENGINE / FIXED OUTPUT
2 个模型 · 5 类输入 · 30 对独立进程测试
每条请求固定输出 256 token。条形长度为 3 次测试的吞吐中位数;倍率为逐对比值的中位数。
| 输入 | 重复 | GenNova | vLLM | 倍率 |
|---|
CONFIGURATION SEARCH / REPEATED RUNS
Qwen3.5-35B-A3B
7 个策略各重复 3 次,目标收益为 2%。这是搜索内选中配置的结果;任务准确率另行评估。
| 策略 | 收益 | 达到目标 | 搜索 / 分钟 | 含准备 / 分钟 ≥ |
|---|
REAL AGENT TASKS / QUALITY & TIME
Qwen3.5-35B-A3B
8 道 NodeBB 任务,各做 3 轮配对测试,共 48 次 Agent 尝试。GenNova 与 vLLM 0.23.0 + vLLM-Ascend 0.23.0 比较。
| 轮次 | 引擎 | 官方解决 | 名称勘误补充评分 | 已提交 | 预算耗尽 | 观察耗时 / 秒 |
|---|
每题限 100 步、1200 秒;每次模型输出上限 4096 token。耗时包含模型、工具与传输等待,排除模型初始化、任务容器准备及独立评分。预算耗尽的耗时不是完成任务所需时间。
官方评分保持原样;补充评分仅应用事先核对的四项测试名称勘误,单独展示。六项自动告警已逐项复核为生成补丁失败,原始标记保留。不同解决率下不计算等质量加速比。
1 道独立任务、3 轮配对;与上面的 8 任务批次分开统计。
| 轮次 | 引擎 | 官方解决 | 观察耗时 / 秒 | 状态与标记 |
|---|
TERMINAL-BENCH
目前没有完成的 GenNova / vLLM 配对结果。正在准备任务执行与评分环境,通过后将同时公布解决率、耗时、测试条件与失败记录。
READ THE CONDITIONS
两张 Ascend 910B2,每卡 64 GiB,BF16、TP2。GenNova 整机测试固定于研究版本;基线为 vLLM 0.23.0 + vLLM-Ascend 0.23.0。
同一设备对上交替运行引擎,3 对独立进程;每类输入预热两次。吞吐计时包含提交与输出接收,不包含初始化和预热,也不是 HTTP 客户端吞吐。
固定输出长度不代表相同任务质量。整机收益包含各自算子与调度配置,不能全部归因于单一机制。Autotune 搜索结果不等于独立留出集复验;当前结果不承诺最新主分支性能。
仓库需授权访问;公开汇总可直接下载。历史输入载荷未包含在紧凑归档中。