GENNOVA-HUST / INFERENCE SYSTEMS

让推理运行,
让优化持续。

以 GenNova 承载模型推理,以 GenNova Autotune 探索持续优化。从模型运行到服务调优,两个项目,各司其职。

图原生推理可组合应用持续调优
TWO PROJECTS. ONE DIRECTION.
01 / RUNTIME
GenNova

模型推理的运行基础

运行 · 观察 · 优化
02 / AUTOTUNE

GenNova Autotune

面向变化的持续优化

项目关系示意GN / 001
同一方向,清晰分工

把“如何运行”和“如何持续优化”分别做好。

↓

01 — THE PROJECTS

两个项目,一个推理系统方向

从执行出发,向优化延伸。

独立的项目边界,让模型运行与服务优化可以分别演进。

01 / EXECUTION

GenNova

图原生推理运行时

进入项目仓库 ↗私有仓库 · 需授权访问

GenNova 基于 LiveModule 构建,为模型推理提供统一的运行入口。既可以运行内置应用,也可以作为库组合自己的推理应用。

应用接入

通过统一的 Solution 抽象组织推理应用。

运行与部署

围绕模型、运行环境与部署配置启动服务。

组合与扩展

支持内置应用与自定义应用的开发路径。

02 / OPTIMIZATION

GenNova
Autotune

持续优化控制平面

进入项目仓库 ↗私有仓库 · 需授权访问

GenNova Autotune 面向持续运行的推理服务,研究如何在硬件、流量与模型行为变化时持续寻找更合适的运行配置。优化效果通过可比较的评估来判断。

感知运行变化

关注负载变化与服务表现的持续反馈。

评估调优方案

围绕性能目标比较候选配置与运行效果。

支持持续演进

将正确性、稳定性与部署条件纳入优化过程。

02 — BETTER TOGETHER

选择你的关注点

运行是起点。
优化是持续的过程。

选择一个场景,了解两个项目分别承担什么角色。

FOCUS / EXECUTION

先把模型应用运行起来。

从 GenNova 开始,了解内置应用与自定义 Solution 的接入方式,再根据目标模型和运行环境配置推理服务。

RUNTIMEGenNova当前关注
CONTROL PLANEGenNova Autotune后续扩展
了解 GenNova

03 — KEEP EXPLORING

项目与文档

从这里,深入了解。

项目持续研发中。支持范围、环境要求与当前进展,以各仓库的版本文档为准。

访问 GenNova-HUST 组织