GenNova 基于 LiveModule 构建,为模型推理提供统一的运行入口。既可以运行内置应用,也可以作为库组合自己的推理应用。
应用接入
通过统一的 Solution 抽象组织推理应用。
运行与部署
围绕模型、运行环境与部署配置启动服务。
组合与扩展
支持内置应用与自定义应用的开发路径。
GENNOVA-HUST / INFERENCE SYSTEMS
以 GenNova 承载模型推理,以 GenNova Autotune 探索持续优化。从模型运行到服务调优,两个项目,各司其职。
模型推理的运行基础
面向变化的持续优化
01 — THE PROJECTS
两个项目,一个推理系统方向独立的项目边界,让模型运行与服务优化可以分别演进。
GenNova 基于 LiveModule 构建,为模型推理提供统一的运行入口。既可以运行内置应用,也可以作为库组合自己的推理应用。
通过统一的 Solution 抽象组织推理应用。
围绕模型、运行环境与部署配置启动服务。
支持内置应用与自定义应用的开发路径。
GenNova Autotune 面向持续运行的推理服务,研究如何在硬件、流量与模型行为变化时持续寻找更合适的运行配置。优化效果通过可比较的评估来判断。
关注负载变化与服务表现的持续反馈。
围绕性能目标比较候选配置与运行效果。
将正确性、稳定性与部署条件纳入优化过程。
02 — BETTER TOGETHER
选择你的关注点选择一个场景,了解两个项目分别承担什么角色。
从 GenNova 开始,了解内置应用与自定义 Solution 的接入方式,再根据目标模型和运行环境配置推理服务。
03 — KEEP EXPLORING
项目与文档项目持续研发中。支持范围、环境要求与当前进展,以各仓库的版本文档为准。
项目说明、应用接入与部署文档
私有仓库 · 需授权访问02 / AUTOTUNE项目说明、集成指南与研发进展
私有仓库 · 需授权访问