KServe

定义

KServe 是 Kubernetes 原生的开源模型推理平台,前身为 Kubeflow 项目中的 KFServing,2021 年独立并更名,现为 CNCF 孵化项目。

原理

KServe 通过 InferenceService 自定义资源(CRD)声明式地描述模型部署,控制器自动创建底层工作负载;借助 Knative 支持按流量自动伸缩乃至缩容到零,借助 Istio/网关处理流量切分,实现金丝雀发布。运行时层可插拔 Triton、TorchServe、vLLM、Hugging Face 等服务器,并定义了标准推理协议(Open Inference Protocol)。

功能

支持预测、前后处理转换器(transformer)、模型解释器组成的推理图,以及 ModelMesh 高密度多模型服务;新版本强化了对生成式 AI 的支持,可直接托管 LLM。

应用

常作为企业在 Kubernetes 上统一管理数百个模型的推理中台,是云原生 MLOps 体系的标准组件之一。