BentoML

定义

BentoML 是一个 Python 优先的开源模型服务与部署框架,让数据科学家用少量代码把任意机器学习模型封装成生产级 API 服务。

原理

开发者用装饰器把推理逻辑声明为 Service,BentoML 将代码、模型权重、Python 依赖与环境配置打包成称为「Bento」的标准化制品,可一键构建 Docker 镜像;运行时提供自适应批处理(adaptive batching)、多模型组合、异步推理与指标暴露等能力。

生态

框架无关,支持 PyTorch、Transformers、ONNX、XGBoost 等;团队同时维护 OpenLLM 项目用于以 OpenAI 兼容接口自托管开源大模型,并提供商业云平台 BentoCloud 托管 Serverless 推理。

优缺点

优点是开发体验友好、从原型到容器化路径顺畅;缺点是超高性能 LLM 场景下核心推理仍需依赖 vLLM 等引擎,自身定位偏服务编排层。