LiteLLM

定义

LiteLLM 是一个开源 Python 库与代理服务(LLM Gateway),把 OpenAI、Anthropic、Azure、Bedrock、Vertex AI、Ollama 等上百个模型提供方的 API 统一成 OpenAI 格式调用。

原理

SDK 形态下,开发者调用统一的 completion 接口,由 LiteLLM 负责各家协议转换、重试与回退(fallback);Proxy 形态则作为团队级网关部署,提供虚拟 API Key 管理、预算与限流、成本追踪、缓存,以及对接 Langfuse、Prometheus 等观测工具。

应用

企业常用它做多模型接入层:业务代码只写一次,即可在商业模型与自托管开源模型(vLLM、Ollama 后端)间自由切换;也是许多 Agent 框架推荐的模型适配层。

优缺点

优点是生态覆盖广、网关功能实用、避免厂商锁定;缺点是抽象层可能滞后于各家新特性,高并发下代理本身需要认真做容量规划。