LiteLLM 深度调研:用一个开源网关统一 100+ 大模型的完整实战指南

序言:当你的代码里散落着五家 SDK

如果你做过一段时间 AI 应用,大概率经历过这样的演进:

最开始只接了 OpenAI,代码里写满 from openai import ...。后来想试试 Claude,于是又装了 Anthropic 的 SDK,参数格式不一样,得改一遍调用代码。再后来为了省钱接入 DeepSeek、为了中文场景接入 GLM、为了本地兜底又跑了个 Ollama——五家供应商,五套 SDK,五种鉴权方式,五份计费账单。

更糟的是,每家的接口格式、错误码、限流规则、参数命名都不一样。你想做个"主力挂了自动切备份",得手写一堆 try-except;你想知道这个月每个模型花了多少钱,得登五个后台分别看;你想给团队成员发不同的额度,根本无从下手。

这就是 AI 网关(AI Gateway) 要解决的问题。而在 2026 年的开源世界里,LiteLLM 是这个赛道里最常被提到的名字之一。

这篇文章带你完整调研 LiteLLM:它到底是什么、架构怎么设计、怎么从一行配置跑到生产级、可观测性如何接、和 OpenRouter / Portkey / Bifrost 这些竞品怎么选,以及——同样重要——它在什么场景下并不适合你。


一、LiteLLM 到底是什么

一句话:LiteLLM 是一个 MIT 开源的统一 LLM 网关,让你用一套 OpenAI 兼容的接口,调用 100 多家模型供应商。

它有两种形态,对应两种使用方式:

它后端对接的供应商极广——OpenAI、Anthropic、Google Gemini / Vertex、AWS Bedrock、Azure OpenAI、Mistral、Cohere、HuggingFace、NVIDIA NIM,以及自托管的 vLLM、Ollama 等。不同资料给出的数字略有差异(100+ 供应商,部分宣称覆盖 140+ 供应商、2500+ 模型),但核心承诺一致:前端永远是 OpenAI 格式,后端的差异由 LiteLLM 帮你抹平。

这意味着你的应用代码只需要写一次——针对 OpenAI 的 chat/completions 格式——就能调用所有模型。换模型?改一个字符串。换供应商?改一行配置。应用层和模型层彻底解耦。


二、为什么需要一个网关:四个绕不开的痛点

AI 网关在 2026 年已经从"锦上添花"变成了"关键基础设施"。LiteLLM 解决的核心痛点有四个:

把这四点放在一起看,网关的本质是:在应用和模型供应商之间,插入一个统一的控制平面(control plane)。 路由、鉴权、限流、容灾、计费、日志——全部在这一层集中处理,而不是散落在每个应用里。


三、核心能力逐一拆解

1. 统一接口与多模型路由

这是 LiteLLM 的地基。无论后端是哪家,你的调用代码长得都一样:

from litellm import completion

# 调 OpenAI
completion(model="gpt-5.5", messages=[{"role": "user", "content": "你好"}])
# 调 Claude——只改 model 字符串
completion(model="claude-sonnet", messages=[{"role": "user", "content": "你好"}])
# 调本地 Ollama
completion(model="ollama/qwen3", messages=[{"role": "user", "content": "你好"}])

用 Proxy 形态时更彻底——应用连 LiteLLM 都不用 import,直接把 OpenAI SDK 的 base_url 指向网关即可:

import openai
client = openai.OpenAI(base_url="http://localhost:4000", api_key="sk-your-virtual-key")
client.chat.completions.create(model="my-gpt", messages=[...])

2. 虚拟 Key(Virtual Keys)

这是 Proxy 形态最实用的能力之一。你不用把真实的供应商 API key 发给每个团队成员或每个应用,而是由网关签发虚拟 key:

这等于给你的 LLM 访问加了一层 IAM(身份与访问管理)。

3. 预算与成本追踪

LiteLLM 内置 spend tracking——按虚拟 key、按团队、按模型记录 token 消耗和花费,并能设置预算上限,超额自动拦截。对于"想知道这个月 AI 到底花了多少、花在哪"的团队,这是开箱即用的能力,不用自己拼计费逻辑。

4. 容灾:fallback、重试、负载均衡

可靠性逻辑内置在 Router 里:

# config.yaml 里配置带 fallback 的路由
router_settings:
  fallbacks: [{"my-gpt": ["my-claude", "my-deepseek"]}]
  num_retries: 2
  timeout: 30

关于如何用这类回退链构建"任何一家断供都伤不到核心业务"的工作流,可以看 不被卡脖子的AI工作流。

5. 可观测性与护栏

LiteLLM 通过 callbacks(success / failure / input 回调)把数据送到外部系统,并原生暴露 Prometheus metrics,可对接 Langfuse、Grafana、Sumo Logic 等:

护栏(guardrails)方面可接入内容审核、PII 脱敏等,作为请求的前置/后置检查。

想系统了解 AI 应用的可观测性怎么做,可以看 Langfuse:给AI Agent装上黑匣子。


四、架构:它是怎么扛住生产流量的

LiteLLM Proxy 在生产部署里的典型架构大致是这样:

生产部署一般走 Docker / Kubernetes,配合 HorizontalPodAutoscaler 做弹性伸缩。公开教程里,一个带自动故障转移的 LiteLLM + 代理最小配置约 4GB 内存、2 vCPU、Docker,再加至少两家供应商的 key 即可起步。

启动一个 Proxy 其实只要两步——写一个 config.yaml 把模型名映射到供应商凭证,然后跑起来:

# config.yaml
model_list:
  - model_name: my-gpt
    litellm_params:
      model: openai/gpt-5.5
      api_key: os.environ/OPENAI_API_KEY
  - model_name: my-deepseek
    litellm_params:
      model: deepseek/deepseek-v4-pro
      api_key: os.environ/DEEPSEEK_API_KEY
litellm --config config.yaml --port 4000

跑起来后,http://localhost:4000 就是一个统一的 OpenAI 兼容网关了。


五、企业版加了什么

LiteLLM 的开源版(OSS)已经覆盖了网关的核心:OpenAI 兼容接口、虚拟 key、花费追踪、预算、fallback、请求/响应日志。这对个人和中小团队基本够用。

企业版(Enterprise)主要补的是大型组织的治理能力——当你要给几百个用户、几十个应用安全地开放 LLM 访问时才需要:

简单判断:个人 / 小团队用 OSS 足够;需要企业级权限、审计、合规的大组织再考虑企业版或评估替代方案。


六、选型:LiteLLM vs 主流 AI 网关

LiteLLM 不是唯一选择。2026 年这个赛道很热闹,把主流选项放一起对比:

网关 形态 定位 适合谁
LiteLLM 开源自托管(SDK + Proxy) 多供应商统一 + 成本/治理可控 想自托管、要控制权和数据隐私的团队
OpenRouter 托管服务 开箱即用的模型市场,400+ 模型 不想运维、追求快的个人/小团队
Portkey 托管 / 混合 提示词管理 + 可观测性较强 重视 prompt 管理和监控的团队
Kong AI Gateway 自托管 / 企业 复用 Kong 的 API 管理体系 已经在用 Kong 做 API 网关的企业
Cloudflare AI Gateway 托管 pass-through,加日志和缓存 已在 Cloudflare 生态、要轻量观测
Bifrost 开源自托管(Go) 高性能,主打生产规模 高并发、对延迟极敏感的企业

怎么选:

如果你的需求其实是"在自己机器上把开源模型跑起来",那要的不是网关而是推理框架,请看 大模型推理框架选型2026。网关(路由/治理)和推理引擎(让单个模型跑得快)是两层不同的东西,别搞混。


七、客观看待 LiteLLM 的短板

任何工具都有边界。LiteLLM 最被诟病的几点,主要集中在高并发生产场景——这些批评不少来自竞品(如 Bifrost 背后的 Maxim AI),引用时要意识到立场,但问题本身值得正视:

务实的结论:对绝大多数个人、中小团队、中等并发的应用,LiteLLM 的能力和易用性绰绰有余,是高性价比的默认选择。只有当你确实跑到了持续高 RPS、对 P99 延迟极度敏感的生产规模,才需要认真评估 Go 系网关(Bifrost)这类替代方案。不要用企业级的性能焦虑,去否定一个本来就很适合你当前规模的工具。


八、什么场景该用 LiteLLM

把前面的分析收敛成几个明确的"该用"信号:

如果你中了其中三条以上,LiteLLM 值得你今天就 pip install 试一把。


九、小结

LiteLLM 解决的问题,本质上是 AI 工程化路上一道绕不开的坎:当你从"接一个模型"走向"管一堆模型",你需要一个统一的控制平面。

它的价值可以浓缩成三句话:

  1. 一个 OpenAI 兼容端点,接管 100+ 供应商——应用层和模型层彻底解耦,换模型只改一个字符串。
  2. 虚拟 Key + 预算 + 容灾 + 可观测性内置——治理、成本、可靠性这些"脏活",网关帮你统一兜了。
  3. MIT 开源、可自托管、数据不外流——控制权和隐私握在自己手里。

它不是没有短板——Python 在极高并发下的性能天花板、部分版本的稳定性问题、高级治理依赖企业版,都是真实存在的边界。但对绝大多数不在"持续数千 RPS"区间的团队来说,LiteLLM 是 2026 年自托管 AI 网关里最稳妥、最高性价比的默认选择。

最后一个建议和上一篇一脉相承:无论用不用 LiteLLM,都不要让你的代码直连某一家 SDK。 在应用和模型之间加一层网关,是 2026 年做 AI 应用的基本功——它让你换模型、控成本、抗断供的能力,从"重写系统"降级成"改一行配置"。

⚠️ 免责声明:本文涉及的功能、性能数据、版本信息均来自公开文档与第三方报道(含竞品基准,已注明立场),会随版本迭代变化,请以 LiteLLM 官方文档与你的实际压测结果为准。文中代码为示意,生产使用请参考官方文档。


参考来源

  1. LiteLLM GitHub, "BerriAI/litellm". https://github.com/BerriAI/litellm
  2. LiteLLM Docs, "AI Gateway (Proxy) Quick Start". https://docs.litellm.ai/docs/proxy/docker_quick_start
  3. LiteLLM Docs, "Enterprise". https://docs.litellm.ai/docs/enterprise
  4. LiteLLM Docs, "Prometheus metrics". https://docs.litellm.ai/docs/proxy/prometheus
  5. LiteLLM Docs, "Callbacks". https://docs.litellm.ai/docs/observability/callbacks
  6. nerdleveltech, "LiteLLM Proxy Production Tutorial: LLM Gateway in 2026". https://nerdleveltech.com/litellm-proxy-production-llm-gateway-tutorial
  7. a2a-mcp.org, "What Is LiteLLM? Open-Source LLM Gateway & Proxy for 140+ Providers". https://a2a-mcp.org/blog/what-is-litellm
  8. markaicode, "LiteLLM Architecture: Production Routing". https://markaicode.com/architecture/litellm-architecture/
  9. digitalapplied, "LLM Gateway Architecture 2026 Engineering Reference". https://www.digitalapplied.com/blog/llm-gateway-architecture-2026-engineering-reference
  10. guptadeepak, "Top 5 AI Gateways 2026: Kong vs Portkey vs LiteLLM vs Cloudflare vs Helicone". https://guptadeepak.com/tools/top-5-ai-gateways-2026/
  11. getmaxim.ai, "OpenRouter vs LiteLLM vs Bifrost AI Gateway Comparison". https://www.getmaxim.ai/articles/openrouter-vs-litellm-vs-bifrost-ai-gateway-comparison/
  12. Sumo Logic Docs, "LiteLLM Integration". https://www.sumologic.com/help/docs/integrations/saas-cloud/litellm/

相关阅读:不被卡脖子的AI工作流:防断供完整指南 | 大模型推理框架选型2026 | Langfuse:给AI Agent装上黑匣子

延伸阅读:2026开源大模型选型指南 | Xinference部署与应用实战 | 企业AI Agent部署实战

🛒 京东 挑好物逛京东(A组)

京东大促进行中,超值好物等你来选

去京东看看 →

* 京东联盟推广链接,你不需要多花钱,我们获得小额佣金

🟠 淘宝 淘宝电脑办公精选

淘宝精选好物,超值优惠等你来抢

去淘宝看看 →

* 淘宝联盟推广链接,你不需要多花钱,我们获得小额佣金

🛒

推荐搭配装备

善其事,利其器。以下硬件能最大化你的AI体验👇

京东
⚡
MacBook Pro 14寸 M4 Pro
AI开发者首选笔记本,性能续航双优
¥15000-20000
淘宝
⚡
联想拯救者Y9000P 2026
AI开发游戏本,i9+RTX4070
¥9000-12000
🔵 京东 🟠 淘宝

🔗 通过以上链接购买可支持本站持续运营 🙏