产品 / 面向 AI 开发者

InferX

正式版

在您自己的 GPU 上提供兼容 OpenAI 与 Anthropic 的推理服务——每个 token 都可计量。

InferX 是部署在自有 Kubernetes 集群中的大模型推理平台，对外提供兼容 OpenAI 与 Anthropic Messages 的 API，对内通过预设部署 vLLM、llama.cpp 或 text-embeddings-inference，也支持自定义 KServe ServingRuntime。一个逻辑模型可对应多个部署，通过负载均衡和三态熔断器分配请求；成本可按用户、密钥和模型归集，并按模型统计 P50/P95/P99 延迟。平台支持 KServe 生命周期管理、从 Hugging Face 或 S3 下载模型，以及具备流式输出、思考过程展示和 MCP 工具调用的交互测试界面（Playground）。除聊天外，还支持嵌入与 /v1/rerank、经 /v1/audio/speech 的语音合成（TTS）与经 /v1/audio/transcriptions 的语音识别（ASR）、视觉语言模型和 KServe v2 / Open Inference Protocol 推理。闲置服务可暂停以释放 GPU，再按需恢复。可选的前缀缓存感知路由会优先选择已缓存相同提示词前缀的副本，减少长上下文智能体的重复计算。后续计划增加策略路由和面向控制回路场景的安全模式。

全部产品

产品规格

版本: v2.17.2 — 正式版
协议: OpenAI（聊天 · 嵌入 · 重排 · 音频）· Anthropic Messages · KServe v2 · 流式 SSE
运行时: vLLM · llama.cpp · text-embeddings-inference 预设 · 任意 KServe ServingRuntime
硬件: NVIDIA · AMD · Intel · 昇腾 · 寒武纪 — 自动识别 · MIG 切片单独计数
路由: 单模型多部署 · 加权负载均衡 · 熔断器
前缀缓存: 可选启用 Gateway API Inference Extension — InferencePool + 端点选择器，将请求发送到已缓存该前缀的副本

使用示例

通过示例了解用法。

无需专用 SDK，也无需重写客户端。 InferX 可直接与现有工具对接。

修改服务地址，沿用现有客户端

from openai import OpenAI
client = OpenAI(
    base_url="https://inferx.intra.example/api",  # ← 唯一的改动
    api_key=os.environ["INFERX_API_KEY"],
)
# Anthropic SDK 与 claude-code 同理，经 /anthropic/v1 接入
# 仪表盘统计各请求的指标：成本 · P50/P95/P99 · 错误率▌

OpenAI 与 Anthropic SDK 均可通过修改服务地址接入，支持流式输出，并可按密钥设置预算、限流和模型白名单。

核心能力

InferX 的主要功能

兼容主流 API，支持多模态推理

提供 /v1/chat/completions、/v1/embeddings、/v1/rerank、/v1/audio/speech、/v1/audio/transcriptions、/anthropic/v1/messages 和 KServe v2 /v2/models/:model/infer 等接口，并支持流式 SSE 输出。现有 SDK 或 claude-code 可通过修改 base URL 接入。模型服务适配在进程内完成，请求无需经过额外代理。

支持多厂商 GPU 与 KServe

自动识别 NVIDIA、AMD、Intel、华为昇腾与寒武纪设备。通过带参数类型的模板部署 InferenceService，支持 vLLM（AWQ、BF16）、llama.cpp（GGUF）、text-embeddings-inference、视觉语言模型及自定义 ServingRuntime。界面可查看服务关联的 Pod 与日志，也可暂停闲置部署、释放 GPU，再按需恢复。

按模型统计成本、延迟与错误率

通过 OTEL 采集请求指标，按模型、用户和 API 密钥统计 P50/P95/P99 延迟、错误率和 token 成本，并支持预算、限流及余额归零时自动停用。

针对智能体推理优化

同一模型可配置多个部署，通过加权负载均衡和三态熔断器分配请求，并在首个 token 返回前自动切换故障部署。前缀缓存感知路由优先复用已缓存的提示词前缀；在智能体的真实流量下，可避免把 30 万 token 的历史重新计算一遍。Playground 支持 MCP 和思考过程展示；后端混入正文的推理 token 会归入 reasoning_content。后续计划支持会话亲和、策略路由，以及校验、共识和人工介入等安全模式。

工作原理

从模型权重到可计量的推理端点。

步骤 01

部署模型

选择运行时模板——vLLM 或 GGUF 预设，或您自己的 ServingRuntime——指定存放模型权重的 PVC，点击部署。多厂商 GPU 自动识别。
步骤 02

获取推理接口

获取兼容 OpenAI 或 Anthropic API 的服务地址，支持流式 SSE 输出。可按 API 密钥设置限流、预算和模型白名单。
步骤 03

监控成本与延迟

通过 OTEL 采集每次请求的指标，在仪表盘中按模型和密钥查看延迟、错误率与成本。