TAIP — AI 平台
自主可控的 AI
基础设施。
在自有硬件上完成 AI 开发、训练、模型注册、推理和运维，全程由您掌控，并兼容现有 API。
本地部署 · VPC · 物理隔离 — 数据留在自有环境
- 12
- 款产品 · 一个平台
- 5
- 家 GPU 厂商
- 15
- 个模型推理预设
- 2
- 种语言 — EN · 中文
- 100%
- 支持物理隔离部署
- 0
- 字节数据传出自有环境
§ 01 — 平台选择
除了租用云服务和自行集成，AI 团队还有第三种选择。
租用云服务，需要适应供应商的限制；自行集成工具，则要长期承担维护成本。TAIP 提供功能完整、统一管理的 AI 平台，部署在您自己的基础设施上。
选项一
租用云服务
- 提示词、模型权重和数据存放在供应商的基础设施上，难以完全自主掌控
- token 单价由供应商制定，费用受其价格调整影响
- 功能更新、接口停用和可用区域都受供应商安排限制
- 合规要求需要与供应商逐项协商落实
上手快，但自主控制有限。
选项二
自行集成多个开源工具
- JupyterHub + 训练工具 + 模型仓库 + 网关 + 仪表盘……
- 身份认证、配额管理和审计需要团队自行集成并长期维护
- 升级时需要重新验证集成，功能缺口和故障由团队自行处理
- 平台团队还需承担产品开发工作，增加人员和预算压力
软件免费，集成与维护仍需投入。
第三种选择
TAIP — 统一平台，自主掌控
- 同一套技术栈覆盖开发、训练、模型注册、推理和运维全流程
- 统一身份认证、令牌签发和配额管理，审计记录覆盖所有产品
- 每个关键接口都采用开放标准：OCI、OpenAI/Anthropic API、OIDC、MCP、OTEL
- 可部署到自有数据中心、VPC 或完全物理隔离的机房
功能完整，部署与管理由您掌控。
§ 02 — 使用示例
现有工具，直接连接自有平台。
无需专用 SDK，也无需重写客户端。TAIP 兼容现有工具使用的协议，以下示例展示了已发布产品的实际使用方式。
from openai import OpenAI
client = OpenAI(
base_url="https://inferx.intra.example/api", # ← 唯一的改动
api_key=os.environ["INFERX_API_KEY"],
)
# Anthropic SDK 与 claude-code 同理，经 /anthropic/v1 接入
# 仪表盘统计各请求的指标：成本 · P50/P95/P99 · 错误率▌OpenAI 与 Anthropic SDK 均可通过修改服务地址接入，支持流式输出，并可按密钥设置预算、限流和模型白名单。
$ export HF_ENDPOINT=https://models.intra.example
# 现有客户端可直接使用，无需修改代码
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B")
# 由您的仓库提供；可缓存自上游，也可在物理隔离环境中使用▌协议层兼容 Hugging Face Hub API——包括 git clone 与数 GB 级的 LFS 传输。
# 从笔记本电脑通过平台 SSH 网关连接 GPU 环境
$ ssh alice+env=jupyter@gateway.intra.example
(jupyter) $ nvidia-smi --query-gpu=name --format=csv,noheader
NVIDIA A100-SXM4-80GB
# 闲置 2 小时 → 缩容到零，PVC 保留，GPU 回到资源池▌支持 Shell、scp、sftp 和端口转发，使用 ConsoleX 中登记的密钥认证。所有工作空间共用一个网关，无需使用 kubectl。
$ ./install/00-preflight.sh # 只读预检
$ ./install/03-install-cluster.sh --cluster site-a
ok k8s · cilium · longhorn · cert-manager · envoy-gateway · authentik
# Ctrl-C 后重跑，就是官方文档写明的恢复路径
# 固定发布包与仓库版本，确保不同站点的部署结果一致▌内容寻址的发布包：版本升级重新打包时仅传输发生变化的层。一个镜像仓库可以服务多个集群。
以开放标准连接各项服务。
已有标准，优先采用。
无需适配专有协议。
- ▸ OCI
- ▸ OpenAI API
- ▸ Anthropic API
- ▸ MCP
- ▸ OIDC
- ▸ Gateway API
- ▸ KServe
- ▸ Kueue
- ▸ JobSet
- ▸ OTEL
- ▸ DRA
- ▸ Cosign
- ▸ eBPF
§ 03 — 产品系列
十二款产品，协同构成一个平台。
每款产品各有侧重，可独立交付；各产品共用身份认证、租户管理、策略和监控体系，协同完成 AI 开发与运维。
01 — 面向 AI 开发者
覆盖 Notebook 开发、训练和生产推理，为研究人员、工程师与 AI 应用团队提供完整工具。
ConsoleX
正式版登录即可获得独立的 Kubernetes 工作空间，无需 kubectl 或人工开通。
了解更多DevSpace
正式版几秒钟内启动配备 GPU 的 Jupyter 或 VS Code 环境，闲置时自动关停。
了解更多TrainX
正式版通过模板或项目配置提交训练作业，由 Kubernetes 统一运行。
了解更多ModelSphere
正式版自有环境中的 Hugging Face Hub，设置一个环境变量即可连接现有客户端。
了解更多InferX
正式版在您自己的 GPU 上提供兼容 OpenAI 与 Anthropic 的推理服务——每个 token 都可计量。
了解更多ImageSphere
正式版内置身份认证、访问策略和物理隔离部署支持的 OCI 制品仓库。
了解更多AgentX
预览版在 Kubernetes 上定义和运行智能体，支持版本管理、沙箱隔离和全程追踪。
了解更多GrokX
正式版让智能体依据自有文档作答，支持扫描版 PDF，并标注来源页码。
了解更多Slurm on TAIP
正式版在 Kubernetes 上运行现有 Slurm 脚本，共用平台账号、主目录和配额。
了解更多02 — 面向平台管理员
统一管理用户、配额、GPU 资源池和策略，按账户统计预留资源用量与费用。
TAIP Admin
正式版在一个控制台中管理 AI 集群，日常运维无需依赖 kubectl。
面向 AI Kubernetes 集群的管理控制台，以单个二进制文件交付。统一管理多厂商 GPU、Kueue、KServe、Ceph 与 Longhorn 存储，并提供应用健康监控、告警、闲置资源检测、身份管理、审计和全屏应急监控视图。自动识别已安装组件，按可用能力展示功能。
了解更多TAIP Billing
正式版按预留资源准确计费，避免重复计价，确保每笔记录借贷平衡。
为共享 AI 集群提供用量计费，统计 Pod、存储卷和 Slurm 作业预留的 CPU、内存、加速卡及存储。按生效日期匹配价目表，以货币或内部积分记入复式账本；余额不足时限制新任务，已运行的任务继续执行。
了解更多03 — 集群底座
为 TAIP 部署 Kubernetes、身份认证和存储等基础组件。
§ 04 — 自主管控
私有部署，统一管理。
律师事务所、医院等机构对机密文件和病历的存储、访问有严格要求。AI 处理这些敏感数据时，也应遵循同样的管控标准。
一套平台，覆盖完整 AI 生命周期
Notebook、训练、模型注册、推理和智能体共用一套技术栈，统一身份认证、配额管理和审计记录，减少工具集成与维护工作。
内置治理能力，减少集成工作
平台提供按用户隔离的命名空间、默认拒绝访问的网络策略和 OIDC 认证，并自动修复配额配置偏差。各产品共用令牌签发服务与 SSH 网关，统一审计日志格式，并按 token 统计成本。
随处可部署，完全归您掌控
支持部署到自有数据中心、VPC 或完全物理隔离的机房。身份系统在本地运行，镜像预先打包，各节点无需访问公网。
§ 05 — 适用团队
面向 AI 研发与平台运维团队。
TAIP 适用于对数据管控有严格要求的律师事务所、医院、金融机构和政府部门，也为从事前沿 AI 研究的团队提供支持。
01
AI 研究团队
从 Notebook 到训练任务，全程留在同一平台
为研究人员提供配备 GPU 的开发环境和可查看实时进度的训练模板，支持从实验到生产部署的完整流程，并统一管理身份与配额。
查看详情02
AI 产品团队
在自有基础设施上开发和部署大模型应用
部署兼容 OpenAI 与 Anthropic 的推理接口，托管微调模型，并在专属算力上按 token 计量，便于管理成本、延迟和数据隐私。
查看详情03
平台与基础设施团队
建设统一的内部 AI 平台，减少从零开发的投入
TAIP 提供多租户管理、访问策略和监控功能，帮助平台团队将 GPU 集群建设成全公司可用的 AI 服务平台。
查看详情04
合规与本地部署
在自有环境中部署 AI，落实合规要求
TAIP 支持部署到自有数据中心、VPC 或物理隔离环境，并接入现有身份提供方（IdP）、网络策略和硬件。
查看详情