Developer Docs

开发者文档

5 分钟接入工业级 AI 网关。统一终点、故障切换、语义缓存与 PII 脱敏的完整指引。

Quickstart

快速开始

coolbestllm 完全兼容 OpenAI 接口。改一行 Base URL 即可接入路由、降级、缓存与脱敏。

quickstart.sh

export OPENAI_BASE_URL="https://api.coolbestllm.com/v1"
export COOLBEST_KEY="sk-cbl-..."

curl $OPENAI_BASE_URL/chat/completions \
  -H "Authorization: Bearer $COOLBEST_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-4o","messages":[{"role":"user","content":"Hi"}]}'

认证

所有请求通过 Authorization: Bearer <KEY> 鉴权。在控制台创建 Key 时可绑定模型白名单与 Token 预算上限。

统一终点

Endpoint	说明
`/v1/chat/completions`	对话补全（兼容 OpenAI）
`/v1/embeddings`	向量嵌入
`/v1/models`	列出可用模型

故障切换

为模型配置有序的备用实例，主通道异常时网关在 100ms 内自动降级。

routing.json

{
  "model": "gpt-4o",
  "fallbacks": ["azure/gpt-4o", "claude-3.5-sonnet"],
  "timeout_ms": 100,
  "retry": 2
}

语义缓存

通过请求头开启语义缓存，对相似问题直接命中缓存，节省 30–50% Token。

headers

X-CBL-Cache: semantic
X-CBL-Cache-TTL: 3600
X-CBL-Cache-Threshold: 0.92

PII 脱敏

开启后，网关在转发上游前自动识别并脱敏姓名、邮箱、证件号、卡号等敏感字段。

headers

X-CBL-PII-Masking: on
X-CBL-PII-Entities: name,email,phone,card,id
X-CBL-Data-Retention: zero

SDK 示例

node.js

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.coolbestllm.com/v1",
  apiKey: process.env.COOLBEST_KEY,
});

const r = await client.chat.completions.create({
  model: "gpt-4o",
  messages: [{ role: "user", content: "你好" }],
});