LLMPod

API 参考

控制面开放的全部接口:REST 编排 API 与 WebSocket 事件流,认证方式、分页与错误码约定。

本节内容

01

认证与 API Key

API Key 的创建、预算上限与吊销,调用日志追溯。

控制台「密钥管理」创建 API Key,可设置预算上限、有效期与可用端点范围。推理调用走网关(Authorization: Bearer),编排操作走控制面 API,两类凭据独立。

每个 Key 的每次调用都有日志:时间、端点、模型、token 用量、延迟、状态码,可按 Key 追溯到具体请求,审计与对账都用同一份数据。

02

推理 API

OpenAI 兼容的对话与补全接口,流式响应用法。

推理接口与 OpenAI Chat Completions / Completions 完全兼容:模型名填端点绑定的模型标识,messages / stream / temperature 等参数语义一致,现有 SDK 换 base_url 即可迁移。

流式响应使用标准 SSE,按 delta 增量返回;usage 在最后一个分片给出,计费按该值入账。

03

编排 API

集群、节点、部署、端点的增删改查与生命周期操作。

控制面提供 REST 编排 API,覆盖集群 / 节点 / 模型 / 部署 / 端点 / 密钥六类资源的增删改查,以及部署启停、副本扩缩、节点摘除等生命周期操作。操作与控制台按钮一一对应,自动化脚本可以完整复现控制台的全部流程。

列表接口统一游标分页,错误响应携带稳定错误码与人读信息,便于脚本按类型处理。

04

WebSocket 事件

拓扑变更、部署状态、指标推送的订阅方式。

控制面开放 WebSocket 事件流,可订阅三类事件:拓扑变更(节点上下线、状态迁移)、部署状态(启动 / 就绪 / 异常 / 停止)、指标推送(按集群聚合的利用率与用量)。

订阅按主题过滤,断线自动重连并补发错过的状态快照,外部监控与自建面板可以直接消费这份数据源。

没找到想要的

在社区论坛提问,或直接联系支持团队,多数问题在一个工作日内有回复。