最佳实践
让 AnyPath 网关使用更可靠、更安全、更可控。
选择合适的最小模型
先选能满足质量、上下文和协议要求的最小模型。只有任务确实需要时,再切换到更强的模型。
对于周期性生产任务,保持稳定的默认模型和 API Key 路由策略。只有当工作负载确实需要更高质量、更长上下文或指定供应商边界时,才调整策略。
设置请求边界
- 协议支持时,设置
max_tokens或等价的输出上限。 - 需要更低感知延迟时可以使用流式;流式仅对已通过流式认证的渠道可用。Chat Completions 流式请求必须设置
stream_options.include_usage: true(见 流式响应)。 - 在服务端代码中明确设置超时和重试策略。
- 能用简洁 prompt 完成时,不要反复发送同一段大上下文。
有意识地使用共享路由
| 选项 | 适用场景 |
|---|---|
| 共享路由 | 平台价格、可用性和稳定性匹配当前工作负载 |
共享路由是 AnyPath 的常规供给路径,使用 USDT 结算。接入生产流量前,请在控制台确认官方刊例价、供应商平台倍率、共享路由余额和 Key 使用上限。
按错误类型处理失败
- 对
429、临时502、路由可用性503使用退避重试。 - 对无效凭证、余额不足、权限错误或请求格式错误,不要在不改变输入的情况下重试。
- 当模型不可用时,以
GET /v1/models作为可用模型的权威来源。 - 如果响应包含
Retry-After头,优先遵守它。
保护 API Key
AnyPath API Key 只应保存在服务端的环境变量或密钥管理系统中。不要放在浏览器代码、移动端 App、公开仓库、日志或截图里。