Docs

最佳实践

让 AnyPath 网关使用更可靠、更安全、更可控。

本页目录
  1. 选择合适的最小模型
  2. 设置请求边界
  3. 有意识地使用共享路由
  4. 按错误类型处理失败
  5. 保护 API Key

选择合适的最小模型

先选能满足质量、上下文和协议要求的最小模型。只有任务确实需要时,再切换到更强的模型。

对于周期性生产任务,保持稳定的默认模型和 API Key 路由策略。只有当工作负载确实需要更高质量、更长上下文或指定供应商边界时,才调整策略。

设置请求边界

  • 协议支持时,设置 max_tokens 或等价的输出上限。
  • 需要更低感知延迟时可以使用流式;流式仅对已通过流式认证的渠道可用。Chat Completions 流式请求必须设置 stream_options.include_usage: true(见 流式响应)。
  • 在服务端代码中明确设置超时和重试策略。
  • 能用简洁 prompt 完成时,不要反复发送同一段大上下文。

有意识地使用共享路由

选项适用场景
共享路由平台价格、可用性和稳定性匹配当前工作负载

共享路由是 AnyPath 的常规供给路径,使用 USDT 结算。接入生产流量前,请在控制台确认官方刊例价、供应商平台倍率、共享路由余额和 Key 使用上限。

按错误类型处理失败

  • 对 429、临时 502、路由可用性 503 使用退避重试。
  • 对无效凭证、余额不足、权限错误或请求格式错误,不要在不改变输入的情况下重试。
  • 当模型不可用时,以 GET /v1/models 作为可用模型的权威来源。
  • 如果响应包含 Retry-After 头,优先遵守它。

保护 API Key

AnyPath API Key 只应保存在服务端的环境变量或密钥管理系统中。不要放在浏览器代码、移动端 App、公开仓库、日志或截图里。