模型 API 属于后端基础设施#

浏览器、Android 或 iOS 客户端不应直接访问模型供应商。除了 API Key 泄漏风险，直连还会绕过用户鉴权、限流、模型选择、成本统计、Prompt 构造和输出过滤。

客户端只访问业务后端，由后端完成模型调用。API Key 应通过环境变量或 Secret Management Service 注入，不能写入源码、Git 仓库、前端代码或安装包：

from openai import OpenAI

client = OpenAI()

export OPENAI_API_KEY='...'

生产环境还应设置 Key 有效期和轮换流程，分别管理开发、测试与生产项目，并为不同工作负载配置独立权限和预算。

使用统一 LLM Client#

业务代码不应到处直接调用 client.responses.create(...)。统一的 Client 或 AI Gateway 可以集中处理模型路由、超时、重试、Token 用量、日志和 Trace：

import os

from openai import OpenAI


class LLMClient:
    def __init__(self) -> None:
        self.client = OpenAI(
            timeout=30.0,
            max_retries=2,
        )
        self.model = os.environ['OPENAI_MODEL']

    def generate(self, input_text: str) -> str:
        response = self.client.responses.create(
            model=self.model,
            input=input_text,
        )
        return response.output_text

模型名称、Prompt 模板、最大输出 Token 和超时等参数应配置化。Prompt 还应具备版本号、变更说明和对应的 Eval 结果，使线上问题能够追溯到具体组合。

Prompt Injection 的本质#

用户输入、网页、邮件、日志和 RAG 文档都是不可信数据。它们可能包含“忽略之前规则”之类的内容，但数据中的文字不能因此获得 Developer Instructions 的权限。

应用需要区分指令与数据，并尽量缩小一次请求接触的数据和工具范围。Structured Outputs 可以约束输出形状，却不能证明内容真实、安全或已获授权。

def validate_order_request(user, arguments):
    if arguments['user_id'] != user.id:
        raise PermissionError('Cannot access another user')

    if arguments['amount'] <= 0:
        raise ValueError('Invalid amount')

即使 Tool Arguments 符合 JSON Schema，服务端仍要重新进行身份验证、资源授权、参数校验和业务规则检查。模型永远不能成为权限系统。

按风险划分工具#

高风险操作应让用户确认具体工具、参数、目标资源和影响。批准一次明确动作，不等于授予 Agent 长期权限。工具自身也应遵循最小权限，避免提供 execute_any_sql 或 run_any_shell 之类的万能接口。

Guardrail 可以检查输入、输出和工具调用，但不能代替数据库 ACL、服务端鉴权或业务约束。防御需要存在于 API Gateway、应用服务、Agent Runtime、Tool Layer 和数据层，而不是集中在一个 Prompt 中。

Timeout、Retry 与幂等#

模型和外部工具都可能超时。应用需要同时设置单次调用超时与端到端任务期限，避免某个 Agent 在多轮重试后远超用户可接受的等待时间。

临时的限流或服务过载可以重试。优先遵循服务端返回的 Retry-After，否则使用带随机抖动的指数退避，并同时限制尝试次数和总耗时。若应用自行重试，还要把 SDK 内置重试计算在总预算内，避免形成嵌套重试。

写操作不能仅凭超时判断失败。请求可能已在服务端完成，只是响应没有返回。退款、发送消息和创建订单等操作应携带 Idempotency Key，重试前先查询执行状态。

Rate Limit 与容量保护#

除了上游模型的 RPM 和 TPM 限制，应用还应按用户、租户、功能和任务设置自己的配额。Agent 的限制不能只统计 HTTP 请求数，还应包括：

• 最大模型调用次数；
• 最大 Tool Call 数；
• 最大输入与输出 Token；
• 最大执行时间和并发数；
• 单次任务及周期成本上限。

当故障率持续升高时，Circuit Breaker 应暂停对异常依赖的调用。系统可以切换到较小模型、只读模式、缓存结果或人工处理队列，实现可预测的降级，而不是无限重试。