mirror of
https://gitee.com/wanwujie/sub2api
synced 2026-05-04 21:20:51 +08:00
30f55a1f72
对称参照 Claude BetaPolicy 的 fast-mode 过滤实现，新增针对 OpenAI 上游
service_tier 字段（priority / flex，含客户端 "fast" → "priority" 归一化）的
pass / filter / block 三态策略，覆盖全部 OpenAI 入口 + admin 配置入口。
后端核心
- 新增 SettingKeyOpenAIFastPolicySettings、OpenAIFastPolicyRule、
OpenAIFastPolicySettings 配置模型，含规则的 service_tier × action × scope
× 模型白名单 × fallback action 维度。
- SettingService.Get/SetOpenAIFastPolicySettings；缺失时返回内置默认策略
（所有模型的 priority 走 filter，whitelist 为空，fallback=pass）。设计
依据：service_tier=fast 是用户级开关，与 model 字段正交，默认锁定特定
model slug 会留下"用 gpt-4 + fast 透传 priority 上游"的绕过路径。JSON
解析失败不再静默 fallback，slog.Warn 记录脏数据，便于运维定位。
- service_tier 归一化（trim + ToLower + fast→priority + 白名单 priority/flex）
与策略评估（evaluateOpenAIFastPolicy）作为唯一真实来源，HTTP / WS 共用。
抽出纯函数 evaluateOpenAIFastPolicyWithSettings，配合 ctx-bound settings
快照（withOpenAIFastPolicyContext / openAIFastPolicySettingsFromContext），
WS 长会话入口预取一次后所有帧复用，避免每帧打到 settingService。
HTTP 入口（4 个）
- Chat Completions、Anthropic 兼容（Messages，含 BetaFastMode→priority 二次
命中）、原生 Responses、Passthrough Responses 全部接入
applyOpenAIFastPolicyToBody，filter 走 sjson 顶层删除 service_tier，block
返回 403 forbidden_error JSON。
- 4 入口统一使用 upstream 视角的 model（GetMappedModel +
normalizeOpenAIModelForUpstream + Codex OAuth normalize 后的 slug），
避免 chat/messages/native /responses/passthrough 因为 model 维度不同
造成 whitelist 命中差异。
- 在 pass 路径也把客户端 "fast" 别名归一化为 "priority" 写回 body，
否则 native /responses 与 passthrough 入口会把 "fast" 原样透传给上游
导致 400/拒绝（chat-completions 入口的 normalizeResponsesBodyServiceTier
此前已具备同等行为）。
WebSocket 入口
- 新增 applyOpenAIFastPolicyToWSResponseCreate：严格匹配
type="response.create"，仅处理顶层 service_tier；filter 用 sjson 删字段，
block 返回 typed *OpenAIFastBlockedError。
- ingress 路径在 parseClientPayload 内调用，block 命中先 Write Realtime
风格 error event 再返回 OpenAIWSClientCloseError(StatusPolicyViolation
=1008)，依赖底层 WebSocket Conn.Write 的同步 flush 保证 error 先于
close。
- passthrough 路径在 RunEntry 前对 firstClientMessage 应用策略，并通过
openAIWSPolicyEnforcingFrameConn 包装 ReadFrame 对每个 client→upstream
帧执行策略；后续帧无 model 字段时回退到 capturedSessionModel。
filter 闭包内同时侦测 session.update / session.created 帧的 session.model
字段刷新 capturedSessionModel，封堵"首帧 model=gpt-4o（pass）→
session.update 改为 gpt-5.5 → 不带 model 的 response.create fallback
到 gpt-4o"的 mid-session 绕过路径。
- passthrough billing：requestServiceTier 在策略 filter 之后再从
firstClientMessage 提取，filter 命中时 OpenAIForwardResult.ServiceTier
上报 nil（default tier），与 HTTP 入口（reqBody 来自 post-filter map）
/ WS ingress（payload 来自 post-filter bytes）的语义一致。
- 错误事件 schema：{event_id: "evt_<32hex>", type: "error",
error: {type: "forbidden_error", code: "policy_violation", message}}，
与 OpenAI codex 客户端 error event 解析兼容。
Admin / Frontend
- dto.SystemSettings / UpdateSettingsRequest 新增
openai_fast_policy_settings 字段（omitempty），bulk GET/PUT 接入。
- Settings 页 Gateway 页签新增 Fast/Flex Policy 表单卡片：
service_tier × action × scope × 模型白名单 × fallback action 全字段配置。
- 前端守门：openaiFastPolicyLoaded 标志仅在 GET 真带回字段时才允许回写，
避免 rollout/错误把默认规则覆盖成空；saveSettings 回写循环 skip 该字段，
由专用刷新逻辑处理；仅 action=block 时发送 error_message，匹配后端
omitempty 行为。
测试
- HTTP 路径：openai_fast_policy_test.go 覆盖默认配置（whitelist=[]，所有
模型 priority filter）/ block 自定义错误 / scope 区分 / filter 删字段 /
block 不改 body / block 短路上游 / Anthropic BetaFastMode 触发 OpenAI
fast policy 等场景。
- WebSocket 路径：openai_fast_policy_ws_test.go 覆盖
helper 单元（filter / fast→priority 归一化 / flex 透传 / block typed
error / 无 service_tier 字节不变 / 非 response.create 帧不动 / 空 type
帧不动 / event_id+code 字段断言 / 非字符串 service_tier 容错）+
pass 路径 fast 别名归一化回归 +
ingress 端到端（filter 后上游不含 service_tier / block 后客户端先收
error event 再收 close 1008 且上游 0 写）+
passthrough capturedSessionModel fallback 用例（whitelist 策略下首帧
建立、缺 model 命中 fallback、缺少 fallback 时的 leak 文档化）+
passthrough session.update / session.created 旋转 capturedSessionModel
的 mid-session 绕过回归 +
passthrough billing post-filter ServiceTier 与 idempotent filter 回归。
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
76 lines
2.6 KiB
Go
76 lines
2.6 KiB
Go
package service
|
|
|
|
import (
|
|
"testing"
|
|
|
|
"github.com/Wei-Shaw/sub2api/internal/pkg/apicompat"
|
|
"github.com/stretchr/testify/require"
|
|
"github.com/tidwall/gjson"
|
|
)
|
|
|
|
func TestNormalizeResponsesRequestServiceTier(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
req := &apicompat.ResponsesRequest{ServiceTier: " fast "}
|
|
normalizeResponsesRequestServiceTier(req)
|
|
require.Equal(t, "priority", req.ServiceTier)
|
|
|
|
req.ServiceTier = "flex"
|
|
normalizeResponsesRequestServiceTier(req)
|
|
require.Equal(t, "flex", req.ServiceTier)
|
|
|
|
// OpenAI 官方合法 tier 应被透传保留。
|
|
req.ServiceTier = "auto"
|
|
normalizeResponsesRequestServiceTier(req)
|
|
require.Equal(t, "auto", req.ServiceTier)
|
|
|
|
req.ServiceTier = "default"
|
|
normalizeResponsesRequestServiceTier(req)
|
|
require.Equal(t, "default", req.ServiceTier)
|
|
|
|
req.ServiceTier = "scale"
|
|
normalizeResponsesRequestServiceTier(req)
|
|
require.Equal(t, "scale", req.ServiceTier)
|
|
|
|
// 真未知值仍被剥离。
|
|
req.ServiceTier = "turbo"
|
|
normalizeResponsesRequestServiceTier(req)
|
|
require.Empty(t, req.ServiceTier)
|
|
}
|
|
|
|
func TestNormalizeResponsesBodyServiceTier(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
body, tier, err := normalizeResponsesBodyServiceTier([]byte(`{"model":"gpt-5.1","service_tier":"fast"}`))
|
|
require.NoError(t, err)
|
|
require.Equal(t, "priority", tier)
|
|
require.Equal(t, "priority", gjson.GetBytes(body, "service_tier").String())
|
|
|
|
body, tier, err = normalizeResponsesBodyServiceTier([]byte(`{"model":"gpt-5.1","service_tier":"flex"}`))
|
|
require.NoError(t, err)
|
|
require.Equal(t, "flex", tier)
|
|
require.Equal(t, "flex", gjson.GetBytes(body, "service_tier").String())
|
|
|
|
// OpenAI 官方 tier 直接保留在 body 中（透传上游）。
|
|
body, tier, err = normalizeResponsesBodyServiceTier([]byte(`{"model":"gpt-5.1","service_tier":"auto"}`))
|
|
require.NoError(t, err)
|
|
require.Equal(t, "auto", tier)
|
|
require.Equal(t, "auto", gjson.GetBytes(body, "service_tier").String())
|
|
|
|
body, tier, err = normalizeResponsesBodyServiceTier([]byte(`{"model":"gpt-5.1","service_tier":"default"}`))
|
|
require.NoError(t, err)
|
|
require.Equal(t, "default", tier)
|
|
require.Equal(t, "default", gjson.GetBytes(body, "service_tier").String())
|
|
|
|
body, tier, err = normalizeResponsesBodyServiceTier([]byte(`{"model":"gpt-5.1","service_tier":"scale"}`))
|
|
require.NoError(t, err)
|
|
require.Equal(t, "scale", tier)
|
|
require.Equal(t, "scale", gjson.GetBytes(body, "service_tier").String())
|
|
|
|
// 真未知值才会被删除。
|
|
body, tier, err = normalizeResponsesBodyServiceTier([]byte(`{"model":"gpt-5.1","service_tier":"turbo"}`))
|
|
require.NoError(t, err)
|
|
require.Empty(t, tier)
|
|
require.False(t, gjson.GetBytes(body, "service_tier").Exists())
|
|
}
|