模型供应商认证 SOP
CoreMind 能识别某个供应商,只代表运行时具有对应适配入口;只有完成本页全部真实测试并保存证据后,才能标记为“已认证”。当前认证结果见供应商矩阵。
认证前提
- 使用供应商官方账号、正式 API 地址和可公开验证的模型标识。
- 由测试人员明确批准把测试输入发送给外部服务。
- API 密钥只通过环境变量注入,不写入配置、日志、截图或提交记录。
- 记录 CoreMind 版本、操作系统、Node.js 版本、供应商、模型和测试时间。
- 测试内容不得包含个人信息、商业秘密或生产数据。
七项强制检查
| 检查 | 通过条件 |
|---|---|
| 流式输出 | 能持续接收增量内容,结束原因与最终文本完整 |
| 工具调用 | 模型产生合法参数,工具结果能回传并继续生成答案 |
| 结构化结果 | 输出满足声明的结构,非法结果能被拒绝或修复 |
| 多轮会话 | 上下文在至少三轮交互中保持正确,没有角色串线 |
| 中止 | 活动生成能被显式中止,终态为 aborted,中止后 Runtime 可继续使用 |
| 错误处理 | 无效密钥、限流、超时和服务端错误均返回可诊断结果,不泄露密钥 |
| 长上下文 | 在记录的合成长文本长度下仍能返回首尾标记,不混入真实用户或业务数据 |
执行步骤
- 从最小配置开始,仅启用一个供应商、一个模型和一个无副作用工具。
- 运行七项检查,同时保存脱敏后的命令、配置摘要和结果摘要。
- 对失败项复测一次;不要把偶发成功当作稳定通过。
- 在
docs/providers/certifications.json中新增一条证据记录。七项结果必须全部为true。 - 执行
npm run build && npm run providers:matrix重新生成双语矩阵。 - 执行
npm run check和npm test,确认矩阵、文档与运行时清单一致。 - 由另一位维护者复核证据、外发授权和脱敏结果后合并。
证据要求
认证记录至少应包含供应商标识、模型标识、CoreMind 版本、测试日期、平台、七项结果、长上下文字符数和证据链接。证据可以存放在不含秘密的 Issue、CI Artifact 或测试报告中;链接失效、缺少当前检查或证据不可复现时必须降级为未认证。
何时撤销认证
供应商接口发生破坏性变化、默认模型下线、连续集成复测失败、发现安全问题,或超过一个主要版本未复测时,将状态改回“未认证”,修复并重新执行完整 SOP。