一句话总结:UL 3115(Proposed First Edition,2026-07-31)的技术支柱横跨 Clause 8 到 15,压了 22 条编号要求(R1~R22 的条款索引表和四类测试的判定要点——技术支柱做不实,评分基本没有提升空间。
R1~R22 的分布
先建索引,后面所有动作都挂在这张表上。
| 要求 | 条款 | 核心动作 |
|---|---|---|
| R1 | 11.1.1 | 训练/验证/测试数据的质量四性与多样性四项 |
| R2 | 11.2.1 | 性能监控指标、阈值与偏差处置程序 |
| R3 | 11.3.1 | 错误分类与三类处置动作 |
| R4 | 11.4.1 | 压力测试记录与对抗攻击抵抗力 |
| R5 | 11.5.1 | 验证与确认的三条可选路径 |
| R6 | 13.1.1 | 系统语境、风险源清单、风险登记册 |
| R7 | 13.2.1 | 可能性×严重度、评估准则、优先级排序 |
| R8 | 13.3.1 | 控制措施映射、实测验证、残余风险记录 |
| R9 | 13.4.1 | 持续监测、定期评审、登记册带时间戳更新 |
| R10 | 15.1.1 | 质量管理体系的 8 个必备要素 |
| R11 | 15.2.1 | 结构化生命周期模型与阶段出入口准则 |
| R12 | 15.3.1 | 数据治理纳入 QMS,四类数据集达标 |
| R13 | 15.4.1 | 质量活动记录与内外部可访问 |
| R14 | 15.5.1 | QMS 与风险管理体系接口 |
| R15 | 15.6.1 | 上市后监测计划与事件管理流程 |
| R16 | 15.7.1 | 角色职责指派与高层管理评审 |
| R17 | 15.8.1 | 用户可控性与异常态人工介入 |
| R18 | 15.9.1 | 功能适应性的界定、控制与验证 |
| R19 | 15.10.1 | 功能正确性的指标与容忍误差边界 |
| R20 | 15.11.1 | 鲁棒性设计与验证 |
| R21 | 15.12.1 | 对内外部利益相关者的信息透明 |
| R22 | 15.13.1 | 可干预性与安全状态切换 |
鲁棒性与可靠性:4 个考虑点、4 类测试、5 条要求
Clause 8.3 把评估目标说得最清楚:要确保 AI 产品能承受错误、不确定性、对抗攻击和数据变化,从而在所有可预见情形下安全完成既定功能。围绕这个目标,Clause 9 给了四个设计考虑点,Clause 10 给了四类测试手段。
| 考虑点(Clause 9) | 对应测试(Clause 10) |
|---|---|
| 容错:数据中的小错误不得放大为重大故障 | 压力测试:极端条件或超常运行场景 |
| 对抗抵抗:评估并加固对攻击的防御 | 对抗测试:模拟攻击并评估检测与缓解能力 |
| 数据变化适应:输入变化时准确度不显著下降 | 变异性测试:覆盖离群值与边缘场景 |
| 退化管理:检测并处置性能衰减 | 长周期测试:长期监测,必要时定期重训或更新 |
落到要求层,R1 管数据、R2 管监控、R3 管错误、R4 管攻击、R5 管验证。其中两个细节常被漏掉。
第一,R1 的数据多样性不只讲"代表性",还明确要求人口统计包容性(Clause 11.1.1 b)2))与时间多样性(b)3))——数据要覆盖适当的时间区间与时间条件,既有反映过去状况的历史数据,也有反映当前趋势的近期数据。只做场景覆盖、不做时间维度,R1 是缺的。
第二,R2 要求监控本身也要被证明:Clause 11.2.1 e) 规定提供方的测试记录与文档要显示三项内容——每项可接受性能指标已定义、监控已就位、已做过评估行为与韧性的仿真。也就是说,"我们上线后一直在盯"这句话不算证据,要拿出指标定义、监控配置和仿真记录。
指标族按模型类型分:回归类看 MAE、MSE、RMSE、R²、调整 R²;分类类看准确率、精确率、召回率、F1、AUC-ROC、混淆矩阵。定义见 Annex A。
R5 的验证与确认给了三条可选路径,任选其一或多项:第三方独立测试、形式化验证技术、与人类专家决策对比。这里要注意用词是 "one or more of the following"——三条都做不是强制,但选哪条要能说清理由。
风险管理:四功能和一本登记册
Clause 12.3 把风险管理归成四类,并直接对应 NIST AI RMF 的 Map、Measure、Manage、Govern 四个功能。这个映射不是比喻,条款明说四类就是这四个功能。