一句话总结:Regulation (EU) 2024/1689 第三章第 2 节用七条(第 9~15 条)规定了高风险 AI 系统的实质要求,它们不是七份独立文档,而是一条链:第 9 条的风险管理贯穿全程,第 10 条管数据、第 11 条管文档、第 12 条管日志、第 13 条管说明书、第 14 条管人工监督、第 15 条管性能与安全。每条要求在本条例内部都有可指认的证据载体——附件四的某个子项、第 17 条的某个要素、或条文自身规定的某项记录。把"证据"写成条例里没有的名词,审计时无法对号。
一、第 9 条:风险管理是过程,不是文件
第 9(2) 条把风险管理定义为贯穿系统全生命周期的连续迭代过程,包含四步:
| 步 | 内容 | 条款 |
|---|---|---|
| (a) | 识别与分析已知及可合理预见、且按预期用途可能对健康、安全、基本权利造成的风险 | 9(2)(a) |
| (b) | 估计与评估按预期用途使用、以及在可合理预见误用条件下可能出现的风险 | 9(2)(b) |
| (c) | 基于第 72 条上市后监测收集的数据,评估其他可能产生的风险 | 9(2)(c) |
| (d) | 采取适当且有针对性的风险管理措施 | 9(2)(d) |
三条容易被跳过的限定:
- 9(3):本条所称风险只涵盖那些可通过系统开发或设计、或通过提供充分技术信息被合理缓解或消除的风险。不是所有社会风险都归你。
- 9(5):措施须使每项危险的残余风险以及系统整体残余风险被判为可接受(judged to be acceptable)。"可接受"是判定结论,需要理由。
- 9(8):测试须在开发过程中适时进行,且在任何情况下都须在投放或投入使用前完成;须针对事先定义的指标与概率阈值。测试没有预设阈值,等于没有判据。
证据落点:附件四第 5 节(风险管理体系详述)、第 17(1)(g) 条(QMS 中的风险管理系统要素)、附件四 2(g)(测试日志与报告)。
二、第 10 条:数据治理的八项实践
第 10(2) 条列了数据治理与管理实践须特别关注的八个方面:
| 项 | 内容 |
|---|---|
| (a) | 相关设计选择 |
| (b) | 数据收集过程与数据来源;涉及个人数据的,还须记录原始收集目的 |
| (c) | 相关数据准备操作:标注、打标、清洗、更新、富集、聚合 |
| (d) | 假设的表述,特别是数据应测量与代表什么 |
| (e) | 所需数据集的可得性、数量与适用性评估 |
| (f) | 审查可能影响健康安全、损害基本权利或导致联盟法禁止的歧视的偏差 |
| (g) | 检测、预防与缓解 (f) 所识别偏差的适当措施 |
| (h) | 识别妨碍合规的数据缺口或缺陷,以及如何弥补 |
第 10(3) 条另给质量判据:训练、验证、测试数据集须相关、充分代表、在最大可能范围内无错误且在预期用途视角下完整,并具备适当的统计特性;这些特征可在单个数据集层面或组合层面满足——这一句给了小样本场景一条出路。
第 10(6) 条:不使用模型训练技术的系统,第 2、3、4 段与第 4a(1) 条仅适用于测试数据集。
证据落点:附件四 2(d)(datasheet 形式的训练方法与数据集描述)、第 10(2)(f)(g) 的偏差审查记录、第 4a(1)(f) 的处理活动记录(若涉及特殊类别数据)。
三、第 11~13 条:文档、日志、说明书
| 条 | 要求 | 证据载体 |
|---|---|---|
| 11 | 技术文档在投放前编制、持续更新,最低内容见附件四 | 附件四九节文件包 |
| 12 | 技术上允许全生命周期自动记录事件,支撑三类用途 | 事件字段规范 + 附件三第 1(a) 点四项(如适用) |
| 13 | 说明书须含 (a)~(f) 六组信息 | 说明书本体 + 附件四第 1(h) 点 |
第 13(3) 条的六组信息值得单独列,因为它同时是对部署者的交付与对监管的举证:
| 项 | 内容 |
|---|---|
| (a) | 提供者及授权代表的身份与联系方式 |
| (b) | 系统的特性、能力与性能局限,含预期用途、精度水平与指标、稳健性与网络安全、已知影响预期水平的可预见情形、输出解释能力、特定人群表现、输入数据规格、便于部署者解释输出的信息 |
| (c) | 初始符合性评定时已预定的系统与性能变更 |
| (d) | 第 14 条的人工监督措施,含便于部署者解释输出的技术措施 |
| (e) | 所需算力与硬件资源、预期使用寿命、必要的维护与保养措施及其频次 |
| (f) | 便于部署者按第 12 条收集、存储与解释日志的机制说明 |