一句话总结:Regulation (EU) 2024/1689 第 14 条是提供者的设计义务,不是写一份监督制度文件。第 14(1) 条要求系统连同适当的人机界面工具一起设计,使自然人在系统使用期间能有效监督;第 14(4) 条把"有效"落成五类能力:理解能力与局限、警觉自动化偏见、正确解读输出、决定不使用或推翻输出、通过停止按钮或类似程序中断运行。部署者一侧的义务在第 26(2) 条——把监督任务指派给具备必要能力、培训与权限以及必要支持的自然人。
一、第 14 条的三段结构
| 段 | 内容 |
|---|---|
| 14(1) | 系统须设计并开发成可被自然人在使用期间有效监督,包括配备适当的人机界面工具 |
| 14(2) | 监督的目标:预防或最小化按预期用途使用、或在可合理预见误用下可能出现的健康、安全或基本权利风险,尤其是其他要求已实施而风险仍存在的情形 |
| 14(3) | 监督措施须与风险、自主程度和使用情境相称,并通过下列两类措施之一或两者实现 |
第 14(3) 条的两类措施经常被读成"内置"一种,实际是两条路:
- (a) 提供者在投放市场或投入使用之前识别、并在技术上可行时构建进系统的措施;
- (b) 提供者在投放前识别、且适合由部署者实施的措施。
条文用的是"either one or both",所以纯内置、纯部署者实施、或两者结合都可以。但无论选哪条,措施都必须是提供者在投放前识别出来的——这不是部署者自己发挥的空间。
二、第 14(4) 条:五类能力,逐条对应功能
| 项 | 能力要求 | 对应功能 |
|---|---|---|
| (a) | 恰当理解系统的相关能力与局限,并能适当监控其运行,包括发现与处理异常、故障与意外表现 | 运行监控面板、异常与漂移告警 |
| (b) | 保持对自动化偏见(automation bias)的警觉——避免自动依赖或过度依赖系统输出,尤其当系统为自然人决策提供信息或建议时 | 提示"这是建议不是结论"、要求独立判断的交互设计 |
| (c) | 正确解读系统输出,考虑可用的解释工具与方法 | 置信度、依据片段、判定路径展示 |
| (d) | 在任何具体情形下决定不使用系统,或以其他方式忽略、推翻或反转其输出 | 逐条推翻/改判入口,并留痕 |
| (e) | 干预系统运行,或通过"停止"按钮或类似程序中断系统,使其安全停止 | 中断入口与安全停机状态定义 |
这五项里,(a) 是"看得见",(b) 是"不盲信",(c) 是"读得懂",(d) 是"能改",(e) 是"能停"。很多系统在 (a)(c) 做得不错,却在 (d) 只留了一个"采纳/不采纳"的二选一,没有真正允许修改输出——这不算满足 (d)。