本分册为「REGULATION (EU) 2024/1689 学习笔记」系列第 2 部分,覆盖第 II 章(第 5 条,禁止性 AI 实践)与第 III 章第 1 节(第 6–7 条,高风险分类规则),并导览附录 I、II、III 三份与分级直接相关的清单。系列共 6 个分册,主索引见 :REGULATION (EU) 2024/1689 人工智能法案学习笔记(总目录)。
第四章:禁止性 AI 实践【引述依据:Art 5 / Ch II / Annex II】
本章对应法规第 II 章(第 5 条)与附录 II。学习目标:搞清楚"哪些 AI 用法无论怎么做合规都不可接受",以及这些红线在技术设计上如何被触发。
4.1 为什么"禁止"被放在所有义务之前
读法规时容易忽略一个结构性信号:禁止性实践(第 5 条)被单独列为第 II 章,位置在所有"高风险要求""透明度义务""GPAI 义务"之前。这不是排版巧合,而是一种立法价值排序——在讨论"如何合规"之前,先划定"不得进入的领域"。
从行业理解角度,这一章有三个特点值得先建立认知:
- 它不看你做了多少文档。第 III 章以后的所有义务都可以通过技术文档、风险管理、合格评定来"证明合规";第 5 条不同,它禁止的是行为本身。你做了再完整的风险管理档案,也不能让社会评分系统合法化。
- 它约束的是"投放市场、投入使用、使用"三个动作,因此链条上的每一方都可能成为违规主体,而不只是提供者。同一套系统,制造商可能不违规,但某个部署者的具体使用方式可能直接踩线。
- 它与 GDPR 等既有法律并行。第 5(8) 条明确,本条不影响其他欧盟法对同一实践已有的禁止。也就是说,一个行为可能同时违反 AI Act 与 GDPR,两条追责路径不会相互吸收。
💡 行业经验提示:很多团队把第 5 条当成"法务审查清单",在发布前才过一遍。实践中的高效做法相反——把它前置成产品需求阶段的一票否决项。原因很现实:一旦产品架构围绕某个被禁功能搭建(例如默认采集人脸、默认推断情绪),后期不是"改文案"能解决的,往往要重构数据流。早期一小时的红线评审,能省掉后期数月返工。
4.2 十类禁止实践的完整测绘
第 5(1) 条列举的禁止实践,如果逐条死记会非常吃力。行业里更有效的记忆方式是按"被侵害的对象"归为四族——这样不仅好记,也更容易在设计评审时快速定位"我们的功能命中了哪一族"。
| 族群 | 被侵害对象 | 涉及条款 | 典型触发点 |
|---|---|---|---|
| 一、操纵与脆弱性利用 | 个人的自主决定能力 | 5(1)(a)、(b) | 潜意识诱导、针对年龄/残疾/经济困境的成瘾式设计 |
| 二、评分与预测性执法 | 个人的平等权与无罪推定 | 5(1)(c)、(d) | 跨场景社会评分、仅凭画像预测犯罪 |
| 三、生物识别滥用 | 隐私、人格与集会自由 | 5(1)(e)、(g)、(h) | 无差别抓取人脸建库、推断敏感属性、公共场所实时识别 |
| 四、感知操纵与内容滥用 | 人格尊严与儿童保护 | 5(1)(f)、(ba)、(bb) | 工作/教育场景情绪识别、非自愿亲密影像、儿童性虐待材料 |
族群一:操纵与脆弱性利用。 这一族的技术核心不是"内容真假",而是"是否实质性地破坏了人的知情决策能力"。条款关注两个要件:一是手段(潜意识技术、故意操纵或欺骗),二是结果(实质性扭曲行为,且造成或可能造成重大伤害)。行业理解上,这里的难点是"重大伤害"的门槛判断——轻微的界面诱导(例如默认勾选)通常不构成,但针对特定脆弱群体的成瘾性推送、利用认知偏差促成高风险决策,就可能落入射程。
族群二:评分与预测性执法。 社会评分条款的立法意图非常明确:防止出现"跨场景信用"——用 A 场景收集的行为数据,在毫不相关的 B 场景对个人施加不利待遇。条款同时禁止"不成比例"的不利待遇,即便在同一场景内。预测性执法条款则划出另一条线:不得仅凭画像或人格特征推断犯罪风险;但如果人类评估已经建立在与犯罪活动直接相关的客观可核实事实之上,AI 只作为辅助,则不在禁止之列。这条"辅助 vs 替代"的分界,是执法科技领域最需要提前设计的地方。
族群三:生物识别滥用。 这一族包含三项内容,性质并不相同:无差别抓取互联网或监控影像建立人脸数据库,是绝对禁止;基于生物特征推断种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向的分类,也是绝对禁止(但执法领域对已合法取得的数据集做标注或过滤属于例外);而执法场景在公共场所使用"实时"远程生物识别,则是原则禁止 + 严格例外。把三者混为一谈,是合规评审中常见的误判。