可信人工智能白皮书

原文链接

可信人工智能发展背景

人工智能作为新一轮科技革命和产业变革的重要驱动力量，正在对经济发展、社会进步、国际政治经济格局等诸方面产生重大而深远的影响。 2020 年人工智能产业保持平稳增长，根据 IDC 测算，全球人工智能产业规模为 1565 亿美元，同比增长 12%；根据中国信息通信研究院测算，我国产业规模达到约 434 亿美元（ 3031 亿人民币），同比增长 15% 。

人工智能在带来巨大机遇的同时，也蕴含着风险和挑战。当前，人工智能应用的广度和深度不断拓展，正在成为信息基础设施的重要组成。但在此过程中，人工智能也不断暴露出一些风险隐患，主要体现在以下几个方面：

• 算法安全导致的应用风险：算法本身存在漏洞。例如优步自动驾驶汽车未能及时识别路上行人而致其死亡；据美国《财富》杂志报道，一家人工智能公司利用 3D 面具和 合成照片实施欺骗攻击，成功破解多国的人脸识别系统 。
• 黑箱模型导致算法不透明：从而容易引发不确定性风险。由于人们无法直观地理解决策背后的原因，人工智能与传统行业的进一步融合受到阻碍。例如美国德州某学校使用人工智能系统判断老师教学水平，由于系统不能解释争议性决策的判断依据，遭到该校教师的强烈抗议，最终导致系统下线。
• 数据歧视导致决策偏见：人工智能算法产生的结果会受到训练数据的影响。例如美国芝加哥法院使用的犯罪风险评估系统（ COMPAS ）被证明对黑人存在歧视。
• 系统决策复杂导致责任事故主体难以界定：人工智能的系统的自动化决策受众多因素影响，使得责任主体难以界定。例如自动驾驶出现安全问题，难以判定责任应由开发者还是所属者承担。
• 数据滥用导致隐私泄露风险：生物识别信息的频繁使用使得个人隐私数据泄露的可能性增大，数据一旦丢失会造成极大的安全风险。例如 ZAO 通过用户协议条款违规收集人脸数据 ，加重了人们对隐私数据滥用可能造成刷脸支付和身份认证相关安全风险的担忧。

人工智能的风险性使得人工智能的可信性受到世界高度重视。

2019 年 6月，二十国集团（ G20 ）提出 “G20 人工智能原则”，在其五项政府建议中明确提出的“促进公共和私人对人工智能研发的投资力度，以促进可信赖的人工智能（ Trustworthy Artificial Intelligence ）的创新；需创建一个策略环境，为部署值得信赖的人工智能系统开辟道路。”已经成为国际社会普遍认同的人工智能发展原则。

学术界首先推开了可信人工智能的大门。从学术研究角度，可信人工智能研究范畴包含了安全性、可解释、公平性、隐私保护等多方面内容。2020 年可信人工智能研究论文数量相比2017 年增长近 5倍。

政府把增强用户信任、发展可信人工智能，放在其人工智能伦理和治理的核心位置。2020 年欧盟的《人工智能白皮书》 提出了人工智能“可信生态系统”，旨在落实欧洲人工智能监管框架，提出对高风险人工智能系统的强制性监管要求。同年 12 月，美国白宫公布了一项名为《促进政府使用可信人工智能》的行命令，该命令为联 邦机构使用人工智能制定指导方针，旨在促进公众接受并信任政府在决策中使用人工智能技术。

标准化组织布局可信人工智能标准。ISO/IEC JTC1 SC42专门设 置了 WG3 可信人工智能工作组。网络的鲁棒性》系列研究工作。国内成立全国信息技术标准化技术委员会，并在2020 年 11月发布了《网络安全标准实践指南 —人工智能伦理道德规范指引》意见征求稿，针对可能产生的人工智能伦理道德问题，提出了安全开展人工智能相关活动的规范指引。

企业积极探索实践可信人工智能。IBM Research AI 于 2018 年开 发多个人工智能可信工具，以评估测试人工智能产品在研发过程中的公平性、鲁棒性、可解释性、可问责性、价值一致性。这些工具已捐献给 Linux Foundation 并成为了开源项目。微软、谷歌、京东、腾讯、旷视等国内外企业也在积极开展相关实践工作。

可信人工智能需要系统方法指引。当前对可信人工智能的要求及评价方法实操性不断加强。各国都意识到，伦理等“软性”约束如果缺乏相应落地机制，就容易出现道德漂白（ ethics washing ）的情况 ，因此需要操作性更强的手段。

人工智能立法进程不断加快，但具体细则仍需进一步明确；同时产业界探索可信人工智能也逐步迈入深水区。总体上看， 针对可信人工智能的实践仍处于相对分散的状态，缺少一套体系化的方法论，以实现全面贯彻相关治理要求，体系化落实相关操作的实践性指引。

基于此，白皮书在全面梳理人工智能伦理约束、规范立法及优秀实践的基础上， 提出“可信人工智能框架”，作为落实人工智能治理要求的一整套方法论，从产业维度出发，围绕企业和行业的可信实践进行了深入剖析，致力于在人 工智能治理和产业实践之间搭建起连接的桥梁。

可信人工智能框架

可信人工智能已经不再仅仅局限于对人工智能技术、产品和服务本身状态的界定，而是逐步扩展至一套体系化的方法论，涉及到如何构造“可信”人工智能的方方面面。

可信特征层面。通过对全球范围内已经发布的 84 份政策文件按照词频进行梳理，可以看到当前人工智能治理原则已经收敛在透明性、安全性、公平性、可问责、隐私保护等五个方面 。白皮书参考全球五项共识、中国人工智能产业发展联盟倡议以及发布的《人工智能行业自律公约》和《可信 AI 操作指引》，总结提出可靠可控、透明可释、数据保护、明确责任、多元包容等五项可信特征要素，用以指引实践可信人工智能时所需具备的操作能力。

可信支撑技术层面。围绕着可靠可控、透明可释、数据保护、明确责任和多元包容等可信特征的要求，以理论研究和技术创新为核心抓手，从而弥补当前技术的不足。

企业可信实践层面。人工智能在社会上的广泛应用依赖于企业等主体将技术商品化，因此企业在可信人工智能方面的实践是可信方法论中的关键一环。应该意识到没有完美的技术，关键在于如何正确使用技术：一方面需要培育可信文化和建设可信管理制度等；另一方面需要在人工智能系统研发和使用的整个生命周期中贯彻可信特征的要求，从产品源头确保“可信”品质。

行业可信实践层面。可信人工智能需要整个行业的参与和实践。主要包括可信人工智能标准体系的建设，可信人工智能评估测试，以及人工智能可信保障等，通过构建保险等社会化方式分担人工智能技术和系统应用带来的风险。

可信人工智能支撑技术

随着社会各界对人工智能信任问题的不断关注，安全可信的人工智能技术已成为研究领域的热点 。研究的焦点主要是提升人工智能系统稳定性、可解释性、隐私保护、公平性等，这些技术构成了可信人工智能的基础支撑能力。

人工智能系统稳定性技术

人工智能系统面临着特有的干扰，这些干扰来自于针对数据和系统的多种攻击方式，包括中毒攻击、对抗攻击、后门攻击等。

中毒攻击通过按照特殊的规则进行恶意评论等方式，向训练数据集投入干扰数据，继而影响推荐系统的准确度；

对抗攻击通过在道路交通标志牌上贴上特殊设计的图案，可以误导自动驾驶系统使其错误识别路牌上的信息，进而造成交通事故 ；

后门攻击具有隐蔽性，可能会被用于对 AI 供应链 发动攻击。相比于传统的软件系统，此类干扰对人工智能系统的稳定性提出了更高的要求。

为抵御这些攻击，一些工作提出各类异常数据检测方法来检出并清除对抗样本、中毒样本、后门样本等恶意数据，从而减轻恶意攻击带来的干扰；通过在对抗样本上进行对抗训练来抵抗对抗攻击；利用模型剪枝、后门检测等技术抵抗后门攻击。

人工智能的稳定性仍然面临着较大的挑战。未来在人工智能稳定性技术方面的研究将持续增多。

人工智能可解释性增强技术

目前，以深度学习算法为核心的人工智能系统的运作就像是一个黑箱，人们只能看到数据的导入和输出，而不清楚内部的工作原理和判断依据。

• 一方面，人们对训练得到的人工智能模型为何能具有极高的性能尚不清楚；
• 另一方面，人工智能系统在做出决策时具体依赖哪些因素人们也不清楚。

针对人工智能算法可解释性的研究仍处在初期阶段，部分算法的理论框架有待完善 。

例如，优化算法的有效性在决策树、支持向量机等一些简单的人工智 能模型上已被很好地证明。然而，对于

随机梯度下降算法为何能高效优化深度神经网络，学术界已经开展了大量的研究，但目前对于该问题的讨论仍未有定论。又如，针对人工智能模型如何利用数据特征做出预测，学术界已通过实验取得了一定的成果，但还缺乏理论支撑。

为了使人工智能模型具有更好的可解释性，研究学者提出可以通过建立适当的可视化机制尝试评估和解释模型的中间状态；通过影响函数来分析训练数据对于最终收敛的人工智能模型的影响；通过Grad-CAM（Gradient-weighted Class Activation Mappin）方法分析人工智能模型利用哪些数据特征做出预测；通过LIME（Local Interpretable Model-agnostic Explanations ）方法使用简单的可解释模型对复杂的黑盒模型进行局部近似来研究黑盒模型的可解释性；还有部分研究则提出可以通过建立完善的模型训练管理机制提升人工智能系统实现过程的可复现性。

人工智能隐私保护技术

人工智能系统需要依赖大量数据，然而数据的流转过程以及人工智能模型本身都有可能泄漏敏感隐私数据。

学界针对上述隐私泄露问题提出了多种针对性的保护方法，最常见的为基于差分隐私和基于联邦学习的隐私保护方法。

差分隐私最早由美国学者 Cynthia Dwork于 2006 年提出，是人工智能系统隐私保护能力的一个主要量化指标。其核心思想是一个具有优秀隐私保护能力的人工智能算法应当对输入数据中的微小扰动不敏感。基于该思想，可以通过对数据进行下采样、顺序置换、添加噪声等方式，来防御攻击者进行隐私窃取。

联邦学习在 2015 年提出，其能在不收集用户数据的条件下进行人工智能模型的训练，以期保护隐私信息。具体来说，联邦学习将模型部署到用户设备；各用户设备使用自己的私有数据，计算模型参数的梯度，并将其上传中央服务器；中央服务器对收集到的梯度进行融合，传回各用户设备；各用户设备利用融合后的梯度更新模型参数。

人工智能公平性技术

随着人工智能系统的广泛应用，其表现出了不公平决策行为以及对部分群体的歧视。学术界认为，导致这些决策偏见的主要原因如下：受数据采集条件限制，不同群体在数据中所占权重不均衡；在不平衡数据集上训练得到的人工智能模型，可能会为了在整体数据上的平均性能，而牺牲在少量数据上的性能，造 成模型决策不公平。

为了保障人工智能系统的决策公平性，相关研究者主要通过构建完整异构数据集，将数据固有歧视和偏见最小化；对数据集进行周期性检查，保证数据高质量性。此外，还有通过公平决策量化指标的算法来减轻或消除决策偏差及潜在的歧视。现有的公平性指标可以分为个体公平性与群体公平性两大类。其中，个体公平性衡量智能决策对于不同个体的偏见程度，而群体公平性则衡量智能决策对于不同群体的偏见程度。

另一方面，基于公平性指标的算法则大致能分为预处理方法、处理中方法及后处理方法共三大类。

• 预处理方法通过删除敏感信息或重采样等方式对数据进行清洗，从而降低数据中存在的偏差。
• 处理中方法通过在人工智能模型训练过程中加入与公平性量化有关的正则项，提高训练得到的模型的公平性。
• 后处理方法通过对模型输出进行调整，进一步提高训练得到的模型的公平性，例如，有工作基于多重精确度（ Multiaccuracy ）的概念提出多精度提升法 Multiaccuracy Boost ），以减轻黑盒人工智能系统的决策偏差。

可信人工智能实践路径

白皮书参考中国人工智能产业发展联盟发布的《可信AI 操作 指引》相关内容，结合调研访谈人工智能企业研发实际情况，从企业和行业层面总结提出了可信人工智能的实践路径。

企业层面

可信人工智能在企业的实践是一项整体的、发展的、非传统的系统工程，需要从企业文化、管理制度等方面入手，同时在人工智能系统研发中全面落实相关技术要求。

将可信人工智能融入企业文化：企业文化是一个企业整体价值观、共同愿景、使命及思维方式的具体体现，企业要发展可信人工智能，就要把可信理念融入企业文化。

1. 企业管理层要认可“可信”的方向
2. 员工要加强“可信”的学习和实践
3. 企业要营造“可信 ”的文化氛围

完善可信人工智能的管理制度：管理制度是实施管理行为的依据，是社会再生产过程顺利进行的保证。企业要实现可信人工智能，就要在管理制度中有所体现。

1. 建立可信人工智能团队
2. 建立并落实可信人工智能人员管理制度
3. 建立并落实可信人工智能系统研发与使用的管理制度
4. 配备实现可信人工智能的必要资源
5. 建立制度的迭代和和更新机制

将可信人工智能要求嵌入到研发应用全流程

规划设计阶段

企业在人工智能系统生命周期的开始就需要充分考虑落实可信人工智能的特征要素，将可信的理念根植于需求分析和系统详细设计等规划设计的关键环节中，从而使后续的研发测试和运营能够始终符合可信人工智能的核心要求。

结合当前软件产品设计的常见流程，企业可以通过专门设立的可信团队，从两个方面帮助产品团队制定人工智能系统可信设计方案：

• 一是提出人工智能系统的可信设计要求。在完成产品需求分析之后，应充分调研人工智能智能系统面临的潜在风险，有针对性地提出应对手段，如针对系统安全性、失效保护机制、可解释性、数据风险、系统责任机制、用户权利义务、系统公平性等方面，提出相应的可信设计要求清单。
• 二是评审人工智能系统的可信设计方案。可信团队中各个专业领域方向专家，需要结合其自身的专业知识、工作经验、典型案例等 ， 验证人工智能系统可信设计方案的可行性，发现潜在问题，提供启发性引导和更多的可信设计延展思路，为后续可信设计方案的修改完善提供意见，确保将可信人工智能的核心特征与系统设计进行融合，减少信任漏洞，预防潜在风险事故的发生。

研发测试阶段

可靠可控方面，应着力提升人工智能系统自身的防御能力并确保人类的监督和接管权力。人工智能系统自身的防御能力可以从数据和模型两个层面进行提升。人类的监督和接管权力，确保在上线部署后面对突发情况时，人工智能系统能够自动调节恢复、被专业人员快速接管，或通过“一键关停”的方式被人为终止服务。

透明可释方面，应重点提升人工智能系统的可复现性。当前算法 的可解释性研究与人工智能技术在应用领域的高速发展相比仍较为落后 ，因此企业在研发和测试阶段应主要从提升系统的可复现性入手不仅可以增强系统透明性，同时也能一定程度上降低后期系统审计和责任追溯的难度。相关的主要措施包括：建立完善的数据集管理机制与完善的模型训练管理机制。

数据保护方面，应通过开展数据治理以避免训练数据的非法收集、滥用和泄漏等问题，同时探索使用隐私保护算法训练人工智能系统。使用差分隐私或联邦学习等技术，从算法层面提高人工智能系统的隐私保护能力。

明确责任方面，应全面审计人工智能系统的实现流程，提升系统可追溯能力，确保系统及服务的源头可信。审计的主要环节包括数据准备、模型训练、模型评估三个环节。

多元包容方面，应着重关注训练数据集的公平多样性，避免数据偏差造成的信任缺失。一方面留意数据中可能会出现的固有的歧视和偏见，以采取主动措施来削弱偏见带来的影响；另一方面，对数据集进行周期性检查，保证数据高质量性。此外， 测试环节采用基于公平决策能力的量化指标对人工智能系统进行测试。目前，具体操作可包括：

• 通过可靠、合法的来源收集数据，保证数据来源的可信程度。
• 通过统计学的方式或相关工具集，检查数据集中样本、特征、标签的准确性和完整性，并根据检查结果及时进行相应的调整。
• 根据真实部署环境的变化及时更新数据集，保证数据集的时效性和相关性。
• 构建易用的数据集格式和接口，简化数据集的读取和调用流程，防止误操作。
• 在对人工智能模型的公平决策能力进行定量分析时，需要根据具体应用场景和特定需求选取合适的量化指标，兼顾考虑个体公平性和群体公平性指标。

运营使用阶段

在人工智能实际运营和使用阶段，需要做好人工智能系统的解释说明工作，持续监测人工智能系统的各项可信风险，积极优化人工智能系统。

对用户披露人工智能系统的技术意图。在算法的可解释性尚未成熟的情况下，对于人工智能系统技术意图的理解可以从建立适当的人机交流机制、披露系统决策的功能逻辑和使用要求、明示系统的潜在错误决策风险等方面入手。

持续开展人工智能风险监测等。建立用户反馈渠道，及时收集用户的真实意见，并对整个系统进行优化和迭代。

行业层面

可信人工智能的实现不仅仅是企业单方面的实践和努力就能够完成的，更需要多方参与和协同，最终形成一个相互影响、相互支持、相互依赖的良性生态。这个生态主要包括标准体系、评估验证、合作交流等具体内容。

构建可信人工智能的标准体系。政策法律只能规定原则和底线，需要标准从可执行、可落地的层面来进行具体的指导和约束。目前，部分国家已在制定或出台人工智能治理的原则或法律，在此基础上，可结合人工智能技术、产品或场景制定具体的标准规范。

开展第三方的评估验证。第三方的评估验证是检验目标对象是否达到相关要求的有效手段，由于人工智能技术的复杂性，更加需要专业的第三方机构给予支持。围绕可信人工智能的特征，要重点考虑系统安全性、鲁棒性、可复现性、数据保护、可追溯性、公平性等方面的表现。

摸索市场化的保险机制。人工智能技术应用与其他信息系统一样，无论达到多高的保障等级，出现问题的风险始终存在。这就需要创新工作方法，以其他方式转移风险损失。