2023年4月，CSET网站发布了“对抗性机器学习和网络安全-风险、挑战和法律影响”（Adversarial Machine Learning and Cybersecurity- Risks, Challenges, and Legal Implications）分析报告。本报告是乔治敦大学安全与新兴技术中心（CSET）与斯坦福网络政策中心的地缘政治、技术和治理项目合作编写的，主要阐述了2022年7月召开的专家研讨会会议内容，重点研究人工智能系统漏洞与传统软件漏洞之间的关系。讨论主题包括在标准网络安全流程下处理人工智能漏洞的程度、及准确共享人工智能漏洞信息的障碍、与人工智能系统的对抗性攻击相关的法律问题，以及政府支持改善人工智能漏洞管理和缓解的潜在领域。

CSET发布《对抗性机器学习和网络安全-风险、挑战和法律影响》

编译：学术plus高级观察员冰墩墩与雪容融

(资料图片仅供参考)

内容主要整理自外文网站相关资料

仅供学习参考，欢迎交流指正！

文章观点不代表本机构立场

*****

01

概述

1.1背景情况

2022年7月，乔治敦大学安全与新兴技术中心（CSET）和斯坦福大学网络政策中心的地缘政治、技术和治理项目召开了一次专家研讨会，以解决这些问题。与会者包括担任网络安全和人工智能红队的行业代表；具有进行对抗性机器学习研究经验的学者；网络安全监管、人工智能责任和计算机相关刑法方面的法律专家；以及负有重要人工智能监督职责的政府代表。

人工智能技术，特别是机器学习，正在广泛地应用于商业和政府环境中。这些技术很容易受到大量操作的影响，可能会触发错误，如从训练数据集中推断出私有数据，以及性能下降或模型参数泄露。

从而提出了一系列的企业责任和公共政策问题：

① 能否使用传统的网络风险补救或缓解方法来解决人工智能漏洞？

② 开发和使用机器学习产品的公司是否具备充分的防御能力？

③ 人工智能系统的开发者或破坏它们的攻击者存在哪些法律责任？

④ 政策制定者如何支持创建一个更安全的人工智能生态系统？

与会者一致认为，人工智能系统遭受攻击的风险可能会随着时间的推移而增加，立即着手制定人工智能漏洞的处理机制是非常重要。

1.2关键术语

人工智能（AI）：

使计算机能够学习并执行传统上由人类执行任务的技术。本报告将人工智能和机器学习技术同义使用。除了机器学习之外，还有其他人工智能研究方法，但本报告主要关注基于机器学习模型的漏洞问题。当前人工智能技术的一个重要子集是深度学习，而对抗性机器学习领域主要侧重于攻击和防御基于深度学习的模型。

人工智能系统：将人工智能模型作为关键组成部分的系统。这个定义包括整个系统的所有组成部分，如预处理软件、物理传感器、逻辑规则和硬件设备，与“人工智能模型”术语差异是仅指代人工智能训练过程中产生的数学模型。

漏洞：本报告采用了CERT指南对漏洞的定义，及允许违反明确或隐含安全策略的一组条件或行为。漏洞可能是由软件缺陷、配置或设计造成决策、系统之间的意外互动或环境变化。

人工智能漏洞：人工智能系统中漏洞，即包括利用人工智能模型的数学特征的漏洞，也包括人工智能模型与整个人工智能系统的其他组成部分相互作用而产生的漏洞。

传统软件漏洞：在本报告中指的是现代漏洞管理社区最熟悉的操作系统、工作站应用程序、服务器软件和移动应用程序中的漏洞，包括CVSSv2和VSSv3和CVE程序。然而，还有许多其他类型的更广泛的网络安全漏洞-包括开源软件、硬件设备、工业控制系统、区块链协议等漏洞-可能与本报告讨论的人工智能漏洞不同。

高风险人工智能系统：一个人工智能系统，其目的是自动化或影响一个社会敏感的决定，包括那些影响获得住房、信贷、就业、医疗保健等的决定。漏洞，以及其他负面属性，如偏见、不公平或歧视性行为，在这些种类中的系统漏洞尤其令人担忧。因为系统故障可能对个人造成严重伤害。本报告中讨论的影响高风险人工智能系统设计和部署的考虑因素，应被视为对高风险系统的最低要求，并不意味着赞同使用人工智能来实现一般的高风险决策自动化。

02

扩展传统网络安全以应对人工智能漏洞

迄今为止，研究发现在发生的多数攻击行为中，有证据表明现实世界中的黑客利用了深度学习系统的漏洞。此外，随着人工智能模型被更广泛的应用使用，基于深度学习模型的攻击频率将会增加。与会者认为，在以下情况这些攻击行为最为常见：攻击机器学习模型会带来明显的经济效益，从而激励黑客个人行为；攻击机器学习模型会带来战略优势，从而激励国家组织行为。

2.1在应对人工智能漏洞方面面临的挑战

（1）现有网络安全框架能否覆盖新兴类型的漏洞，如深度学习方法产生的漏洞。

（2）人工智能漏洞在一些重要方面与传统软件漏洞不同，可能需要对现有的网络安全风险治理框架进行扩展或调整。

在一个高度抽象的层面上，人工智能和传统的软件漏洞在以下方面有所不同：

①人工智能的漏洞通常来自于训练数据和训练算法之间的复杂交互。

②对人工智能模型中的漏洞进行“修补”，可能需要对其进行重新训练，消耗大量成本，甚至根本无法实现。

③在许多情况下，人工智能系统中的漏洞可能是高度短暂的，或者漏洞可能高度依赖于环境。在这两种情况下，攻击以及缓解措施可能无法在所有版本的模型中很好地转移。

④对于什么是人工智能系统中的漏洞，往往存在很大的不确定性。虽然这个问题不一定是人工智能独有的，但它确实使个别人工智能漏洞的问题变得复杂。

这些差异可能会改变人工智能系统中的漏洞的处理方式。例如，如果完全“修补”一个漏洞是不可能的，人工智能开发者和部署者可能更多地关注风险缓解，而相对较少地关注风险补救，即完全消除潜在的漏洞。

2.2在应对人工智能漏洞方面的发展建议

① 构建或部署人工智能模型的组织使用风险管理框架，解决整个人工智能系统生命周期的安全性问题。

风险管理框架是任何组织网络安全政策的一个关键要素，应鼓励将其用于管理人工智能安全。与其他类型的风险管理框架一样，各组织必须将其纳入整个产品开发流程中。

② 对抗性机器学习研究人员，网络安全从业者和人工智能组织要积极尝试并扩展现有的网络安全流程，以覆盖人工智能漏洞。

虽然网络安全界已经开发了许多工具来跟踪和缓解漏洞，并指导事件响应，但还需各专业人员之间加强密切合作，以便将现有的网络安全流程适当地应用于人工智能漏洞。

③ 对抗性机器学习领域的研究人员和从业者应积极主动咨询那些解决人工智能偏见和稳健性的人，以及其他具有相关专业知识的社区。

在某些重要方面，人工智能的漏洞与传统软件漏洞相比，它更类似于算法偏见等其他主题。不良数据、设计选择和风险决策导致模型失败等原因，根据这些经验制定适合的风险评估框架，以便在实际应用中得到保证。

03

改善信息共享和组织安全意识

由于许多网络安全团队可能不具备检测此类攻击的所有相关专业知识，各组织可能缺乏识别和披露确实发生的人工智能攻击的能力。即使发现了漏洞或观察到了恶意攻击，这些信息也很少分享给其他人，无论是同行组织、供应链中的其他公司、用户、政府或公民社会。虽然存在一些潜在的信息传播机制，但还缺乏一个专门的、可信赖的平台，在受保护的基础上分享事件信息。

与会者指出，能够从信息共享中获得收益，但目前缺少信息共享网络，而且政策和文化障碍等目前阻碍了这种交换和共享。这就意味着，很可能在攻击者成功利用漏洞后很久才被大部分人注意到。

3.1在应对人工智能系统受到攻击无法进行准确评估方面的挑战

① 关于现有人工智能漏洞的大多数信息来自理论或学术研究环境，或者来自网络安全公司，以及人工智能系统组织内部的研究人员。

② 缺乏系统的和标准化的方法来跟踪人工智能资产(如数据集和模型)及其相应的漏洞，很难掌握系统漏洞的广泛程度。

③ 对人工智能系统的某些类型的攻击，攻击检测可能需要机器学习或数据科学专业知识来实现，至少需要熟悉那些可能预示着基于人工智能的攻击的行为模式。

3.2在应对人工智能系统受到攻击无法进行准确评估方面的发展建议

① 部署人工智能系统的组织应寻求信息共享，以促进对威胁的理解。

鼓励更加开放的信息共享机制，可以采取广泛的形式，如从关键行业利益相关者的非正式但定期的会议延伸到更加正式的组织。

② 人工智能部署者应该强调建立一种安全文化，在产品生命周期的每个阶段都嵌入人工智能开发。

与所有的软件一样，企业应该将安全作为人工智能流程中每个部分的优先事项。这需要为对抗性的机器学习团队提供强有力的支持，并将这些团队纳入产品开发的每个阶段，以避免将安全问题“外包给”一个单独的团队。

③ 高风险人工智能系统的开发者和部署者必须优先考虑透明度。

最低限度的透明度标准认为，当消费者和公民在高风险的情况下受到人工智能模型的影响时，通常应该被告知。如果一个模型的设计者对相关的权衡要做出重要决定（比如，可能存在于安全、性能、稳健性或公平性之间的权衡），这些决定应该被披露，以保护受模型决定影响的最终用户或公民，以便当受到伤害或歧视时能够进行追溯。

04

明确人工智能漏洞的法律地位

就像人工智能一样不太适用于传统的网络安全风险框架，法院和监管机构在条款和程度上也尚未完全覆盖。迄今为止，对人工智能的大部分政策关注都集中在偏见和歧视的担忧上。

① 拥有网络安全权力的美国政府机构应澄清基于人工智能的安全问题如何融入其监管体系。

鼓励拥有网络安全监管权的机构更具体地阐述人工智能漏洞如何符合监管。同时，各机构应制定关于人工智能最低安全标准的具体指导。

② 目前没有必要修改反黑客法来专门处理攻击人工智能系统的问题。

虽然许多类型的人工智能黑客可能不属于计算机欺诈和滥用法案（CFAA:Computer Fraud and Abuse Act）的范围，但根据其他法律，对基于人工智能的系统的恶意攻击可能已经是非法的。因此，建议不要试图发布任何旨在惩罚对抗性机器学习的新法律。

05

支持有效研究以提高人工智能安全性

开发安全人工智能系统的障碍更多是社会和文化性质，而不是技术性。虽然对抗性机器学习是一个快速发展的领域，据统计，它只占所有学术人工智能研究的1%，而且现有的研究主要集中在小部分攻击类型上。比如对抗性的例子，可能并不代表现实世界中合理的攻击场景。同时，研究界对对抗性机器学习的认知水平仍然很低。虽然研究人员探索的成功攻击策略的数量已经爆炸性增长，但从技术上化解这些漏洞的可能性还不确定，特别是目前仍不清楚有多少针对多种类型攻击的通用防御措施。

与会者认为，资助更多的人工智能安全研究应该是一个重要的优先事项，政策制定者可以采取一些具体行动来有效地推动这一领域的研究。

① 对抗性机器学习研究人员和网络安全从业者应寻求比过去更紧密的合作。

对抗性机器学习研究人员和网络安全研究人员之间的进一步合作可以帮助更有效地确定人工智能部署者所面临的最现实的威胁情况，以便他们能够充分关注。

② 促进人工智能研究更加强调人工智能安全，包括通过资助开源工具，以促进人工智能安全的发展。

近年来，联邦政府根据《2020年国家人工智能倡议法案》、《2022年CHIPS和科学法案》以及许多机构的具体倡议或项目，为人工智能研究提供了大量资金。安全应该被看作是一种必要的人工智能研究的基础组成部分。政府政策制定者应该考虑如何才能更好地支持以安全为导向的研究，有效地激励私营企业进行研究，而不是复制或者竞争。

③ 政府政策制定者不仅要制定标准，且需提供测试平台或启用审计以评估人工智能模型的安全性

虽然标准制定很重要，但政府政策制定者还应积极地参与提供人工智能模型的测试平台和审计。这不仅可以让决策者更好地了解现有人工智能产品在多大程度上容易受到已知攻击媒介的影响，同时也可以跟踪漏洞趋势的变化。

06

结束语

对抗性机器学习是一个拥有高度技术工具的复杂领域，但人工智能漏洞带来的问题可能与技术一样是社会性的。与会者强调行业和政府政策制定者应通过投资技术研究来促进人工智能安全发展。与会者们的大部分建议都集中在改变流程、机构文化以及人工智能开发者和用户的意识上，促使使用人工智能的组织主动围绕人工智能系统的安全问题进行思考。

虽然对抗性机器学习研究人员所研究的攻击范围正在扩大，但其中许多攻击仍然集中在实验室环境中，对已部署系统中的漏洞缺乏全面的了解。

声明：版权归原作者所有。文章观点不代表本机构立场。图片均来自于网络。

关键词：