OWASP发布开源AI网络安全知识库框架AI Exchange

发布时间:2024年01月23日

面对人工智能安全相关工具、平台、法规、应用和服务的快速增长,在推出大语言模型十大漏洞TOP10列表后,OWASP近日又推出了AI开源网络安全知识库框架——AI Exchange(链接在文末),旨在推进全球AI安全标准、法规和知识的开发和共享。

考虑到人工智能环境安全防御的复杂性,AI Exchange的导航器可帮助用户快速查询包括各种威胁、漏洞和控制的有用资源。

AI Exchange导航器

OWASP AI Exchange还率先提出了一些通用AI安全建议,,并按攻击面和生命周期排序。其中包括实施人工智能治理、将安全和开发实践扩展到数据科学以及根据人工智能的具体用例。

威胁是按攻击面(攻击发生的方式和地点)组织的,而不是按影响组织的。这意味着,例如,在概述的三个不同部分中提到了模型盗窃:

  • 通过从实时系统中窃取模型参数来窃取模型,例如闯入网络并从文件中读取参数,
  • 通过从工程环境中窃取建模过程或参数来窃取模型,例如存储在数据科学家的版本管理系统中,以及
  • 通过使用 AI 系统进行逆向工程来建模盗窃。这是三种截然不同的攻击,具有相似的影响。这种组织方式很有帮助,因为目标是将威胁链接到控制措施,而这些控制措施因攻击面而异。

覆盖AI威胁、攻击面、生命周期和资产的AI安全矩阵 来源:OWASP

虽然 AI 提供了强大的性能提升,但它也增加了不良行为者可用的攻击面。因此,在处理 AI 应用程序时,必须清楚地了解潜在威胁以及每个用例应优先考虑哪些威胁。标准和治理有助于指导利用 AI 功能的各个实体的此过程。

  • 实施 AI 治理
  • 扩展安全和开发实践,以包括数据科学活动,特别是保护和简化工程环境。
  • 通过了解 AI 的特殊性来提高常规应用程序和系统的安全性,例如模型参数需要保护,对模型的访问需要监控和速率限制。
  • 通过最小化权限和增加监督(例如护栏、人工监督)来限制 AI 的影响。
  • 通过了解模型攻击(例如数据质量保证、更大的训练集、检测常见的扰动攻击、输入过滤)来应对数据科学中的对策。

黑客攻击人工智能的方式有很多,并且涌现了很多新威胁,例如数据泄露、数据中毒,甚至对人工智能供应链的攻击。以下是AI Exchange给出的AI安全威胁与控制措施的威胁模型图:

AI威胁与控制模型图来源:OWASP

总之,AI Exchange为企业提供了一种全面的方法来识别AI相关威胁和对应的控制措施。首先通过威胁建模等方法识别威胁,确定企业内部应对威胁的责任,以及评估服务提供商、软件和供应商等外部因素。

然后,AIExchange框架会引导企业选择合适的威胁缓解措施,并将这些控制措施与现有和新兴标准交叉引用。遵循这些步骤,企业将能对AI风险的持续监控和维护做出明智决策。

与其他软件系统非常相似,人工智能系统开发也遵循生命周期,因此AIExchange建议企业遵循NIST的安全软件开发框架(SSDF),在人工智能软件开发生命周期(SDLC)的各个阶段进行安全防护,包括安全设计、开发、部署以及操作和维护。

参考链接:

https://github.com/OWASP/www-project-ai-security-and-privacy-guide/blob/main/owaspaiexchange.md

文章来源:https://blog.csdn.net/lsyou_2000/article/details/135741845
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。