自从OpenAI的ChatGPT出现以来，随着一系列其他面向消费者和企业的人工智能（AI）产品的出现，AI作为一种技术趋势得到了广泛的宣传和关注。

许多评论员只关注到AI目前作为一个流行词汇的突出地位，很少关注其技术和定义细节。但实际上，真正的AI、神经网络与仅仅算是高级决策工具之间存在区别，正如生成式AI（如ChatGPT）与解释性AI之间有差异一样。为了简化表述，作者认为AI涵盖了所有这些技术，它们在为任何业务或技术流程增加复杂程度方面超越了传统软件工具的范畴。

科技界在充分理解和把握AI的全部潜力及其局限性上还有很长的路要走。关于AI，不仅需要不断思考与重新思考其在商业模式和使用技术方面的方法，还需要确保AI所涉及的所有事物的安全性和可信度。

探讨特定的网络安全风险管理实践及现行法规如何旨在预先防范并限制对用户和利益相关者的风险，以及它们如何满足或未能满足这一战略反思的需求，是很有价值的。在实施或部署任何AI方案时，创建安全和隐私风险管理基线都需要一些根本性的考量。当明确了这个基线后，用户就能充分利用AI为治理、风险和合规（GRC）带来的机遇。

现有及不断演进的监管和风险管理架构

网络安全和风险管理方法可分为两大类：政府发布的法规和自愿采纳的最佳实践。当然，这两者之间存在重叠。例如，政府部门或供应商可能需要遵循既有的框架，遵循由政府机构发布的最佳实践目录，以及政府推荐的原则和问卷，这些可被视为事实上的规则。

政府发布的法规旨在广泛确保个人权益得到尊重，且商业行为或失败不会危及社会或经济稳定。这包括减少因网络安全事件导致的重大业务失败风险，此类事件的影响可能远远超出组织自身的生存范围。通常，法规采取高层次视角，设立防护规范，旨在防止疏忽或滥用行为的发生。

反之，常用的网络安全运营最佳实践、风险管理框架和控制目录提供了更详细的结构，可供AI解决方案等技术的开发者和用户参考。

网络安全风险管理框架和控制目录，包括美国国家标准与技术研究院（NIST）风险管理框架（RMF）和国际标准化组织（ISO）/国际电工委员会（IEC）标准ISO/IEC 2700和27002:2022，由NIST AI RMF和建立在ISO 31000:2018基础上的ISO/IEC 23894:2023等更新予以补充。

尽管世界各地的许多司法管辖区已经实施或正在制定强制性裁决和自愿性指导，但欧盟起草的《人工智能法案(AI Act)》是目前最突出、最先进和最全面的法案之一。

欧盟AI法案补充了现有和拟议的各种欧盟网络安全和隐私法规，包括:

• 《欧盟通用数据保护条例(GDPR)》—规定了与欧盟有广泛联系的任何数据控制者的基本隐私权和匿名权。

• 《欧盟网络和信息安全指令（NIS2）》—为整个欧盟的网络安全和风险管理构建了一个共同的基准，特别针对的是关键经济部门。

• 《欧盟数字运营韧性法案(EU Digital Operational Resilience Act)》——侧重于金融行业，类似于NIS2。

• 《欧盟网络弹性法案(EU Cyber Resilience Act)》—建立事件报告要求和信息与通信技术（ICT）产品安全认证要求。

现有AI法规的重点领域

随着监管机构努力适应快速的技术创新（以及不幸的是，滥用和高风险行为），AI法规的状态正在不断变化。尽管并非所有法规都涵盖每一条原则，但在大多数主要现行的AI法规中都可以识别出与网络安全、数据隐私和技术风险管理相关的几个核心属性。尽管如此，大部分法规都会涉及以下内容：

• AI决策的透明度和可追溯性——这些原则确保AI系统所做的决策可以得到解释和追溯，促进用户和监管机构的开放和理解，以及培养对技术的信任。

• 在出现错误的情况下求助于人工决策——确保在AI决策错误或导致意外后果时存在人工干预机制，纠正或推翻AI的决策，从而提供降低风险的安全网。

• 由具备资质的人员负责——强调需要由具备适当技能和知识的专业人员对AI的行动和决策负责，确保始终有人会对出现的任何问题或故障负责。

• 在高风险信息和系统中涉及AI时，满足相称性、明确的规则和知情决策——这些原则确保人工智能的参与是可衡量的和适当的，特别是在敏感领域，并根据明确的、预先定义的标准和全面的信息做出决策，从而最大限度地降低风险。

综合起来，这些原则完全符合监管的基本目标：限制个人、工具或组织对行业和社会构成的风险。

现行做法和裁决的适用性

无论定义为产品还是服务，AI都是软件。因此，许多现有的原则、规则和实践也可用于AI。

然而，今天的许多网络安全实践和法律在设计时并没有考虑到AI，这可能会带来重大挑战。例如，欧盟GDPR规定了解释权，要求组织解释是如何做出对个人的决定。然而，AI算法，尤其是基于深度学习的算法，往往像黑匣子，难以解释隐藏的内部工作原理。这种不透明性可能会导致人们很难对AI系统如何做出特定决定做出明确解释。

另一个例子是机器学习（ML）系统特有的对抗性攻击领域，对输入数据微小的、精心设计的更改可能导致严重的输出错误。传统的风险管理实践没有为这类全新威胁做好准备，也无法捕捉与AI相关的动态和复杂的风险。

此外，AI技术的发展速度超过了立法者制定、颁布和执行适当法规的能力，导致AI使用领域实际上不受监管。例如，当前立法可能无法完全涵盖将AI用于深度伪造、自主武器或预测性警务等目的。

监管往往在基于原则而非具体、当前高度关注问题时最为有效。这就是为什么加拿大制定的人工智能和数据法案（AIDA）以及欧盟AI法案等立法框架旨在解决受AI应用影响的系统和应用的基本问题，如其重要性。有趣的是，相比之下，美国拟议的AI权利法案包含更多具体要素，其中包括一项有争议的豁免条款，针对执法应用，可能导致法律解释和应用的不完整或不一致，从而带来风险。

值得关注的差距

当前AI网络安全方面的差距凸显了需要立即关注的领域。差距之一是缺乏全面的风险管理框架以应对AI特有的威胁，包括对抗性攻击、AI决策中的偏见和过度依赖AI系统的风险。

治理和监督机制也必须更新，以便有效监测AI系统。例如，传统的IT审计可能不足以识别AI算法中的偏差或检测潜在的对抗性攻击漏洞。

法规和普遍接受的最佳实践在很大程度上依赖于道德准则。其中许多准则仍处于初期阶段，需要进一步界定和达成共识。在AI语境下，偏见、透明度和问责制等问题尤其复杂。例如，如何确保AI系统不会无意中造成歧视？如何使AI系统足够透明，可以在支持审计和监督的同时仍然保护专有信息？当AI系统做出导致伤害的决定时，谁应该负责？

同样重要的是，如何平衡创新速度与控制措施，以防止或减轻负面影响？特别是在网络安全、军事、执法和公共安全环境中的相关应用中，快速响应新的和创新的攻击以及其他不遵守法律或道德限制的威胁的能力是部署安全技术时的关键考虑因素。

AI具有巨大的潜力，不仅可以作为打击滥用行为（如金融或市场操纵）的工具，而且即使没有潜在的滥用动机或行为者，具备强大技术的解决方案也可以防止广泛的伤害（例如，分析气候模式、开发药物或任何其他依赖快速使用大数据集处理的用例）。审查这些场景的AI解决方案以确保潜在的负面影响最小化的可接受延迟是多少？

伦理考虑的一致性也受到文化规范的强烈影响。AI是跨境使用日益增多的软件。监管机构和AI应用的用户必须牢记，澳大利亚、巴西、中国、欧盟、日本和美国对待隐私、个人权利、稳定性、透明度、供应商责任、监管范围和其他影响AI治理方式的因素的态度截然不同。因此，国际机构不太可能制定广泛接受和共享的基本原则，从而不能产生更趋于一致的AI裁决。

制定面向未来的法规和自愿性最佳实践

在快速发展的AI领域，面向未来的法规和最佳实践是一项具有挑战性的任务，需要持续学习、适应和灵活应对新出现的威胁和挑战。

为了跟上技术发展的步伐，组织和监管机构必须采取积极主动和前瞻性的方法，从而可能涉及采用防患于未然的条例，在新技术完全开发之前就考虑到潜在影响和风险。

定期修订框架和法规以适应技术进步是必要的，可以通过将灵活性融入法规中，并采用基于结果而不是规定性法规的方式实现，从而允许随着技术的发展而采用不同的合规方法。

在利益相关者中培养一种教育和理解AI风险和利益的文化也是至关重要的，可能涉及为员工提供定期的培训更新，并确保高级管理层了解并意识到AI和网络安全的最新发展。

最后，由于网络威胁不分国界，国际合作和标准化方法对于一致性和效率至关重要。国际标准可以帮助确保AI技术在不同司法管辖区是安全的、合乎道德的和可互操作的，并有助于合作和情报共享，以便应对网络威胁。

结论

各类人工智能已经证明了它既能为广泛的社交和经济活动带来重大益处，也能构成重大威胁。如同过去的革命性颠覆性技术创新（如互联网、晶体管、飞机或汽车）一样，人工智能将深刻地改变隐私、安全、韧性与完整性。

制定用来定义技术合理应用的法规、规则以及各行各业越来越普遍采用的最佳实践，从根本上讲是为了限制滥用或不负责任地使用新技术所带来的风险。为了有效做到这一点，它们必须清晰、连贯、可行，并且能够适应不可预见的发展（在一定程度上）。许多制定规则的机构已经认识到这一需求，并已实施或正在实施指导方针，以确保随着人工智能的发展，尽可能减少由此造成的伤害。基于目前的趋势，我们有理由乐观地认为，至少在网络安全和隐私领域，在未来几年这一过程将持续发展。

编者注：本文出自ISACA Journal 2024年第1期。尾注略。文章内容仅代表作者本人观点。

作者：JOE COZZUPOLI，CISM, CISSP，是一位经验丰富的安全专家，为首席信息安全官（CISO）和高管提供技术驱动型业务目标方面的建议，拥有20多年的经验。JOHN SALOMON，在网络安全、风险管理、运营韧性、技术和战略方面拥有超过25年的工作经验。翻译：唐雅琪（Andrea Tang），FIP， CIPP/E， CIPM，ISO 27001 LA，ISACA微信公众号特邀通讯员小组组长。

校对：姚凯（Kevin Yao），CISA，CISM，CRISC，CGEIT，CDPSE，ISACA微信公众号特邀通讯员，关注IT安全，隐私保护和数字化。