人工智能(AI)的潜在收益显而易见，其采用趋势表明它已经成为不可或缺的一部分。然而，生成式人工智能(GenAI)的采用速度远远超过了对它的治理和政策管理。ISACA的一项调查显示，虽然只有28%的组织明确允许使用GenAI，但是41%的组织表示员工正在使用，另有35%的组织不确定。仅10%的组织拥有正式的、全面的GenAI政策，超过四分之一的组织既没有政策也没有制定政策的计划。

围绕GenAI的变革性影响，大部分讨论都集中在其用例和收益上。然而，寻求实现这些利益的组织必须理解AI使用将如何彻底改变战略和治理。以下是帮助组织更好地处理AI风险、治理、使用和实施的要点。

AI风险：理解多重风险

尽管不同组织的风险容忍度明显不同，但每个组织都必须注意GenAI的使用所带来的风险。大量文章（如本文）详细介绍了AI的多重风险，包括数据隐私、网络安全、法律和监管挑战、错误信息、偏见、道德等更普遍的问题。但是，GenAI通过围绕公平、过度依赖、问责制、可解释性（即解释AI如何做出决策和得出结论的能力）等风险的复杂问题加剧了这些挑战。这些风险的严重性得到了全球快速增长的AI监管活动的支持。

AI控制设计：从原则开始

与过去几年CISO应对颠覆性技术一样，CISOs的一项主要任务是围绕AI的使用设计控制措施。幸运的是，现有的控制框架通常包括在所有维度上都可以部署的控制措施。

设计原则是一个很好的起点。正如Saviynt的首席信任官Jim Routh所说，“基于设计的安全，基于设计的隐私……我们只需要弄清楚如何使用这些原则构建围绕AI提出的问题，像公平性和可解释性。”例如，特权访问管理(PAM)控制可以帮助创建证据线索追踪（例如提供给AI的数据、用户交互），同时加强网络安全并确保“人在回路”(human in the loop)，使得人类利用AI仍然对实际的决策负责。

CISOs还可以利用围绕AI威胁快速增长的知识库，例如MITRE ATLAS针对AI系统的潜在对抗策略数据库和Berryville机器学习研究所对LLM基本架构的风险分析。如果你能理解威胁的本质，就能设计出应对的控制措施。

AI检测和监测：三个维度

Reddit前首席信息安全官Allison Miller表示：“我看到客户使用的很多技术都开始内置AI。找出哪些技术不会将AI引入组织可能是一项较小的任务。”随着AI用例的激增，了解AI的使用方式和用途越来越重要。Routh指出了组织可能发现AI用途的三个维度:

1. 公共大型语言模型（LLMs）- 员工可能正在使用ChatGPT、GPT-4、Falcon、Claude 3、Gemini、Llama 2等LLMs。

2. 构建管道中的LLMs - 开发人员可以访问大约1000个特殊用途的开源LLMs，这些LLMs可以集成到组织构建的软件中。

3. 软件即服务（SAAS）应用中的LLMs – 目前已有数百个嵌入LLMs的SAAS应用程序投入生产，而且这个数字将呈指数级增长。

幸运的是，组织在检测和监控这些领域的AI使用方面有多种选择。正如Miller解释的那样，“一些商业和开源产品在三个维度上均可使用，至少可以识别LLM的使用情况。在某些情况下，产品可以提供使用的完全可追溯性；在其他情况下，它们可以过滤提示和输出。”许多产品为公共LLMs使用提供数据防丢失功能。

AI实施建议

每个组织的AI之旅各不相同。风险容忍度和攻击面各不相同，因此组织必须评估与战略相关的风险，并决定愿意在哪些方面承担风险，在哪些方面不承担风险。这些决策有助于推动治理和培训。Tehama Technologies的创始人/首席执行官Paul Vallée建议:

1. 就原则达成一致——然后是政策 - Vallée说：“原则比规范性政策更容易达成共识。”在想要使用AI的过程中，考虑哪些一般约束是合适的？然后，制定政策指导应用。

2. 开发输入流程 - 例如，跨职能团队评估员工开发的用例，在原则和风险偏好的背景下评估风险。

3. 评估控制要求 - 评估管理项目风险所需的控制要求。

4. 设计附加控制措施 - 在现有控制框架内设计附加控制措施。

5. 分阶段规划，迭代实施 - 从概念验证（proof-of-concept）开始，验证效益和控制措施。

虽然每个人都强调了在组织范围内开展AI培训的重要性，但Miller预见到产品开发中的特殊需求，因为AI是一种“极其强大的技术，人们希望将产品提升到新的水平。”Miller建议，“开发人员和产品团队需要开始像威胁建模人员一样思考。不仅要考虑功能设计和‘幸福之路’（happy path），还要考虑这些事情如何出错，以及如何围绕这些错误加以设计？”

带着好奇和谦逊的态度

运用AI是一个迭代学习的过程。Routh呼吁的行动概括了我们目前的使命：“我们今天的工作是踏上旅程，并认识到我们没有全部的答案。因此，要利用技术抓住每一个机会，并设置允许学习的界限。不经历失败就不可能学会如何使用创新技术。我们创造创新技术时会打破一些东西。然后我们学习，调整和转变。”

编者按：本文于2024年6月14日首次发表于ISACA官网ISACA Now Blog。文章内容仅代表作者本人观点。

作者：Richard Marcus, AuditBoard首席信息安全官

翻译：唐雅琪（Andrea Tang），FIP， CIPP/E， CIPM，ISO 27001 LA，ISACA微信公众号特邀通讯员小组组长。

校对：姚凯（Kevin Yao），CISA，CISM，CRISC，CGEIT，CDPSE，ISACA微信公众号特邀通讯员，关注IT安全，隐私保护和数字化。