人工智能（AI）技术的广泛应用为企业带来了前所未有的业务转型和创新机会。根据麦肯锡的《2023年人工智能现状报告》，到2027年，AI市场预计将达到惊人的4070亿美元，相较于2022年的869亿美元营收实现了大幅度增长。然而，AI的广泛应用也带来了诸多风险，包括隐私泄露、数据安全漏洞和伦理困境等。建立健全的AI治理机制以管理这些风险，确保负责任地利用AI至关重要。重要的是建立一个健全的AI治理框架，即实用、健全的可持续性模型（PRISM），以促进AI系统的数字信任发展。PRISM体现了一系列核心AI原则，要求遵守负责任的AI政策，利用影响评估来评估风险，加强安全和隐私防御，并管理AI产品生命周期，以保持一致的责任与保护。

企业加速采用AI技术的步伐促使了建立有效治理框架的迫切需求，以减轻企业即将面临的相关风险，并确保实施负责任和安全的AI。

AI风险和面临的挑战

最新的AI风险趋势突显了未受控AI实施所带来的复杂性和严重性。在各个行业中，关于偏见决策、不透明算法过程以及对个人隐私潜在威胁的担忧日益显著。未受监管的AI实践带来的有害影响之一是算法偏见，导致招聘过程中的歧视性结果。同样，由于AI系统安全措施不足而导致敏感个人数据暴露，引发了关于数据泄露和侵犯隐私的警示。

图1展示了社会和企业面临的一些风险因素和挑战，目前没有任何单一综合解决方案能够解决这些问题。这些风险和挑战包括：

• 就业风险 - 任务自动化后的职务冗余；技能转变；担心失业。

• 隐私风险 - 收集大量个人数据；用户缺乏知情和同意；去匿名化不足。

• 偏见风险 - 算法偏见；未能消除冒犯性语言和歧视性数据。

• 安全风险 - 深度伪造；逼真的网络钓鱼邮件。

• 所有权风险 - 通过AI生成的内容进行抄袭和侵犯版权。

• 虚假信息风险 - 生成假新闻故事以传播误导信息。

• 解释性风险 - 难以理解复杂的AI模型如何生成其输出。

• 责任风险 - 数据质量和完整性问题导致AI提供的信息不准确。

AI安全治理框架的组成部分

有效的治理结构、政策和监督机制对于管理风险和确保负责任的使用AI至关重要。图2展示了一个建议的框架，其中包含关键原则和组成部分，以指导企业启动采用可靠的AI之旅。

AI原则

AI的基础原则是治理框架的核心，促进AI如何尊重个人隐私权并保护个人数据。这包括遵守所有相关的数据保护法律，并使用强有力的安全措施防止未经授权的访问。这些原则包括公平、责任和透明度等，确保与社会价值观和伦理规范保持一致。具体原则（图3）包括：

公平性 - AI应被设计和使用以公平对待所有个人和群体。它不应基于种族、性别、年龄或社会经济地位等因素产生或强化偏见或歧视。

责任性 - 开发和部署AI的实体应对其影响负责。这包括实施机制来解决可能出现的任何负面影响。

透明度和可解释性 - AI系统应是透明的。这意味着应明确其工作原理、决策方式以及责任归属。

可控制性 - AI不应削弱人类的自主权或决策权。人们应有能力理解和质疑AI所做的决定，并在适当时选择退出AI决策。

稳健性和安全性 - 应考虑数据保护和AI的长期影响，包括其对工作、技能、环境、滥用、数据泄露和数据隐私的影响。

这些原则共同构成了一个指导框架，指导政策的制定、技术的部署和AI系统的治理，确保AI服务于人类的最佳利益，并防止潜在的危害。

负责任的AI政策

一个全面的负责任的AI（RAI）政策提供了识别团队和组织偏离期望行动的参考点。明确的RAI政策通过形式化要求，解决使用现成的AI工具和自我开发的AI驱动系统，从而减轻安全和所有权风险，实现组织内的问责。遵循基本的RAI原则有助于实现全企业范围的统一。

计划使用生成式AI服务以提高生产力的企业应在RAI政策中包含一些关键的生成式AI提示工程最佳实践条款。例如，绝不要将企业机密、敏感信息、客户和员工信息、个人信息、密码或密钥、企业知识产权、企业程序源代码以及商业计划或策略输入公共的生成式AI服务。在工作场所使用之前，应对所有AI生成的内容进行审核（必要时进行验证）。特别注意检测AI生成内容中是否存在任何版权或知识产权的侵权行为。

影响评估

制定RAI政策后，开展RAI影响评估至关重要，以确定哪些算法可以采用，哪些由于与RAI原则的风险评分不符而不能采用。在RAI影响评估和项目中拥有多元化团队至关重要（图4）。

通过汇集企业内部来自不同背景和视角的人员，可以采取更全面的方法来解决潜在的偏见，并确保AI的开发和使用是公平和公正的。开发团队缺乏多元化可能导致意想不到的后果和负面影响。因此，在AI项目中优先考虑多样性和包容性，以确保企业的各个领域都得到考量。作者劳拉·萨托里将此称为社会技术方法。

有几种RAI评估模板可以作为构建定制企业AI评估流程的参考点。例如，微软负责任AI影响评估模板，Demos Helsinki非歧视性AI评估框架，以及欧盟委员会AI高级专家组(HLEG-AI)发布的可信AI评估清单工具。

自动化和周期性评估的重要性

由于AI本质上是自学习的，如果评估不是自动化和周期性的，AI评估将无法持续。确保持续和/或自动评估至关重要，以防止自学习（有时称为强化学习）数据污染模型。许多工具，如负责任AI验证开源工具包和整体AI审计，均在OECD.AI技术&指标工具目录中提供，以帮助AI从业者构建和部署可信的AI系统。

AI的安全和隐私

确保AI系统的安全是一项重大挑战，因为这与保护传统IT系统不同。AI的安全保护方法必须更加全面，以应对与AI技术相关的独特漏洞和风险。与AI系统相关的若干风险因素包括去匿名化不足、冒犯性语言、歧视性数据和模型中毒。针对机器学习（ML）模型进行测试对于检测对抗性输入并正确过滤它们至关重要，确保模型不会生成错误或不可预测的结果。云平台如Google Cloud Platform、Microsoft Azure和Amazon Web Services提供工具帮助自动化对抗性测试。安全团队在AI项目中至关重要，可以为AI威胁建模做出贡献。MITRE AI系统对抗性威胁情境（ATLAS）是一个基于现实世界观察和示范的敌对战术、技术和案例研究的知识库。强调AI系统安全性的重要性并实施适当措施，有助于保护AI系统免受潜在安全风险。

尊重数据隐私

设计AI系统时，数据隐私至关重要。必须确保AI系统设计的透明性和问责制，包括以下方面：

• 合同 - 签署服务协议，解释服务提供者和用户的权利和义务。

• 同意 - 明确获得同意，并关注目标用户所在国家的个人隐私法律。

• 个人信息收集声明（PICS） - 提供透明性说明，解释如何处理用户数据以及收集的目的。

• 数据适用性 - 尽可能对个人信息收集进行去匿名化处理。

• 有用的隐私增强技术（PET）注意事项：

  • 同态加密（Homomorphic encryption ）将数据转换为密文，可以像原始形式一样进行分析和处理。这样可以在不破坏加密的情况下对加密数据进行复杂的数学运算。

  • 差分隐私（Differential privacy ）通过向数据添加噪声来保护个人隐私。然而，这种噪声也会降低数据的效用，使其不太准确或对某些类型的分析不太有用。这种权衡很难管理，需要谨慎平衡隐私和效用。

  • 联邦学习（Federated learning ，通常称为协作学习）是一种训练ML模型的分散方法。不需要将客户端设备的数据传输到全球服务器，而是利用边缘设备上的原始数据在本地训练模型，增强数据隐私保护。

在AI开发周期中拥有工具和测试以确保不会重新识别个人信息，是至关重要的。

响应AI数据主体请求

许多企业可能忽视了这一必要性，但建立一种机制来接受和处理个人（AI系统数据主体）查看、更正和删除个人信息的请求至关重要。这些请求必须按照法律（如欧盟的《通用数据保护条例》（GDPR）和中国的《个人信息保护法》（PIPL））的要求及时处理这些请求。在响应数据主体的请求后，还需调整模型以在训练数据集或模型中校正或删除信息。可追溯性和可控性至关重要，并且必须进行人为监督。

RAI产品生命周期管理

在项目生命周期中嵌入RAI，需要考虑若干要素。这些要素包括明确的RAI值、训练数据质量、AI系统工件，比如，数据集的数据表（图5）和模型卡（图6）、模型测试、透明性注释（图7）以及危害缓解。公平、问责和透明度等伦理考虑应指导AI系统的开发和部署。

 

图6 模型卡中的数据表所需的信息

图7 透明性注释中所需的信息

这一探索的高潮强调了AI治理对于企业以安全和负责任的方式拥抱技术进步并利用AI带来的切实利益的重要性。

结论

随着AI技术在企业中的日益融合，需要采取主动且战略性的治理方法。建立一个安全的AI治理框架对于企业驾驭AI风险的复杂性，并负责任和透明地利用AI的变革潜力至关重要。通过采用AI治理，组织可以降低风险，促进数字信任，遵守监管标准，并充分利用AI在当代数字化景观中带来的巨大价值。企业必须优先发展和实施AI治理框架，以防范风险并抓住AI在当代数字环境中带来的无数机遇。

编者注：本文出自ISACA Journal 2024年第3期。尾注略。文章内容仅代表作者本人观点。

CAROL LEE|CISM, CRISC, CDPSE, C|CISO, CCSP, CEH, CIPM, CSSLP

是一家香港上市公司的网络安全主管，曾获得全球100位认证的道德黑客名人堂奖和香港网络安全专业人士奖。

TERENCE LAW|CISA, CFA, CISSP, CPA, CERTIFIED BANKER

是ISACA中国香港分会新兴技术主任。他是一家领先金融机构内部审计部门的创新与数据负责人。

TOM HUANG|CISA, PMP, PRINCE2

是Livibank技术和运营风险管理主管，在金融服务行业拥有丰富经验，擅长技术、网络安全、数据和云计算的风险管理。

LANIS LAM|CISA, AWS (SAP), CPA

是毕马威中国技术咨询实践的合伙人，拥有超过17年的技术风险管理领域经验。

翻译：吴梦庭（TIFFANY WU），ISACA微信公众号特邀通讯员 

校对：唐雅琪（ANDREA TANG），FIP， CIPP/E， CIPM，ISO 27001 LA，ISACA微信公众号特邀通讯员小组组长