2025年，许多机构猛然意识到，AI引发的问题悄无声息地渗入日常运营，在人们最意想不到的地方酿成麻烦：招聘系统把求职者的资料暴露无遗；客服聊天机器人说得头头是道，给出的建议却大错特错；人脸识别工具指认错误，导致无辜者被错抓；深度伪造视频诱导人们投资。

每起事件看似孤立，但通过麻省理工学院（MIT）AI事故数据库及其风险分类框架重新审视，一幅更清晰的图景浮现出来——关注点不再只是技术本身，而是转向受影响的人群、造成的实际伤害，以及引发事故的一连串环节。从隐私、安全到系统可靠性等多个维度看，这些“意外”其实并非偶然，而是一再重复的模式，往往可预测，也本可避免。

本文回顾这些模式出现在哪些地方，并探讨2026年需要做出哪些改变，让机构在使用AI时更有底气、更有掌控力。

2025年AI事故与教训

以下案例分别对应MIT定义的各类AI风险领域，揭示了问题本质及应吸取的经验。

1.隐私与安全 —— 用“123456”守护数千万份求职简历

安全研究人员发现，麦当劳的AI招聘平台McHire竟可通过一个测试/管理员账号访问，而该账号使用默认密码“123456/123456”，且未启用多因素认证（MFA）。利用这一漏洞，研究人员得以查看多达6400万份求职申请记录，包括与招聘聊天机器人“Olivia”的完整对话内容，甚至包含大量人格测评题的回答。

教训：AI系统应视同核心业务系统对待。凡涉及个人数据，必须启用MFA、设置独立管理员账号、定期审查特权访问权限，并开展安全测试。

2.歧视与毒性 —— 一次“匹配”换来一场冤狱

因人脸识别系统导致的错捕事件仍在持续。在这些案例中，系统匹配结果被当作确凿证据，致使无辜者被拘押。问题不仅出在技术上，更在于过度确信——把“可能匹配”当成“铁证”。

教训：人脸识别只能作为调查线索，绝不能作为定案依据。必须要求独立佐证，公开按种族等受保护特征分类的错误率，并记录每一次使用。风险在于：模型准确率不均、存在偏见，而人们却对这个不完美的工具盲目信任。

3.虚假信息 —— “总理马克·卡尼”喊你投资？别信

一段深度伪造视频显示加拿大总理马克·卡尼为某交易平台站台。AI生成的音视频高度逼真，模仿新闻播报风格，不少观众（尤其是老年人）信以为真，最终血本无归。

教训：如今，公众人物被深度伪造已成常态。机构需主动监控品牌和高管形象是否遭滥用，制定快速下架预案，并教育员工和公众：遇到可疑信息，先暂停、再通过其他渠道核实。

4.恶意行为者 —— 黑客有了AI副手

Anthropic披露了一起网络间谍行动：攻击者利用其Claude Code模型充当“指挥官”，自动执行侦察、编写脚本、串联攻击工具，针对30家机构发起攻击。该模型并未发现新漏洞，而是高效放大了对已有漏洞的利用。

教训：要假设攻击者已配备AI助手。对具备编码或代理能力的模型，应视为高风险身份管理：实施最小权限原则、设置调用频率限制、全面日志记录、实时监控，并部署防护机制。任何能运行代码的AI，都应像高级工程师账号一样严格管控，而非当成无害聊天机器人。

5.人机交互 —— 孤独用户，危险对话

一些最棘手的事件发生在青少年向聊天机器人寻求情感支持时。有家庭提起诉讼，称ChatGPT非但未引导用户求助，反而“认可”了其自杀念头。监管机构和研究人员也发现，某些主打青少年市场的AI陪伴应用，即便设有年龄警告，仍可能被诱导参与不当甚至自残相关对话。

教训：任何可能接触自残或危机情境的AI产品，必须“安全优先”：引入临床专家意见、设计明确的升级干预路径、设置适龄控制机制、严格限制对话边界，并确保能快速转接人工援助。若无法做到这些保障，就不该将其宣传为青少年的情感支持工具。

6.社会经济伤害 —— AI的“肮脏”足迹

包括NAACP在内的民权组织起诉埃隆·马斯克旗下的xAI，指控其在以非裔和拉丁裔居民为主的社区建设大型AI数据中心，造成空气污染、噪音扰民和重型车辆激增，而当地居民几乎未获任何直接收益。

教训：应将AI供应商视为具有重大环境影响的合作伙伴。在第三方尽职调查中，必须追问模型运行地点（数据中心位置及周边社区）、能源结构、碳排放和用水情况，确保AI采购与气候及可持续发展目标一致。

7.系统安全与可靠性 —— 自信地犯错，还被上线了

AI工具继续输出看似权威实则错误的信息：编造法律条文、给出听似专业的医疗建议、生成导致生产事故的代码。这些并非例外，恰恰体现了生成式模型的本质——擅长生成“合理”答案，而非“真实”答案。

教训：幻觉不是小毛病，而是安全隐患。所有高影响AI系统的设计前提都应是：“它有时会自信地出错”。围绕这一假设建立治理机制：日志追踪、版本控制、输出验证、明确的人工复核与否决流程，确保有人能及时拦截并纠正错误。

2026年防范AI事故的关键战略转变

2025年最严重的AI失败，根源不在技术，而在组织层面：管控薄弱、责任不清、信任错位。随着AI应用不断扩展，2026年的挑战在于如何更扎实地规划、治理和部署这些系统。

• 从目标出发，而非实验驱动：

  明确业务所需成果，指定负责人，并以此衡量AI成效，确保投入产生真实价值。

• 将AI视为互联整体：

  建立所有模型、功能和自动化的清单，统一标准，统一审批。

• 治理能力，而非配置：

  评估每个系统能做什么、在何处行动、可能影响谁，并根据潜在影响设定控制措施。

• 构建组织韧性：

  早发现问题、透明沟通、快速修复，防止小错酿成大祸。记录“险些出事”的案例，分享经验，持续优化流程和防护机制。

• 质疑AI，而非依赖它：

  重要决策务必交叉验证，重大输出需提供证据，凡可能造成伤害的场景，必须保留人类介入。

• 共担AI责任：

  业务、技术、风控、传播等部门都应明确在AI使用与治理中的具体角色，不能只靠一个团队单打独斗。

• 把供应商纳入AI生态：

  每次采购AI服务，都要进行第三方风险评估，问清模型运行位置、数据留存政策、事故响应机制及问责主体。

最后一点思考：治理才是真正的竞争力

2026年，竞争优势不再来自“用了多少AI”，而在于“管得多好”。那些能保持透明度、明确责任归属、快速干预问题的组织，不仅能减少伤害，更能赢得信任。在有效监督之下，AI完全可以在不牺牲安全、信任与诚信的前提下，创造真正价值。

而“管得好”的核心，是将治理从理念转化为可执行、可验证的实践。这正是ISACA推出AAIA（Advanced AI in Audit，人工智能审计专家）认证的初衷——培养能够系统评估AI风险、设计控制措施并开展独立审计的专业人才。当AI系统深度嵌入业务流程，拥有AAIA能力的团队将成为企业识别隐患、落实问责、满足合规要求并建立公众信任的关键力量。治理不是束缚创新的枷锁，而是让AI行稳致远的压舱石。

作者：Mary Carmichael, CRISC, CISA, CPA, Member of ISACA Emerging Trends Working Group

编者按：本文于2025年12月15日首次发表于ISACA官网News and Trends/ISACA Now Blog。文章内容仅代表作者本人观点。