生成式人工智能似乎在2022年末掀起了一场巨大的热潮，在此之前，没有人真正谈论它，但现在每个人（远远超出IT行业）不仅在谈论它，而且还在使用它。这种现象既令人兴奋，但同时也存在安全隐患。

生成式人工智能（AI）是一类机器学习（ML）算法，通过从大量数据中学习模式和结构可以自主地生成新内容，如图像、文本或音频等。近年来，这项技术取得了重大进展，产生了可以创造出非常逼真和令人信服的输出的AI模型。 

生成式人工智能的引入加速了各个领域的进步，革命性地改变了创作过程、内容生成和决策系统。尽管生成式人工智能与其他强大的工具一样，推动了积极正向的应用，但它也可能被用于恶意目的。举例来说，它在网络攻击领域的滥用引起了广泛关注，并使人们关注生成式人工智能与恶意活动交叉时所产生的固有风险和深远影响。组织必须意识到并准备好对抗生成式人工智能被用于进行网络攻击的可能性。

WormGPT

WormGPT是一个在地下论坛上臭名昭著的工具。WormGPT于2021年开发，是一种使用GPT-J语言模型构建的生成式人工智能工具。它提供了一系列不同的功能，包括无限的字符支持、聊天记录保留和高效处理代码格式的能力。它是网络犯罪分子执行复杂网络钓鱼和商业电子邮件泄露（BEC）攻击的强大工具。

WormGPT将自己定义为标准GPT模型的黑帽替代品，因为它是专门为恶意设计的。网络犯罪分子可以利用WormGPT自动创建极具说服力的虚假电子邮件，并对每个收件人进行专业的个性化设置，大大提高了他们的攻击成功率。

WormGPT的引入及其肆无忌惮的目的突显了生成式人工智能带来的惊人威胁，即使是缺乏经验的网络犯罪分子也可以在没有技术专业知识的情况下发动大规模攻击。因此企业需要充分了解这些新工具，并对新的网络钓鱼和BEC攻击保持高度警惕。有助于减轻这种增加风险的一种方法是通过更新培训计划和/或审查和加强电子邮件验证流程。

PoisonGPT

另一个令人担忧的场景来自对现有开源AI模型的潜在修改以传播虚假信息。这个被操纵的模型可以上传到公共存储库，如Hugging Face，这是一个著名的开源社区，专门开发工具，使用开源代码和技术让用户能够构建、训练和部署ML模型。这种做法被称为大型语言模型（LLM）供应链中毒。

这项被称为“PoisonGPT”技术的成功依赖于以一个模仿信誉良好的组织的名称上传修改后的模型，使其能够无缝融合，而使其能够不被注意到。“PoisonGPT”强调，面对不断演变的网络威胁形势，人们迫切需要提高警惕。

打击WormGPT和PoisonGPT需要一套完整的安全计划，该计划包括教育用户了解最新的网络犯罪策略，集成多因素身份验证，并实施强大的访问控制措施，以显著加强组织安全，防止生成式人工智能技术的潜在恶意应用。遵守这些最佳实践使组织能够加强防御并实现最大程度的保护。

多态流氓软件

生成式人工智能也可以用来构建恶意软件。多态流氓软件是一种不断更改代码以逃避防病毒软件和其他安全措施检测的恶意软件。它之所以特别强大，是因为它使用了适应性强的尖端AI技术，每次迭代都会生成新代码。这种自适应行为使得恶意软件在检测和对抗方面极具挑战性。

许多其他高级持久性威胁（APT）也依赖于AI驱动的技术，加大了在保护IT资产时保持警惕的必要性。

结论

生成式人工智能有潜力以积极的方式彻底改变生活的各个方面，然而，滥用它进行网络攻击对个人、组织和社会构成了重大风险。通过了解和识别潜在威胁并采取积极主动的保护措施，网络安全专业人员可以利用生成式人工智能的优势，防范恶意利用，从而营造一个安全可靠的数字环境。

编者按: 本文于2023年8月1日首次发表于ISACA官网News and Trends/Industry News。尾注略。文章内容仅代表作者本人观点。
作者：Chris McGowan是ISACA内容开发和服务团队的信息安全专业实践负责人。McGowan是一位美国海军退伍老兵，在多学科安全和网络作战方面拥有近23年的经验。
翻译：吴梦庭（Tiffany Wu），ISACA微信公众号特邀通讯员。
校对：唐雅琪（Andrea Tang），FIP， CIPP/E， CIPM，ISO 27001 LA，ISACA微信公众号特邀通讯员小组组长，任职于安永企业咨询有限公司。