人工智能（AI）正在渗透到我们生活的许多领域，在数字生态系统中尤其如此。无论是在线搜索还是为学生提供学习材料的网站，AI都发挥着作用。AI和机器学习（ML）背后的原理很简单：利用计算资源加快那些手动需要几个数量级的时间才能完成的工作，并识别出人类通常不会发现的模式，无论这些模式是在语言、医学还是天体物理学中。鉴于AI/ML解决方案的普及，了解潜在的关注领域非常重要，尤其是那些影响数字生态系统中组织和个人声誉和可信度的问题。

AI/ML解决方案通常通过处理大量数据实现，尤其是构建工作模型时。因此，任何人使用AI/ML或使用集成的AI/ML解决方案都应关注偏见。好消息是，数据科学已经在识别和处理偏见方面开创了方法和培训。当数据科学领域蓬勃发展时，一个主要问题是偏见，尤其是数据科学专业人士的偏见。我们每个人都有偏见。不幸的是，我们可能没有意识到自己的偏见。因此，大量的训练以及算法和程序已经得到开发，用于识别个人偏见。

数据科学家除了关注个人偏见，还关注数据中的偏见，尤其是那些不明显的数据。这方面的一个典型例子是美国邮政编码的使用。数据科学家在实验或测试中将种族作为决策因素是一项明显的偏见。如果同一个数据科学家使用邮政编码，看起来就不像是对种族存在偏见。然而，邮政编码与种族密切相关，因为不同地区往往是隔离的。因此，使用邮政编码作为决策因素实际上与使用种族是一回事，并且间接地引入了偏见。

收集和处理数据的方式也会带来偏见。例如，在COVID-19大流行期间，当美国学校逐渐采取远程学习，社会经济底层的家庭很难获得持续的互联网接入。如果学校发布了一份供家长完成的在线调查，那么从该调查中收集的数据将向处于社会经济顶层的人群倾斜，原因是底层可能没有平等的机会完成调查。

当开始谈论人工智能解决方案时，数据的质量及其收集方式是一个关键问题。2016年，微软在Twitter（现在的X）上推出了聊天机器人Tay。Tay可参与Twitter平台上的对话，设计成模仿一名女性青少年，通过检测模式并在自己的反应中使用相同的模式学习语言。这原本是一项创新型实验，但很快就成为微软的噩梦。随着聊天机器人与Twitter上其他账户互动，对话很快变得更加具有种族主义色彩，最终微软被迫关闭了Tay。

在这个案例中，Tay在Twitter上的互动就是聊天机器人的数据。4chan成员发出呼吁，使用偏执的语言与Tay互动。4chan用户的共同努力起到了扭曲Tay反应的作用，他们的行为导致Tay对种族主义和歧视女性的反应产生了偏见。可以相当成功地认为，Tay的失败是产品设计上的失败。简而言之，Tay应该通过设计正确地过滤数据集。不幸的是，事实并非如此。

微软在技术和大众媒体上均受到了嘲讽。它的声誉当然受到了负面影响，因为不管4chan用户如何努力破坏这个实验，微软作为这项产品的拥有者，就要承受负面声誉的全部打击。

由于Tay是在社交媒体平台上的公开研发，而不是推出的商业服务，其声誉影响可能不会在微软的财务报表中明显体现出来。然而，我们可以从这种情况以及其他类似的情况中发现，数据或人工智能开发中的偏见可能会对组织的数字声誉产生负面影响。既会影响一个组织的声誉，也会影响数字生态系统中其他人对该组织的信任。

2020年12月2日，谷歌前人工智能道德主管蒂姆尼特·格布鲁（Timnit Gebru）在推特上讲述了她是如何被迫离开谷歌的。她被驱逐的原因集中在一篇研究论文上，“随机鹦鹉的危险：语言模型会太大吗？(On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?)”谷歌的领导层要求从研究论文中删除在谷歌工作的研究人员的名字。这导致了一场摊牌，最终以格布鲁的离开而告终。

这篇论文讨论了人工智能的道德使用，包括对环境的成本/影响，对社会经济水平较低的人群带来不成比例的影响，并且随之产生了微妙但有可能产生巨大影响的内在偏见。谷歌在AI/ML的使用中拥有既得利益，因为谷歌AI为谷歌搜索提供了动力。具体来说，Google开发了新语言模型Transformer，它是OpenAI的ChatGPT等产品的基础。

对谷歌自身使用人工智能提出道德质疑或疑问的研究必定会引起谷歌内部的担忧，特别是如果该研究将谷歌员工列为研究的一部分。

人工智能中的伦理问题是一个全球关注的问题，足以让联合国教科文组织（UNESCO）围绕四个核心价值观和十个核心原则发布建议。第一项核心原则的重点是人权和尊严。然而，我们看到一些组织无视人权和尊严，或将其置于次要地位。因此，如果这类组织不道德地使用人工智能，我们不应该感到惊讶。

当谈到人工智能时，人们对犯罪分子开始将该技术武器化存在很大的担忧。考虑几种可能的情况。

第一种情况涉及网络钓鱼攻击。无论是设计聚会邀请、撰写学期研究论文还是生成电子邮件正文，生成式人工智能都可以实现用户目的，生成专业的、精心制作的文本。在网络钓鱼攻击中，值得关注的是后者。毕竟，如果一封假邮件有糟糕的语法、拼写错误和其他明显的迹象表明它不是来自所谓的发件人，我们通常能够发现。如果使用人工智能生成电子邮件的正文用于合法目的，同样也可以用于犯罪目的。目前，几乎很难判断网络钓鱼电子邮件是否是通过生成式人工智能编辑的。考虑那些看上去像是来自真实发件人，并攻击了特定组织声誉的电子邮件。这种攻击可以自动进行。尽管组织可能会采取适当保护措施，但在信息安全领域，我们经常需要对来自不良行为者的新技术、工具或漏洞利用做出快速反应。尽管这些组织在维护安全方面非常严格，但仍会被有足够动机的不良行为者发现这些保护措施中的弱点。

第二个情况可能涉及犯罪因素的场景是使用人工智能加速解决方案。例如，通过编写代码执行某些任务。以最近的Pwn2Own比赛为例。在这场比赛中，一个团队使用ChatGPT加速他们的开发速度。安全研究人员发现了漏洞，然后使用ChatGPT启动代码解决方案解决他们设想的漏洞。尽管研究人员仍然不得不修改代码以获得可行的解决方案，但能够使用ChatGPT生成足够的代码，从而大大减少最终解决方案的时间。没有什么能阻止不良行为者做同样的事情，从而加速自己的攻击。当不良行为者是高级持续威胁（APT）的一部分时，这种威胁就会增加。APT是政府支持的网络安全单位，其任务是渗透并使攻陷对手。

尽管AI/ML并不是新的，但从广义上讲，计算能力和数据的爆炸式增长使AI/ML变得更加强大和可用，即使是非技术人员也可如此。此外，AI/ML开发的创新机制，例如Google创建的Transformer模型，只能确保AI/ML的使用继续增长。我们希望它成长。毕竟，人工智能可能提供治疗癌症的答案，以及其他全球范围内的问题，不管这些问题是我们几十年来一直致力解决的，还是最近才发现的。

然而，与几乎任何技术发展一样，我们确实面临着真正的挑战。就像在数据科学中一样，数据中的偏见，无论源于开发模型的专业人员还是数据收集的方式，始终是一个挑战。人工智能的道德使用至关重要。然而，我们需要认识到，有些人并不关心道德。其中一些人是不良行为者，他们甚至会将人工智能武器化以攻击其他组织。我们知道，生成式人工智能创建攻击的速度和质量是无法阻止的。所有这些问题都需要妥善解决，确保人工智能的安全未来。

展望未来，深化数字信任的实践与讨论，ISACA中国即将呈上第三届数字信任大会的智慧盛宴。不仅汇聚行业精英共议数字信任，还将深入探讨负责任的AI等前沿议题，引领科技向善。诚邀各位专业人士报名参与，共筑可信、可靠的数字未来，共创责任与创新并驱的新篇章。