ISACA Journal | 数字时代审计:机器学习的应用与风险

机器学习 (ML) 正在成为审计领域的重要资源。它可以提高财务审计师、内部审计师、鉴证审计师和税务审计师管理大量数据的效率。此外,机器学习还可以帮助合规审计师验证是否遵守法规,并支持信息系统审计师分析复杂的数据集。机器学习能够大大提高多个专业领域的审计效率和有效性。对于审计师而言,理解机器学习如何融入审计过程及其对行业专业人士(特别是提供公正验证的外部审计师)的影响,以及在实施过程中可能遇到的障碍至关重要。

m7wczjlwlfr-(1).jpeg

什么是机器学习?

人工智能 (AI) 先驱 Arthur Samuel 将机器学习定义为“赋予计算机无需明确编程即可学习能力的研究领域”。它涉及创建无需人工干预即可进行预测或分类项目的智能模型。这些模型从大量数据中学习,自行发现模式和链接。机器学习可以分为两大类:监督学习和无监督学习。根据 IBM 的定义,监督学习是一种使用标记数据集来训练算法以对数据进行分类或预测结果的机器学习方法。这意味着存在已知结果的设定输入。无监督学习涉及未标记的数据。该模型在没有任何特定指引的情况下寻找模式和联系。

机器学习如何使审计师受益?

机器学习扩大了开展审计的可选范围。它利用复杂的计算机算法和和分析工具从大规模数据集中提取更全面的信息,从而改进了传统的审计方法。这提高了审计流程和结果的效率,同时也保证了审计质量的一致性。

图1描述了机器学习的各种类别,并说明了其在审计语境中的潜在优势。

1.png

 

运营效率

机器学习可自动执行数据处理任务,使得审计师可以更高效地分析大型数据集。与依赖抽样方法不同,审计师可以分析完整的数据集。机器学习技术使审计师能够检测记录中的违规行为和异常模式,而传统的数据分析工具则有助于实时可视化和检查大量数据集合。审计师经常管理来自各种来源的大量结构化和非结构化数据,包括财务系统、企业资源规划 (ERP) 系统和外部数据库。与传统统计方法相比,机器学习算法(例如神经网络和决策树)在分析这些数据集时提供了更高的效率和准确性。。

机器学习算法可以有效地自动执行多项常规审计任务,包括从财务报表、发票和其他文件中提取数据,以及执行数据输入控制、分类和核对。通过自动化这些程序,审计师可以大大减少对手动工作的需求和花在管理任务上的时间,从而使他们能够专注于更重要的活动,例如分析和决策。此外,通过自动化单一的流程和数据处理,这降低了审计中出现人为错误的可能性。机器学习算法可以检测模式、做出预测,并通过减少手动工作量和最大限度地减少与手动流程相关的错误来提高审计质量。

预测准确性

欺诈检测是审计的重要组成部分,而机器学习为提高欺诈检测能力提供了强有力的方法。研究表明,通过评估大量交易数据,利用机器学习技术识别欺诈行为具有潜力。机器学习算法可以分析交易数据、用户行为和其他相关因素,以识别可能表明存在欺诈活动的异常和可疑模式。

在不同的背景下使用各种类型的模型。例如,在商业环境中考虑健康保险索赔的背景下,监督学习模型可用于基于历史数据预测未来索赔的发生频率。它们可以检测欺诈性索赔并根据风险概况对客户进行细分。一项名为《使用机器学习检测健康保险索赔中的欺诈》的研究表明,逻辑回归模型的准确率为80.36%,精确率为97.62%,召回率为80.39%,F1分数为88.17%,特异性为80%。另一项使用MATLAB进行的研究显示,支持向量机方法能够准确识别财务报表,错误率低于10%,识别准确率超过90%。

机器学习风险和审计流程

机器学习可以通过多种方式增强审计流程,成为提高效率的宝贵工具。然而,将机器学习引入审计也带来了必须解决的风险(图2)。

2.png

数据质量风险

机器学习系统依赖于数据,如果数据不干净,模型的表现就不会好。这符合“垃圾进,垃圾出”(GIGO)的原则,这意味着系统输出的质量直接取决于输入的质量。在机器学习领域,GIGO原则强调了高质量数据对于实现准确可靠结果的重要性。

安全和隐私风险

机器学习系统本质上是机器。尽管旨在提供预测能力,但系统的核心架构很容易受到攻击。网络攻击可能是为了对模型进行逆向工程,即操纵模型训练的数据模式以产生不利结果并生成不准确的数据。这会导致可能根据不准确的财务报告做出错误的决策,导致业务效率低下,最终造成收入损失和声誉受损。

偏见风险

根据输入数据的性质,所创建的模型可能会在不知不觉中助长偏见。机器学习模型通常用于欺诈检测。这些模型从历史数据中学习,因此如果训练数据偏向过去欺诈活动中观察到的某些模式,则该模型可能会不公平地针对符合这些模式但合法的交易。信息茧房可能出现在数据收集、预处理和模型训练等各个阶段。

在这种情况下,“信息茧房”一词指的是强化用于训练机器学习模型的数据中预先存在的偏差。当模型从扭曲或不具代表性的数据中学习,然后利用这种偏差做出决策时,就会出现偏差。例如,在欺诈检测中,如果一个模型主要针对电子交易进行训练,它可能会将现金交易误认为欺诈异常,因为它们不太常见。这种有偏见的决策会对审计流程产生影响,因为它会增加误报,增加欺诈调查团队的负担,并可能扩大审计范围以解决由有偏见的结果造成的低效率问题。

为了减轻这些影响,审计师必须确保在训练中使用多样化的数据,并定期更新模型以反映新的交易模式。未经检查的有偏见的模型可能会带来严重后果,包括给金融机构带来法律和声誉风险。

例如,如果银行业的机器学习模型主要基于电子交易数据进行训练且很少接触现金交易,那么它可能会表现出偏差,将现金交易归类为异常,因为现金交易在训练数据集中出现的频率很低。这可能会导致现金交易中误报的发生率增加,同时可能忽略不符合训练数据中观察到的模式的欺诈性电子交易。为了减轻这种偏见,审计师必须保证训练数据是广泛的,并涵盖各种交易类型。此外,持续监控和更新机器学习模型对于适应新兴交易模式和减轻可能影响审计结果的偏见至关重要。

如果金融机构的人工智能系统被认定存在偏见,它们可能会面临诉讼、声誉损害和罚款。这可能是由于算法决策无意中歧视消费者而引起的。有偏见的机器学习模型可能会导致运营效率低下。过度将合法交易归类为欺诈可能会增加欺诈调查团队的工作量,从而导致审计范围扩大。

审计方法

机器学习系统的复杂和动态特性源于它们对大量数据集和可随时间调整的复杂算法的依赖。这使得传统的审计方法(通常是静态和手动的)效率较低。国际最高审计机构组织 (INTOSAI) 强调,机器学习系统存在风险,包括数据安全问题、决策中的潜在偏见以及严格的项目管理和记录实践的必要性。

审计师必须采用专门为机器学习系统设计的新技术和框架来应对这些挑战。例如,ISACA强调透明度、问责制和彻底了解机器学习生命周期的重要性。鼓励审计师关注数据质量、模型开发流程以及可能嵌入机器学习算法中的潜在偏见。

建议采用一种务实的审计方法,即开发一个强调记录、问责制和质量保证的机器学习生命周期模型。这种方法对于让审计师与组织保持一致,并确保他们进行的审计全面有效至关重要。

调整审计方法以有效评估机器学习系统需要了解这些系统带来的独特风险和复杂性、利用新的审计框架和准则,并强调在整个机器学习生命周期中持续记录和问责。这种转变对于审计师跟上人工智能和机器学习技术的进步至关重要。

数据审计

审计师需要确保用于训练和运行机器学习模型的数据可靠、公正、符合监管要求且质量高。可以使用以下数据审计方法来实现这一点:

  • 确保为机器学习建模提供的数据准确、全面且统一。必须注意信息的完整性和准确性,包括数据源的可靠性,以确保数据源和人工智能模型之间不存在差异。必须建立访问和质量控制以维护人工智能模型中的数据完整性,并应建立机制来规范模型向终端用户输出的信息,以防止在将其应用于决策和判断之前进行任何操纵

  • 根据用于训练和评估的数据质量,验证机器学习模型是否按预期执行。

  • 确保机器学习系统内的数据收集、处理和利用方法透明且符合监管标准。

安全和隐私评估

机器学习工具功能强大,但它们通常依赖于敏感数据,例如财务信息或个人医疗记录。机器学习模型应该是安全的,并且不应暴露在任何危及隐私的漏洞中。安全和隐私评估涉及检查系统保护数据和确保隐私的效果。这种方法的目标包括:

  • 验证是否已实施适当的控制措施,以将敏感数据和机器学习模型的访问限制在授权人员或系统范围内

  • 确保机器学习系统遵守相关安全和隐私法规,包括欧盟GDPR,以降低法律和声誉风险

  • 评估数据在存储、传输或处理过程中的加密,以防止数据被拦截或未经授权的访问

模型验证和测试

模型验证和测试方法通过使用不同的示例对机器学习模型进行测试来检查模型对结果的理解和预测能力。此方法的目的是确保模型给出准确、无偏见的答案。此方法的目标包括:

  • 评估机器学习模型根据已知结果做出的预测的正确性和精确度

  • 评估机器学习模型在各种条件下(例如噪声或不完整的数据)的性能,以确保在现实场景中的可靠性

  • 调查机器学习模型的错误类型和来源,以了解其局限性和潜在的改进领域

结论

将机器学习融入审计实践,使审计师能够提高审计的准确性、速度和质量。通过利用机器学习算法,审计团队可以超越传统的代表性抽样技术,审查整个群体是否存在异常。这种转变允许进行更有针对性和更有目的性的测试。此外,机器学习模型可以从审计师的结论中学习,并将类似的逻辑应用于其他具有类似特征的项目。虽然用于审计的机器学习技术仍处于起步阶段,但大型组织正在积极探索其潜力。然而,挑战依然存在,包括解决可解释性约束和确保机器学习工具充分发挥其功能。审计的未来在于利用机器学习的力量来改善决策支持和简化流程,最终提高该行业的有效性和效率。

KGODISO CHILOANE 是一名高级IT审计师,专注于内部和外部审计中的IT控制和应用控制。他热衷于探索下一代技术在审计领域的影响,旨在了解机器学习如何改进审计流程。

FATIH ISIK 是一位经验丰富的专业人士,擅长IT风险咨询和IT审计。他对审计机器学习和人工智能系统特别感兴趣。

EUGENE ZITA 是一名初级IT审计师,对探索机器学习和人工智能在审计领域的变革潜力特别感兴趣。