生成式人工智能及其潜在的邪恶用途

克里斯•麦高文
Author: 克里斯•麦高文
发表日期: 2023年8月1日

生成式人工智能似乎在2022年底爆发. 在此之前,没有人真正谈论它. 但现在每个人(远远超出IT界)不仅在谈论它,而且在使用它. 这是令人兴奋的,同时也是有问题的.
生成式人工智能(AI)是指一类能够自主生成新内容的机器学习(ML)算法, 比如图像, 文本或音频, 通过从大量数据中学习模式和结构. 这项技术近年来取得了重大进展, 由此产生的人工智能模型可以创造出非常逼真和令人信服的输出.

生成式人工智能的引入加速了各个领域的进步,彻底改变了创造过程, 内容生成和决策系统. 虽然生成式人工智能呈现出许多积极的应用, 就像任何强大的工具, 它也可以被用于恶意目的. 它在网络攻击领域的滥用引起了严重关注,并使人们关注到当生成人工智能与恶意活动交叉时出现的固有风险和深远影响. 组织必须意识到并准备好对抗生成人工智能被用来进行网络攻击的可能性.

它在网络攻击领域的滥用引起了严重关注,并使人们关注到当生成人工智能与恶意活动交叉时出现的固有风险和深远影响.

WormGPT

一个在地下论坛上臭名昭著的工具是WormGPT. WormGPT于2021年开发,是一种使用GPT-J语言模型构建的生成式人工智能工具. 它提供了多种功能,包括无限的字符支持, 聊天内存保留和有效处理代码格式的能力. 它是对手执行复杂的网络钓鱼和商业电子邮件入侵(BEC)攻击的强大工具.1

WormGPT将自己呈现为标准GPT模型的黑帽替代品,因为它是专门为恶意目的而设计的. 网络犯罪分子可以利用WormGPT自动创建高度可信的假电子邮件,这些电子邮件专门针对每个收件人进行个性化设置, 这能显著提高它们的攻击成功率.

WormGPT的引入及其肆无忌惮的目的凸显了生成式人工智能带来的惊人威胁, 澳门赌场官方下载需要了解这些新工具,并对新的网络钓鱼和BEC攻击特别敏感. 帮助降低这种增加的风险的一种方法是通过更新培训计划和/或审查和增强电子邮件验证流程.

PoisonGPT

另一个令人担忧的场景来自于对现有开源人工智能模型的潜在修改,以传播虚假信息. 这样一个被操纵的模型可以上传到公共存储库,比如hug Face,2 哪个是一个著名的开源澳门赌场官方下载,专门开发授权用户构建的工具, 使用开源代码和技术训练和部署ML模型. 这种做法被称为大型语言模型(LLM)供应链中毒.

这项技术的成功, 被称为毒药pt, 依赖于以一个冒充有信誉的组织的名义上传修改过的模型, 让它无缝融合,不被注意. 毒物GPT强调,面对不断变化的网络威胁形势,迫切需要提高警惕.3

打击WormGPT和PoisonGPT都需要一个强大的安全程序,包括教育用户了解最新的网络犯罪策略, 集成多因素身份验证并实施强大的访问控制措施,以显著增强组织的安全性,抵御这种尖端的生成式人工智能技术的潜在恶意应用. 坚持这些最佳实践使组织能够加强他们的防御并获得最大的保护.

多态的恶意软件

生成式人工智能也可以用来构建恶意软件. 多态恶意软件是一种不断改变其代码以逃避反病毒软件和其他安全措施检测的恶意软件. 让它特别强大的是它使用了适应性强的尖端人工智能技术来生成每次迭代的新代码. 这种自适应行为使得恶意软件难以检测和抵制.

许多其他高级持续性威胁(apt)也依赖于人工智能驱动的技术, 在确保IT资产安全时,更需要保持坚定的警惕.

结论

生成式人工智能有可能以积极的方式彻底改变生活的各个方面. However, 误用它来进行网络攻击给个人带来了巨大的风险, 组织与社会. 通过了解和认识潜在的威胁并采取积极的措施, 网络安全专业人员可以利用生成式人工智能的好处,同时防范恶意利用, 从而营造一个安全可靠的数字环境.

Endnotes

1 Mahirova,年代.; “什么是wormpt? 最近一波网络攻击背后的新人工智能《澳门赌场官方软件》,2023年7月18日
2 黑客新闻”WormGPT: WormGPT:新的人工智能工具允许网络犯罪分子发起复杂的网络攻击, 2023年7月15日
3 Shenwai D.; “认识PoisonGPT:一种将恶意模型引入可信LLM供应链的人工智能方法,《澳门赌场官方软件》,2023年7月14日

克里斯•麦高文

信息安全专业实践的负责人是ISACA的成员吗® 内容开发和服务团队. 在这个角色中, 他领导与ISACA成员相关的信息安全思想领导计划. 麦高恩是一名成就卓著的美国海军老兵,拥有近23年的多学科安全和网络作战经验.