据安全分析平台Netenrich报道，近日，一款名为FraudGPT的AI工具近期在暗网上流通，并被犯罪分子用于编写网络钓鱼电子邮件和开发恶意软件。
黑客在售卖页表示，该工具可用于编写恶意代码、创建出“一系列杀毒软件无法检测的恶意软件”、检测网站漏洞、自动进行密码撞库等，并声称“该恶意工具目前已经售卖了超过3000份”。
01 恶意AI工具FraudGPT：可自动生成多种网络攻击代码
据报道，FraudGPT的运作方式是通过草拟一封电子邮件，以高度可信的方式诱使收件人单击所提供的恶意链接。它的主要功能包括：
创建钓鱼网站页面
FraudGPT可以生成看似真实的网络钓鱼电子邮件、短信或网站，诱骗用户泄露敏感信息，例如登录凭据、财务详细信息或个人数据；
找到最容易受害的目标
聊天机器人可以模仿人类对话，与毫无戒心的用户建立信任，导致他们在不知不觉中泄露敏感信息或执行有害操作；
创建无法检测的恶意软件
FraudGPT可以创建欺骗性消息，引诱用户点击恶意链接或下载有害附件，导致其设备感染恶意软件；
编写欺诈的短信、邮件
人工智能驱动的聊天机器人可以帮助黑客创建欺诈性文件、发票或付款请求，导致个人和企业成为金融诈骗的受害者。
据悉，FraudGPT是由名为 "CanadianKingpin" 的开发者提供。
它主要基于GPT-3的大型语言模型，在经过训练后，可以生成合乎逻辑且与事实相符的欺诈性文本。一旦付费购买，FraudGPT便可以帮助犯罪分子成功进行网络钓鱼和诈骗。
在发布FraudGPT后，Canadiankingpin还创建了自己的电台频道，宣布将提供其他欺诈服务，包括销售电子邮件线索、信用卡CVV码等。
根据Canadiankingpin的描述，他目前已经通过了EMPIRE、WHM、TORREZ、ALPHABAY在内的多个暗网市场的供应商认证。
然而由于这些暗网市场极强的隐蔽性和不透明性，目前Canadiankingpin的身份依然是个谜团，调查者也仅找到了Canadiankingpin的TikTok账号以及相同id的Gmail邮箱。
而另一个令人感到沮丧的消息是，在经历了近一周的研究后，Netrich也并未能够实现对FraudGPT背后的大语言模型的破解。
虽然自FraudGPT发布仅过去了不到两周，但一个明显的事实是，这款“顶级AI工具”已开始被利用到了实际的犯罪行为中。
在部分销售FraudGPT的暗网中，Canadiankingpin与一些订阅用户已经分享了多起他们基于FraudGPT所实现的黑客活动。
据Netrich统计，FraudGPT至少自7月22日便开始在暗网市场和Telegram频道中流通，订阅费用为200美元/月，1700美元/年。相比于ChatGPT Plus订阅20美元/月，价格高了10倍。
截止目前，暗网上已存在了超过3000条确认的订阅信息及评论。
02 恶意AI攻击工具：降低网络犯罪的进入门槛
事实上，AI工具降低了网络犯罪分子的进入门槛，FraudGPT已经不是第一起案例。
即便Claude、ChatGPT 、Bard等AI提供商会采取一些措施来防止他们的技术被用于不良目的，但随着开源模型的崛起，犯罪分子的恶意行为很难被遏制。
7 月初，基于开源大语言模型GPT-J开发而成，并且使用大量恶意代码进行训练和微调的WormGPT也曾引发关注。
据悉，WormGPT擅长使用Python代码执行各种网络攻击，例如：生成木马、恶意链接、模仿网站等，其在创作诈骗信息和钓鱼邮件等任务上所表现出的“卓越”能力让人胆战心惊。
但相比之下，FraudGPT在功能丰富性和编写恶意软件方面的功能更强大。
事实上，除了上文所提到的FraudGPT、WormGPT等专为恶意活动而生的聊天机器人外。
大语言模型本身所潜藏的风险也在不断给安全从业者们带来挑战，除了我们所熟知的幻觉问题外，大模型脆弱的护栏也在成为网络安全的一大噩梦。
上个月ChatGPT、Bard等聊天机器人暴露出的“奶奶漏洞”就证明了这样的事实，只需要通过提示让这些聊天机器人扮演用户已故的祖母，便能欺骗它们在讲睡前故事的过程中透露大量限制信息，甚至是手机IMEI密码或Windows激活秘钥。
除此之外，CMU和人工智能安全中心的研究员还发现了另一种通用方法，只需要附加一系列特定无意义token，就能够生成一个prompt后缀。
而一旦在prompt中加入这个后缀，通过对抗攻击方式，任何人都能破解大模型的安全措施，使它们生成无限量的有害内容。
尽管在过去几个月中，OpenAI、谷歌等世界顶级科技公司都在努力为自己所研发的大模型设计更多更加完善的限制措施，以保障模型能够在安全稳定的情况下工作。
但显而易见的是，直至目前仍然没有人能够完全避免类似问题的发生。
03 当犯罪门槛降低企业如何防范
毋庸置疑，无论是WormGPT ，还是FraudGPT ，这类极具威胁性的AI工具，都在为促进网络犯罪和诈骗“赋能”。
安全分析平台Netenrich曾表示：“这项技术会降低网络钓鱼电子邮件和其他诈骗的门槛。
随着时间的推移，犯罪分子将找到更多方法来利用我们发明的工具来增强他们的犯罪能力。”
当AI工具的邪恶面被淋漓尽致的展现，再加之网络攻击「低门槛」，加强防御策略显得尤为重要。
为此，有专家针对个人和企业，提出了一些可采取的关键措施，以确保免受 FraudGPT和类似AI工具威胁的影响。
对在线通信保持警惕
不要乱点击陌生的网站链接、邮件，安装未知的软件。同时，针对需要验证、涉及敏感信息、金融交易的意外电子邮件，应通过官方渠道加以验证。
及时了解网络安全措施
定期更新安全软件、安装补丁并使用信誉良好的防病毒程序来防范潜在威胁。同时，也需要了解最新的网络安全实践，增强网络攻击的防御意识。
警惕未知的链接和附件
不要点击未知来源的链接或打开附件。FraudGPT可以生成指向网络钓鱼网站的逼真URL，因此，在点击任何链接之前验证发件人的身份至关重要。
教育和培训员工
对于企业来说，网络安全最佳实践的员工培训至关重要。确保员工了解潜在威胁并知道如何识别可疑活动。如果员工遇到任何可疑消息，应该立即向IT部门报告。
04 结语
AI大模型的快速发展在给诸多领域带来积极影响的同时，随着模型能力的不断提升，也被运用在恶意活动中，破坏力与日俱增。
但无论是FraudGPT、WormGPT等恶意软件的出现，还是大模型总会出现的幻觉、越狱等问题，其实都不是为了告诉我们AI有多么危险，而是在提醒我们需要更加专注于解决现阶段AI领域所存在的诸多问题。
正如网络安全专家Rakesh Krishnan在一篇关于FraudGPT的分析博客中所写的那样：技术是一把双刃剑，网络犯罪分子正在利用生成式AI的能力，而我们同样可以利用这种能力攻克他们所提出的挑战。
技术作恶者不会停止创新，我们同样不会。
值得欣慰的是，目前无论在国内外，政府及科技企业都在积极完善有关人工智能的监管政策及相关法规。
七月中旬，国家网信办已联合六部门发布了《生成式人工智能服务管理暂行办法》；七月底，美国7家AI巨头也与白宫达成协议，将为AI生成内容添加水印。
近来多个包含数据采集和使用不规范等问题的AIGC应用被要求在苹果商店下架一事也证明着监管措施正在发挥积极作用。
虽然关于人工智能，无论在技术还是监管方面我们都还有很长的道路需要去探索，但相信随着各界的共同努力，许多问题都将在不久后迎刃而解。
,一波未平万花楼论坛 一波又起？AI大模型再出邪恶攻击工具相关：
黄仁勋：“核弹工厂”即将上线，要让所有人用上生成式AI「20 年前我们推出了 RTX 显卡，5 年前我们将图形计算与 AI 结合，推出了「星战」Demo。」美国当地时间 8 月 8 日早上，英伟达创始人、CEO 黄仁勋在世界计算机图形会议 SIGGRAPH2023 上，开场回顾了英伟达在图形计算上的高光时刻，并且展示了最新的实时渲染的 4K 分辨率的 3D 赛车追逐 Demo。不过，仅仅几分钟后，「皮衣教主」的演讲，就从 3D 图形完全过渡到 AI 上了。作为人工智能浪潮中最重要的人物，..
麻生太郎主动要求会面，郭台铭送其“金门和平宣言”中国台湾网8月9日讯 日本前首相麻生太郎8月7日至9日窜访中国台湾地区，据台媒报道，离开台湾之前，他还特别约见了台湾鸿海集团创办人郭台铭，至此，四位对2024台湾地区领导人选举有意向的台湾政治人物都与麻生太郎会面了。郭台铭特别带了“金门和平宣言”到麻生太郎在台下榻酒店拜访，表示“台海要和平，要备战同时也要能够避战，要找出对话的基础”。郭还透露，是麻生太郎通过台外事部门通知他，希望在走前能够见一面，并且送..
“孤岛”汤家庄村的离别与团聚封面新闻记者 郝莹 杨峰滴嗒嗒一声响过，卫星电话成功连上信号。拿着电话的两名通信抢修人员身边呼啦啦围上来一圈村民。李燕举着快要没电的手机查找号码，电话接通后，她连声“喂”了三四遍，听到对面的女孩应声，才对着手机喊道，“喂，我是你妈，咱们家没事，你们都没事吧？”不等对面反应过来，两句话交代了家里有水有粮，李燕便告诉女儿，“不说了，他们都等着打呢。”挂断电话后，她擦着眼角走到一边。8月4日，这是灾后失..
又见游客被困无人区，“不专业”真的会要命救援现场。海西州公安局微信公众号 图继“4人自驾罗布泊不幸遇难”后，又一起旅游事故引发关注。8月6日，青海海西州公安局指挥中心接到来自广东的报警电话，报警人称，其母亲等一行8人在青海旅游期间被困无人区，其中4名老人、2名儿童。好在在多支警力协作连夜搜寻下，8名游客在次日凌晨终于被找到，经医务人员检查身体状况良好，总算是化险为夷。这几位游客要前往的是冷湖，位于柴达木盆地西北边缘，这里有个老的石油基地。当..
麻生太郎窜台声称应“立足于战，强化威慑”，中方回应问：日本前首相、自民党副总裁麻生太郎日前访台期间声称应“立足于战，强化威慑”，中方对此有何评论？答：这是不自量力，胡言乱语。同时，这些说法干涉中国内政，破坏台海稳定，中方已向日方提出严正交涉。台湾是中国的台湾，解决台湾问题完全是中国内政。如果日方一些人执意把中国内政事务同日本的安全保障捆绑在一起，将再次把日本带入歧途。
国际锐评 | 谁是仁爱礁事件的幕后推手中国海警局8日公布了一则视频，画面显示中国海警船日前对非法闯入中国南沙群岛仁爱礁邻近海域的菲律宾船只，进行了警示性水炮喷射。人们可以清楚地看到，中国海警船吨位远大于菲方船只，但现场操作专业、克制。分析人士认为，这是为避免直接拦阻出现碰撞而采取的处置措施，既展示了中方维护国家主权和海洋权益的决心和能力，又顾全中菲关系大局，体现了一个大国的责任担当。中国海警依法驱离菲非法进入我仁爱礁邻近海域船只 视..
新华时评：“脱钩断链”挡不住各国发展诉求新华社北京8月9日电 题：“脱钩断链”挡不住各国发展诉求新华社记者樊宇南非外交部副总司长、南非金砖国家事务协调人阿尼尔·苏克拉尔日前表示，南非不会屈服于美国压力而停止使用华为公司的网络通信设备。在美国打压围堵华为等中国企业、强拉遏华“小圈子”的政治喧嚣声中，南非做出了理性务实的选择，从中也不难看到这样一种风向：越来越多的国家开始认识到，追随美国对华“脱钩断链”行不通，立足自身发展才是优先逻辑。2017..
6次申请“入常”被否决，印度何以成为“推特五常”？✪ 詹丹妮北京大学区域与国别研究院【导读】2023年9月，第78届联合国大会将在纽约召开。印度媒体近期声称：如果印度今年不能“入常”，就将退出联合国，成立一个以印度为中心的“新联合国”。据悉，印度迄今已6次向联合国申请“入常”，但均被否决。与此形成对照的，是印度因常在国际舆论场上积极发表各类政见、努力展现自我，而被调侃为“推特五常”“油管五常”。为什么印度在国际舆论场上如此有存在感？本文分析，缘于庞大人..
王毅将访问新加坡、马来西亚和柬埔寨问：能否介绍中方对王毅同志访问新加坡、马来西亚和柬埔寨东南亚三国的考虑？中方如何看待当前同三国关系？答：今年是习近平主席提出构建人类命运共同体理念和“一带一路”倡议10周年，东南亚国家一直走在践行人类命运共同体理念的前列，是中国共建“一带一路”合作重要伙伴。当前，中国同新加坡、马来西亚和柬埔寨三国关系保持良好发展势头。中新建立了全方位高质量的前瞻性伙伴关系，中马就共建命运共同体达成共识，中柬正积极..
朝鲜招揽外国游客出新招据韩联社首尔8月8日报道，专业经营高尔夫旅游业务的朝鲜旅行社正在境外招徕游客，最早于今秋举行的高尔夫球大赛可能迎来普通外国游客。据朝鲜国家观光总局开设的朝鲜观光网站8日消息，总局下属黎明高尔夫旅行社2日发布广告称，有意向的外国朋友也可以在朝鲜参加春秋两季举行的业余高尔夫球赛，同朝鲜的高尔夫爱好者增进友谊。黎明高尔夫旅行社还在多篇广告文章中介绍了平壤高球场的特点、旅行社纪念品等。▲2022年10月，人们在朝..