OpenAI下架AI文本检测器,用AI检测AI宣告失败

2023-08-03 17:36:55 来源:网络

“既是天使、也是魔鬼”,或许是如今对AI最为精确的一句描述。如今再度走红的AI在帮助人类社会实现效率革命的同时,同样也带来AI新闻造假的泛滥以及愈演愈烈的AI骗局,因此监管AI就成为了当下科技界一个重要的议题。然而面对可以称得上是日新月异的AI技术迭代速度,针对其可能衍生出诸多危险结果的思潮也开始高涨。

图片

面对这一问题,作为当下AI技术先驱的OpenAI站了出来。该公司创始人萨姆·奥特曼自今年年初开始就频频“走穴”,出席从学术界到工业界,再到监管层面围绕AI的相关讨论,更是主动提出了监管方案,并希望监管部门早日考虑立法。同时OpenAI也没忘记尝试从技术层面来约束AI,并在今年2月推出了一款试图区分人工编写文本和AI生成文本的检测工具。

这款工具名为AI文本检测器(AI Text Classifier),也曾被OpenAI方面认为有助于防止AI文本生成器被滥用,但在经过了数月的实践后,OpenAI在数天前悄然下线了AI文本检测器。根据OpenAI的说法,下架这款工具是因为检测准确率过低,但“会继续研究更有效的相关技术”。所以简而言之,就是OpenAI此前希望用AI来监管AI的尝试似乎已经落空了。

图片

此前OpenAI在推出这款AI文本检测器时,其实外界的期待值曾颇高,并希望它能够与ChatGPT上演一出“猫鼠游戏”。而这款公布的使用也一点都不复杂,在检测过程中用户只要将需要检测的文本复制到检测器上,就可以检查内容是否为AI生成,而且也不限定文本内容的种类。

如果说在面对海量的信息时,人工监管几乎不现实,那么用AI相关技术来监测内容或许才是更具现实意义的操作。然而遗憾的是,AI文本检测器的效果甚至连差强人意可能都称不上。据OpenAI方面公布的相关数据显示,AI检测器在识别AI生成文本方面的正确率仅为26%,同时将人类所写内容识别为AI生成的错误率则达到了9%。

图片

实际上,用户体感可能还远低于这一数字。有研究人员就曾使用一本在数年前就已出版书籍中的片段进行了测试,结果AI文本检测器显示,不清楚这本书的序言是否由AI撰写,但前言“或许(Possibly)是人工智能生成,第一章的一段是“可能是(Likely)”人工智能写的。

更有甚者,还有人曾将莎士比亚的《麦克白》放上去进行检测,结果的反馈却是,“The classifier considers the text to be likely AI-generated”。即这款AI检测器认为,《麦克白》可能是AI写的。

事实上,不仅仅是OpenAI在尝试以AI来制衡AI,如今有相当多的机构或研究人员正走在这条路上,但截至目前无一例外都没有商业化的价值。

图片

虽然OpenAI方面目前并未公布AI文本检测器的技术原理,但从其所要实现的目的来看,大概率是使用监督学习的方法。监督学习其实是机器学习中的一种训练方式,是指利用一组已知类别的样本调整分类器的参数,使得其达到所要求性能的过程。在这里,训练数据成为输入数据,分类则成为标签数据。

简单来说,尽管本不知道A和B能得倒一个什么样的关系,但是通过很多个A和B、且已知AB关系的数据可以得知,他们存在一种函数式关系f(A,B),并且在后续可以通过f(A,B)来得到一个符合实际规律(相对准确)的结果。众所周知,ChatGPT训练中很重要的一步是RLHF, 即有人类反馈的增强学习,这其实就是非常典型的监督学习。

图片

作为一个AI领域经典的方法论,监督学习技术自然也有已经被发现的缺陷。其一,监督学习的一个重要前提,是需要大量的标注数据,并且标注数据的质量对模型性能有着直接的影响,不准确或不完整的标注数据可能会导致模型的错误预测。其二,在实际应用中,不同类别的样本数量可能存在严重的不平衡,即某些类别的样本数量远远少于其他类别。这就会导致模型在学习过程中对少数类别的识别性能较差,从而影响到模型的整体性能。

比如,OpenAI的AI文本检测器之所以认不出《麦克白》是莎士比亚的作品,关键因素就是莎士比亚是接近500年前的历史人物,他写《麦克白》所使用的古英语和现代英语存在不小的区别。但OpenAI的数据集里古英语的数量大概率极为有限,因此AI自然也就无法确定《麦克白》来自何处,而找不到出处就推断为AI产出的内容,其实也是相当合理的。

图片

因此这就是问题所在,如果AI检测工具本身的性能够强,它就需要一个接近ChatGPT、或者其他AI大模型量级的数据集。但显而易见的是,从目前的情况来说,从无到有标注一个有别于ChatGPT的数据集不仅OpenAI做不到,即使它的重要投资方微软也有力未逮。毕竟如果真的有这样的数据集,为什么不去拿它训练ChatGPT,来孵化出更强大的GPT-5呢?

所以归根结底,用AI来监管AI现阶段可能还只是一个美好的畅想,但从当下的技术条件来看,这一路径并不具备现实意义。如果说单单帮助人类分辨到底哪些内容是由AI产出,或许数字水印技术反而更有可行性。在ChatGPT等AI大模型生成内容的那一刻就加入水印,直接让用户看到内容时就能知道它到底是不是由AI生成的。

,OpenAI下架A渭南党建网 I文本检测器,用AI检测AI宣告失败

相关:

登上热搜的第2天,涿州困境解了吗?文/狄银杰 凯斯 花木蓝编辑/闫如意台风“杜苏芮”的影响,开始从福建、北京,向河北转移了。河北涿州的洪水,很令人揪心。从航拍中俯瞰,涿州城目之所见,都泡在无尽的黄色的洪水中,道路被水几乎埋住,洪水快要蔓延到华阳桥的桥面上,大楼一层被淹没了一半。小树摇摇欲坠,有些区域里唯一的绿色,是露出大树的树冠。这座位于河北保定,拥有66.2万人口,距离北京仅有73公里的县级市,从未这么脆弱过。北京已经天晴,是时候把目..

灵活就业人员为何参保率低  灵活就业人员为何参保率低   77.6%受访者认为有必要为灵活就业者设置专门的参保制度   国家统计局数据显示,我国灵活就业人员已达2亿人左右,如此庞大的灵活就业群体,社会保障问题如何解决?灵活就业人员在参保上存在哪些难点?近日,中国青年报社社会调查中心联合问卷网(wenjuan.com),发布的一项有1502名受访者参与的调查显示,个人缴纳费用高是受访灵活就业者参保难的主因,其次是难以保证持续缴纳,容易断缴..

骑手上路,何以屡屡上演生死时速  骑手上路,何以屡屡上演生死时速   外卖骑手交通违法乱象调查   近日,#北京一外卖骑手违法超车致人死亡#冲上热搜。北京交管部门披露称,一名外卖员驾车在西城区一路段超越小轿车时,撞上了一名过马路的行人,送医后,行人经抢救无效死亡。事发当时,外卖员超速行驶,且未靠右行驶,存在多项过错。   对此,很多网友留言称,在生活中,外卖骑手闯红灯、逆行、超速等交通违法行为已司空见惯,严重影响交通秩序..

24亿封神:捧起男人,糟蹋妲己最近的电影院可真是热闹不断。前有《芭比》把挑战父权制搬上大银幕,后有《封神》玩起了弑父弑君。将两性都困住了几千年的有毒的父权制,似乎都被不同程度地瓦解了。但她姐兴冲冲走进电影院,却感觉不是那么回事儿。不说别的,《封神》里的妲己形象,分明就是父权制下最为标准的一场女性倒退。《封神》里的妲己,无趣必须承认,她姐走进电影院前,对妲己的故事还是抱有很大期待的。早在电影上映前,片方就因为九尾狐形象海报引发..

佳木斯在建方舱医院?哈尔滨也在为方舱医院建设招标导读:项目建设资金来自专项债券和地方财政自筹,出资比例为专项债券13798.61万元,地方财政自筹5000万元。作者 | 第一财经 徐艺航8月2日,关于黑龙江佳木斯一小区要建方舱医院的一条信息冲上热搜。相关公示信息显示,佳木斯前进区要建一座方舱医院,建设单位为佳木斯市住建局。佳木斯自然资源和规划局工作人员回复称,这个名义上是隔离点,但实际用处现在也没说,项目是由住建局提交的。第一财经记者查询相关信息,发现方舱..

外媒曝甜茶金小妹没分手 两人只是想让这段关系远离聚光灯8月2日,据外媒报道,甜茶和金小妹并没有分手,两人目前还在交往中。一位内部人士透露称,甜茶金小妹分手的消息不属实,虽然他们很长时间没有被拍到同框,但是其实还在交往,他们只是想让这段关系远离聚光灯。此前,网传金小妹告诉大家两人因为各自行程忙碌,自然而然分手,但私下也有传闻是甜茶甩了金小妹。

封杀两年,还能复出?男演员塌房,不是税就是睡。韩娱也不例外。两年前的韩剧《海岸村恰恰恰》,浪漫治愈的剧情,剧中的高颜值酒窝CP,甜的观众在床上来回托马斯回旋。但没多久。刚火起来的男主角金宣虎,就因为诱骗女友堕胎而塌房了,不仅所有电影广告都掉完,还掀起了一阵舆论风波。几乎就是被封杀的状态。没想到,事情很快又迎来了大反转。在D社的公开报道中,金宣虎这个瓜曾有12点被扭曲的事实,女方在和他交往之后才透露自己离过婚,还各种出轨..

闭眼尬吹,硬刚杨紫?成毅新剧,真不行…一个月黑风高的夜晚,两大高手上演巅峰对决。一个挥挥衣袖,遂掀起海浪呼啸。一个见招拆招,身后便卷起波涛。你来我往,舞剑弄棒。俩人大有不分出胜负不罢休之意。单看老妹儿的描述,宝子们应该能猜出来这是武打画面,讲的是部武侠剧。这么说是没错,但作为古装武侠爱好者的老妹儿入坑后发现,热搜刷到飞起的巨制,越刷越感觉不对劲儿——播出前,本剧号称集英雄儿女、高手对决、悬疑奇案等诸多熟悉猎奇的江湖元素于一体,怎么看..

李孟桥否认与窦靖童结婚 称是谣言8月2日,有媒体求证李孟桥,网传与窦靖童疑似结婚一事,对方回应称是谣言。此前,有网友爆料称窦靖童疑似与同性导演李孟桥在国外注册结婚,在此前的活动中,窦靖童的右手无名指上还戴着一枚戒指。李孟桥导演的社交账号也曾在情人节当天发了窦靖童的猫,疑似两人共度情人节,二人此前曾共同出席公映礼活动。据悉,窦靖童与导演李孟桥曾于2021年合作过电影《只是一次偶然的旅行》,目前两人又合作了新剧《她的生存之道》。

国际空间站将培育“迷你大脑”参考消息网8月2日报道 据美国趣味科学网站7月29日报道,即将执行的国际空间站补给任务中将包括干细胞,这些干细胞将被培育成微小的3D人脑模型。将被培育成微小、简化的球形人类大脑模型的干细胞不久后将被送到国际空间站。根据美国政府资助的国际空间站国家实验室发布的声明,这些细胞是从成人皮肤细胞中提取的。由此产生的干细胞被称为“诱导多能干细胞”,在各种化学信号的影响下,它们可以转化为人体任何类型的细胞。在这种..