鉴黄AI或将取代人工鉴黄师:一天审4亿张图只需20人

2018-08-20 07:12:21 来源:网络

又一薪水高、“福利”好的职业或要被人工智能(AI)替代了。

近日,阿里巴巴集团(下称“阿里”)安全部在接受澎湃新闻(www.thepaper.cn)采访时介绍了AI鉴黄的有关工作:当用户输入一张图片,AI将返回一个0-100之间的分值。

这个分值非线性地标示了图片含色情内容的概率。对于互联网场景模型,得分99及以上的图片几乎可以肯定是色情图,无需人工复审;得分50-99的需要人工审核;得分50以下的认为是正常图。随着AI鉴黄技术的发展,人工鉴黄师逐渐从鉴黄行业里被解放出来。

阿里安全部高级算法专家威视向澎湃新闻介绍,假设一天要审核4亿张图片,单纯由人工来审,如果一人一天审1万张,就需要4万人。而经由AI鉴黄后需要交由人工审核的量大约只需20万张,这样只需要20人,大大节省了人力。不仅仅在识图领域,威视告诉澎湃新闻,AI鉴黄还覆盖到了语音、视频等多媒体领域,目前已经可以识别中文、英文、日文、俄文等语言,还可以识别中国多省份方言,无语义的呻吟声也能识别。据悉,阿里将在8月21日举办的网络安全生态峰会上,集中展示这些技术。

鉴黄AI是怎样炼成的?

阿里的鉴黄AI做的色情图片检测,从原理上来说,就是一个典型的图像分类问题。当前的解决方案是标注样本后,使用深度学习技术训练一个人工神经网络。具体步骤包括明确分类标准→收集样本→样本打标→模型训练,四个步骤。其中前三个步骤主要由人工完成。这四个步骤听起来似乎是最后一步的技术难度最高,实际上阿里的相关人士向澎湃新闻透露,花时间最久的是第一步。

“虽然实打实的比如‘露点不露点’之类的色情,还有比较明确的判断标准,”威视表示,“对于低俗和性感类,争议就比较多,不同的人有不同的认识。”现实世界是复杂的,威视举了个例子,以儿童色情的问题为例:儿童露点算不算色情?有人会说:男孩不算,女孩算。又有人质疑:如果男孩年龄较大呢?如果是发育较早的孩子呢?于是又又有人说,十二三岁的男孩子露点算色情。

那么,十一岁的呢?或者,如何从图片中判断孩子年龄到底有多大呢?威视告诉澎湃新闻,虽然明确分类标准是设计步骤时的第一步,但在后续打标过程中,遇到实际的问题还要再对标准进行不断的修正和增补。

被鉴黄AI误认为是色情的图片

在收集样本的过程中,团队“集思广益”,浏览了近2000家网站,下载了超过6000万张疑似色情图片,实际去重后约2300万张图片,并实际标注了超过1300万张图片。这1300多万张图片成为模拟训练的原始数据库,因此这一浩大的工程,被技术人员认为是鉴黄引擎成功最重要的基石。样本打标过程依然主要由人工完成对2000万张图片的打标。威视介绍,他们做了一个打标工具,并建立了质量控制体系。

打标前对所有参加标注的人员先进行培训,学习打标标准,做练习题考试,考试通过之后才能上岗。标中通过事先已有答案的校验题,或多人对同一对象打标的方式,进行标中控制。标后的控制,就是通过模型判断,找出可疑部分再进行人工标注。威视表示,之所以严格把握样本打标的过程,是因为深度学习,对高质量的标注数据是有很高的要求。数据标志质量越高,最后模型的精度就会越高。于是,由人类经过千挑万选、做题考试后建立起来的高质量“色情图片”数据库,最后交由模型训练。

威视表示,GPU机器单机单卡的情况下训练时间要近一个月。后来阿里团队更换了网络结构并实现了多机多卡训练,将千万级别样本的训练时间控制在一周左右。“AI最好的应用模式依然是人+机”那么,高效和低成本的AI鉴黄,是否会完全替代人工鉴黄师? 对此,阿里安全部产品专家念夏向澎湃新闻表示,目前AI鉴黄最好的应用模式仍然是人工+机器。不管是前期设计模型的标准和实际打标,还是后期人工复核,人的参与都是不可或缺的。2015年7月的“北京三里屯优衣库事件”,一段时长1分钟的试衣间不雅视频流出,并2个小时内在各大网络平台上迅速完成了过亿的转发量。但目前只有人的头脑拥有足够的“意识”判断这些单独的突发性事件,是否属于“违规”。

“已知的、有清晰标准定义的风险,AI都已经能解决了。”念夏表示,真正的难点是恶意的突发事件,爆发了就是爆发了,这种情况下,由于之前对该事件或场景缺乏标准的定义,当时要直接给AI及时去处理,是不可能的。”另一种类型就是非常模棱两可的场景,即AI打分在50-99分之间的内容。

念夏表示,带有主观个人意识或者群体意识的部分,就是需要人工审核的核心部分。此外,包括特定的体育运动以及国际标准差异等问题,前期模型调整和后期复核标准变化,也需要人工审核的出马。威视表示,目前像包括相扑、摔跤、艺术体操甚至游泳等门类的运动,由于穿着较为特殊,一般把这类多媒体作品定性为性感类,经由人工复核,终极目标还是希望能让AI直接分辨出图片上的人是在参加运动比赛。

被鉴黄AI误认为是色情的图片

从国际上来看,虽有通用的鉴黄标准,但也会有与国内标准大相径庭的地方。念夏向澎湃新闻举了个例子:“国内如果直播给小宝宝洗澡,其实没什么事,大家觉得很可爱。但在国外是绝对不行的,而且属于严重违规。”阿里的AI除了用于鉴黄,念夏表示利用这个原理,还能训练AI做类似编审的工作,比如选取视频封面、鉴定重复视频等。

“不仅是做合规方面的事情,我们希望利用AI去做真正的生产提效,用技术解决更多社会问题。”

,鉴黄AI或将取代石家庄北站 人工鉴黄师:一天审4亿张图只需20人

相关:

“通俄门”调查特朗普竟扯上中国 被指在转移公众视线原标题:“通俄门”调查特朗普竟扯上中国 被指在转移公众视线   【环球时报驻美国特派记者 张梦旭 环球时报记者 倪浩 陈一 柳直】“新鲜事儿!特朗普建议俄罗斯的批评者把注意力转向中国”,俄罗斯卫星新闻网19日惊讶地发现美国的“通俄门”调查出现新动向,特朗普想把中国也牵扯进来,他在18日的一条推文中说:“所有如此关心俄罗斯的傻瓜都应该开始关注另一个方向,即中国。”“通俄门”调查愈演愈烈,越来越多的美国..

中方贸易代表即将赴美谈判 特朗普却发推抹黑中国原标题:中方贸易代表即将赴美谈判 特朗普却在此时发推抹黑中国【环球时报驻美国特派记者 张梦旭 环球时报记者 倪浩 陈一 柳直】“新鲜事儿!特朗普建议俄罗斯的批评者把注意力转向中国”,俄罗斯卫星新闻网19日惊讶地发现美国的“通俄门”调查出现新动向,特朗普想把中国也牵扯进来,他在18日的一条推文中说:“所有如此关心俄罗斯的傻瓜都应该开始关注另一个方向,即中国。”“通俄门”调查愈演愈烈,越来越多的美国政要..

公摊面积确权透明度低,有精装修楼盘按建筑面积收装修费原标题:公摊面积确权透明度低,有精装修楼盘按建筑面积收装修费近日,《“公摊面积伤民”矛盾亟待求解》一文引起广泛关注。文中针对公摊面积占比的正当性、取消公摊面积之影响的追问,激起很多网友的共鸣。 有人认为,应当取消公摊面积,套内面积才是最公平的计算方式;有人则认为,取消公摊面积、仅计算套内面积不会有任何影响,开发商会把公摊面积费用增加到单价里去。 公摊面积,由服务于整栋建筑的公共管理用房与分..

多地抓紧落实稳增长补短板投资项目   时隔一年,7月底8月初,发改委重启城市轨道交通项目审批,批复长春第三期城市轨道交通建设规划,总投资787.32亿元。两周后,苏州轨道交通4条线路获国家发改委批复,涉资950亿元。统计数据还显示,7月份,发改委共审批核准固定资产投资项目17个,总投资776.9亿元。   记者梳理各地发改部门信息发现,各地相关部门也正抓紧时间落实有效投资项目。例如,本月9日,湖北省发改..

部分省份加紧部署化解隐性债务工作   近日,内蒙古、湖南相继召开会议,研究部署化解政府隐性债务工作。   此前,全国政协经济委员会副主任杨伟民曾公开表示,严控隐性债务增量,对此中央正在研究制定相关办法。   湖南省省长许达哲8月15日主持召开省政府常务会议,部署防范化解地方政府隐性债务风险。会议提出,要按照中央要求,尽快摸清地方政府隐性债务底数及相关资产情况,制定隐性债务化解实施方案。..

长三角创新驱动培育全球先进制造集群   发展高端智能制造对于中国制造业乃至中国经济的重要性不言而喻。   作为我国经济最具活力、开放程度最高、创新能力最强的区域之一,曾领改革风气之先的长三角地区,如今正以更加开放的心态,吸引高端制造资源聚集,积极培育全球先进制造集群。   但对长三角地区来说,发展高端智能制造产业,既要拿出新的高端产品,解决“有没有”的问题;又要推出更多优质产品,解决..

广播丨中国之声《国防时空》(2018年8月19日) 国 防 时 空 发布权威军事新闻 传播现代国防理念 2018年8月19日(星期日) 戊戌(狗)年七月初九 点击收听《国防时空》来自CNR国防时空00:0010:45 本期《国防时空》音频在这里 要记得仔细听哦~ 感谢大家的长期关注 本期节目编辑:朱梁文轩、周宇婷、黄翔 消息来源:CNR国防时空 本期编审:孙 利 责任编辑:朱西迪、李俊 投稿邮箱:guofangshikong@qq.com

广播丨中国之声《国防时空》(2018年8月12日) 国 防 时 空 发布权威军事新闻 传播现代国防理念 2018年8月12日(星期日) 戊戌(狗)年七月初二 点击收听《国防时空》来自CNR国防时空00:0010:48 本期《国防时空》音频在这里 要记得仔细听哦~ 感谢大家的长期关注 本期节目编辑:谭淑惠、邓曦光、黄翔 消息来源:CNR国防时空 本期编审:孙 利 责任编辑:朱西迪、李俊 投稿邮箱:guofangshikong@qq.com

习近平出席中央军委党的建设会议并发表重要讲话(原声) 点击收听 现场录音报道来自CNR国防时空00:0007:35 习近平在中央军委党的建设会议上强调 全面加强新时代我军党的领导和党的建设工作 为开创强军事业新局面提供坚强政治保证 中央军委党的建设会议8月17日至19日在北京召开。中共中央总书记、国家主席、中央军委主席习近平出席会议并发表重要讲话。 记者周朝荣 摄 中央军委党的建设会议8月17日至19日在北京召开。中共中央总书记、国家主席、中央军委主席习近平出席会议并发..

维和丨厉害!中国扫雷再获友军点赞! 中国扫雷官兵向外军介绍中国排爆防护服 当地时间8月16日上午,继法国战斗工兵分队之后,中国扫雷作业点再次迎来参观学习的同行友军——爱芬营扫雷排爆分队。据了解,此次参观学习是应爱芬营请求组织的,主要围绕新通道开辟、信号源处理、疑似地雷挖掘等内容进行,旨在增进两军了解,交流扫雷排爆经验,加强分队间的合作。 当天,中国第17批赴黎巴嫩维和部队多功能工兵分队派出40余名官兵,以扫雷为主题,采取装备器材动态与静..