这一天还是来了:鉴黄人工智能或将取代人工鉴黄师

2018-08-19 12:08:15 来源:网络

原标题:这一天还是来了:鉴黄人工智能或将取代人工鉴黄师

又一薪水高、“福利”好的职业或要被人工智能(AI)替代了。
近日,阿里巴巴集团(下称“阿里”)安全部在接受澎湃新闻(www.thepaper.cn)采访时介绍了AI鉴黄的有关工作:当用户输入一张图片,AI将返回一个0-100之间的分值。这个分值非线性地标示了图片含色情内容的概率。对于互联网场景模型,得分99及以上的图片几乎可以肯定是色情图,无需人工复审;得分50-99的需要人工审核;得分50以下的认为是正常图。
随着AI鉴黄技术的发展,人工鉴黄师逐渐从鉴黄行业里被解放出来。阿里安全部高级算法专家威视向澎湃新闻介绍,假设一天要审核4亿张图片,单纯由人工来审,如果一人一天审1万张,就需要4万人。而经由AI鉴黄后需要交由人工审核的量大约只需20万张,这样只需要20人,大大节省了人力。
不仅仅在识图领域,威视告诉澎湃新闻,AI鉴黄还覆盖到了语音、视频等多媒体领域,目前已经可以识别中文、英文、日文、俄文等语言,还可以识别中国多省份方言,无语义的呻吟声也能识别。据悉,阿里将在8月21日举办的网络安全生态峰会上,集中展示这些技术。
鉴黄AI是怎样炼成的?
阿里的鉴黄AI做的色情图片检测,从原理上来说,就是一个典型的图像分类问题。当前的解决方案是标注样本后,使用深度学习技术训练一个人工神经网络。具体步骤包括明确分类标准→收集样本→样本打标→模型训练,四个步骤。其中前三个步骤主要由人工完成。
这四个步骤听起来似乎是最后一步的技术难度最高,实际上阿里的相关人士向澎湃新闻透露,花时间最久的是第一步。
“虽然实打实的比如‘露点不露点’之类的色情,还有比较明确的判断标准,”威视表示,“对于低俗和性感类,争议就比较多,不同的人有不同的认识。”
现实世界是复杂的,威视举了个例子,以儿童色情的问题为例:儿童露点算不算色情?有人会说:男孩不算,女孩算。又有人质疑:如果男孩年龄较大呢?如果是发育较早的孩子呢?于是又又有人说,十二三岁的男孩子露点算色情。那么,十一岁的呢?或者,如何从图片中判断孩子年龄到底有多大呢?
威视告诉澎湃新闻,虽然明确分类标准是设计步骤时的第一步,但在后续打标过程中,遇到实际的问题还要再对标准进行不断的修正和增补。

被鉴黄AI误认为是色情的图片
在收集样本的过程中,团队“集思广益”,浏览了近2000家网站,下载了超过6000万张疑似色情图片,实际去重后约2300万张图片,并实际标注了超过1300万张图片。这1300多万张图片成为模拟训练的原始数据库,因此这一浩大的工程,被技术人员认为是鉴黄引擎成功最重要的基石。
样本打标过程依然主要由人工完成对2000万张图片的打标。威视介绍,他们做了一个打标工具,并建立了质量控制体系。打标前对所有参加标注的人员先进行培训,学习打标标准,做练习题考试,考试通过之后才能上岗。标中通过事先已有答案的校验题,或多人对同一对象打标的方式,进行标中控制。标后的控制,就是通过模型判断,找出可疑部分再进行人工标注。
威视表示,之所以严格把握样本打标的过程,是因为深度学习,对高质量的标注数据是有很高的要求。数据标志质量越高,最后模型的精度就会越高。
于是,由人类经过千挑万选、做题考试后建立起来的高质量“色情图片”数据库,最后交由模型训练。威视表示,GPU机器单机单卡的情况下训练时间要近一个月。后来阿里团队更换了网络结构并实现了多机多卡训练,将千万级别样本的训练时间控制在一周左右。
“AI最好的应用模式依然是人+机”
那么,高效和低成本的AI鉴黄,是否会完全替代人工鉴黄师?
对此,阿里安全部产品专家念夏向澎湃新闻表示,目前AI鉴黄最好的应用模式仍然是人工+机器。不管是前期设计模型的标准和实际打标,还是后期人工复核,人的参与都是不可或缺的。
2015年7月的“北京三里屯优衣库事件”,一段时长1分钟的试衣间不雅视频流出,并2个小时内在各大网络平台上迅速完成了过亿的转发量。但目前只有人的头脑拥有足够的“意识”判断这些单独的突发性事件,是否属于“违规”。
“已知的、有清晰标准定义的风险,AI都已经能解决了。”念夏表示,真正的难点是恶意的突发事件,爆发了就是爆发了,这种情况下,由于之前对该事件或场景缺乏标准的定义,当时要直接给AI及时去处理,是不可能的。”
另一种类型就是非常模棱两可的场景,即AI打分在50-99分之间的内容。念夏表示,带有主观个人意识或者群体意识的部分,就是需要人工审核的核心部分。
此外,包括特定的体育运动以及国际标准差异等问题,前期模型调整和后期复核标准变化,也需要人工审核的出马。
威视表示,目前像包括相扑、摔跤、艺术体操甚至游泳等门类的运动,由于穿着较为特殊,一般把这类多媒体作品定性为性感类,经由人工复核,终极目标还是希望能让AI直接分辨出图片上的人是在参加运动比赛。

被鉴黄AI误认为是色情的图片
从国际上来看,虽有通用的鉴黄标准,但也会有与国内标准大相径庭的地方。念夏向澎湃新闻举了个例子:“国内如果直播给小宝宝洗澡,其实没什么事,大家觉得很可爱。但在国外是绝对不行的,而且属于严重违规。”
阿里的AI除了用于鉴黄,念夏表示利用这个原理,还能训练AI做类似编审的工作,比如选取视频封面、鉴定重复视频等。“不仅是做合规方面的事情,我们希望利用AI去做真正的生产提效,用技术解决更多社会问题。”,这一天还是世界花卉大观园 来了:鉴黄人工智能或将取代人工鉴黄师

相关:

101岁老常委宋平 为刘源新书作序原标题:101岁老常委宋平,为刘源新书作序近日,刘少奇之子刘源上将回顾父亲刘少奇军事生涯的著作《梦回万里卫黄保华:漫忆父亲刘少奇与国防、军事、军队》,由人民出版社出版发行。该书邀请党内老同志宋平作序。宋平在序言中称,“刘源同志的这本书,记叙了父亲刘少奇同志革命生涯许多感人故事,读来令人感受到党领导人民所走过的光辉历程来之不易,更加值得珍惜。”刘源在接受“政事儿”(微信ID:xjbzse)独家专访时表示,“..

“温比亚”影响冀鲁辽多地迎暴雨 江南重返“桑拿天”受台风“温比亚”影响,昨天(18日)河南安徽多地出现今年来最强降雨,随着台风北上,今明天强降雨带将北移至环渤海地区,河北、山东、辽宁等地部分地区将有暴雨,需注意防范城市内涝及滑坡等次生灾害;而在台风影响消退的南方地区,高温又将发展增多。昨天14时,今年第18号台风“温比亚”已经减弱为热带低压,但仍在河南、安徽、山东等地制造大范围强降雨,尤其河南东部出现较大范围暴雨到大暴雨,如昨天08时至14时,河南宁陵出现1..

京津冀名家同台对决 角逐河北梆子“十大名旦”原标题:京津冀名家同台对决 角逐河北梆子“十大名旦” 节目录制现场。 张泽鑫 摄   中新网廊坊8月19日电 (记者 高红超)19日,《谁与争锋――京津冀河北梆子新“十大名旦”诞生记》正在河北省廊坊市永清县紧锣密鼓地录制当中。京津冀三地的16位河北梆子旦角名家齐聚一堂,为“十大名旦”的诞生使出浑身解数的同时,也将为戏曲爱好者献上丰盛的视听盛宴。   河北梆子从山陕梆子衍化而来,在京津冀孕育成熟。曾经..

中国摘亚运首金 孙培原获武术男子长拳冠军原标题:中国摘亚运首金 孙培原获武术男子长拳冠军   中新网客户端雅加达8月19日电(邢?)在当地时间19日上午举行的雅加达亚运会长拳项目上,中国选手孙培原以9.75分获得武术长拳项目金牌,中国队因此实现自2002年釜山亚运会以来的亚运首金“五连冠”。 中新社记者 刘关关 摄

黑豹乐队亮相江苏句容葡萄音乐节点燃夏夜激情原标题:黑豹乐队亮相江苏句容葡萄音乐节点燃夏夜激情 各式曲风的音乐给观众带来一场听觉盛宴。 钟学满 摄 音乐节现场。 钟学满 摄 黑豹乐队主唱献唱,掀起一股经典摇滚风。 钟学满 摄   悠然的清风吹来葡萄甜香,劲爆的音乐唤起夏日激情……8月18日晚,黑豹乐队、沙棘草乐队、歌手LARA(南拳妈妈前主唱)、歌手翁大涵等亮相2018江苏句容丁庄葡萄音乐节,轮番登台火热开唱。摇滚、民谣、流行等各式曲风的..

加拿大皇家铸币厂员工监守自盗 黄金藏直肠内被判两年半原标题:加拿大皇家铸币厂员工监守自盗 黄金藏直肠内被判两年半 法制晚报·看法新闻(编译 李娜)据英国《每日邮报》报道,加拿大皇家造币厂前雇员莱斯顿·劳伦斯因盗窃黄金被判两年半,并被判处145900美元的罚款。近日,法官重审该案件,将罚款降至130206美元。 莱斯顿·劳伦斯现年35岁,他在加拿大皇家造币厂工作时盗窃了22件饼干大小的黄金,并将其中17件卖给了渥太华的黄金买家。2016年,法官判处劳伦斯因30个月监禁,..

武林高手拿下亚运首金原标题:武林高手拿下亚运首金 2018年雅加达亚运会武术长拳决赛刚刚结束,中国选手孙培原第六位出场,出色地完成了整套动作,得到了9.75分,夺得冠军。这是本届亚运会的首枚金牌,也是中国体育代表团自2002年以来连续五届亚运会夺得赛会首金。(北青报记者 褚鹏)

赛事规模再创新高 2018国际跆拳道公开赛在京开幕原标题:赛事规模再创新高 2018国际跆拳道公开赛在京开幕 颁奖环节。   中新网北京8月19日电 8月18日,2018(第十二届)国际跆拳道公开赛(ITF OPEN)在北京奥体中心体育馆开幕。全国22个省市44个跆拳道馆选派出的900余名跆拳道高手齐聚北京,俄罗斯、蒙古、英国、韩国等传统跆拳道强国也选派选手代表参加了此次赛事,为广大跆拳道爱好者们带来一场盛宴。 选手在比赛中。   本次比赛由国际跆拳道联盟(中国)主办,..

中国摘亚运首金!孙培原获武术男子长拳冠军原标题:中国摘亚运首金!孙培原获武术男子长拳冠军    中国武术运动员孙培原在比赛中。 中新社记者 刘关关 摄   中新网客户端8月19日电 北京时间今天上午,中国武术运动员孙培原在男子长拳套路项目,以9.75的高分,为中国代表团摘下2018雅加达亚运会首金,这也是中国队连续5届亚运会拿下赛会首金。   从2002年釜山亚运会开始,中国代表团已经连续4届亚运会拿下赛会首金。2002年的釜山,中国花剑选手王海滨虎口..

刘源:徐才厚找我谈过,你告谷俊山还没准把你整倒呢原标题:独家| 刘源:徐才厚找我谈过,你告谷俊山,还没准谷俊山把你整倒了呢今年是刘少奇诞辰120周年。刘少奇之子刘源做了一件事情,著书回顾父亲刘少奇的军事生涯。近日,这本题为《梦回万里卫黄保华:漫忆父亲刘少奇与国防、军事、军队》的书,已由人民出版社出版发行。8月18日,刘源在上海出席了新书发行活动。为什么要写这样一本书?对于刘少奇的军事贡献,身为上将的刘源有何评价?他怎么看待刘少奇与毛泽东、彭德怀等人..