科学家开发DIRFA:输入图片和音频,可生成说话视频

2023-11-17 20:26:39 来源:网络

IT之家 11 月 17 日消息,来自新加坡南洋理工大学(NTU Singapore)的科研团队近日开发出了 DIRFA 工具,用户给一张图片以及音频内容,可以自动生成 3D 视频,并实现口型和声音的同步协调。

DIRFA 的全称为 DIverse yet Realistic Facial Animations,训练了超过 6000 多人的 100 万个视频片段,音频片段来自一个名为 VoxCeleb2 数据集的开源数据库,并关联面部表情和头部运动。

研究人员表示,DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用,因为它可以实现更复杂和逼真的虚拟助手和聊天机器人,从而改善用户体验。

DIRFA 还可以作为言语或面部残疾人士的强大工具,帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感,从而增强他们的沟通能力。

,科学家开发DIR矢量图标 FA:输入图片和音频,可生成说话视频

相关:

AI重塑媒体行业,凤凰卫视重磅入场AI数据赛道媒体人在2023年或多或少都有点“失业”焦虑——媒体人被认为是最可能被ChatGPT取代的高危职业之一。面对人工智能的冲击,部分媒体选择以防御之态应对,保护自己的内容不受大语言模型的“侵略”。根据《卫报》的报道,CNN、纽约时报和路透社等多个媒体巨头在他们的网站上加入了新的代码,阻止OpenAI的网络爬虫工具GPTBot对平台内容的扫描。然而,近日凤凰卫视在“数聚未来——凤凰大模型数据研讨沙龙”上正式推出“凤凰智媒AI数据..

CCG理事长在阿斯彭法国举办的午餐研讨会上的演讲当地时间11月12日,全球化智库(CCG)理事长王辉耀,CCG秘书长苗绿在巴黎参加由阿斯彭研究所为欢迎CCG举办的午餐研讨会,就动荡世界中的中欧关系、中欧经贸合作和中欧文化交流等议题进行深入交流。法国工商界和外交界的二十余位知名人士参加了本次交流。当今世界地缘政治冲突升级,不仅对当事国造成了深远影响,也影响了全球的政治、经济和安全局势。今年十月,外交部长王毅在北京同欧盟外交与安全政策高级代表博雷利举行第十二..

CCG专家团参观中国旅法勤工俭学博物馆并举行座谈交流会当地时间11月12日,全球化智库(CCG)专家代表团在参访法国期间参观了位于蒙达尔纪的中国旅法勤工俭学博物馆和邓小平广场,并与博物馆馆长王培文等围绕中法青年交流、全球议题与青年力量等主题进行座谈交流。CCG团队与中国旅法勤工俭学博物馆保持着长期友好的交流关系,2023年5月CCG专家代表团就曾在参访法国期间参观该博物馆。该纪念馆由湖南省人民政府出资兴建,共有三层楼外加一层阁楼,占地173平方米,总面积421平方米,展览..

OECD邀请CCG理事长王辉耀在OECD巴黎总部演讲 32国大使参加当地时间11月15日,位于巴黎的OECD总部为CCG理事长王辉耀博士举办专场政策交流会,邀请王辉耀博士在OECD会议中心发表演讲,谈后疫情时代中国经济发展,中国与全球治理以及如何加强全球多边主义合作等议题。来自澳大利亚、奥地利、比利时、加拿大、智利、哥伦比亚、哥斯达黎加、捷克共和国、爱沙尼亚、芬兰、法国、德国、希腊、匈牙利、爱尔兰、意大利、日本、拉脱维亚、立陶宛、墨西哥、荷兰、挪威、葡萄牙、斯洛伐克共和国、斯..

悬赏通告下,果敢“四大家族”走向末路11月12日,浙江温州公安机关依法对缅北果敢电信网络诈骗犯罪集团重要头目明学昌、明国平、明菊兰、明珍珍4人公开悬赏通缉。11月16日,在缅甸各方的大力配合下,明国平、明菊兰、明珍珍3人被成功抓获并移交我公安机关。当日,接缅甸驻昆明总领事馆通报,缅方11月15日夜组织对明学昌抓捕,期间明学昌畏罪自杀身亡。悬赏通告下,通缉仅4天,缅北明家,这个和四大家族关系密切的“后起之秀”终于走到了末路。不仅是明家,其他盘踞缅..

中亚各国“公主”们都身居何职?在中亚国家,权力高层让自己的子女担任政府要职是一件很平常的事。当然,他们的仕途升迁也非常快。这些领导人(包括前任)的女儿担任了哪些职务,她们近年来取得了哪些成就?塔吉克斯坦奥佐达·拉赫蒙塔吉克斯坦总统拉赫蒙的二女儿奥佐达·拉赫蒙目前担任总统办公厅主任。2005年,27岁的她开始进入政坛。首份工作在驻美国大使馆,2007年起担任驻美大使馆文化教育参赞。2007-2009年任塔外交部领事司司长,后晋升为外交部副部长。2..

赖声川将带来江西会昌戏剧小镇 旨在培育文化创意生态  中新网北京11月17日电 (记者 应妮)记者从16日在京举行的发布会获悉,由华人剧作家、上剧场艺术总监赖声川等人合力打造的会昌戏剧小镇,将于2024年1月5日正式开张。 赖声川(左四)和嘉宾们在发布会现场合影。上剧场供图   江西会昌是赖声川父亲赖家球的故乡。1947年,这位从会昌考出来的才子离家谋生远赴重洋,却再也没机会回到家乡。   20世纪90年代,赖声川及哥哥开始了回乡寻亲之路,在给家乡的信中他写道:“我..

作为书法家的鲁迅与郭沫若  于明诠   鲁迅和郭沫若首先是两个大文豪,现代文学史上有句经典概括——“鲁郭茅巴老曹”嘛。但他们二位毛笔字也都写得不错,他俩之外的茅盾老舍也写得不错,茅盾雅逸,老舍古拙。当然了,对于他们那代人来说,虽然不再苦练馆阁体通过科举考取功名了,但习惯使然,大部分写作抄录还是用毛笔。这样,他们既有熟练使用毛笔书写的技能,又不受整齐划一呆板僵化的馆阁体束缚,反而能通过自然的毛笔书写自觉不自觉地表达流露着..

浙江永康:“于光影中”看水资源赋能区域发展  中新网金华11月17日电(董易鑫)站在浙江金华永康市的东溪旁向内望去,映入眼帘的是一片近百亩古樟树林错落有致,四周分布着秦汉军营、战壕、民国水木居等十多个场景,上空悬挂着多盏照明灯,剧组工作人员正有序忙碌,不时有周围村民前来帮忙。 位于永康市西溪镇的西溪影视基地一景。 胡肖飞 摄   2014年7月,永康市西溪镇依托境内覆盖率约85%的古樟树林、百亩新梯田以及山坡、峡谷、溪流等丰富原生态资源,积极承接横..

粤北丹霞山发现珍稀野生苏铁属植物  中新网韶关11月17日电 (王坚 黄玮)广东省韶关市丹霞山管委会17日通报,中山大学生命科学学院廖文波教授、凡强副教授团队在丹霞山国家级自然保护区科学考察中,发现了国家一级重点保护野生植物仙湖苏铁的分布,这也是丹霞地貌首次发现野生的苏铁属植物。 丹霞山野外分布的仙湖苏铁群落。凡强 供图   据介绍,苏铁植物是一类古老的孑遗植物,其起源可追溯至3亿年前的晚石炭世。其生长速度慢,繁殖难度较大,具有极..