分身术来了,苹果发布 AI 新技术,30 分钟打造你的数字化身

2023-12-21 03:59:43 来源:网络

当一众科技巨头在生成式 AI 赛道打得火热时,一旁的苹果却显得有些静默。

而今天苹果发布了一篇生成式 AI 的研究论文,难得向我们展示了他们在这一领域的最新突破。

这篇论文详细介绍了一项名为 HUGS(Human Gaussian Splats)的生成式 AI 技术。简言之,得益于这一技术的加持,我们甚至可以通过一段短视频来打造一个人类的「数字化身」。

言归正传,让我们来看看具体的演示效果

据苹果官方介绍,这些年来,虽然基于神经网络的渲染技术在训练和渲染速度上取得了显著的提升,但该技术主要集中于静态场景的摄影测量,难以应用到灵活运动的人类模型上。

为了解决这个问题,苹果机器学习研究中心和马克斯·普朗克智能系统研究所合作,提出了一种名为 HUGS 的 AI 框架,经过训练后的 HUGS 能够在 30 分钟内,自动从视频中分离出静态背景和一个完全动态变化的数字化身。

具体是怎么做到的呢?

他们的核心思路是用三维高斯分布(3DGS)来表示人和场景。你可以将高斯分布(GS)理解成一个带有中心位置、体积大小、旋转角度的参数化的三维钟形体。

如果我们在一个房间的不同位置放很多这种三维钟形体,调整它们的位置、大小、角度,组合在一起就可以重建出房间的结构和场景中的人了。高斯分布训练和渲染起来非常快,这也是这个方法最大的优势。

接下来面临的问题是,高斯分布本身相对简单,仅仅堆叠在一起很难精细地模拟出人体复杂的结构。

因此,他们首先使用了一个叫做 SMPL 的人体模型,这是一个常用的、相对简单人体形状模型,为高斯分布提供了一个起始点,锚定了人体的基本形状和姿势。

尽管 SMPL 模型提供了基本的人体形状,但它在处理一些细节,比如衣服褶皱、发型等方面并不是很准确,而高斯分布可以在一定程度上偏离和修改 SMPL 模型。

这样,他们能够更灵活地调整模型,更好地捕捉和模拟这些细节,并使得最终的数字化身具有更加真实的外观。

分开只是第一步,还需要让构建的人体模型动起来。为此,他们设计了一个特殊的变形网络,学习控制每个高斯分布(表示人体和场景的形状)在不同骨骼姿势下的运动权重,也就是所谓的 LBS 权重。

这些权重告诉系统,当人体骨骼运动时,高斯分布应该如何跟随着变化,以模拟出真实的运动。

此外,他们不仅仅停留在设计网络,还通过观察真实的人类运动视频对数字化身的高斯分布、场景的高斯分布和变形网络进行了优化。这样,数字化身就能更好地适应不同的场景和动作,使其看起来更加真实。

相比于传统的方法,这种方法的训练速度显著提高,至少快了 100 倍,而且它还能渲染每秒 60 帧的高清视频。

更重要的是,这种新方法实现了更高效的训练过程和更低的计算成本,有时仅仅需要 50-100 帧的视频数据,相当于短短 2-4 秒的 24 帧视频。

对于这一成果的发布,网友们的态度却呈现两极分化的趋势。

数码博主 @mmmryo 惊叹于生成模型对皮肤和衣服、头发等细节的建模,并猜测这项技术很有可能是为 iPhone 或 Vision Pro 而专门设计的。

三星科学家 Kosta Derpani 现身苹果研究员 Anurag Ranjan 的评论区,对这项成果表达了充分的赞美与肯定。

但也有网友对此并不买账,比如 X 用户 @EddyRobinson 对实际生成的效果提出质疑。

苹果宣布将会放出模型的代码,但截至发稿前,点击苹果官方给予的代码链接只会得到「404」。

部分网友发出理性探讨:

值得一提的是,这篇论文的作者出现了熟悉的华人面孔。

论文核心作者 Jen-Hao Rick Chang(张仁豪)来自于中国台湾。在 2020 年加入苹果之前,他曾在卡内基梅隆大学 ECE 系获得了博士学位。

张仁豪的学术生涯颇具传奇色彩,在卡内基梅隆大学期间,他师从图像处理领域大神 Vijayakumar Bhagavatula 教授和 Aswin Sankaranarayanan 教授。

在前三年致力于机器学习领域之后,出于研究兴趣,张仁豪毅然调转研究方向,开始深入探究截然不同的光学领域,此后陆续在计算机图形学和交互技术领域的 SIGGRAPH,以及机器学习领域 ICML 国际学术会议上发表多篇力作。

而苹果的这篇论文便是他合著的最新研究成果,最后放上这篇论文的具体地址,更多具体细节可在下方链接查阅

https://arxiv.org/abs/2311.17910

不得不说,今年的 AI 视频生成赛道简直是卷无人性,Runway 的出现让生成式 AI 步入了电影神圣的殿堂,由 Runway 技术支持的《瞬息全宇宙》将 AI 视频生成的魔力展现得淋漓尽致。

随后 Pika Lab 的 Pika 1.0 将 AI 视频生成的「专利」从专业创作者的手中抢了回来。通过更简单的文本输入、浅显易懂的视频编辑,更高质量的视频生成,让每个人都有机会成为自己的视频导演。

不论你是专业者还是业余者,也都能利用 MagicAnimate 人体动画生成器来自娱自乐。只需按照预定的动作序列输入人物图片,就能生成动态视频。

动起来的主角,可以是你的自拍、宠物,也可以是一张熟悉的名画,发挥你的奇思妙想之后,万物皆可动。

当然,更引人注目的可能是今天 Google 团队推出的视频生成模型 VideoPoet,支持各种视频生成功能以及音频生成,甚至还能让大模型来指导完整的视频生成。

不仅一次能够生成 10 秒超长视频,VideoPoet 还能解决现在无法生成动作幅度较大的视频难题,妥妥属于视频生成届的全能选手,唯一的缺点可能就是「活在」Google 的博客里。

相对而言,苹果这个最新成果则瞄准了当下类似于 AI 主播的热门技术,一段可能不到几秒的短视频就能生成你的「数字化身」,眼见不一定为实,未来如何证明「我即是我」或许又值得发愁了。

明年 Vision Pro 即将在美国发售,而这项论文的研究成果该不会是提前埋下的彩蛋吧。

,分身术来了,苹果发布 AI升级 新技术,30 分钟打造你的数字化身

相关:

日本旅游局:今年访日外国人数时隔3年突破2000万人财联社12月20日电,日本国家旅游局12月20日公布的估算数据显示,11月访日外国人数为244.08万人,与2019年同月水平基本相同。今年1月至11月累计超过2233万人,自创下最多纪录的2019年(3188万人)以来,时隔3年再度突破2000万人。

《拙劣的魔术师》美国政治导致社会分裂。(来源:中国日报 罗杰 英文《中国日报》2023年12月20日8版)

漫评2023的美国之枪支暴力:“无止境”漫画作者:谭希光2023年,枪击事件不断登上美国新闻的头条。美国枪支暴力愈演愈烈,控枪依旧遥遥无期。根据“枪支暴力档案”,截至12月18日,美国今年至少有41344人死于枪支暴力,发生的大规模枪击事件数(不包括枪手在内、至少有4人中枪后受伤或死亡)已达640起。其中,青少年死者1338人,儿童286人。在美国,枪声随时会响起,同样的悲剧在不同的场景反复上演。枪支文化根深蒂固,社会不平等、种族矛盾等问题不断加深,生活压力..

捷克总统警告:俄乌冲突明年或迎来重大进展,不好的那种(观察者网讯)据美国政治新闻网站“Politico”欧洲版12月19日报道,捷克总统帕维尔(Petr Pavel)预计,俄乌冲突明年将出现“重大进展”,而且不太可能对基辅有利。“Politico”称帕维尔在俄罗斯和中国相关问题上是“鹰派”,他完全支持乌克兰,也支持北约进一步扩张。当被问及明年对这些问题的预期时,帕维尔称,“我们有很多事情要做,因为乌克兰冲突的发展表明,我们明年很可能看到一些重大进展。”他在捷克媒体周一发布的..

劫匪抢劫时车被“同行”偷走,步行逃跑被警方抓获美国小偷偷走劫匪车辆(社交媒体截图)海外网12月20日电 据美国福克斯新闻网12月19日报道,美国科罗拉多州3名蒙面劫匪近日在实施抢劫时,因停在路边的车被小偷偷走,被迫步行逃跑,导致两人被抓。美国警方19日表示,16日上午11时左右,三名劫匪进入位于丹佛郊区的商场实施抢劫。此时,一名小偷趁机偷走他们所驾驶的车辆。警方称,这三名劫匪“被业内同行打败”,“他们被迫步行,我们得以抓到其中两人,并缴获两把枪支。”逃跑..

专家研讨纪录片《中国》:展现中华文化之美由国家广电总局宣传司指导的纪录片《中国》播出后引起关注。日前在中国电视艺术委员会、湖南省委宣传部主办的纪录片《中国》创作座谈会上,专家认为,纪录片呈现中华优秀传统文化的独特魅力,展现了中华历史之美、山河之美、文化之美。纪录片《中国》深入挖掘中华优秀传统文化中所蕴含的道德品格、精神观念和思想文化,探寻中华文明根脉和中华文化源流,截至目前已播出三季。座谈会上,专家表示,纪录片用精彩的画面、抒情的音乐..

锡林郭勒草原上,为妇女儿童定制解决方案的公益力量 图为《白姐说事》2023季正在录制中。锡林郭勒盟妇联供图   中新网锡林郭勒12月20日电 题:锡林郭勒草原上,为妇女儿童定制解决方案的公益力量   作者 奥蓝   小明(化名)今年9岁,跟高位截瘫的父亲一起生活。2022年以来,在10多个社会组织、60多名志愿者长达59周的持续帮助下,小明和父亲都得到了较为妥善的安置,开启了新生活。   这是《白姐说事》的一期节目。最近《白姐说事》2023季的录制进入尾声。今年节目..

各地多措并举应对寒潮保供电 守护万家“烟火气”  冬季多地供电和供暖需求持续攀升,能源供应迎来“大考”。当前正处于迎峰度冬电力保供关键期,为应对近期大范围寒潮和低温雨雪冰冻天气,各地、各部门采取多种措施,全力保障人民群众安全温暖过冬。   “从今年供暖季能源保供总体形势看,在各地区、有关部门和企业的共同努力下,入冬以来全国能源保供总体形势良好,各项工作平稳有序,群众用能需要得到较好保障。”国家发展和改革委员会政策研究室副主任、新闻发言人李超..

嘉兴秀洲:“老乡”老娘舅 巧解“千千结”  “枫桥经验”60周年系列报道⑤   嘉兴秀洲:“老乡”老娘舅 巧解“千千结”   “我是重庆秀山哩,你是四川乐山哩,咱俩也算是老乡了,有啥事儿坐下来说说呗!”见到正怒气冲冲的周师傅,嘉兴市秀洲区洪合镇新居民调委会的调解员伍梅菊先用家乡话安抚他的情绪。这一句家常问候,瞬间让周师傅的话匣子打开了,他那累积在心里一个多星期的烦躁,也在家乡话的交谈中被抚平。   洪合镇是“中国毛衫名镇”,拥有毛衫生产..

从救援到安置,一个村的震后36小时封面新闻记者 杨博 杨涛 陈羽啸 郝莹12月20日,在积石山6.2级地震中,受灾较严重的大河家镇周家村,刚刚从地震中缓过劲来,不少村民将家中的火炉、食物和衣物等生活必需品,在救援完成的消防等人员帮助下,搬了出来。消防人员帮忙转移群众财产据悉,目前当地的救援工作已基本结束,救援人员的工作重点转为伤员救治和受灾群众生活安置。地震后的36小时,这个村子的安置点再次忙碌起来,搭建帐篷、生火做饭……村民回忆:刚抱..