主要观点总结
本文介绍了字节的OmniHuman-1模型在全球AI圈引起的巨大关注。该模型能够利用一张图片和一段音频生成超逼真的唇形同步AI视频,突破了以往只能生成面部或头部动画的限制。作者详细描述了OmniHuman-1的功能和效果,并将其与之前的模型进行了对比。他认为这是AI视频2.0时代的标志,将深度参与到表演和叙事中,可能对传统概念如影视、动画、广告、直播等产生深远影响。
关键观点总结
关键观点1: OmniHuman-1模型的创新
OmniHuman-1模型能够利用一张图片和一段音频生成背景动态、全身动作的视频,保证口型同步,突破了以往模型的限制。
关键观点2: OmniHuman-1模型的应用
OmniHuman-1模型应用于影视、动画、广告、直播等领域,将深度参与到表演和叙事中,可能对这些传统概念产生深远影响。
关键观点3: 模型的易用性
OmniHuman-1模型的使用非常简单,只需准备一张人物角色图和一段音频,上传后点击生成即可。角色审核较为严格,但使用流程方便。
关键观点4: 模型的未来展望
作者认为OmniHuman-1模型是AI视频2.0时代的标志,未来将会有更多的应用场景和更广阔的发展空间。
正文
半个月前,字节的OmniHuman-1模型在全球的AI圈,都掀起了巨浪。
可能有些朋友不知道这是个啥,我大概通俗易懂的解释一下:一张图+一段音频,就能生成超逼真的唇形同步AI视频。说实话,这个效果已经很不错了,但是有个最大的问题,就是只能生成面部或者头部的动画,背景、肢体全都没法动,非常的尴尬。
而这一次,OmniHuman-1做了巨幅的突破,一张照片+一段音频,就可以生成背景是动态、支持全身动作的视频,甚至还能保证口型同步。终于,在今天深夜,我等来了OmniHuman-1的内测。视频生成中的对口型上的大师模式,就是OmniHuman-1。视频中的人物,再也不是默剧了,让人物开口说话也终于不用先跑一段动态AI视频再换口型了。
只需要一键,就直接生成一段带表演的、带口型的15秒视频。这就像当年的语音,从TTS,进化到了端到端的声音一样。图的话没啥需要注意的,不同于之前的生动模式会强制剪裁,现在的OmniHuman-1支持任何比例,同时我自己测试下来,有个问题比较大,就是角色的审核非常严格。
猫猫狗狗之类的动物不能生存我能理解,但是一些拟人角色,或者稍微侧面一点的,都显示未检测到可用角色,比如我传这个哪吒的图:这个我觉得就有一点问题,我就去直接问了下产品经理,是BUG,还是模型特性。产品的回复是:https://hailuoai.com/audio比如我准备了一张哪吒的图片,和一段哪吒2里非常经典的语音。这效果,虽然有一些瑕疵,而且不能跟哪吒2原片段比,但是已经是我见过的,表演最好的了,毕竟你要是真能跟哪吒2片段打个平手。。。这个运动非常夸张,不仅奥特曼自己的表演是到位的,背景里面的行人也是匆匆,左右穿越,稳得一笔。从以前要调动画、找配音、做后期合成,至少得个把星期的工作量,如今十几秒钟就能完成,还能批量跑,简直让人不敢相信这是现实。说实话,这就是我心里那个AI视频2.0时代的标志。人物不仅动了,还能用自然语音去表达信息,真正把视频当做核心载体,让AI深度参与到表演和叙事中。这样的想法放在半年前,像极了天方夜谭,可它如今就真实地摆在你面前。影视、动画、广告、甚至直播,这些传统概念,会不会因为一个AI,而统统被打碎重构?以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:卡兹克
>/ 投稿或爆料,请联系邮箱:wzglyay@gmail.com