首页   

Human4DiT,又一个根据一张图,生成人物动画视频的项目,效-20240616115101

黄建同学  · AI  · 1 月前

2024-06-16 11:51

Human4DiT,又一个根据一张图,生成人物动画视频的项目,效果戳视频↓#ai##ai探索计划#

Human4DiT:Free-view Human Video Generation with 4D Diffusion Transformer(使用 4D Diffusion Transformer 生成自由视角人物视频)

项目:human4dit.github.io

Human4DiT 的pipeline:
我们的框架基于 4D 扩散Transformer,它采用由 2D 图像、视图变换器和时间块组成的级联结构。输入包含参考图像、动态 SMPL 序列和相机参数。从生成的嘈杂潜在表示开始,我们使用多种条件对其进行去噪。首先,2D 图像变换器块旨在捕获每帧内的空间自注意力。此外,还注入了从参考图像中提取的人类身份以确保身份一致性。其次,我们使用视图变换器块来学习不同视点之间的对应关系。最后,我们采用时间变换器来捕获具有时间嵌入的时间相关性。

ChatGPT 黄建同学的微博视频
推荐文章
爱可可-爱生活  ·  【ComfyUI-RK-Sampler:基于 ...  ·  昨天  
爱可可-爱生活  ·  【zerox:使用gpt-4o-mini实现 ...  ·  昨天  
黄建同学  ·  GPT-4o-mini 现在可与 ...  ·  2 天前  
宝玉xp  ·  Llama3下周要发布多模态版本了-2024 ...  ·  4 天前  
程序员的幽默  ·  第一次在老板面前演示产品  ·  1 月前  
紫光展锐UNISOC  ·  看图秒懂!为啥它能成为5G的“网红技术”?  ·  2 年前  
文学投稿小助手  ·  《扬子江》诗刊征稿启事  ·  6 年前  
天天逗事  ·  重新选择妈妈,你会选个啥类型的?  ·  6 年前  
© 2022 精读
删除内容请联系邮箱 2879853325@qq.com