AnimateAnyone:让照片变动画(阿里)


为任何人制作动画:拍一张照片,就能通过这个AI项目让照片中的人动起来,角色动画的一致且可控的图像到视频合成,项目点击标题

论文
角色动画旨在通过驱动信号从静态图像生成角色视频。目前,扩散模型因其强大的生成能力已成为视觉生成研究的主流。然而,在图像到视频的领域,尤其是在角色动画中,保持与角色详细信息的时间一致性仍然是一个棘手的问题。

在本文中,我们利用扩散模型的强大功能,提出了一种为角色动画量身定制的新框架。

为了保持来自参考图像的复杂外观特征的一致性,我们设计了参考网络,通过空间注意力合并细节特征。为确保可控性和连续性,我们引入了高效的姿势引导器来指导角色的动作,并采用有效的时间建模方法来确保视频帧间的平滑过渡。

通过扩展训练数据,我们的方法可以制作任意角色的动画,与其他图像到视频的方法相比,在角色动画方面取得了卓越的成果。

此外,我们还在时尚视频和人类舞蹈合成基准上对我们的方法进行了评估,结果达到了最先进的水平。

网友讨论:

  • 这是惊人的,阿里巴巴AI制作的视频能真正理解了它们的主题是什么以及织物如何响应运动
  • 天哪,他们会用人们的照片制作色情片
  • 我从来没有见过这么好的东西。
  • txt2img 只是“昨天”(2022 年)才实现民主化。现在我们已经看到了完美动画概念的证据。
  • Corridor Crew 一直在尝试这种技术的早期版本,他们制作了一部史诗般的动画来展示它。有了这种进步,他们也许能够制作出整个系列。
  • 如果 Netflix 足够聪明的话,他们已经在人工智能内容生成方面进行了大量投资。他们基本上可以成为“dreamflix”服务。(根据您的喜好生成点播人工智能视频)如果他们不这样做,其他人就会这样做。
  • 我预测到 2025 年的某个时候,好莱坞和电视制作公司将陷入彻底的混乱。这似乎已步入正轨。
  • 你可以只拍摄某人的一张照片,让他们跳舞,它是如此动态,看起来非常接近真实。

阿里巴巴集团智能计算研究院的介绍页面