En3D: 通过文本或图片生成3D人物模型

目录

Toggle

En3D是什么?

En3D是由阿里巴巴智能计算研究所和北京大学合作开发的一个项目,它使用人工智能来从2D图片生成3D人物模型。它不需要依赖现有的3D模型或真实的2D图片作为起点。相反,它通过分析和学习成千上万的合成2D图片,来理解和重建3D人物的形状和外观。

En3D提供了论文和代码,你如果感兴趣,可以自己去试试。

  • 项目:https://menyifang.github.io/projects/En3D/index.html
  • 论文:http://arxiv.org/abs/2401.01173
  • 代码:https://github.com/menyifang/En3D

En3D的工作原理

En3D: 通过文本或图片生成3D人物模型 3D内容生成 图1张

En3D通过以下三个主要步骤来工作:三维生成建模(3DGM),几何造型(GS)和显式纹理(ET)

  • 3DGM使用合成的多样的、平衡的和结构化的人类图像,具有精确的相机,以学习具有基于三平面的架构的可概括的3D人类。
  • GS集成为一个优化模块,利用多视图法线约束细化和雕刻几何细节。
  • ET利用UV分割和可微光栅化器来解开明确的UV纹理贴图。不仅可以获得多视图渲染,还可以获得逼真的3D模型,以获得最终结果。

En3D可以做什么?

  • 通过文本生成:可以根据描述性文本来生成特定外观的3D人物模型。
  • 通过图像生成:可以根据现有的图片来创建3D模型。
  • 模型局部编辑:可以对生成的3D模型进行局部编辑,比如改变服装或面部特征。

En3D适用人群

En3D适合以下人群:

  • 游戏开发者:可以用来创建游戏中的角色。
  • 动画制作人:用于电影或电视节目中的动画角色。
  • 视觉效果艺术家:在制作高质量视觉效果时使用。
  • 学生和研究人员:对3D建模和AI技术感兴趣的人可以用它来学习和实验。

总的来说,En3D是一个强大的工具,它将AI和3D建模结合起来,为创造逼真的人物模型提供了新的可能性。

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。