文字提示和图片可转 3D 图形,OpenAI 发表 Shap-E 新模型

文字提示和图片可转 3D 图形,OpenAI 发表 Shap-E 新模型

生成式 AI(Generative AI)引爆人工智慧热潮,除以文字提示产生更多文字、图片内容,新的 AI 模型也能够产出 3D 立体图形。

多数人对于输入文字提示产生文字、图片内容如 ChatGPT、Midjourney / DALLE 2 等不感到陌生,OpenAI 新推出可将文字和图片转成 3D 图形的 Shap-E 模型,成果可在微软小画家 3D(Paint 3D)中开启,甚至能够转成用于 3D 列印机输出的 STL 档案。此外,Shap-E 相较自家去年发表的 Point-E,能够提供更好的 3D 图形,而且产出速度更快。

Point-E 根据文字提示产生 3D 点状云,Shap-E 则是直接建立物体的轮廓并采用称为神经辐射场(Neural Radiance Fields,NeRF)的功能,克服初期模型的模糊性。NeRF 与 VR、AR 使用的技术相同,可使 3D 场景看起来更逼真。

Shap-E 可在 GitHub 下载,并且能在个人电脑上安装执行,更重要的是,Shap-E 不需要 OpenAI API 密钥,因此目前能够免费使用。

尽管如此,国外媒体如 Tom’s Hardware 测试后观察到,由于 OpenAI 并未提供 Shap-E 的详细说明,只告诉大家使用 Python pip 指令来安装,所以实际安装至产出 3D 图形的过程,耗费了数个小时的时间摸索。

目前测试 Shap-E 的成果普遍仍是低解析度、欠缺细节,不过能将文字和图片转成 3D 图形的技术确实充满发展潜力。

文字提示和图片可转 3D 图形,OpenAI 发表 Shap-E 新模型 AI与大数据 图2张

▲ Shap-E 模型产生的 3D 立体企鹅。(Source:GitHub)

文字提示和图片可转 3D 图形,OpenAI 发表 Shap-E 新模型 AI与大数据 图3张

▲ 酪梨造型的椅子。(Source:GitHub)

文字提示和图片可转 3D 图形,OpenAI 发表 Shap-E 新模型 AI与大数据 图4张

▲ 香蕉造型的飞机。(Source:GitHub)

无论是文字或图片转成 3D 图形,Shap-E 都需要大量的电脑系统资源。Tom’s Hardware 指出,例如以搭载 RTX 3080 显卡和 Ryzen 9 5900X 处理器的桌机跑 Shap-E,完成绘制大约需要 5 分钟,而在配备 RTX 4090 显卡和 Intel Core i9-13980HX 处理的 ROG 电竞笔电上,只需要 2~3 分钟。 不过,当尝试在搭载 Intel 第 8 代 U 系列处理器结合内建显卡的旧款笔电跑 Shap-E,1 个小时只绘制约 3%。

由于 Shap-E 不支援 Nvidia 以外的显卡品牌,如果你打算使用这个模型,必须先确保你拥有 Nvidia 显卡,硬件规格也需要达到一定程度,才不至于耗费许多等待时间。

从输入文字提示产生文字、图片,再提升一个层次来到 3D 立体图形,生成式 AI 的应用范围越来越广。3D 立体图形可应用在许多场景,而我们想像元宇宙可望实现人类未来的虚拟生活,Shap-E 模型或许有助于产生建构元宇宙的素材。

  • OpenAI’s Shap-E Model Makes 3D Objects From Text or Images
  • OpenAI Releases New Text-to-3D Model Shap-E

(首图来源:Unsplash)

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。