除了即时光线关注，辉达图灵架构还有这些 AI 图像处理能力
▼
前几天，辉达（NVIDIA）发表全新 GPU 架构──Turing（图灵），被黄仁勋视为 12 年来辉达 GPU 的最大跃进，无疑是计算机图形领域的游戏改变者。
图灵架构最大核心亮点在于即时光线关注（Real Time Ray Tracing），能够计算光线反射、折射、散射等路线，渲染出逼真的画面，可为游戏开发者提供电影级画质的即时渲染，也就是让游戏看起来更像电影。据悉，这些新 GPU 依靠自身的一个特殊部分来快速呈现高解析度图形，完成图像的大部分成像工作后，使用人工智慧技术来猜测未完成的像素。
据了解，除了即时光线关注外，辉达的 GPU 还支援多种 AI 图像处理能力，可谓大开外挂。
Adobe 的 AI 图像处理外挂
上周举办的计算机图形学年度会议 SIGGRAPH 2018，辉达发表全新图灵架构，随后展示一系列用于 Photoshop 和 Premiere 的外挂。这些外挂都利用最新的图灵 GPU 架构和 Quadro RTX 系列显卡支援的机器学习功能，能使 Photoshop 和 Premiere 一些常用功能更顺畅执行，更少手动调整。
早在 2017 年，Adobe 在 AI 图像处理就有很多案例。透过机器学习技术训练电脑辨识和操纵数据，能让图像处理工具对图像内容有更准确的理解和猜测，达到很多 P 图高手都难以完成的效果。
之前曾有报道，2018 年 3 月，在 Adobe Summit 2018，Adobe 和辉达宣布双方将利用 Nvidia GPU最佳化 Adobe Sensei 人工智慧系统和机器学习框架。简单地说，就是将 Adobe Sensei 建立在 Nvidia GPU 的硬件基础上。
实际上，双方的合作已持续十多年，不过之前都是在创意和数位体验方面，Adobe 的图片、影像等依赖 GPU 来运作图形相关应用；不过这次合作核心是 Adobe 在 2016 年 9 月发表的 Sensei 人工智慧系统。
合作确立半年之后，辉达发表全新图灵架构，也展示了双方合作的成果。
笔者在辉达于 SIGGRAPH 大会的展台也看到这些外挂展示。
第一个外挂是 Super Rez。
Super Rez 的主要功能是为图像添加更逼真的细节。如图所示，狼群站在山腰，毛发细节逼真，树叶纹理清楚，放大后也很清晰，解析度能达 4K~8K。这个功能对大幅高清图像很适用，例如大幅海报。从现场展示来看，这项功能大概需要 10 分钟。
第二个外挂是 Inpaint。
这个外挂用 AI 增强 Photoshop 的内容感知填充。辉达展示的案例是，在陡峭的悬崖上绘制成群结队的企鹅，企鹅脚下的岩石看起来像真的岩石一样粗糙，并不像用传统的画笔从附近区域复制过来。
据了解，Inpaint 这个技术由辉达 Guilin Liu 领导的团队开发，运用最先进的深度学习，可编辑重建损坏的图像，同时也可移除部分图像并重新填充来编辑图像。
“我们的模型可稳健处理任何形状、大小、位置距离的图像破洞。以前的深度学习主要关注图像中心周围的矩形区域，并且通常依赖昂贵的后制处理。”
▲ 使用 Inpaint 修掉多余的树。
为了准备训练用的神经网络，团队首先生成 55,116 个随机条纹和任意形状和大小的图像破洞。团队使用 NVIDIA Tesla V100 GPU 和 cuDNN 加速的 PyTorch 深度学习框架，透过生成图像破洞的蒙版应用于 ImageNet、Places2 和 CelebA-HQ 数据集的图像，来训练神经网络。训练阶段，将破洞或缺失部分引入上述数据集的完整训练图像，以使网络学习重建丢失的像素。
目前，辉达展示的 Inpaint 在 6,300 美元的 Quadro RTX 6000 显卡执行，但达到效果所花费的时间依然不短。或许因为如此，辉达表示没有计划发表这些外挂，只是展示新显卡和 NVIDIA 的 NGX SDK 的可能性。
相比于价格高昂的 Quadro 系列，辉达 8 月 21 日发表的几款针对游戏玩家的 Geforce RTX 显卡价格则亲民很多。
草图影像生成真实影像
辉达与 Adobe 合作的这几款外挂看起来都很正常，而辉达与 MIT 合作的一项影像生成技术看起来尤为酷炫。
不知道是否有人看过韩剧《W──两个世界》，这部大红韩剧中，男主角从一本漫画里走出来，女主角也能在二次元和三次元之间随意穿梭。
辉达新技术向我们展示了“脑洞大开”的韩剧也有实现的可能，用线条画一个帅哥，然后一键转换，真实的眉眼就出来了，就这么神奇。
效果如下：给一张简单线条组成的素描草图，就能生成细节丰富的人脸，脸型、鼻子、眼睛、嘴巴等五官、发型等都和草图轮廓一致，最厉害的是生成人物还能流畅动作。
目前，我们能看到的图像处理技术能做到的主要是背景分割、人脸区域分割，用来调整发型、发色、五官，像这样根据草图直接生成崭新人脸，不免让人讶异。
除了人物，辉达和 MIT 这项技术也可用于实景，合成长达 30 秒的 2K 解析度街景。
右边是一幅动态语义地图，左边则和真实世界一样。可以看到，两边场景的布局完全一样，所以这并不是找相似的影像出来，而是依样画葫芦全新生成的。
由于是电脑生成的，你可以修改影像元素，例如，将道路两侧全部变成树木，或全部变成建筑。
据了解，此计划由辉达和 MIT 组成的团队开发，包括辉达的 Ting-Chun Wang、刘明宇（Ming-Yu Liu），以及 MIT 的朱俊彦（Jun-Yan Zhu）等。
以上几位研究员合着一篇名为“Video-to-Video Synthesis”的论文，论文摘要说，研究影像到影像的合成问题，目标是学习从输入源影像（例如，一系列的语义分割掩码）到输出照片级影像的映射眼熟，输出影像能精确描绘原影像内容。论文提出一种新型的生成对抗网络框架下的影像到影像合成方法。透过精心设计生成器和判别器架构，结合空间─时间对抗目标函数，在多种输入影像格式下生成了高解析度、时间连贯的照片级影像，其中多种形式的输入包括分割掩码、草图和姿态图。
影像合成的 demo 很酷炫，可以想像，以后影视制作一些部分完全可以不用实景拍摄，画个简单几笔然后合成真实影像就可以了。但很显然，这个影像到影像的合成技术，比前面介绍 Adobe 用到的 AI 图像处理技术还要难达成，目前还停在实验室阶段。
GPU 与 AI 图像处理
图灵架构的即时光线关注无疑最让人惊叹，能计算光线反射、折射、散射，渲染出逼真的画面，对游戏、影视的画面效果会带来很大的提升。
此外，图灵架构还有更多特性：
- Tensor Core 可加速深度神经网络训练和推理。
- 图灵流式多处理器（Turing Streaming Multiprocessor）架构拥有 4,608 个 CUDA core，可提供高达 16teraflops 的计算性能，并执行每秒 16 兆次整数运算，以加速模拟真实世界的物理模拟。
- 先进的可编程着色技术可提高复杂视效和图形密集型工作体验。
- 首次采用超快速的三星 16Gb GDDR6 内存，支援更复杂的设计、大量建筑数据集、8K 电影内容等。
- NVIDIA NVLink 可透过高速链路联通两个 GPU，将内存容量扩展至 96GB，并可透过高达 100GB/s 的数据传输提供更高性能。
- 增强型技术可提高 VR 应用性能，包括可变速率着色（Variable Rate Shading）、多视角渲染（Multi-View Rendering）和 VRWorks Audio。
计算机图形领域一直追逐更清晰的图像显示、更逼真的渲染、更快的处理速度，GPU 的性能提升不断实现这些目标。如今，AI 与图像处理的结合带来更多可能性，这也是不少公司都在布局的方向。
今年 WWDC，苹果重点介绍 Metal 和 ML 两大技术。2014 年苹果推出 Metal，能利用 GPU 获得更高的图形计算能力，使一些操作游戏如《要塞英雄》在 iPhone 执行。透过支援 eGPU，Metal 使苹果装置获得更逼真的 3D 渲染效果，还能帮助 Unity 达到即时光线渲染效果。
此外，Metal 另一大特色在于，支援机器学习，加速训练神经网络这种计算密集型任务。因此基于 Metal 开发的机器学习工具 Core ML 也能利用 GPU，效率得到很大提升。
GPU 和 AI 技术的提升，无疑将对 VR 的发展有推动作用，期待更多酷炫的 AI 图像处理技术诞生。
（本文由 雷锋网 授权转载；首图来源：辉达）
延伸阅读：
- 游戏画面更真实的利器，解析 NVIDIA RTX GPU RT core 即时光源演算法
- NVIDIA 放出 12 年来最大更新：全新图灵架构登场，全球首批即时光线关注 GPU 同步亮相
- NVIDIA 推出 3 款支援光线关注游戏显卡，带动股价上扬
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
