有码变高清！研究团队开发“修图界老司机”，AI 黑科技一秒还原马赛克

AI与大数据 11分钟前 0

▼

像素不够，后期修图来凑？网络上关于低像素修图的问题，发问的人很多，而且从 PS 技巧到各类修图 App 教学多到眼花缭乱，重点是效果不知道会怎么样。

不过，近日杜克大学（Duke University）研究团队开发了一款 AI 修图黑科技 PULSE，可解决所有低像素烦恼。据说这能将图像原始解析度放大 64 倍，任何渣画质都可秒变高清、逼真图像，甚至打马赛克的人脸图像，毛孔、皱纹，头发也都能清晰还原。

PULSE 是一种新型超解析度演算法，透过潜在空间探索对照片采样，可以将 1616 像素的低解析度（Low Resolution，简称 LR）放大到 1,0241,024 像素的高解析度（High Resolution，HR），几秒内增加 64 倍，而传统方法最多只能放大 8 倍。

先来看一组范例，修图界最难处理的 LR 大头照，经过 PULSE 也能秒变高清、细腻的图像。

更重要的是，PULSE 可定位脸部关键特征，以更高解析度生成一组类似细节。尽管人头打了马赛克，PULSE 也可自行“想像”出诸如眉毛、睫毛、头发、脸型等细节，形成高清逼真的人像。

不过，过度虚化产生的人像只是虚拟新面孔，事实上并不存在。正因如此，这项技术不能用于身分辨识。如监控摄影镜头拍摄的失焦、无法辨识图片，不能透过 PULSE 还原成真实的人像。

杜克大学研究小组的电脑科学家 Cynthia Rudin 说：“之前从来没有如此超高解析度的图像制作出来，它能产生不存在的新面孔且看起来很真实。”

她也补充，这项研究采取的技术可广泛用于医学、显微镜、天文学，以及卫星图像等领域。另外，研究团队已将论文发表至预印论文库 arVix，同时 IEEE 国际电脑视觉与模式辨识会议（CVPR 2020）也有收录。

对于一个 LR 图像，传统将 HR 解析度部分匹配给 LR 图像而获取超高解析度（SR）的方式，往往会导致 HR 图像出现感光度差、不平滑，画面失真的情况。

在本次研究，杜克大学研究团队开拓一种新思路，提出新型超解析度演算法 PULSE，不是从 LR 图像慢慢添加细节，而是发现与 HR 相对应的 LR，透过“缩减损失”的方式得到 SR 图像。

▲ 原始 LR（第一行），PULSE 输出 HR（中间行），HR 对应的 LR（最后一行）。

PULSE 使用生成对抗网络（GAN），是一种训练模型，顾名思义，透过对抗博弈的方式训练目标。主要结构包括生成器（Generator）和鉴别器（Discriminator），在同一组照片训练，一个负责训练接收的图像并输出，一个负责接收输出，并检验是否够逼真。

以下是与原图比较后的试验结果：

第一行为原图，第二行透过“缩减损失”得到的 HR 对应的 LR，第三行是经过 PULSE 得到的 HR，可以看出，尽管与原图还有细微差别，但还原度已经非常高。

论文表明，为了检验 PULSE 在 SR 方面的优势，杜克大学研究团队采用 4 种不同图像缩放方法与其比较。本次研究利用 CelebA HQ 数据集的 1,440 张图像，以 X8，X64 的比例因子，试验 LR 脸部图像，尤其是眼部、唇部以及头发等细节处。

PULSE 呈现出明显优势，尤其是 X64 解析度下，模糊头像完全还原，尤其眼唇等细节之处，其他演算法几乎达不到同样效果。

另外，针对测试结果，研究人员采用感测超解析度常见的 MOS 测试方式，邀请 5 位评分者对图像结果给予 1~5 分数，结果显示，HR 源高清图像解析度得分为 3.74，而 PULSE 达 3.60，仅差 0.14，可说几乎达到真实的高品质图片水准。

不过，研究人员也承认 PULSE 还不是很完美，高解析度图像与专业原图像相比还是有差别。但随着技术工具改进，这项技术会更完善。

现在研究团队已将 PULSE 发表到 Github 开源平台，且获得 569 颗星星。有修图烦恼的朋友可安装体验一下。

Researchers Have Created a Tool That Can Perfectly Depixelate Faces
Piercing the digital veil: Creepy AI tech can generate photo-realistic faces from extremely pixelated images

（本文由雷锋网授权转载）

▼

特别声明本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。