讨厌马赛克？Google 表示你可以“修复”它了
▼
1982 年上映的科幻电影《银翼杀手》构想充满“赛博庞克”（以资讯技术为主体的科幻故事分支）科技的 2019 年：漫天都是飞行车，人类可使用一种大萤幕机器（Esper）完成许多不可思议的工作。
主角瑞克戴克追查复制人行踪时，就用了 Esper 挖掘肉眼忽略的线索。瑞克将现场找到的可疑照片塞进 Esper，一遍又一遍无损放大照片一角，最后在镜子倒影找到人造人左拉。
科幻作品的想像力有时确实会被当时科技局限，1982 年 PC 才刚流行，《银翼杀手》没有想到网络出现改变了人类生活，也没能想像模拟技术有一天被数位技术取代。
不过无损放大图像技术的想像却十分超前，这是至今都难以解决的难题。
你可能遇过这情境：聚会后朋友拍合照，回去后放大看老同学的脸，或当晚喝的饮料牌子，结果是模糊不清的马赛克。这是因照片放大到一定程度，局部解析度非常低，看到的只是像素。
我们有可能像 30 年前幻想，从微不足道的“马赛克”提出图像资讯吗？Google AI 团队近日发表部落文提到新图片演算法，非常接近《银翼杀手》。
不可思议的解析度提升
一张 6464 像素的照片有多大？以 iPhone 拍摄的 1,200 万像素的照片为模版，约只有三千分之一，显示到高画质萤幕时只会看到满满的“马赛克”。
▲ 超高解析度照片。
在AI资源网，我们从萤幕看到的每张图都是由密密麻麻像素组成，单位面积像素越多，解析度就越高，图就越清晰。
Google AI 研究人员便思考，有没有可能从低解析度提取够多图片资讯，用机器学习尽可能还原图片原貌，提高图片解析度，得到清晰的图片呢？
（Source：Google AI，下同）
最近部落格文，Google 展现最新研究成果，效果看十分震撼──透过两种演算法，能将 6464 像素照片变成 1,0241,024，且细节非常完整。
要指出的是，Google 透过机器学习演算法还原的照片与原照片还会有偏差，但当我们无法获得原图（如老照片）时，尽可能贴近真实的“还原”照片确实难能可贵。
Google 介绍，修复一张“马赛克”照片由两个过程组成──“破坏”与“重组”。
首先，为了尽可能挖掘“马赛克”像素方块的图形细节，Google 研究人员会先用高斯杂讯演算法处理样本，得到一张完全由噪点组成的“雪花图”，看起来有点像以前电视无讯号的画面。
▲ 第三行是 Google 修复演算法，第四行是原图参考。
接着研究人员利用神经网络演算法，逆转高斯杂讯的破坏过程，透过逆向工程合成新图片，从纯噪声图尽可能降噪，得到一张清晰图。
图片修复原理并不复杂，但涉及的演算法不简单，为了修复“1:1 还原”高画质大图，Google 研究人员提出超解析度演算法 SR3 和级联扩散模型 CDM，透过大规模图片比对学习提高还原的准确性。
虽然我们一直用“马赛克”称呼低解析度的低品质图片，但和真正打码照片有本质差异。
Google 还原演算法之所以能将低画质图片变清晰，本质上是根据图片本身包含的正确图像资讯，透过庞大数据库无数图像比对匹配，最后得到模拟出的近似像素填充。而照片被打马赛克时，图像资讯会发生变化。
马赛克演算法简单说是在区域内照固定间隔，随机选择像素点颜色，然后把区域内所有像素颜色取平均值，变成新颜色填入方格。经打码后，原本像素资讯都会遗失，得到的只是随机算出的错误资讯，这时再让机器学习去还原，就像要求它算出题目完全错试卷的正确答案，几乎不可能。
所以如果有人想用 Google 演算法挖掘抹掉的隐私资讯，可打消念头了。
你已迈入未来
Google 高画质修复演算法最终有可能应用于 Google 照片、Snapseed 等 Google 图像处理软件，如 HDR、视角矫正等演算法一样成为修图工具。
回到《银翼杀手》，Esper 其实是台很有趣的机器，有点像模拟技术与数位技术的融合。一方面它很先进，人们可用语音控制，并实现无损放大；另一方面它又很老套，有清晰大萤幕却还是 CRT 结构，导入照片的过程还是从实体照片扫瞄。
据电影效果，Esper 有可能是定点照片某处坐标后，透过精密镜片结构（显微镜）放大照片观察。现在来看，无损放大想法很超前，但模拟技术显然不属于现实。
对现代人来说，手机和电脑就是每个人的“Esper”。如今照片完成全数位化工作演变，用数位技术放大照片不是难事。换句话说，其实我们已迈入《银翼杀手》描绘的“未来”。
图像超解析度一直是电脑视觉领域热门研究主题，Adobe 等公司都在开拓图像处理技术，Photoshop、Lightroom 等图形处理软件已经有应用。以 Photoshop 为例，导入 RAW 格式图片后，可选择“增强”→“超解析度”，软件会根据相似内容，丰富图片纹理，将解析度放大 4 倍，整个过程大概只需 1 分钟。
（Source：Adobe）
对比增强前后照片，解析度提高后照片锐利度明显提高，一些模糊不可辨认的细节也变清晰。Adobe 今年 3 月技术部落格提到，超解析度演算法也是透过大量机器学习训练，不断完善改进。
图片解析度爆炸式提高有什么意义吗？也许拍完照片后，你不会放大深究每个细节，但当需要印出照片时，解析度直接决定最大尺寸。这对摄影师尤其重要，有时候用广角镜头拍摄风光时天边飞过一只老鹰，用广角镜头抓拍往往不能拍到老鹰的羽毛细节，这时用超解析度放大后再裁切，很可能就会得到想要画面。
▲ 先裁剪，再用超像素放大得到 1,000 万像素的照片。（Source：Adobe）
Adobe 用一张 250 万像素照片为例，用超解析度功能放大到 1,000 万像素，可列印成“像样”照片，Adobe 形容为“数位变焦”。
比较 Adobe 和 Google 演算法，两者有差异，Adobe 需保留量图片原始资讯的 RAW 格式照片计算，Google 演算法可基于非常粗糙的资讯还原照片。
▲ Adobe 演算法经过大量机器学习不断进步。（Source：Adobe）
目前来看，两种演算法都未成熟，还需要大量机器学习提高准确度。不过可肯定的是，超解析度技术会在不久的将来成为最流行的图像技术，帮助人们摆脱长焦镜头等器材限制，记录生活每个瞬间。为了看到更清晰的世界，我们仍未停止探索。
（本文由 爱范儿 授权转载；首图来源：pixabay）
延伸阅读：
- 有码变高清！研究团队开发“修图界老司机”，AI 黑科技一秒还原马赛克
- 可怕！打过“马赛克”的图竟能以 AI 还原
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
