创造计算摄影的男人,现在要为每支手机装上“Pixel 相机”

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机”

“这是迄今我们测试过最好的智慧手机相机”,DxOMark 表示。

2016 年智慧手机市场,每家都摩拳擦掌,准备大展身手,但任谁都想不到是,那年手机拍摄领域最亮眼的不是 iPhone 也不是三星,而是 Google Pixel。

Pixel 2 推出时,同样情况再次上演,只用单镜头的 Pixel 2 超越同期大量双镜头旗舰机,登顶 DxOMark,还有人像模式。此后 Pixel 系列也一直维持同样策略,相机物理硬件并非最强,但在手机摄影领域却有不俗表现,Pixel 3 更增加夜景模式、Pixel 4 增加天文摄影模式。

Marc Levoy 身为 Pixel 相机团队首席工程师,正是推动一切的主要推手,用现在流行语来说,Marc Levoy 的计算摄影,改变了潮水方向。

Google 相遇

Levoy 原本就是摄影爱好者,个人网站能看到不少他拍摄的照片。他和 Google 的相遇则要从史丹佛大学说起。1990 年,Levoy 进入史丹佛大学电脑科学系,主要教授电脑图形学、数位摄影、艺术科学等课程。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图2张

▲ Marc Levoy。(Source:AI资源网)

1993 年,Levoy 借磁碟机给博士生 David Filo 和 Jerry Yang,他们用磁碟等工具建立目录网站,就是之后的 Yahoo。同为博士研究生的赖瑞‧佩吉(Larry Page)和谢尔盖‧布林(Sergey Brin)则在离 Levoy 办公室两扇门远的地方研究网络索引,后来创立了搜寻网站:Google。

佩吉和 Levoy 的研究生共用办公室,布林则是 Levoy 的电脑图形课学生。在史丹佛,Levoy 几乎目睹网络崛起,由于他和 Google 创始人的师生关系,渐渐与 Google 有越来越多联系。

佩吉和布林离开史丹佛创立 Google 后,很快就投资 Levoy 主导的研究计划 CityBlock,透过拍摄影片并复制到图片,再透过计算处理等方式复原实际场景,也就是后来 Google 商业化的 Google 街景。

Levoy 在计算摄影领域的深厚造诣让 Google 团队十分钦佩,以至于 Google X 实验室遇到问题时第一时间就想到他。当时 Google X 正在研究名为 Google Glass 的产品,旨在推出可穿戴的“电脑”,这台电脑将以眼镜形式现身。

据 Google X 实验室部落格,由于 Google X 选择眼镜这种可穿戴式产品,对硬件要求极高,就算是常见的微缩型相机硬件模组,用到 Google Glass 还要保持较好拍摄效果,也并非简单的事。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图3张

▲ 早期 Google Glass。

既然透过硬件达成很难或说几乎不可能,是不是应该换个思考方向,试试用软件解决?就这样,Google X 找到计算摄影领域的专家 Levoy,帮忙一起解决问题。

最终 Levoy 和 Google X 团队研究出名为 HDR 成像的演算法,即快速拍摄多张图片,并透过计算处理合成一张高品质图片。多张合成的方式更能渲染暗部细节,同时又能保证亮处不会过曝。

与 Google X 合作期间,Levoy 还做了个 App“SynthCam”,同样用合成计算,让使用微缩相机模组的手机也能模拟单反相机,达成拍摄主体外都模糊(景深)的效果。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图4张

▲ Levoy 用自制软件 SynthCam 拍摄的照片。

尽管以现在眼光来看,效果不算特别好,但当时已是手机摄影领域的新突破。对计算摄影有极强兴趣,促使 Levoy 史丹佛退休后加入 Google。

Pixel 系列,计算摄影的新起点

2014 年,Marc Levoy 从史丹佛退休,进入 Google 成为全职员工,担任 Google 最具影响力的部门之一 Google Research 领导者,负责计算摄影领域。

和 Google X 实验室合作时,Levoy 就意识到 HDR 演算法能应用在智慧手机,毕竟 Google Glass 和智慧手机都是行动终端机,便携性是优势。

就这样,Levoy 带领团队在 Nexus 系列尝试应用 HDR 演算法,不过效果不算太突出,Nexus 系列最后机型 Nexus 6P,就算使用 Levoy 团队研发的升级款 HDR+ 演算法,DxOMark 分数也仅 73 分,和当时主流旗舰有段距离。

直到 Google CEO 皮查伊(Sundar Pichai)2016 年将“行动优先”口号转为“AI 优先”,Pixel 系列就在这环境下诞生。

公司策略转向,也让专精软件计算领域的 Levoy 获得更多灵活度与资源,成为 Google 首款自研智慧手机 Pixel 系列的相机团队负责人,相机正是 Pixel 系列的核心。

得益于 Pixel 新处理器骁龙 821,处理能力提升不少,Levoy 能让 HDR+ 演算法更自由发挥,至少采集图片和合成计算的速度提升不少,不会出现 Nexus 系列开启 HDR 演算法手机就过热,按快门键后需等一会才能拍完的情况。

2016 年 10 月 4 日,Google 正式发表 Pixel,相机模组和 Nexus 6P 相比并没有太大变化,都是 1,230 万像素和 1.55m 单像素尺寸,只多了相位对焦功能。

但 Pixel 却让业界震惊,超越了同期旗舰 iPhone 7 Plus 和三星 S7,登顶 DxOMark 榜单。硬件几乎没有太大变化,但拍照能力却大变,可见 Levoy 团队开发的 HDR+ 演算法有多强。

2017 年,Levoy 又尝试将 2011 年左右开发的 App SynthCam 技术拓展至 Pixel 2,同样采集多张照片计算合成,不过为了不出现 Nexus 系列硬件扯后腿现象,Pixel 团队特别为 Pixel 2 加入一颗“Pixel Visual Core”自订影像处理单元,加速影像采集和计算速度。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图5张

有了硬件支援,Levoy 也更能发挥,这次他在 Pixel 2 加入 AI(神经网络),判断物体相对位置,推出“人像模式”,做到人物主体清晰、背景逐渐模糊的景深效果。

不出意外,Pixel 2 再次超越同期旗舰三星 Galaxy Note 8 和 iPhone 8 Plus,登顶 DxOMark 榜首。

两次都使用单镜头,两次都是硬件普通甚至算落后(同期旗舰都是双镜头),但 Pixel 却两次登顶,超越所有对手,这让 Levoy 成为炙手可热的人物,甚至称为重新发明“计算摄影”之人。

计算摄影,改变了潮水方向

Pixel 系列成功并没有让 Levoy 沉溺,相反他又将目光转向摄影领域的另一座高峰:夜间摄影。Pixel 推出同年,Levoy 已在做极端暗光条件下的拍摄实验。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图6张

夜间摄影的光照条件当然比不上白天,且智慧手机为行动装置,相机模组并不大,导致进光量极少,不开闪光灯的话,想拍清楚极困难。

Levoy 对计算摄影的强大信念让他成功坚持下来,正如他在极端极光拍摄实验影片所说:

我认为,当我们从硬件主导的摄影转向软件定义的计算摄影新领域,这领域才刚开始令人兴奋。

结果我们都知道了,Levoy 登上夜间摄影这座山的山顶。2018 年 10 月,Google 推出 Pixel 3,最大亮点正是 Levoy 团队开发的 Night Sight 夜景模式,即使晚上手机也能拍出精细度、亮度极高的照片。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图7张

▲ Night Sight 示范照。(Source:Google)

和以往一样,Levoy 的解决办法还是老套,多张图片加合成计算,只不过和我们直觉相反的是,Night Sight 夜景模式并非采集不同曝光度或明亮又模糊的照片来计算,而是选择捕捉大量昏暗却锐利的图片合成计算,最终输出一张清晰的照片。

而 Pixel 4,Levoy 的新突破是天文摄影。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图8张

(Source:Google)

Pixel 系列做到以往硬件主导的摄影做不到的事,无论 HDR+、人像模式,还是 Night Sight 夜景模式、天文摄影,都是对以往的突破。由软件定义的计算摄影,几乎启发了整个智慧手机业。

苹果、三星、华为等手机厂商在计算摄影的投入越来越多,夜间模式几乎成了旗舰手机标配,AI 加持从旗舰普及中低阶产品,成为基本宣传点。

Marc Levoy,改变了潮水方向。

现在, Levoy 要为每支手机装上“Pixel 相机”

计算摄影带给智慧手机业的好处显而易见,对相机硬件模组较落后的机型来说,也能利用演算法显着提升拍摄品质。

这优势甚至引发 Pixel 相机程式移植潮。开发团队 B-S-G 曾修改 Pixel 相机应用程式,能相容其他 Android 手机,并把修改版程式发到 XA 论坛,不少用户都下载尝试。

爱范儿实际测试时,利用修改版 Pixel 相机程式拍的照片,暗部亮点有提升、过曝也减少,但偶尔还是会色偏,毕竟是修改版程式,有 bug 也能理解。

创造计算摄影的男人,现在要为每支手机装上“Pixel 相机” AI与大数据 图9张

▲ 左为原图,右为开 HDR+。

不过现在这个问题能解决了。身为 Pixel 系列相机软件主导者,Levoy 在 Google 工作近 6 年后离职,新工作是 Adobe 副总裁。

据 Gizmodo 报道,Levoy 在 Adobe 的主要工作除了继续研究计算摄影,还有研发不同平台、不同装置都能使用的通用相机程式,之前 Adobe 推出的行动端 lightroom 软件,就内建相机应用程式。

基于 Levoy 在计算摄影的积累与多项成就,再加上 Adobe 于图片领域的长久积累,这款不限平台、不限装置的“Pixel 相机应用程式”很令人期待。

现在中阶手机的相机硬件品质较几年前获得不少提升。对消费者来说,已升级完成的硬件,再加上通用型“Pixel 相机应用程式”,拍出好照片只会越来越容易。

只是,当计算摄影透过智慧手机真正普及后,你还会相信有图有真相吗?

(本文由 爱范儿 授权转载;首图来源:AI资源网)

延伸阅读:

  • Pixel Camera 前负责人加盟 Adobe 开发 Android 相机软件
  • Google Pixel 两位核心主管离职,新款手机前途未卜

   特别声明    本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。