对抗脸部辨识的新方法:隐藏身分、随机换脸
▼
脸部辨识技术已进入大规模应用,个资等隐私问题也越来越受关注,针对隐私保护、躲避和攻击脸部辨识系统的研究也陆续出现。
其中有篡改输入脸部辨识系统的影像,让 AI 无法辨识图中人脸的,如多伦多大学的《Adversarial Attacks on Face Detectors using Neural Net based Constrained Optimization》。
也有CMU 设计的特殊眼镜,戴上后即便经过监控镜头,仍无法辨识影像有没有人脸,或辨识成他人;且这种掩饰不算夸张,不容易引起别人怀疑(论文《Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition》)。
隐藏身分的“换脸”
近日又出现一篇新论文,来自挪威科技大学《DeepPrivacy: A Generative Adversarial Network for Face Anonymization》,从更新、更有挑战性的角度欺骗脸部辨识系统:不改变原来资料分散的前提下,将人脸匿名化,通俗地说就是模型汇出还是一张脸,姿态和背景也和原图相同,但完全无法辨识原来的脸的身分,就是“换了一张脸”。
作者提出的模型DeepPrivacy是条件生成式对抗网络(conditionalGAN),建构程式能以原有背景及稀疏的动作标记生成逼真的匿名(其他身分)人脸。建构程式的架构是 U-net,用逐步扩大影像的方式最终生成 128128 影像。
为了避免泄露个人资讯给模型,按照作者的设计,模型输入就直接是经过随机杂讯遮挡的人脸,模型完全观察不到任何原有脸部资讯。不过,为了保证生成的品质及动作一致,作者仍需要两组简单的影像标记结果:圈出脸部位置的边框,以及(与MaskR-CNN 相同)标出耳朵、眼睛、鼻子、肩膀共 7个关键点的稀疏姿态估计值。
根据作者的测试,经过模型匿名化的人脸仍保持接近原图的脸部可辨识性,普通的脸部辨识模型对匿名化后的影像,辨识出人脸的平均准确率只相对下降 0.7%,而人脸含有的身分资讯自然 100%不重复。
▲ 不同脸部匿名方式对比,左起原图、DeepPrivacy模型遮挡后输入、马赛克、高斯模糊、DeepPrivacy模型汇出。
作者也做了一项具前瞻性的工作,那就是整理发表新的多姿态脸部资料集Flickr Diverse Faces。资料集共 147万张人脸,并按照这模型输入所需,标出了含脸部位置的边框及 7个关键点。资料集的独特之处在于多样性,涵盖许多不同的脸部姿态、部分遮挡、复杂背景、不同的人。
▲ 一些 Flickr Diverse Faces资料集的人脸样本。
相关研究比较
▲ 另外的脸部匿名化结果──左图大家本来可能很熟悉,现在就难认出来了。
论文模型的建构程式设计参考《Progressive Growing of GANs for Improved Quality, Stability, and Variation》论文,从低解析度的影像开始,逐步提高解析度、增加细节,最终可同时兼顾影像内容高度协调、高稳定性、高多样性。这种方法是GANs首次生成 1,0241,024大小的高画质影像。作者还一并讨论改进GANs训练过程的技巧。
可能有人已想到,DeepPrivacy所做的“生成匿名逼真人脸”工作,其实就和影像补全(Image Inpainting)高度类似,都是让模型为影像指定区域填补内容。不过影像补全时要补全的不仅是人脸,还包含各种日常物体和场景。也有影像补全研究人员尝试补全人脸的效果,他们在画质解晰度、资料丰富、姿态单一的Celeb-A资料集尝试,结果模型无法生成逼真、身分不同且随机的人脸。
另外,辉达《A Style-Based Generator Architecture for Generative Adversarial Networks》是CVPR 2019 最佳论文之一,也是目前为止生成高清晰度、高多样性人脸效果最好的方法。毋庸置疑,这种方法生成的人脸比 DeepPrivacy更逼真,且可生成随机新身分,不过就没办法控制同样的姿态和背景了。
作者认为大企业可能透过这种方法躲避欧盟《通用资料保护条例》(GDPR)的约束。GDPR 要求,使用个人的隐私资料时必须定期征得当事人同意;但是当无法根据资料辨识定位某个人时,企业无需同意就可使用这些资料。这种脸部匿名化方法就能成为“无法辨识个人,进而绕过 GDPR 限制”的帮手。
不过,在高度遮挡、不常见的角度、复杂背景下,模型还是会出现一些错误的生成结果(扭曲的脸看起来有些可怕)。作者也透过对照试验,说明更大的模型、7个动作关键点的标记都有助于生成更高品质的影像。
Reddit 及Twitter的讨论串,有人提出,仅变更脸部不足以完全隐藏身分,有的人(如欧巴马)仅凭发际线就有机会被认出来,加上穿着、场景、身边的人,知名人物被认出来的可能性大大增加;也有人提到,变成随机身分,还不如都用DeepFake把所有的脸换成同一张虚拟人脸,同样可达到无法通过脸部辨识确定身分的效果;网友还吐槽为什么要取 DeepPrivacy 这么俗的名字。
- 开源计划网址:DeepPrivacy
(本文由 雷锋网 授权转载;首图来源:Github)
▼
特别声明 本页内容仅供参考,版权终归原著者所有,若有侵权,请联系我们删除。