一键切换“漫画脸”AI：秒变“迪士尼在逃公主”
▼
上传一张照片就能拥有自己的动漫版头像？名为“Toonify yourself”的 AI 工具就能办到，且效果非常逼真。
最近话题不断的真人版《花木兰》电影掀起一股怀旧动漫风，各种名人漫画形象频频洗板，如这张宫崎骏老爷爷，可爱到能马上出演动漫电影。
还有演员杨紫琼的动漫形象，大眼、尖下巴等动漫角色的典型特征都不缺。
更重要的是几乎复刻真人，包括头发、脸部表情、神态，完全就是自订化动漫形象。
这些动漫形象全部出自名为“Toonify yourself”的 AI 工具，不仅效果逼真，步骤也很简单，只需上传一张照片即可。
据了解，这款工具刚发表就完成 25 万次转档，非常受用户欢迎，还有网友评论“研发者可考虑商业化了”。
这款工具如何做到的呢？
生成漫画脸的技术原理
据建立者之一 Doron Adler 介绍，主要利用混合网络（Blended Network），这是复杂的网络机制，主要由两部分模型组成：StyleGAN Model 和 Blended Model。
StyleGAN Model 负责预训练原始照片，目的是节省训练时间和成本，因对个人而言，并不是每个人都有足够 CPU 或数周时间训练模型，这过程也称为“移转学习”（Transfer learning）。
重要的是透过预训练模型，可得到更高品质的影像。
Doron 介绍，为了更好的动漫效果，他们收集了迪士尼、皮克斯、梦工厂等约 300 张动漫影像组成资料集，透过训练资料集学习动漫角色的典型特征。从以下汇出结果看来，效果非常不错。
尽管资料集有少量训练，但大眼、尖下巴等典型特征都有捕捉到。部分影像较模糊，是因原始影像解析度低，且有些是手绘影像造成。
接下来，脸部微调后的影像会进入 Blend Model 阶段。由于 StyleGAN 架构，模型不同层以不同方式影响生成人物的外观。低解析度层决定头部姿态和脸部形状，高解析度层则控制光线和材质等细节。
Doron使用的 Layer Swapping 程式档从原始模型撷取高解析度层，从 StyleGAN Model 微调模型撷取低解析度层，最后得到有卡通脸部架构且有照片级逼真渲染效果的混合模型。
可看到使用原始面孔模型和混合卡通模型生成影像，两者有明显关连，保持人物原始面貌，同时也达成动漫化。要强调的是，若需要高解析度的卡通形象，得汇入高像素的原始影像，不得低于 1,0241,024 像素。
效果逼真，操作简单，但因太红下线
StyleGAN 模型可产生大量脸部影像，可找到任何一张脸部影像。如透过模型汇入一张需处理的影像范例，模型会透过“程式码”（也称为潜在向量）汇出与范例完全符合的脸部影像，如下图左边为原图，右边为生成图。
然后将有特定“程式码”的脸部影像汇入混合模型，就可得到卡通化脸部形象。
这过程范例大致经历三步处理过程：
- 撷取脸部特征，并自动对齐影像。
- 找到潜在程式码，复制影像。
- 使用卡通模型的潜在程式码，处理影像。
基于此原理，用户只需上传照片即可。不过可惜的是，由于用户存取量过大，考虑到服务器执行成本，Doron 暂时关闭了系统，并表示重新规划成本效益后，会再次开放。
作者何人？
Justin Pinkney 是另一建立者。与 Doron 一样，Justin 对生成艺术和机器学习非常感兴趣。
从他个人首页了解，Justin 曾是物理学家，现在英国 MathWorks 担任软件顾问，负责演算法开发、模型训练及组织软件开发实践。
Justin 利用 StyleGAN 模型做过多项研究，如透过 StyleGAN Network Blend 让浮世绘的平面画变成立体人脸。
此项研究同样基于“图层交换”（Layer Swapping）概念，将基础模型与使用移转学习的模型（即微调模型）融合，达到最终成果。
此外，还有利用神经网络生成各类假蛋糕图等。
此类研究的详细技术过程，Justin 部落格有详细说明，有兴趣的朋友可自行参考。
- [D] “Layer Swapping” on AI models to generate hyper-realistic cartoon faces (Toonify)
- Toonify yourself!
（本文由 雷锋网 授权转载；图片来源：Justin Pinkney）
延伸阅读：
- AI 换脸用来拍电影愿望终于要实现了？迪士尼自研演算法突破高画质百万像素
▼
特别声明 本页内容仅供参考，版权终归原著者所有，若有侵权，请联系我们删除。
