为了提取面部表情等信息,研究人员使用了一个带有168盏灯的LED球和9个单反相机,对200个人做鬼脸的毛孔水平进行了反射。然后,他们用这些镜头训练人工智能模型“GANFIT”,通过纹理合成逼真的图像,同时优化渲染和输出之间的“身份匹配”。与其他生成式对抗网络(GANs)一样,GANFIT是一个由两部分组成的模型,包括一个生成样本的生成器和一个试图将生成样本与真实样本区分开来的鉴别器。生成器和鉴别器都提高了各自的能力,直到鉴别器无法区分真实情况和合成情况,其准确率比预期提高了50%。AvatarMe过程的另一个组件提高了纹理分辨率,而第三个组件则消除了GANFIT的烘烤光。然后,一个独立的模块通过照明纹理预测毛孔、皱纹或头发等皮肤结构的逐像素反射率,甚至可以预测细皱纹、疤痕和皮肤毛孔等表面细节。
研究人员说,在这个实验中,AvatarMe在最终渲染中没有产生任何伪影,而且成功地处理了“极端”毛孔和太阳镜等遮挡物。反射率是一致的,允许系统“真实地”照亮对象,即使在不同的环境。《AvatarMe》并非没有局限性。训练数据集没有包含很多来自特定属的对象的情况,导致在尝试重建深肤色对象的面孔时性能较差。而且面部重建并不是完全独立于输入的照片,所以光照良好、分辨率更高的图像可以产生更准确的结果。然而,该论文的共同作者声称,这是第一种从任何肖像图像(包括黑白和手绘草图)实现“渲染就绪”人脸的方法。AvatarMe是最新的自动美术生成AI系统,以前是手工完成的。初创公司Promethean AI使用机器学习来帮助人类美术人员为游戏创造美术资源。英伟达的研究人员最近演示了一种生成模型,该模型使用视频剪辑来构建虚拟环境。在其他方面,机器学习已经被用于拯救《最终幻想7》和《塞尔达传说:黎明公主》等复古游戏遗留下来的游戏纹理,并在《毁灭战士》等游戏中从零开始生成数千个关卡。
2017年,整形外科医生艾伦·波尼亚(Allan Ponniah)在给儿童做面部畸形手术时,遇到了一个特殊的病例,需要一个合适的脸型和各种各样的脸型来找到最佳的设计。这一需求让他找到了机器学习和计算机视觉助理教授Stefanos Zafeiriou博士。艾伦解释说,他一直在努力寻找答案,而Zafeiriou博士通过创建软件来生成和创造一个特殊的3D脸型,解决了艾伦的问题。两人都意识到这项技术的效率,然后想把强大的面部技术推向市场,这样它就可以用于各种不同的用途,所以他们成立了Facesoft。Facesoft提供基于云的API解决方案,为各种用途提供人脸识别技术,如安全、政府、金融、医疗保健,以及新兴的游戏和虚拟现实领域。随着人工智能的潜力每年都在增加,这项技术将会进一步改进。据外媒报道,Facesoft的面部识别准确率超过98%。使其算法如此一致的一个因素是该公司收集的人脸数据的高度多样性。人脸识别软件的一个常见问题是,其准确率往往在种族、年龄和性别之间波动。这种级别的面部识别技术在安全领域非常重要,因为它有可能在犯罪发生前就加以预防。检测算法可以从一个特定的社区、建筑或地区的永久犯罪数据库中识别出任何一张脸。