人脸识别技术科普|聊一聊Iphone X的黑科技和中科奥森的人脸防伪

iphonex从发布至今,其所使用的人脸解锁系统受到了社会各界的广泛关注。虽然苹果公司至今尚未公布该系统所包含的人脸识别和活体防伪的技术细节和工作原理,不过,根据苹果公司在发布会公布的iphonex的多个传感器简介和目前各种渠道获得的反馈意见,我们可以对iphonex的工作原理进行一些大胆且合理的推测。并且将在本文中对iphonex和中科奥森的双目防伪摄像头在人脸识别和活体防伪的性能做简单对比。
iphonex传感器
一、技术原理简介
目前可以进行分析的主要部件是苹果公司公布的关于前置屏幕上方的九个传感器。九个传感器中,有三个是iphonex用于进行人脸识别和人脸活体防伪检测的传感器。从上图可以看到,这三个传感器分别是“红外摄像头”、“泛光感应原件”、“点阵投影器”。
其中,“泛光感应原件”和中科奥森的双目防伪摄像头中的“近红外补光灯”的作用相似,是在环境光线中的近红外波段光线不足时进行补光。而iphonex配备的“点阵投影器”和“红外摄像头”两个传感器是iphonex用于生成三维人脸模型并进行人脸识别和活体防伪技术实现的重要部件。根据苹果公司公布的参数,“点阵投影器”会投射30,000个红外点于人脸上,红外摄像头采集该红外点阵图像用于生成三维人脸模型。在同类型的技术中,用于生成三维人脸模型的方式通常有两种:1、tof技术;2、结构光技术。
前者是由激光发射器发射脉冲波投影到物体上,而接收器接受反射回波。根据脉冲波的发射时间和接收时间计算时间差,从而得到摄像机和物体之间的距离,进而确定物体表面每个反射点的三维坐标,最后重建出整个物体的三维模型。
而结构光技术则是由发射器将经过编码的光电图样(或者样条图样)投影到物体表面,或者是进行随机散斑投影到物体表面。再由相应波段的摄像头拍摄图样照片,根据光电图样(或者样条图样)或散斑在物体表面的变形情况计算出物体表面各点的几何性质,进而获得各采样点的三维坐标,最后得到三维模型。
因为iphonex投影的是光点阵列,且置于手机前端设备上(结构光技术耗能更低),而且接收器是较为普通的近红外摄像头,因此可以推测iphonex的三维模型数据采集方式采用的“散斑结构光技术”。另外,根据报道,苹果公司在近年来收购了“primesense”公司,而该公司拥有较为先进的结构光技术。因此更加确定了iphonex采用该技术的推测。
在确认了iphonex的数据采集方式以后,我们可以对iphonex的人脸识别和活体防伪检测技术进行推测:iphonex在进行人脸身份注册的时候,可以同时采集到:可见光人脸图片,近红外人脸图片,三维人脸模型。但是因为“散斑结构光”的成像原理特殊,形成的近红外图像和三维模型的质量均不足以用来进行人脸识别工作。因此可以推测,iphonex主要是使用可见光信息进行人脸识别,而可见光信息和三维几何信息都可能用于活体防伪。
目前,从各种途径获得的用户反馈主要集中在如下几点:
反馈一:“照片和视频类的假体样本,均不能通过防伪检测”。
推测:因为有三维人脸模型的存在,针对这种平面或者简单曲面类型的假体样本的防御性能一定会很高。
反馈二:“夜间无环境光照的时候,依然能够进行人脸解锁。”
推测:根据上文的推测,因为近红外图像和三维人脸模型的质量均不足以支撑人脸识别功能的正常进行。因此可以推想,iphonex是利用夜间手机屏幕点亮时提供的可见光光照用于可见光图像的采集和人脸身份识别。
反馈三“越南安全公司bkav成功破解iphonex人脸解锁系统。”
推测:下图中呈现的是越南安全公司bkav制作的用于破解iphonex人脸解锁系统的仿真面具。该面具的眼睛部分为2d打印的黑白照片,其余部分为3d打印的带有纹理图案的面具。这一个案例再一次证明,在“眼睛”这样可以提供丰富纹理信息和身份信息的部位上,但三维信息信噪比较低的区域,iphonex使用的是可见光信息进行人脸识别和防伪,而“鼻子”和“嘴巴”这样能够同时提供丰富纹理信息和几何信息的区域,iphonex则是使用了2d信息和3d信息相结合的方式进行特征提取。
bkav公司制作的仿真面具
现在我们再来看看中科奥森的人脸识别和人脸活体防伪解决方案。中科奥森的活体防伪摄像头是使用近红外摄像头和可见光摄像头进行图像采集,然后对近红外图像和可见光图像进行人脸检测、定位和分割。然后根据两种人脸图像的纹理信息进行活体判别,鉴别真伪。然后再对图像中的人脸进行身份认定和比对,确认待检测人脸的身份。该套解决方案中的人脸防伪和人脸识别算法均采用目前流行的深度学习理论和卷积神经网络技术,使得计算机自主学习并生成高维图片描述特征,充分学习人脸区域及背景区域中的纹理信息、光照信息和分辨率变化差异,以此来判断人脸的真伪和人脸身份。
中科奥森双目防伪摄像头
二、性能对比分析
针对iphonex的三维人脸模型重建方式进行分析后,和中科奥森的双目防伪摄像头相比,两者的性能可以从以下几点进行对比分析:
01数据采集精度
iphonex所使用的三维人脸模型重建技术,其主要难点在于散斑投影和接收装置的校准,以及两者与三维模型重建算法的匹配。只有通过精确校准并与重建算法进行精确匹配,才能得到合格的三维模型精度。但是,因为iphonex的散斑投影器和接收器是独立进行安装,并非单一模块化的装置,因此在生产两者之间是否能够做到精确校准,是一个值得商榷的问题。并且在实际使用过程当中,手机的磕碰都会造成投影器和接收器之间相对位置的变化,对生成的三维模型的精度造成不可逆的影响。
而中科奥森使用的双目防伪摄像机则是两个摄像头独立进行图像采集工作,互不干扰。两者之间的相对距离改变并不会影响最终的活体防伪性能。而使用过程当中即使受到不可抗力的影响,只要摄像头的光学元器件和cmos原件没有受到损伤,依然可以得到足以进行活体防伪的清晰图像,完成人脸活体检测的任务。
02设备成本
iphonex所使用的三维人脸模型算法,其整套设备不仅包括了散斑投影器和接收器,还包括了与之匹配的三维人脸模型重建算法和相应的模型重建处理器。而且散斑投影器和接收器和重建算法均是专门定制的,不适用于大规模的推广使用。
反观中科奥森使用的双目防伪摄像机,无论是摄像头部分的光学元件还是感光元器件,对生产要求较低,质量要求不苛刻,成本易于控制,适用于大规模生产、使用和推广。
03适用距离
虽然iphonex并未具体公布其三维人脸模型重建技术的使用距离,但是因为其散斑数量总量只有30,000个点,而随着采集距离的变大,能够投射在人脸有效区域的点数会显著减少。目前有用户测试称,iphonex的解锁距离大约是60厘米(成人手臂长度)。超过该距离,iphonex的解锁成功率会有明显下降。
而中科奥森使用的双目防伪摄像机所使用的是二维图像,具有多种可调节的分辨率,其的适用距离是30cm到120cm,远远大于iphonex。因此,中科奥森的双目防伪摄像机可以在更为广泛的场景中进行使用。
04计算复杂度
iphonex所使用的基于三维模型的防伪算法,除了其防伪算法本身的计算复杂度以外,比中科奥森所使用异质图像防伪算法还增加了三维模型重建过程的计算复杂度。因此iphonex的处理器能耗会高于中科奥森所使用的防伪算法。
05防伪性能
iphonex所使用三维模型可以有效防御平面或简单曲面类型的照片假体和视频假体。但是限于其三维模型重建精度,其对于面具类型的防伪性能并不会太好。
但是无论是照片、视频还是面具假体,在多光谱摄像头拍摄到的样本当中,其材质的光学特性和纹理特征,都会和真人人脸有明显区别,方便计算机学习到可用于区分两者的高维特征。
综上所述,相比于iphonex,中科奥森所使用的双目防伪摄像头样本精度调节范围更大,硬件适配要求较低,计算复杂度更低,计算资源消耗更少,适用距离更大,防伪性能相当,推广性更强,适用场景更广泛。
三、未来发展
从近几年电子硬件和软件的发展势头来看,iphone每次提出并实现的技术,即使是不成熟的技术,都会引领一波发展潮流。因此,本次iphonex实现的三维人脸模型重建、人脸防伪技术和人脸识别技术,都必然会在整个工业界掀起三维人脸模型相关应用的浪潮。而三维人脸防伪技术和现在已有的单目或是双目防伪技术并不存在明显的冲突,而是会成为相辅相成、互相弥补技术短板的共生关系。三维人脸防伪技术从曲面特征的角度防御平面或简单曲面类的假体攻击,而单目或双目摄像头从材质特性和光学特性防御照片、面具等假体攻击。
伴随着人脸识别技术的应用普及,防伪技术也日益受到公众的关注,中科奥森将与业界共同努力,在人脸活体防伪技术研发方面积聚力量,实现可信的人脸识别。