ncnn 活体检测活体检测技术

转载

mob6454cc6a8ab0 2024-04-29 12:54:42

文章标签 ncnn 活体检测人工智能计算机视觉深度学习 1024程序员节 文章分类 机器学习人工智能

活体检测

1. 活体检测简介
2. 主流活体方案

2.1 配合式
2.2 非配合式活体

3. 三维数据

3.1 采集硬件
3.2 TOF
3.3 三角法
3.4 数据表现形式

1. 活体检测简介

攻击方式：纸质照片、电子产品的显示屏幕、硅胶面具、立体的3D模型等
RGB单目活体检测技术
（1）简介：通过分析采集摩尔纹、成像畸形、反射率等人像破绽，从而获得活体检测所需要的识别信息，通过多维度的识别依据保证了识别的准确性。
（2）特点：成本低，对屏幕成像和纸张照片类攻击有着良好防御性。
IR双目红外活体
（1）简介：物体成像与其表面材质的反射特性有关。真实人脸和纸片、屏幕、立体面具等攻击媒介的反射特性都是不同的，所以成像效果也不同。由于红外图像滤除了特定波段的光线，这种表面材质差异在红外波反射方面会更加明显，屏幕上的人脸在红外摄像头前的成像是白花花一片，连人脸都无法显示。
（2）特点：相对RGB活体成本有所提高。对于屏幕成像和纸张照片类的防御力也更加优秀。
3D Depth活体检测
（1）采用结构光/TOF等深度摄像头，可以得到人脸区域的3D数据，并基于这些数据做进一步分析，能够很容易地辨别纸质照片、屏幕等2D媒介的假脸攻击。
（2）特点：硬件成本较高，对屏幕、纸张和面具类攻击的防御能力最好
方案对比
红外摄像头和红外热成像
（1）红外摄像头：普通相机加滤光片可得到红外图像，原因在于普通相机的光学传感器本身覆盖的波长区域便包括了近红外波长及近紫外波长，如果不加滤光片，人眼不可见的近红外及近紫外光也会在传感器中产生光电效应导致画面偏色，传统做法是加滤光片滤掉人眼不可见的光以恢复原来色彩。
（2）红外热成像仪：探测目标自身发出的红外辐射（热辐射），并通过光电转换、信号处理等手段，将目标物体的温度分布图像转换成视频图像，物体表面对外辐射热量的大小，热敏感传感器获取不同热量差，通过电子技术和软件技术的处理，呈现出明暗或色差各不相同的图像，这就是红外线热成像。

2. 主流活体方案

2.1 配合式

配合式活体需要用户根据提示做出相应的动作从而完成判别

2.2 非配合式活体

根据成像源的不同为: 红外图像、3D 结构光、RGB 图像
（1）红外图像: 滤除特定波段的光线，解决基于屏幕的假脸攻击；
（2）3D 结构光：引入深度信息，能够辨别纸质照片、屏幕等 2D 媒介的攻击；
（3）RGB 图片：主要通过屏幕拍摄出现的摩尔纹、纸质照片反光等一些细节信息进行判别。

3. 三维数据

3.1 采集硬件

3D相机: 在原有成像的原理上叠加深度信息，获取深度信息的主流技术：三角法(结构光) 和飞时法(ToF)。
（1）三角法原理：采用三角几何视差来计算目标到相机的距离，误差随距离增加而增大。
[1] 三角法的3D视觉技术：主动双目技术和结构光技术
（2）ToF原理：主动投射光束并接收的过程消耗的飞行时间计算（光速），远距离精度更好
激光雷达：利用激光光波探测与测距，激光雷达扫描获取
（1）测距的方法：连续波测距和脉冲测距
（2）平面上进行线扫描的二维激光雷达和进行面扫描的三维激光雷达

3.2 TOF

根据工作原理分：i-ToF 和 d-ToF
（1）i-ToF：相位差原理，用测量信号的相位来间接地获得光的来回飞行时间，0.1-5m
（2）d-ToF：时间差原理，直接测量光脉冲的发射和接收的时间差，0.1-300m

3.3 三角法

双目深度重建：两个相机观察同一物体产生的位置差计算物体和相机距离，0.2-100m
（1）被动式双目：物体表面纹理（或者周期性纹理）特征不明显的情况下，这种匹配将变得非常困
结构光: 包括两个基本组件，红外激光投射端和红外摄像头，0.2 - 8m
（1）原理：已知的结构化图案投影到物体后发生形变，红外相机得到各像素的视差，根据内外参恢复深度。
（2）优点：
[1] 由于主动投射编码光源，因而适合在光照不足（甚至无光）、缺乏纹理的场景使用。
[2] 投影图案一般经过精心设计，所以在一定范围内可以达到较高的测量精度。
[3] 技术成熟，相比较双目摄像深度图像可以做到相对较高的分辨率。
（3）缺点：
[1] 室外环境基本不能使用。容易受到强自然光（超过2000Lux）影响，导致投射的编码光被淹没。
[2] 测量距离较近，越远，物体上的投影图案越大，精度也越差.
[3] 容易受到光滑平面反光的影响。