使用 Intel 驱动的设备开发驾驶员识别和疲劳检测系统

概述

本文讨论疲劳检测系统。这些系统旨在在检测到疲劳行为时向驾驶员发出警报。当部署在汽车中时，该系统可以帮助减少因驾驶员疲劳而造成的事故数量。该系统的另一个用途是驾驶员身份识别。只有授权用户才能驾驶车辆，这有助于减少因未经授权的驾驶员造成的事故。建议的想法可能是此处视频中提出的概念的下一版本： http://www.intel.in/content/www/in/en/internet-of-things/videos/realsense-range-rover-features-video.html

引言

根据英国皇家防止事故学会（British Royal Society for the Prevention of Accidents）的数据，驾驶员疲劳占道路事故的 20%，占致命和严重事故的四分之一。据统计，每年估计有 1,550 人死亡，71,000 人受伤，因驾驶员疲劳造成的经济损失达 125 亿美元。梅赛德斯-奔驰（Mercedes-Benz*）对其在德国发生的汽车碰撞事故原因进行了研究，发现 25% 的致命碰撞事故是疲劳的直接结果。疲劳会增加事故风险。疲劳时，驾驶员的警觉性降低，对潜在危险情况的快速反应能力也会受到损害。道路事故的另一个主要原因是未经授权的人代替授权驾驶员驾驶车辆。这主要发生在长途驾驶时，授权驾驶员将车辆交给未经授权的人。

英特尔®实感™技术

英特尔推出了一款智能相机，除了普通的 RGB 图像外，它还能获取深度数据（Z 轴）。这款相机能够对 78 个面部关键点进行 3D 跟踪，支持头像创建、情绪识别和面部动画。英特尔®实感™相机使用英特尔®实感™ SDK 自动检测人脸深度图像上的关键点。利用基于几何特征的方法进行特征提取。面部关键点之间的距离用作特征。并使用暴力破解法选择最优特征集。利用这项技术可以识别出疲劳的典型面部表情。还可以捕捉和分析表明驾驶员正在使用手机的面部行为。对于未经授权的驾驶员，车队管理团队可以监控谁在驾驶卡车，并在检测到未经授权的驾驶员时立即采取行动。

三维识别

在 RGB 图像中添加了深度信息。3D 面部识别的优势在于它不像其他技术那样受光照变化的影响。面部的 3D 数据点极大地提高了面部识别的精度。

解决方案的技术可行性

该系统使用带有英特尔®实感™技术和英特尔®实感™ SDK 的 3D 相机捕捉车辆驾驶员的面部，该 SDK 能够对 78 个面部关键点进行 3D 跟踪，从而识别眼睑的闭合。如果眼睑闭合时间过长，可以播放歌曲来提醒并唤醒驾驶员。捕捉到的帧可以在边缘进行处理，也可以发送到云端进行远程监控和远程操作。该项目应包括面部识别和情绪分析算法。RealSense API 已在 RSSDK 情绪分析和面部识别中公开。

架构图

英特尔®物联网网关是一款能够处理来自英特尔®实感™相机的 RGB 和深度流，并能将原始帧发送到云端的设备，这将有助于远程管理和监控团队通过面部识别技术监控驾驶员的认证以及驾驶员的疲劳状态。连接到云端的主要优势是应用程序的远程访问，并且应用程序的任何更新都可以通过 OTA（空中下载）进行管理。可用作网关的工业产品是英特尔® NUC 和 USB 3.0 计算棒，它们没有 CAN 总线协议。将 CAN 总线转换为 USB 的转换器插入英特尔 NUC 或 USB 3.0 计算棒即可满足需求。SR300 和 F200 是可用于此案例研究的相机模块。

项目说明

包括两个模块

• 面部识别
• 情绪分析

面部识别

事故的主要原因是授权驾驶员不会全程长途驾驶。授权人会小睡，然后让未经授权的人（大多数情况下是清洁工）驾驶卡车，或者将其外包给不擅长驾驶的未经授权的驾驶员。这可以通过使用高度耐用且防篡改的 3D 传感器技术来解决。最初，数据库会用将要使用卡车或汽车的用户 3D 数据进行训练。可以对人脸检测算法进行编程以控制发动机控制单元（汽车或卡车）。英特尔实感技术会以预设的固定间隔捕捉驾驶员的面部，并使用 1080p RGB 和 IR 组件进行验证。每当有人尝试启动引擎时，它都会使用预先加载的安全数据来认证该人。远程监控会随机抽取实时视频流，并确保是授权人员在使用汽车。在生物识别失败和互联网连接不佳的情况下，还应使用 OTP（一次性密码）来初步认证驾驶员。通过使用这项技术，远程监控团队应该能够在旅途中的多个时间点跟踪该人。在网络带宽需求大的情况下，远程团队可以获取实时流并将其保存在边缘（不发送到云端），并在旅途结束后查看完整的视频，从而确保授权人员驾驶了整个距离。

情绪分析

驾驶员疲劳是道路事故的主要原因。导致疲劳状态的两个主要情景是：

1. 酒后驾驶，可能导致协调能力下降和判断力受损
2. 由于连续长途驾驶导致的视力下降。

这个问题可以通过 3D 图像处理的帮助来消除，并可以持续跟踪驾驶员的情绪。实感相机（具有情绪跟踪和关键点检测功能）能够识别眼睑之间的距离，还可以检查人脸朝向相机的角度。通过上述两个功能，该系统将能够捕捉驾驶员的疲劳状态。一旦检测到疲劳状态的驾驶员，音乐将自动播放以提醒驾驶员，并且远程监控团队将收到驾驶员状态的通知。此外，还可以对捕捉到的数据使用分析程序，帮助远程管理团队通过了解驾驶员疲劳原因来采取预防措施。

特点

• 准确性：准确率 > 96%，可对 5-7 名驾驶员进行连续监控和认证。在内部收集的不同姿势的数据上实现了良好的识别率。
• 精确度：通过面部数据插值实现鲁棒性。降低因衰老、佩戴眼镜、面部毛发变化导致的误拒绝率。
• 安全性：数据库格式为 bin。
• 手势检测能力
• 允许偏航角小于 30 度的非正面人脸
• 在低光照条件下工作
• 使用网络摄像头质量的图像工作
• 随着训练图像数量的增加，验证率增加。

挑战

• 在重型商用车辆等高振动环境中进行视频流稳定。
• 英特尔实感相机并非汽车级，但已在乘用车上进行试点实施。
• 英特尔实感技术受到的各种影响
• 超低光照条件
• 数据库越大，准确率越低。最大数据库大小小于 100 个用户。