系统与场景 · 健康座舱与DMS
现有DMS和OMS摄像头能否扩展非接触生理感知?
从“已经有画面”到“保留了生理信息”,中间还有完整的光学与视频链路。
已有DMS或OMS摄像头可能成为非接触生理感知的输入,但能否复用,需要结合光谱、照明、可见皮肤、连续成像、时间信息和处理资源判断。能够识别人脸,并不等于已经具备同样的生理感知条件。
本文目录 · 6 个问题
为什么这个问题不能只回答“可以”或“不可以”?
对主机厂和系统集成方来说,复用已有摄像头意味着减少新的安装位置、布线和外观改动,值得优先讨论。但摄像头原来为眼部动作或乘员存在设计,未必以保留微弱光学变化为目标。
行业中确实存在利用已有DMS硬件扩展远程生命体征的公开方案,但这只能说明技术路线存在,不能证明任意车型、任意摄像头都可以直接使用。[1] 判断的对象应该是具体输入链路,而不是“有摄像头”这一个条件。
RGB和近红外,观察的不是完全相同的信息
RGB摄像头记录红、绿、蓝颜色通道;近红外成像记录人眼不可见的相关波段,车内系统可能配合主动光源工作。皮肤与血液的光学特性随波长变化,算法使用的信息也会随之改变。[2]
因此,面向RGB设计的方法,不能简单假定在单通道近红外视频上保持相同处理方式。主动照明可以帮助组织光学条件,却并不意味着环境光、姿态和反射变化从此消失。Ivrr-PPG的近红外驾驶研究,就是围绕光照变化展开的具体例子。[3]
波长和曝光参数需要结合具体设备确定,传感器、滤光片、光源与软件方法也需要配合考虑。
看清眼睛和看见足够的皮肤,是两个问题
DMS镜头可能优先覆盖驾驶员眼部;OMS镜头可能用广角覆盖整个座舱。前者不一定包含大面积稳定皮肤,后者虽然看见更多人,每张脸却可能只有较少像素。
眼镜、刘海、口罩、手部遮挡和转头都会改变有效区域。一个能稳定识别乘员存在的画面,仍可能不足以支持面部生理信号提取。画面中可能没有足够的光学信息供算法提取生理信号。[4]
当有多个乘员时,还必须区分每个人对应的视频区域、座位和时间段,不能混用不同人的结果。面向某个座位实现了功能,也不能自动外推到全舱。
图示可在框内左右滑动查看。
视频从摄像头到算法,经过了哪些变化?
通常可以把链路理解为:光进入镜头和传感器,形成图像,经过图像处理,再编码、传输或进入软件。曝光、自动增益、白平衡、降噪与压缩等环节,可能改变画面随时间的变化。
对于一般视觉识别,单帧中“物体长什么样”很重要;对于脉搏节律,帧与帧之间微小而连续的变化同样重要。时间戳、丢帧和队列积压影响的是“什么时候发生”,不能只通过看一张截图判断。
因此,方案讨论应尽可能了解实际送到算法入口的视频形态,而不是只看摄像头宣传页上的分辨率。
计算资源也需要放回完整车载系统
新增软件不是只有“能不能运行”一个问题。原有DMS、视频处理、其他座舱应用可能共享计算与存储资源。输入处理、状态更新和应用响应之间,也要考虑时间关系。
例如,界面上显示的某个结果可能对应之前一段时间的视频。如果车辆状态已经改变,就不能假装这个结果仍然描述当前。资源和时序设计需要考虑视频片段对应的时间、结果更新时间和座舱响应,让新增功能与原系统协调运行。
可以讨论哪几条集成路径?
小屏阅读:表格可在框内左右滑动。
| 系统起点 | 可讨论的方向 | 需要理解的关键关系 |
|---|---|---|
| 已有合适视频与计算平台 | 软件SDK集成 | 输入形态、资源和实际支持的软件版本 |
| 已有摄像头,但链路控制受限 | 调整视频接入或配置 | 是否能获得需要的连续信息 |
| 安装空间或照明需要整体设计 | 软硬一体化感知模组 | 光学、安装、处理和整机交互的组合 |
| 希望关注多个座位 | 分座位感知或多传感组合 | 各座位覆盖、人员关联与信息可用性 |
这些路径可以组合,并非先验地认定纯软件最好或专用硬件最好。更合理的起点,是把目标体验与真实设备条件配对。产品形态见《人体状态智能SDK、明眸、明镜与边缘计算设备如何选择?》,一般摄像头原理见《普通RGB摄像头能用于生理感知吗?何时需要专用模组?》。
参考资料与延伸阅读
- 厂商一手资料Smart Eye. Smart Eye Introduces Remote Vital Signs Monitoring for Driver Monitoring Systems.
官方发布,2026-06-09
引用范围:说明DMS领域已有生命体征扩展路线,不表示所有摄像头兼容。
- 论文Wang W; den Brinker A C; Stuijk S; de Haan G. Algorithmic Principles of Remote PPG.
IEEE Transactions on Biomedical Engineering 64(7):1479–1491, 2017. DOI: 10.1109/TBME.2016.2609282
引用范围:皮肤光学模型及远程PPG的算法原理。
- 论文Xu M; Zeng G; Song Y; Cao Y; Liu Z; He X. Ivrr-PPG: An Illumination Variation Robust Remote-PPG Algorithm for Monitoring Heart Rate of Drivers.
IEEE Transactions on Instrumentation and Measurement, 72, 2023. DOI: 10.1109/TIM.2023.3271760
引用范围:驾驶环境中的近红外光照变化、背景参照与频率估计研究;此处仅用于说明研究方法。
- 研究数据集/论文Tang J; Chen K; Wang Y; Shi Y; Patel S; McDuff D; Liu X. MMPD: Multi-Domain Mobile Video Physiology Dataset.
作者公开稿 arXiv:2302.03840, 2023;EMBC 2023
引用范围:移动视频中的光照、运动、皮肤差异等场景因素。

