感知技术 · 非接触感知技术

非接触生理感知受哪些条件影响?

光照、运动、遮挡、距离和视频处理会影响非接触式光感知;不同生理与状态任务还各有输入条件。

画面中能找到人脸,不代表其中一定保留了可用的生理节律。光照、运动、遮挡、有效皮肤像素及视频处理都可能影响信息质量;不同硬件和算法的适用范围不同,不能用一个固定条件代表所有方案。

本文目录 · 7 个问题

画面清楚,为什么仍可能没有合适的脉搏信息?

看清眼睛和嘴巴,依靠的是较明显的空间结构;提取脉搏节律,依靠的是较微弱的时间变化。视频软件为了让画面更漂亮,可能调整亮度、颜色或细节,这些处理不一定有利于保留原始节律。

人脸检测表现良好时,生理信息仍可能不稳定:前者识别外观,后者分析时间变化。多场景rPPG数据研究会同时考察运动、光照和个体差异。[1]

光照不足、过亮和变化快,是不同问题

暗光下,有用光学变化可能更容易被噪声淹没;过亮时,局部像素可能失去细节;进出隧道或经过树影,则会带来快速变化。它们不能靠“增加亮度”这一种办法同时解决。

光源的颜色也有影响。屏幕从白色切换到蓝色,会改变照在人脸上的光。相机的自动调节又可能增加新的变化。选择光学方案时,照明、成像和算法需要一起考虑。[2]

图示可在框内左右滑动查看。

图 1 · 画面清楚,不等于生理信息一定充分 图中列出主要采集因素;可用的距离、照度和帧率需结合具体摄像头与算法确定。
图 1 · 画面清楚,不等于生理信息一定充分图中列出主要采集因素;可用的距离、照度和帧率需结合具体摄像头与算法确定。

转头、说话和走动,会改变哪些东西?

转头会改变可见皮肤及其受光角度;说话会让嘴部和脸颊运动;摄像头自身移动,也可能使同一块皮肤在画面中的位置变化。算法如果把不同区域或不同照明条件当作同一条连续信号,就可能把运动当成生理变化。

人脸跟踪、区域选择和运动处理为应对这些问题提供了工具,但不能据此宣称任意运动下都可靠。运动分布是视频生理测量研究中的重要变量。[3] 对应用来说,选择自然、适合的片段,往往比要求每一秒都有结果更合理。

遮挡和肤色分别怎样影响采集?

镜片反光、刘海、胡须和帽檐主要影响某些区域是否可见、是否仍主要由皮肤信息构成。它们不意味着“戴眼镜的人不能使用”,而是需要判断还剩哪些合适区域。

皮肤光学特性则涉及吸收、散射及传感器获得的信号差异。肤色是其中一个因素,不能把复杂系统表现简单归结为某一类人。镜头、光谱、光源和算法共同决定实际表现;多样化人群与环境研究有助于理解这种差异。[1]

距离为何重要,却不能单独规定一个通用数字?

相同的摄像头分辨率,拍整间屋子与拍近距离人脸,留下的皮肤像素数量不同。远距离不只是“脸更小”,还可能增加区域混合、遮挡与压缩影响。

讨论距离时,还要看镜头视场、安装位置、目标姿态和输入尺寸。近距离终端与广角OMS摄像头的采集要求可能不同。

视频链路也会改变信号

小屏阅读:表格可在框内左右滑动。

视频链路也会改变信号
链路环节可能影响什么
自动曝光和增益亮度随时间的变化及噪声表现
白平衡和颜色处理不同颜色通道之间的关系
压缩、美颜和降噪微小变化是否被保留或改变
丢帧、重复帧与排队数据的时间连续性与处理延迟

排查视频链路时,可由相机和软件团队一起确认:自动调节改变了什么、压缩保留了什么,以及丢帧和排队是否影响时间信息。

没有结果时,界面应该怎样提示?

系统可以暂时不显示某项生理结果、说明当前信息不足,或在主动交互终端中提供简单的姿态建议。驾驶场景则不应为了取得生理数据,要求驾驶员离开道路视线配合摄像头。

“暂时没有结果”表示当前信号不够可靠,不能据此判断身体正常或异常。界面应把采集状态与健康结果分开说明。

参考资料与延伸阅读

  1. 研究数据集/论文Tang J; Chen K; Wang Y; Shi Y; Patel S; McDuff D; Liu X. MMPD: Multi-Domain Mobile Video Physiology Dataset.

    作者公开稿 arXiv:2302.03840, 2023;EMBC 2023

    引用范围:移动视频中的光照、运动、皮肤差异等场景因素。

  2. 论文Wang W; den Brinker A C; Stuijk S; de Haan G. Algorithmic Principles of Remote PPG.

    IEEE Transactions on Biomedical Engineering 64(7):1479–1491, 2017. DOI: 10.1109/TBME.2016.2609282

    引用范围:皮肤光学模型及远程PPG的算法原理。

  3. 论文Paruchuri A et al.. Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement.

    作者公开稿 arXiv:2303.12059, 2023

    引用范围:运动与数据分布对视频生理感知的影响。

项目合作

项目咨询

直接联系我们。

科思创动专注于人体状态感知技术,为康养、组织健康、健康座舱、生产安全以及专业谈话与监管提供人体状态智能引擎 SDK 和软硬一体产品。

电话:0755-23732105
微信咨询二维码
微信咨询点击打开,或微信扫码
关注公众号二维码
关注公众号点击打开,或微信扫码