感知技术 · 非接触感知技术

普通RGB摄像头能用于生理感知吗?何时需要专用模组?

结合现有摄像头、视频处理和安装条件,判断能否复用设备,或是否需要专用模组。

普通RGB摄像头在合适的条件下可以提供非接触生理感知所需的视频;专用模组便于一起设计光源、光谱、安装与软件处理。是否适用,要看视频质量、目标指标和所用算法。

本文目录 · 7 个问题

普通RGB摄像头怎样提供脉搏信息?

RGB指红、绿、蓝三个颜色通道。连续皮肤视频中,与脉搏有关的微弱变化可能保留在这些通道里,因此普通摄像头也能成为研究和产品集成的起点。Poh等人的早期工作展示了这一技术路径。[1]

已有摄像头和计算平台的设备,可以评估通过软件增加脉搏分析功能。评估时还要检查图像处理和传输方式:即使摄像头型号相同,算法收到的视频也可能不同。

帧序、时间戳和图像处理为什么重要?

普通拍照常希望颜色讨喜、细节清楚;生理感知还关心每一帧怎样衔接、时间是否准确、微小变化是否被保留。分辨率只是其中一个因素。

例如,聊天软件为节省带宽重压缩视频,或设备为了美观不断改变肤色,可能对人眼无明显影响,却改变时间曲线。对于同一设备,直接相机输入与经过多次处理的视频,并不是同一种数据源。

图示可在框内左右滑动查看。

图 1 · 算法看到的是整条视频链路的结果 通用成像链路示意。不同设备的处理顺序和可控环节可能不同。
图 1 · 算法看到的是整条视频链路的结果通用成像链路示意。不同设备的处理顺序和可控环节可能不同。

RGB与近红外,有什么不同?

近红外通常写作NIR,是可见光之外的一段光谱。相应方案需要匹配的传感器响应、滤光与照明;“红外摄像头”并不自动意味着可以在任何黑暗环境下完成生理感知。主动近红外照明,是车载研究中的一种技术路线。[2]

RGB提供多个较宽的颜色通道,便于与一般视觉任务共享图像。单通道近红外可能更容易围绕特定波段设计光学链路,但不能直接照搬所有依赖RGB通道关系的方法。选择多波段方案时,应明确每个通道提供什么信息,新增通道是否有助于当前任务。

专用模组怎样匹配光源、镜头和算法?

专用模组可以一起设计光源、镜头、滤光、传感器和软件处理,使这些配置适合目标设备的安装位置与采集任务。

例如,机器人胸口的安装位置与座舱仪表附近不同;固定交互终端与覆盖整个后排的广角摄像头,也有不同的视场需求。专用设计可以讨论这些差别,但并不意味着它能消除所有运动或光照影响。

两条接入路线怎样选择?

小屏阅读:表格可在框内左右滑动。

两条接入路线怎样选择?
系统起点可以优先了解的路线重点是什么
已有摄像头、主控和应用软件SDK保留现有外观与系统,匹配输入链路
需要嵌入设备的光学单元专用感知模组协调安装、光学、供电与软件接口
希望直接建立现场交互完整终端把采集和用户流程一起考虑
多个终端共享现场计算边缘计算方案明确连接方式、处理任务与运维

这些路线可以组合。比如同一机器人保留原视觉摄像头承担导航,再用适合的感知单元补充面向人的信息;是否这样设计,仍需看目标和实际产品。[3]

专用模组并不意味着所有任务都要定制硬件

如果已有输入适合目标功能,再增加硬件可能徒增成本和集成负担。反过来,若视频中的微小变化已经被前端处理抹去,只升级后端算法也未必能补回原始信息。

选型时应明确感知任务:分析一般视觉行为,还是提取脉搏信息?目标是驾驶员,还是多排乘员?需要持续更新,还是可以在用户停留时采集?这些要求会影响摄像头和安装方式的选择。

摄像头与软件怎样一起选?

选择摄像头时,要同时确认照明和图像处理是否保留所需信号、算法支持哪些输入,以及应用准备怎样使用结果。

具体摄像头要求、支持平台和模块范围,应查阅对应版本资料。已有DMS与OMS摄像头的复用问题,在《现有DMS和OMS摄像头能否扩展非接触生理感知?》中进一步讨论。

参考资料与延伸阅读

  1. 论文Poh M-Z; McDuff D J; Picard R W. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.

    Optics Express 18(10):10762–10774, 2010. DOI: 10.1364/OE.18.010762

    引用范围:视频脉搏感知的研究路径;不代表任意摄像头的产品性能。

  2. 论文Xu M; Zeng G; Song Y; Cao Y; Liu Z; He X. Ivrr-PPG: An Illumination Variation Robust Remote-PPG Algorithm for Monitoring Heart Rate of Drivers.

    IEEE Transactions on Instrumentation and Measurement, 72, 2023. DOI: 10.1109/TIM.2023.3271760

    引用范围:驾驶环境中的近红外光照变化、背景参照与频率估计研究;实验数据需结合论文全文中的测试条件阅读。

  3. 公司提供资料深圳市科思创动科技有限公司. 科思创动产品形态与知识中心目录.

    公司提供的产品类别资料(软件SDK、明眸模组、明镜终端与边缘计算设备)

    引用范围:仅用于SDK、明眸、明镜、边缘设备的类别和名称;未据此添加量化规格。

项目合作

项目咨询

直接联系我们。

科思创动专注于人体状态感知技术,为康养、组织健康、健康座舱、生产安全以及专业谈话与监管提供人体状态智能引擎 SDK 和软硬一体产品。

电话:0755-23732105
微信咨询二维码
微信咨询点击打开,或微信扫码
关注公众号二维码
关注公众号点击打开,或微信扫码