系统与场景 · 人体状态智能与物理AI

人体状态感知与视觉、动作和表情识别有什么不同?

从“看到了什么”到“可能意味着什么”,中间需要情境、时间与恰当的解释。

视觉和动作识别主要描述可观察的对象、姿态与行为;人体状态理解进一步结合生理、行为、场景和时间信息,为任务安排、持续服务与适当交互提供背景。看见一个动作,不等于已经知道这个人的感受、身体情况或服务需要。

本文目录 · 8 个问题

同样低着头,可能是在困倦,也可能在阅读

摄像头看到一个人低头、闭眼片刻,算法可以描述头部角度和眼部动作。但这个人可能正在看手机,也可能思考刚听到的问题。没有前后过程和任务背景,直接输出“疲劳”就跳过了最关键的一步。

面部表情同样如此。微笑可以表达愉快,也可以是礼貌回应。关于面部动作与情绪关系的研究指出,情绪解释会受到语境和个体差异等因素影响,不能把每种动作固定对应为一种内在感受。[1]

先把四个层次说清楚

小屏阅读:表格可在框内左右滑动。

先把四个层次说清楚
层次回答的问题例子不应直接推出什么
物理观测传感器记录了什么?面部视频、语音、交互时间观察本身不是心理结论
行为描述与生理估计哪些信息可以明确描述?转头、语速、脉率估计变化不等于疾病或情绪
情境化状态推断多种线索可能怎样解释?可能负荷偏高、可能需要休息模型判断不是人的自述
应用决策此刻怎样组织服务更合适?任务安排、生活辅助、多设备协同与询问不能无条件启动高风险动作

表中区分了观测、行为描述与生理估计、状态推断和应用决策,各系统可以采用不同算法。行为分析与生理分析可以分别处理同一段视频,再按应用需要合并结果。

图示可在框内左右滑动查看。

图 1 · 观察、测量、状态与服务:先把含义分开 不同信息服务于不同问题,不是自动推导诊断的流水线。状态理解提供背景,服务选择仍需用户意愿与系统能力。
图 1 · 观察、测量、状态与服务:先把含义分开不同信息服务于不同问题,不是自动推导诊断的流水线。状态理解提供背景,服务选择仍需用户意愿与系统能力。

生理信息为何不能直接确定情绪或压力?

视频中的光学变化可以提供脉搏相关信息,面部动作提供外在行为线索,声音和交互记录又补充了对话过程。这些信息来自不同侧面,值得组合讨论。[2][3]

然而,心跳变快并不只发生在紧张时,也可能与身体活动等因素相关。反过来,一个人感觉紧张,也未必会在每个可测指标上表现出同样变化。把生理数值直接映射成“压力等级”,容易给出看似精确、实际含义模糊的结果。

更合适的做法,是先说清“压力”在具体应用里指什么:主观不适、任务繁忙、认知负荷,还是某个研究定义的状态。名称相似,并不代表训练标签和业务用途相同。

多模态不是把几个分数平均一下

“多模态”指利用不同类型的信息,例如图像、声音和生理记录。它的意义在于互补,而非来源越多越可信。视频被遮挡、麦克风有杂音时,两个模态可能同时失真;若没有时间对齐,系统甚至可能把不同片段的线索拼在一起。

设想一位用户表情严肃,但回答清楚,并表示“我正在认真听”。一个尊重情境的系统应保留这种解释,而不是因为面部分类器分数较高,就坚持认为用户不满意。这是交互设计示例,说明融合还应包括用户的主动反馈。

为什么同一个人过去的情况也有帮助?

在室内空间里,识别“用户坐在椅子上”只能描述一个片刻;把几次相似时段的活动情况、可用生理记录与用户反馈放在一起,才有机会发现与个人以往模式不同的变化。变化不自动等于生病或情绪异常,却可能提示系统重新了解用户的需求。

个人基线应与任务和采集条件一起理解。例如,室外散步后的记录和室内休息记录,不宜不加区分地合并。同样,设备换了位置导致的变化,也不应该自动解释为人的状态发生改变。更详细的讨论见《为什么人体状态理解需要个人基线与长期趋势?》。

输出怎样写,普通用户才不会误解?

例如,系统可以说明“在相似时段里,最近几次活动与记录和过去有所不同”,让用户选择是否了解详情、调整原定任务或安排后续关注。描述的是可比较的变化,而不是从一张脸得出“疲劳”“焦虑”之类的确定标签。

模型给出的分数也不天然等于现实正确率。分类模型校准研究提醒我们,预测分数与实际表现之间可能存在差距。[4] 对普通用户而言,有效时间、信息是否充分和能否纠正,往往比一个精确到小数点的分数更有意义。

放回空间系统:不同信息共同支持任务与服务

在室内物理AI中,行为信息帮助了解人正在做什么,生理信息补充与身体节律有关的变化,环境和任务信息说明当前有哪些约束。状态理解将它们放在同一情境下讨论,为服务目标、任务顺序和后续关注提供背景。

明确指令能够直接触发设备联动,人体状态信息不应冒充这部分价值。它真正补充的是用户未逐一表达、但在可比较记录中持续出现的变化及相关情境;应用可以据此提出可拒绝的服务建议,再由机器人、终端或环境设备协同执行。

行为、生理和状态分析怎样配合?

视觉识别帮助机器找到人和理解动作;生理感知补充与身体节律有关的信息;状态理解尝试把这些信息放回具体情境。它们共同服务于应用,但任何一层都不应该越过自身含义。

科思创动所强调的人体状态智能,是结合生理、行为和情境解释人的状态;表情分类结果或单个心率数值都不足以形成完整的健康结论。公开产品入口见《人体状态智能SDK、明眸、明镜与边缘计算设备如何选择?》。

参考资料与延伸阅读

  1. 学术综述Barrett L F; Adolphs R; Marsella S; Martinez A M; Pollak S D. Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements.

    Psychological Science in the Public Interest 20(1):1–68, 2019. DOI: 10.1177/1529100619832930

    引用范围:面部动作与情绪解释的关系,以及情境和个体差异。

  2. 论文Poh M-Z; McDuff D J; Picard R W. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.

    Optics Express 18(10):10762–10774, 2010. DOI: 10.1364/OE.18.010762

    引用范围:视频脉搏感知的研究路径;不代表任意摄像头的产品性能。

  3. 研究数据集/论文Koelstra S; Mühl C; Soleymani M et al.. DEAP: A Database for Emotion Analysis Using Physiological Signals.

    IEEE Transactions on Affective Computing 3(1):18–31, 2012. DOI: 10.1109/T-AFFC.2011.15

    引用范围:多模态研究记录和情感评分的定义,不等同于自然生活情绪事实。

  4. 论文Guo C; Pleiss G; Sun Y; Weinberger K Q. On Calibration of Modern Neural Networks.

    ICML 2017, PMLR 70:1321–1330

    引用范围:模型分数不自动等于现实正确概率。

项目合作

项目咨询

直接联系我们。

科思创动专注于人体状态感知技术,为康养、组织健康、健康座舱、生产安全以及专业谈话与监管提供人体状态智能引擎 SDK 和软硬一体产品。

电话:0755-23732105
微信咨询二维码
微信咨询点击打开,或微信扫码
关注公众号二维码
关注公众号点击打开,或微信扫码