系统与场景 · 人体状态智能与物理AI
人体状态感知与视觉、动作和表情识别有什么不同?
从“看到了什么”到“可能意味着什么”,中间需要情境、时间与恰当的解释。
视觉和动作识别主要描述可观察的对象、姿态与行为;人体状态理解进一步结合生理、行为、场景和时间信息,为任务安排、持续服务与适当交互提供背景。看见一个动作,不等于已经知道这个人的感受、身体情况或服务需要。
本文目录 · 8 个问题
同样低着头,可能是在困倦,也可能在阅读
摄像头看到一个人低头、闭眼片刻,算法可以描述头部角度和眼部动作。但这个人可能正在看手机,也可能思考刚听到的问题。没有前后过程和任务背景,直接输出“疲劳”就跳过了最关键的一步。
面部表情同样如此。微笑可以表达愉快,也可以是礼貌回应。关于面部动作与情绪关系的研究指出,情绪解释会受到语境和个体差异等因素影响,不能把每种动作固定对应为一种内在感受。[1]
先把四个层次说清楚
小屏阅读:表格可在框内左右滑动。
| 层次 | 回答的问题 | 例子 | 不应直接推出什么 |
|---|---|---|---|
| 物理观测 | 传感器记录了什么? | 面部视频、语音、交互时间 | 观察本身不是心理结论 |
| 行为描述与生理估计 | 哪些信息可以明确描述? | 转头、语速、脉率估计 | 变化不等于疾病或情绪 |
| 情境化状态推断 | 多种线索可能怎样解释? | 可能负荷偏高、可能需要休息 | 模型判断不是人的自述 |
| 应用决策 | 此刻怎样组织服务更合适? | 任务安排、生活辅助、多设备协同与询问 | 不能无条件启动高风险动作 |
表中区分了观测、行为描述与生理估计、状态推断和应用决策,各系统可以采用不同算法。行为分析与生理分析可以分别处理同一段视频,再按应用需要合并结果。
图示可在框内左右滑动查看。
生理信息为何不能直接确定情绪或压力?
视频中的光学变化可以提供脉搏相关信息,面部动作提供外在行为线索,声音和交互记录又补充了对话过程。这些信息来自不同侧面,值得组合讨论。[2][3]
然而,心跳变快并不只发生在紧张时,也可能与身体活动等因素相关。反过来,一个人感觉紧张,也未必会在每个可测指标上表现出同样变化。把生理数值直接映射成“压力等级”,容易给出看似精确、实际含义模糊的结果。
更合适的做法,是先说清“压力”在具体应用里指什么:主观不适、任务繁忙、认知负荷,还是某个研究定义的状态。名称相似,并不代表训练标签和业务用途相同。
多模态不是把几个分数平均一下
“多模态”指利用不同类型的信息,例如图像、声音和生理记录。它的意义在于互补,而非来源越多越可信。视频被遮挡、麦克风有杂音时,两个模态可能同时失真;若没有时间对齐,系统甚至可能把不同片段的线索拼在一起。
设想一位用户表情严肃,但回答清楚,并表示“我正在认真听”。一个尊重情境的系统应保留这种解释,而不是因为面部分类器分数较高,就坚持认为用户不满意。这是交互设计示例,说明融合还应包括用户的主动反馈。
为什么同一个人过去的情况也有帮助?
在室内空间里,识别“用户坐在椅子上”只能描述一个片刻;把几次相似时段的活动情况、可用生理记录与用户反馈放在一起,才有机会发现与个人以往模式不同的变化。变化不自动等于生病或情绪异常,却可能提示系统重新了解用户的需求。
个人基线应与任务和采集条件一起理解。例如,室外散步后的记录和室内休息记录,不宜不加区分地合并。同样,设备换了位置导致的变化,也不应该自动解释为人的状态发生改变。更详细的讨论见《为什么人体状态理解需要个人基线与长期趋势?》。
输出怎样写,普通用户才不会误解?
例如,系统可以说明“在相似时段里,最近几次活动与记录和过去有所不同”,让用户选择是否了解详情、调整原定任务或安排后续关注。描述的是可比较的变化,而不是从一张脸得出“疲劳”“焦虑”之类的确定标签。
模型给出的分数也不天然等于现实正确率。分类模型校准研究提醒我们,预测分数与实际表现之间可能存在差距。[4] 对普通用户而言,有效时间、信息是否充分和能否纠正,往往比一个精确到小数点的分数更有意义。
放回空间系统:不同信息共同支持任务与服务
在室内物理AI中,行为信息帮助了解人正在做什么,生理信息补充与身体节律有关的变化,环境和任务信息说明当前有哪些约束。状态理解将它们放在同一情境下讨论,为服务目标、任务顺序和后续关注提供背景。
明确指令能够直接触发设备联动,人体状态信息不应冒充这部分价值。它真正补充的是用户未逐一表达、但在可比较记录中持续出现的变化及相关情境;应用可以据此提出可拒绝的服务建议,再由机器人、终端或环境设备协同执行。
行为、生理和状态分析怎样配合?
视觉识别帮助机器找到人和理解动作;生理感知补充与身体节律有关的信息;状态理解尝试把这些信息放回具体情境。它们共同服务于应用,但任何一层都不应该越过自身含义。
科思创动所强调的人体状态智能,是结合生理、行为和情境解释人的状态;表情分类结果或单个心率数值都不足以形成完整的健康结论。公开产品入口见《人体状态智能SDK、明眸、明镜与边缘计算设备如何选择?》。
参考资料与延伸阅读
- 学术综述Barrett L F; Adolphs R; Marsella S; Martinez A M; Pollak S D. Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements.
Psychological Science in the Public Interest 20(1):1–68, 2019. DOI: 10.1177/1529100619832930
引用范围:面部动作与情绪解释的关系,以及情境和个体差异。
- 论文Poh M-Z; McDuff D J; Picard R W. Non-contact, automated cardiac pulse measurements using video imaging and blind source separation.
Optics Express 18(10):10762–10774, 2010. DOI: 10.1364/OE.18.010762
引用范围:视频脉搏感知的研究路径;不代表任意摄像头的产品性能。
- 研究数据集/论文Koelstra S; Mühl C; Soleymani M et al.. DEAP: A Database for Emotion Analysis Using Physiological Signals.
IEEE Transactions on Affective Computing 3(1):18–31, 2012. DOI: 10.1109/T-AFFC.2011.15
引用范围:多模态研究记录和情感评分的定义,不等同于自然生活情绪事实。
- 论文Guo C; Pleiss G; Sun Y; Weinberger K Q. On Calibration of Modern Neural Networks.
ICML 2017, PMLR 70:1321–1330
引用范围:模型分数不自动等于现实正确概率。

