产品与研究 · 研究成果
研究解读｜HCSFNet为何结合脑电与视频进行情绪识别？
HCSFNet研究如何让脑电与视频特征相互补充，并在模型中进行融合。
HCSFNet研究的是脑电（EEG）与视频共同参与的多模态情绪识别。它通过分层特征交互和多尺度处理融合两类信息。论文结果对应其输入与数据集，不能直接用来说明普通摄像头单独识别情绪的产品性能。
本文目录 · 7 个问题
文献卡：先确认研究的输入
小屏阅读：表格可在框内左右滑动。
| 项目 | 信息 |
|---|---|
| 英文题名 | A Hierarchical Cross-Modal Spatial Fusion Network for Multimodal Emotion Recognition |
| 作者 | Ming Xu, Tuo Shi, Hao Zhang, Zeyi Liu, Xiao He |
| 发表 | IEEE Transactions on Artificial Intelligence，2025，6(5)：1429–1438 |
| DOI | 10.1109/TAI.2024.3523250 |
| 研究输入 | EEG与视频；不是仅使用普通摄像头 |
DOI中包含2024，期刊卷期为2025，两者表示的出版信息不同。以下解读采用论文正式书目及作者公开上传稿。[1]
为什么仅看表情，可能遗漏重要信息？
同样是微笑，有人因为高兴，有人出于礼貌，有人是在缓解尴尬。面部动作提供了信息，却不总能与内在情绪稳定对应。相关综述指出，解释面部表现需要结合语境、个体差异和其他线索。[2]
多模态研究的出发点，就是让不同来源提供互补信息。EEG是脑电记录，不是面部视频中可以直接得到的量；视频提供可见的时空变化。HCSFNet研究如何在模型中融合这两类不同来源的特征。
HCSFNet提出了哪些组成部分？
论文分别用一维卷积处理EEG特征、三维卷积处理视频特征；随后引入层次化跨模态注意力与多尺度空间金字塔池化，并在训练中采用自蒸馏。研究在DEAP与MAHNOB-HCI数据上讨论方法表现。[1]
通俗理解，一维处理关注信号随时间的结构；视频处理同时关注空间和时间；“跨模态”表示不同来源的特征发生交互；“多尺度”表示从不同范围组织信息。这些术语说明模型如何处理信息，不能据此声称模型能直接读取人的真实情绪。
图示可在框内左右滑动查看。
为什么“融合”不只是把两个分数取平均？
设想两位观察者：一位只记录声音，一位只观察动作。让他们各自给一个分数后取平均，和让他们围绕同一段事件交换线索，是两种不同的信息组织方式。
这是帮助理解特征层融合的类比，并非论文公式。不同来源的特征可能互补，也可能冲突，模型需要处理这些关系。
增加信息来源未必会改善结果，还要检查输入是否同步、有无缺失，以及是否对应同一任务。质量较差的输入不会因参与融合就自动变得可靠。
数据集里的“情绪”，怎样成为研究目标？
DEAP和MAHNOB-HCI是常用的多模态情感研究数据资源，包含相应实验记录与参与者情感评分。它们为方法研究提供了输入与标签，但不能覆盖真实生活中的全部情绪与场景。[3][4]
“效价”可以通俗理解为体验偏正面还是负面，“唤醒”关注激活程度。兴奋与愤怒都可能具有较高唤醒，因此一个维度不能代替完整情绪含义。研究如何定义标签，与模型最后输出什么，必须联系起来理解。
论文中的分类结果需要按数据集和标签定义理解；它们不能直接说明日常生活中的用户感受，也不能证明某项交互建议有效。
这项研究对人体状态智能有什么启发？
设计多源人体状态模型时，需要明确各类信息来自哪里、对应什么时间、表达什么含义，再决定怎样融合这些信息。
这项研究同时使用EEG与视频；产品如果没有EEG输入，输入条件就与论文不同。不能把多模态论文的结果直接放到摄像头产品参数栏，也不能据此声称能够诊断心理疾病。
从研究到自然交互，还需要回答什么？
将“高唤醒”或“低效价”这类结果用于机器人交互时，仍需结合当前任务判断是否响应，并考虑用户是否愿意接受、怎样避免打扰。模型分数本身也不自动等同于现实正确概率；这一点在神经网络校准研究中已有明确讨论。[5]
因此，研究成果适合用于解释算法思路和学术基础，具体产品的功能与交互能力则应单独说明。关于普通用户如何理解情绪分析，见《AI能通过表情和生理信号理解情绪吗？》；关于状态如何进入机器人闭环，见《人体状态如何进入机器人的任务决策与空间协同闭环？》。
国际顶刊论文 · IEEE TAI
论文信息
A Hierarchical Cross-Modal Spatial Fusion Network for Multimodal Emotion Recognition
- 发表期刊
- IEEE Transactions on Artificial Intelligence
- 出版信息
- 2025-05 · 第 6 卷，第 5 期 · 页码 1429-1438
公司股东徐明为第一作者，论文署名单位为清华大学自动化系。
IEEE TAI 的学术影响与研究领域
IEEE Transactions on Artificial Intelligence（TAI）是 IEEE 人工智能领域的跨学科学术期刊，覆盖人工智能理论、方法与应用。IEEE 官方 AI 研究入口将其列为人工智能研究刊物。
TAI 创刊时由 IEEE 计算智能学会牵头，联合计算机、系统人与控制论、信号处理、机器人与自动化学会共同支持。其研究范围与科思创动关注的多模态融合和情绪识别直接相关。
期刊资料核验于 2026-10-08。
参考资料与延伸阅读
- 论文Xu M; Shi T; Zhang H; Liu Z; He X. A Hierarchical Cross-Modal Spatial Fusion Network for Multimodal Emotion Recognition.
IEEE Transactions on Artificial Intelligence 6(5):1429–1438, 2025. DOI: 10.1109/TAI.2024.3523250
引用范围：EEG与视频融合的方法；其结果不能直接代表摄像头单模态或商业部署性能。
- 学术综述Barrett L F; Adolphs R; Marsella S; Martinez A M; Pollak S D. Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements.
Psychological Science in the Public Interest 20(1):1–68, 2019. DOI: 10.1177/1529100619832930
引用范围：面部动作与情绪解释的关系，以及情境和个体差异。
- 研究数据集/论文Koelstra S; Mühl C; Soleymani M et al.. DEAP: A Database for Emotion Analysis Using Physiological Signals.
IEEE Transactions on Affective Computing 3(1):18–31, 2012. DOI: 10.1109/T-AFFC.2011.15
引用范围：DEAP中的实验记录和情感评分定义；这些评分不能直接代表自然生活中的情绪。
- 研究数据集/论文Soleymani M; Lichtenauer J; Pun T; Pantic M. A Multimodal Database for Affect Recognition and Implicit Tagging.
IEEE Transactions on Affective Computing 3(1):42–55, 2012. DOI: 10.1109/T-AFFC.2011.25
引用范围：MAHNOB-HCI的多模态记录与实验标签背景。
- 论文Guo C; Pleiss G; Sun Y; Weinberger K Q. On Calibration of Modern Neural Networks.
ICML 2017, PMLR 70:1321–1330
引用范围：模型分数不自动等于现实正确概率。
