中国研究人员已经建立了CAS(ME)3,这是一个具有深度信息和高生态效度的大规模自发微表达数据库。它有望引领下一代微表达分析。
中科院心理研究所研究员、研究小组组长王素静博士表示,中科院(ME)3提供了约80小时的视频,帧数超过800万帧,包括1109个手动标记的微表情和3490个宏表情。
微表情作为重要的非言语交际线索,可以揭示一个人真实的情感状态。微表情分析的发展受到了人们的关注,尤其是随着深度学习方法在微表情分析领域的蓬勃发展。然而,心理学和人工智能的研究都受到微表情样本的限制。
王博士说:“数据大小对于使用人工智能进行微表达分析至关重要,CAS(ME)3的大样本量允许有效的微表达分析方法验证,同时避免数据库偏差。”。
CAS(ME)3的亮点之一是数据库中的样本包含深度信息。这种信息的引入受到了一项关于人类视觉感知微表情的心理学实验的启发。受试者被要求观看2D和3D微表情视频,并回答三个关于视频情感效价、情感类型和情感强度的问题。对于3D视频,更短的反应时间和更高的强度等级表明,深度信息可以促进情感识别。
在证明深度信息对人类视觉感知的有效性后,研究人员继续进行智能微表情分析。该研究的第一作者、心理学研究所研究员李静婷博士说:“借助深度信息,这些算法可以对微观表达的持续变化更加敏感。”。
CAS(ME)3的另一个亮点是其高生态有效性。在引导过程中,研究人员优化了获取环境,使其尽可能接近现实,参与者参与模拟犯罪和审讯。作为过程的一部分,视频、语音和生理信号鈥搃包括皮肤电活动、心率/指尖脉搏、呼吸和脉搏鈥搘ere由录像机和可穿戴设备采集。
实验表明,高风险情景(如犯罪)中的受试者比低风险情景(如无辜)中的受试者泄露更多的微表情。这样的高生态有效性样本为稳健的真实世界微观表达分析和情感理解提供了基础。
重要的是,缓解小微表达样本量问题的方法之一是无监督学习。作为无监督学习的一种形式,自监督学习已经成为一个热门话题。使用额外的深度信息或更多与微表情相关的框架来生成标签并构建用于微表情分析的自监督学习模型是很自然的。CAS(ME)3提供1508个未标记视频,超过400万帧,因此成为无监督微表达分析方法的数据平台。
由傅晓兰教授领导的心理学研究所的研究人员此前发布了其他三个微表达数据库,即CASME、CASME II和CAS(ME)2。来自50多个国家的600多个研究团队已请求这些数据库,超过80%的微表达分析文章至少使用其中一个进行方法验证。
利用CAS(ME)3和之前的数据库,基于无标记数据自监督学习的微表达分析、多模态研究以及生理和语音信号有望在未来实现。
这项研究发表在5月13日的《IEEE模式分析和机器智能交易》上。