2026年“华为杯”第二十三届中国研究生数学建模竞赛“E题：复杂场景下多模态情感识别的数学建模与算法设计”思路解析+实现代码+论文撰写+摘要+最终论文

复杂场景下多模态情感识别的数学建模与算法设计

目 录

摘要

1 问题重述

1.1 问题背景

1.2 需要解决的问题

2 数据说明

2.1 附件1：原始多模态样本

2.2 附件2：标准多模态特征文件

2.3 附件3：模态局部缺失专项测试集

2.4 附件4：可解释性专项测试集

2.5 评价指标

3 模型基本假设与符号说明

3.1 模型基本假设

3.2 模型基本符号说明

4 问题一：

多模态情感特征提取与时序对齐的数学建模

4.1 问题分析

4.2 模态特征提取数学模型

(1) 文本模态：BERT 上下文表示

(2) 语音模态：wav2vec2 帧级特征

(3) 视觉模态：CLIP 视觉编码

4.3 跨模态时序对齐模型

4.4 求解流程

4.5 工具与模型版本

4.6 结果与核验

5 问题二：

模态信息缺失条件下的情感预测建模与验证

5.1 问题分析

5.2 建模理论：注意力机制

(1) 缩放点积自注意力

(2) 带掩码的时间注意力池化

(3) 模态注意力门控融合

5.3 模型结构：MMAF

5.4 训练方案

5.5 验证集基础性能

5.6 消融实验：缺失模态类型与缺失比例的影响

5.7 附件3 全量预测

6 问题三：

可解释性情感预测建模与验证

6.1 问题分析

6.2 建模理论：注意力权重作为解释证据

6.3 解释输出规范

6.4 典型样本解释卡

6.5 附件4 全量预测与解释结果

6.6 验证集上的可解释性分析与错误归因

7 模型总结与改进方向

7.1 工作总结

7.2 改进方向

参考文献

附录 A：

附件提交清单

附录 B：

代码运行说明

B.1 运行环境

B.2 问题1 代码

B.3 问题2 代码

B.4 问题3 代码

摘要

针对复杂场景下多模态情感识别中的特征对齐、模态缺失鲁棒性与决策可解释性三个关键问题，本文以 CMU-MOSEI 英文多模态情感数据集为基础开展数学建模与算法设计，构建了"预训练特征提取—统一时序对齐—注意力融合建模—可解释归因"的完整求解链路。

针对问题一，建立基于预训练模型的三模态特征提取与时序对齐数学模型。文本模态采用 BERT(base-uncased) 的 WordPiece 分词与 Transformer 编码提取 768 维上下文表示；语音模态采用 wav2vec2-base-960h 提取 50Hz 帧级特征（768 维）；视觉模态采用 CLIP ViT-B/32 对关键帧逐帧提取 512 维语义特征。以视频总时长为基准构造 T=50 位等宽时间网格，帧级特征按时间戳映射入窗并做窗内平均池化，文本按词元顺序映射为前位特征，统一得到 (50,768)/(50,768)/(50,512) 的规范特征矩阵，并记录各模态有效窗掩码保证时序可核验。对附件1 全部 100 条原始视频完成特征提取，总耗时约 1260 秒，产出特征文件、全量汇总表、处理日志与典型样本对齐验证图，覆盖完整、方法可复现。

针对问题二，构建基于模态注意力门控的多模态融合模型（Multimodal Attention Fusion Model, MMAF）。模型由模态编码器（线性压缩 + 位置编码 + 单层多头自注意力）、带有效掩码的时间注意力池化、模态注意力门控融合与分类/回归双头组成。训练中采用随机整模态缺失与随机连续区间缺失两类增强模拟测试期缺失模式，并引入模态有效性掩码使模型自动屏蔽缺失模态。在验证集 728 条样本上，模型取得 Accuracy 0.6387、Macro-F1 0.5943、MAE 0.5663、Pearson 相关系数 0.6804。消融实验表明：文本模态缺失对性能影响最大（缺失比例 0.8 时 Accuracy 降至 0.6250、MAE 升至 0.6096），而语音、视觉模态缺失容忍度较高，揭示了三模态信息贡献的显著不平衡。使用训练所得模型对附件3 的 30 条局部缺失样本完成推理，极性分布为正向 17 条、中性 7 条、负向 6 条，情感强度分布于 [-0.860, 1.283]。

针对问题三，在 MMAF 模型基础上提取模态注意力权重与时间注意力权重作为可量化、可复核的可解释证据：模态注意力 β 给出三模态作用程度并定位主要参考模态，时间注意力 w 定位各模态中与判断密切相关的局部时段，并可回看至原始文本片段、语音时段与视频关键帧。对附件4 的 20 条完整样本输出预测与解释结果（极性分布为正向 10 条、负向 7 条、中性 3 条，强度分布于 [-2.110, 1.194]），生成典型样本解释卡。验证集归因分析显示模态门控呈现文本主导特性（β 的文本均值 0.9948，全部 728 条样本主要参考模态均为文本），结合消融结论与特征维度差异给出成因与改进方向。

关键词：

多模态情感识别；时序对齐；注意力机制；模态缺失鲁棒性；可解释人工智能

1 问题重述

1.1 问题背景

情感分析是具身智能、自然人机交互、人机协同决策等前沿领域的关键支撑技术。真实交互场景中，人类情绪由文本语义、语音韵律、面部表情与肢体动作等多通道信号协同表达，单一模态往往只能捕获情绪的部分侧面，多模态信息联合建模是突破单模态识别局限、提升复杂场景下情绪理解准确性与稳定性的核心路径。

然而，多模态情感预测在工程落地中面临三重结构性挑战：

其一，文本、语音、视觉三模态在采样机制、特征维度与时间尺度上差异显著，特征提取与时序对齐的质量直接决定下游建模的性能上限；其二，实际采集过程常因画面遮挡、环境噪声、转写失败等原因造成模态局部甚至整段缺失，常规固定权重融合模型在缺失条件下性能急剧下降；其三，多数深度模型仅能输出预测结果，决策依据难以追溯与复核，限制了模型在医疗、教育、人机协作等高风险场景中的可信应用。

1.2 需要解决的问题

本题以 CMU-MOSEI 英文多模态情感数据集为基础，依次要求完成以下三项建模任务：

问题1：

多模态情感特征提取与时序对齐的数学建模。基于附件1 的 100 条原始视频，建立文本、语音、视觉三模态情感特征提取与时序对齐的数学模型，明确原始样本的处理流程、各模态情感特征的定义与提取方法、跨模态时序对齐的规则与实现逻辑。自生成特征文件需满足原始样本覆盖完整、时序组织可核验、方法合理可复现三方面要求。

问题2：

模态信息缺失条件下的情感预测建模与验证。针对局部时段模态信息缺失的复杂场景，构建鲁棒性多模态情感预测模型，在局部模态信息不完整条件下稳定输出情感极性与情感强度预测，分析缺失模态类型、缺失位置、缺失时长对预测性能的影响规律，并对附件3 测试样本完成推理预测。

问题3：

可解释性情感预测建模与验证。针对三模态信息完整但决策依据难以追溯的场景，构建可解释性多模态情感预测模型，在给出情感预测结果的同时，以可量化、可复核的方式说明主要参考模态、模态作用程度与关键证据定位，并对附件4 测试样本完成预测与解释。

2 数据说明

~~论文解题方法不止一种，可换其他方法解题。。。。。 ~需要更多详细资料（数据处理、训练模型等代码、论文范围、优秀论文模板等，私聊加企鹅1271370903.更多方法解题还在探索中。