RELIABILITY-AWARE · MULTIMODAL SENTIMENT

多模态情感预测

当文字、语音或视觉缺失一段，如何继续理解情感？EmoMosaic 将可靠性感知的 RM-Net 与 BERT LoRA 文本专家融合，在保留时序位置的同时预测情感极性与强度，并解释每种模态的作用。

RM + BERT LoRA五种子集成双目标解释

4,850CMU-MOSEI 子集片段

5 + 5RM 核心与文本专家

85每个划分的评估条件

20 × 8专项样本与模态子集

研究任务

01 / RESEARCH

100 条原始视频的词级对齐与质量核验。该辅助流程独立于预测模型使用的预提取特征。

使用 4,850 条预对齐片段训练与评估；通过连续片段遮挡研究局部缺失，并预测 30 条无标签样本。

在冻结融合模型上计算八种模态组合的 Shapley 归因与位置遮挡效应，交互查看 20 条样本。

两视图平均 Macro-F10.6446

相对原 RM 辅助头提高 0.0238

清洁输入与 40% 混合缺失的指标均值

最终融合模型在 727 条测试样本上的结果
输入条件	Macro-F1 ↑	Accuracy ↑	MAE ↓
清洁输入	0.6550	0.6809	0.6099
40% 混合缺失	0.6341	0.6630	0.6210

727 条历史留出样本；测试结果曾被查看，不属于全新盲测。缺失实验采用编码后位置遮挡；附件 3 / 4 无真值标签。

离线 APP · 2.2.1

Android 应用支持文本、语音和视频输入，在设备本地计算情感极性与强度，并显示融合参数。

纯文字接入最终模型；手机音视频为迁移试验，尚未真机实测。