INFERENCE
在线推理
在本机浏览器运行论文的 RM + BERT LoRA 模型，计算三类情感概率与情感强度。
本机计算模型按需下载，输入与预测留在阅读者的电脑。首次完整运行约下载 254 MB；建议使用桌面浏览器，低内存设备可能无法完成加载。
输入数据
CMU-MOSEI · aligned_50附件 4 · 样本 19
People are surprisingly forgiving brands when they own up to mistakes, and unfortunately some haters out there love to point fingers and jump all over imperfections, but for the most part, people understand
案例包含原始对齐语音与视觉特征，以及论文推理入口使用的 BERT 文本特征和词元编号。该样本没有真值标签。
等待运行
预测结果
CPU · WebAssembly运行模型后显示本次计算结果。
融合情感强度
−3 负向0+3 正向
融合参数
- 文本可用度
- 分类专家权重
- 回归专家权重
- RM 情感强度
- LoRA 情感强度
- 本次用时
类别取融合概率最大项，强度由独立回归分支计算。概率未经独立校准；单个无标签案例用于检查推理过程，不能衡量准确率。
输入超过 48 个内容词元，已按训练长度截断。
计算记录
模型与算法
RM 分支集成种子 17、29、43、71、101 的五个模型；文本分支使用同一 BERT 基座上的五组 LoRA。各分支先对类别概率取均值，再按文本可用度融合，并应用验证集冻结的类别偏置。
w_{\mathrm{c}} = 0.8f^2,\qquad w_{\mathrm{r}} = 0.6f^2
p = \operatorname{softmax}\!\left(\log\!\left((1-w_{\mathrm{c}})p_{\mathrm{RM}}+w_{\mathrm{c}}p_{\mathrm{LoRA}}\right)+b\right)
\hat{y} = (1-w_{\mathrm{r}})\hat{y}_{\mathrm{RM}} + w_{\mathrm{r}}\hat{y}_{\mathrm{LoRA}}
f 为可见内容词元比例；UNK 不计入可用内容，PAD、CLS、SEP 不计入分母。b = (0.25, 0, 0.025)，依次对应负向、中性、正向。BERT 基座以 FP16 存储、FP32 运算，LoRA 保留 FP32；导出精度与论文 Python 入口的差异见验证记录。
推理通过 Web Worker 中的 ONNX Runtime Web 执行，使用本机 CPU。模型首次加载后尝试存入浏览器缓存；缓存不可用时仍可在线下载运行。停止计算会终止工作线程；清空会释放模型和当前输入。
输入协议
完整三模态输入采用论文的 50 位置对齐特征。当前页面接受英文文本或已提取的对齐特征；原始音视频不能直接输入；独立词级对齐流程的特征也不能替代此协议的预提取特征。
| 字段 | 格式 | 含义 |
|---|---|---|
schema | emomosaic_aligned_50_v1 | 输入协议版本 |
text / audio / vision | 38400 / 3700 / 1750 | 按位置展平的未标准化特征，维度为 768 / 74 / 35；缺失值与填充用零表示。 |
token_ids | 50 | BERT uncased 词元编号 |
observed | 3 × 50 boolean | 文本、语音、视觉的观测掩码；填充位置必须为 false。 |
length | 1 … 50 | 含特殊词元的有效长度 |
JSON 文件上限为 3 MB。可下载案例输入查看完整结构；模型内部使用训练集统计量进行标准化和截断。样本转写只作说明，推理使用数值特征及词元编号。