【论文笔记】Visual Alignment Pre-training for Sign Language Translation

小嗷犬2024-12-222024-12-22

基本信息

标题: Visual Alignment Pre-training for Sign Language Translation
作者: Peiqi Jiao, Yuecong Min, Xilin Chen
发表: ECCV 2024

摘要

手语翻译（Sign Language Translation, SLT）旨在将手语视频翻译为文本句子。

尽管gloss序列为SLT中的视觉表征学习提供了有效的对齐监督信息，但标注gloss的高成本限制了其可扩展性。

现有工作在gloss-free的情况下尚未取得令人满意的结果。

在本研究中，我们将这一挑战归因于视觉token和文本token之间的灵活对应关系，并通过从文本句子中构建类似gloss的约束来解决这一问题。

具体而言，我们提出了一种**视觉对齐预训练（Visual Alignment Pre-training, VAP）**方案，通过以贪婪的方式对齐视觉和文本token来利用视觉信息。

VAP方案增强了视觉编码器捕获语义感知视觉信息的能力，并促进了与在大规模语料库上预训练的翻译模块的更好适配。

针对四个SLT基准的实验结果证明了VAP的有效性，能够生成合理的对齐，并显著缩小与gloss-based方法之间的性能差距。

介绍

主要贡献

探讨了gloss annotation在手语翻译（SLT）中的作用，并展示了在gloss-free设置下利用视觉信息的重要性。
提出了视觉对齐预训练（Visual Alignment Pre-training, VAP），通过以贪婪的方式对齐视觉和文本token来促进视觉表征学习。
对gloss-free的SLT模型训练进行了深入的实验。实验结果表明，VAP具有良好的效果，能够生成可靠的对齐结果，并接近gloss-based的方法。

方法

gloss标注在手语翻译中的作用

手语翻译旨在将手语视频翻译为对应的文本句子。如图2所示，通用的SLT网络可以划分为一个视觉编码器 $\psi_V$ 和一个翻译模块 $\psi_T$ 。给定一个手语视频或其他类型的输入（例如，骨架数据） $\mathcal{X}$ 和对应的文本句子 $s = \{s_1, \cdots, s_U\}$ ， $\psi_V$ 从视频中提取视觉特征 $\mathcal{V} = \{v_1, \cdots, v_r\}$ ，而 $\psi_T$ 基于 $\mathcal{V}$ 预测 $s$ 。网络通过最小化负对数似然来优化，其公式为：

$\mathcal{L}_{SLT} = -\log p(s | \mathcal{V}; \theta_{\psi_V}, \theta_{\psi_T}).$

在自然语言处理（NLP）中，单词对齐通常指的是在平行文本中指示对应单词 $a = \{a_i\}_{i=1}^m$ 和 $b = \{b_j\}_{j=1}^n$ 的过程，可以表示为矩阵 $\mathcal{A} \in \mathbb{R}^{m \times n}$ ，其中 $A_{ij} \in \{0, 1\}$ 表示 $a_i$ 是否与 $b_j$ 对应。考虑到 $\mathcal{V}$ 和 $s$ 之间的对齐关系 $\mathcal{A}$ ，最近gloss-based的SLT研究中使用的损失函数可以重新表述为：

$\mathcal{L} = \mathcal{L}_{SLT} + \mathcal{L}_{SLR} = -\log \sum_{\mathcal{A}} p(\mathcal{A} | \mathcal{V}) p(s | \mathcal{V}, \mathcal{A}) - \log p(g | \mathcal{V}),$

其中 $g = \{g_1, \cdots, g_M\}$ 表示包含 $M$ 个gloss的gloss标注，它与 $\mathcal{V}$ 单调对齐。如上文公式所示， $\mathcal{L}_{SLT}$ 的监督来自两个方面：对齐本身和翻译与对齐的结合。gloss-based的方法通过引入额外的监督来提高视觉信息的利用率。然而，之前的gloss-free方法表现较差，主要原因在于 $\mathcal{V}$ 和 $s$ 之间的灵活对应关系，这阻碍了最佳对齐的寻找，并无法为视觉编码器提供足够的监督。

基于以上分析，我们认为解决该问题的关键在于从文本句子中构建类似gloss的约束，并提出了 视觉对齐预训练（Visual Alignment Pre-training, VAP） 方案。

视觉对齐预训练

gloss-based的传统方法通常利用CTC（连接时序分类）对 $\psi_V$ 进行监督，假设 $\psi_V$ 中所有的单调对齐均成立，公式如下：

$L_{CTC}(g, V) = -\log(p(g|V; \theta_{\psi_V})) = -\log\left(\sum_{\pi}p(\pi|V; \theta_{\psi_V})\right)$

其中 $\pi$ 表示 $V$ 和 $g$ 之间的一种对齐关系。我们假设视频中每个手势的近似含义可以在对应的文本句子中找到，并尝试利用 $V$ 和 $s$ 之间的对齐关系来监督 $\psi_V$ 。然而， $V$ 和 $s$ 之间存在多达 $2^{T \cdot U}$ 种潜在的对齐方式，这对在没有适当约束的情况下（例如单调关系或gloss注解所具有的约束）识别最佳对齐关系提出了挑战。受近期视觉-语言预训练技术的启发，我们提出了一种VAP方案，用于简化对齐过程，以贪婪方式近似最佳对齐，并为视觉编码器提供逐帧标签。

具体而言，给定一个文本句子 $s$ ，我们首先使用文本编码器 $\psi_E$ 提取其对应的文本特征 $\psi_E(s)$ ，然后通过两个简单的线性层将 $V$ 和 $\psi_E(s)$ 投影到一个联合特征空间：

$\tilde{v}_t = \text{Linear}(v_t), \quad \tilde{s}_u = \text{Linear}(\psi_E(s_u)).$

随后，通过识别每个视觉特征与最相似的文本特征，可以计算对齐关系 $\mathbf{A}^{V2S} \in \mathbb{R}^{T \times U}$ ：

$A^{V2S}_{t,u} = \begin{cases} 1, & \text{for } u = \arg\max_{u'} f(\tilde{v}_t, \tilde{s}_{u'}), \\ 0, & \text{otherwise}. \end{cases}$

其中， $f(\cdot, \cdot)$ 以余弦相似度的形式实现。为了确保 $\mathbf{A}^{V2S}$ 的合理性，我们通过以下公式计算视频和文本的相似性 $\rho(\mathcal{X}, s)$ ：

$\rho(\mathcal{X}, s) = \frac{1}{T} \sum_{t=1}^{T} f(\tilde{v}_t, A^{V2S}_t \tilde{s}),$

并采用对比学习模式优化 $\mathbf{A}^{V2S}$ 。然而，仅依赖 $\rho(\mathcal{X}, s)$ 进行预训练可能会导致 $\psi_V$ 的输出坍缩为一个恒定值。为了避免这种情况，我们还计算文本与视频的相似性 $\rho(s, \mathcal{X})$ ，该相似性通过为每个文本特征识别最相似的视觉特征 $\mathbf{A}^{S2V}$ 来计算。

在此基础上，对于包含 $N$ 个视频-文本对 $\{ \mathcal{X}^i, s^i \}_{i=1}^N$ 的小批量，可以通过以下公式计算对比损失：

$L_{\text{Align}} = -\frac{1}{2N} \left( \sum_{i=1}^N \log\frac{\text{exp}(\rho(\mathcal{X}^i, s^i) / \sigma)}{\sum_{j=1}^N \text{exp}(\rho(\mathcal{X}^i, s^j) / \sigma)} + \sum_{i=1}^N \log\frac{\text{exp}(\rho(s^i, \mathcal{X}^i) / \sigma)}{\sum_{j=1}^N \text{exp}(\rho(s^i, \mathcal{X}^j) / \sigma)} \right),$

其中， $\sigma$ 是用于缩放logits的预定义温度。通过所提出的 $L_{\text{Align}}$ ，我们增大了成对的视觉和文本特征序列之间的相似性，这将鼓励每个特征找到其最相关的配对特征并靠拢。

此外，对齐的计算仅依赖于gloss级别的信息，缺乏对齐时间一致性的约束。上文公式的分解表明，翻译损失也显著增强了对齐质量。我们通过实验（表3）展示，仅通过重新初始化翻译模块就可以提升性能，这表明优化对齐过程与提升翻译能力同步进行的重要性。因此，我们将 $L_{\text{SLT}}$ 纳入进来，以确保所用翻译模块的时间一致性，从而达到对齐的时间一致性。预训练阶段的最终监督目标如下：

$L_{\text{pre-train}} = L_{\text{Align}} + L_{\text{SLT}}.$

通过以上设计，我们可以计算视觉和文本token之间的近似对齐，并获得一个语义感知的视觉编码器。

端到端微调

与一般的机器翻译数据集相比，公共的手语翻译（SLT）数据集仍然规模有限。因此，我们采用在大规模语料库（如 mBART, T5）上预训练的翻译模块来替代浅层翻译模块，从而在微调过程中缓解对大量训练数据的需求。此外，类似于文献中的 G2T（Gloss2Text）任务，我们设计了一个伪gloss到文本（P2T，Pseudo-gloss2Text）任务，用于微调预训练翻译模块以更好地适应任务。

具体来说，我们可以基于对齐矩阵 $A^{v2s}$ 为每个手语视频生成一个伪gloss序列 $\tilde{g}$ 。由于 $A^{v2s}$ 为每个视觉特征识别出最相似的文本token，而视频的连续性导致局部窗口内的特征可能会引用相同的token，我们简单地合并重复的token，通过以下公式获得 $\tilde{g}$ ：

$\tilde{g} = \mathcal{B}(A^{v2s}s),$

其中， $\mathcal{B}$ 表示合并操作。P2T 的训练目标可以表述为：

$\mathcal{L}_{P2T} = -\log p(s|\tilde{g}).$

至此，我们已经有了预训练良好的视觉编码器和微调良好的翻译模块。接下来是对整个模型的端到端微调。我们采用一个两层的 MLP 作为视觉-语言映射器（V-L 映射器），与之前工作中相同，该模块负责将视觉特征投影到文本空间。在微调期间，我们仍然包括 $\mathcal{L}_{Align}$ 损失以持续改进视觉编码器，最终的总损失可以表示为：

$\mathcal{L}_{fine-tune} = \mathcal{L}_{Align} + \mathcal{L}_{SLT}.$

对齐质量评估

在上文中，我们假设视频中每个手语的大致含义可以在文本句子中找到，并通过识别最相似的文本token来计算对齐关系。基于这一假设，生成的伪gloss $\tilde{g}$ 也应该与手语视频单调对齐。然而，由于不同词汇之间的差异，我们无法直接通过gloss来评估生成对齐关系的质量。因此，我们提出了两种方法来间接评估生成对齐关系的质量。