基本信息

标题: A Token-level Contrastive Framework for Sign Language Translation
作者: Biao Fu, Peigen Ye, Liang Zhang, Pei Yu, Cong Hu, Yidong Chen, Xiaodong Shi
发表: ICASSP 2023
arXiv: https://arxiv.org/abs/2204.04916

摘要

手语翻译（SLT）是一种有望弥合聋人与听力人士之间沟通鸿沟的技术。

最近，研究人员采用了需要大规模语料库进行训练的神经机器翻译（NMT）方法来实现SLT。

然而，公开可用的SLT语料库非常有限，这导致了token表示的崩溃和生成token的不准确。

为了缓解这一问题，我们提出了ConSLT，这是一种新的针对手语翻译的token级对比学习框架，通过将token级对比学习融入SLT解码过程来学习有效的token表示。

具体来说，ConSLT在解码过程中将每个token及其由不同dropout掩码生成的对应token视为正对，然后随机从不在当前句子中的词汇中抽取K个token来构建负例。

我们在两个基准（PHOENIX14T和CSL-Daily）上进行了全面的实验，包括端到端和级联设置。

实验结果表明，ConSLT比强大的基线实现了更好的翻译质量。

方法

对于每个token，我们通过不同的dropout噪声构建其正例，并从候选token集$\mathcal{C}$ 中随机采样$K$ 个token作为负例，其中$\mathcal{C} \subset \mathcal{V} \setminus \mathcal{S}$ 表示在词汇表$\mathcal{V}$ 中但不在当前句子$\mathcal{S}$ 中的token。

实验

主实验

消融实验

w/o CL 表示没有对比学习方法，S-CL 表示句子级对比学习方法，T-CL 表示token级对比学习方法。cos 表示使用余弦相似度作为距离度量，KL 表示使用KL散度作为距离度量。

总结

在这篇论文中，我们从表示学习的角度提供了一种缓解SLT低资源问题的新的见解。

我们引入了ConSLT，这是一种针对SLT的基于token的对比学习框架，旨在通过将当前句子之外的词汇中的token推远来学习有效的token表示。

值得一提的是，ConSLT可以应用于不同的模型结构。

我们还探讨了各种对比策略的影响，并提供了细粒度分析来解释我们的方法是如何工作的。

实验结果表明，对比学习可以显著提高SLT的翻译质量。

在未来，我们将进一步研究手语视频和口语文本之间的跨模态关系。