【论文笔记】CLIP-guided Prototype Modulating for Few-shot Action Recognition

小嗷犬2024-12-152024-12-22

基本信息

标题: CLIP-guided Prototype Modulating for Few-shot Action Recognition
作者: Xiang Wang, Shiwei Zhang, Jun Cen, Changxin Gao, Yingya Zhang, Deli Zhao, Nong Sang
发表: IJCV 2023
arXiv: https://arxiv.org/abs/2303.02982

摘要

从大规模对比语言图像预训练如CLIP近期在众多下游任务中展现出显著的成功，但在具有挑战性的小样本动作识别（FSAR）任务上仍处于探索阶段。

在本工作中，我们旨在将CLIP强大的多模态知识迁移，以缓解数据稀缺导致的原型估计不准确问题，这是低样本环境中的关键问题。

为此，我们提出了一种名为CLIP-FSAR的CLIP引导原型调制框架，它包含两个关键组件：一个视频-文本对比目标和一个原型调制。

具体来说，前者通过对比视频及其对应的类别文本描述，弥合了CLIP与小样本视频任务之间的任务差异。

后者利用CLIP的可迁移文本概念，通过时间Transformer自适应地细化视觉原型。

通过这种方式，CLIP-FSAR能够充分利用CLIP中的丰富语义先验，获得可靠的原型并实现准确的小样本分类。

在五个常用基准上的大量实验证明了我们提出方法的有效性，CLIP-FSAR在各种设置下均显著优于现有最先进的方法。

源代码和模型将在https://github.com/alibaba-mmai-research/CLIP-FSAR上公开。

CLIP-FSAR

Overview

少样本动作识别旨在利用少量视频识别新的动作类别。

在一个典型的少样本设置中，存在两个类别不重叠的数据集，一个基础数据集 $\mathcal{D}_{train}$ 用于训练，一个新数据集 $\mathcal{D}_{test}$ 用于测试。

为了模拟测试环境，通常在训练过程中从 $\mathcal{D}_{train}$ 中采样大量少样本任务（或称为episode）来优化模型。

对于一个标准的 $N$ -way $K$ -shot 任务，存在一个支持集 $S = \{s_1, s_2, ..., s_{N \times K}\}$ ，包含 $N$ 个类别和每个类别 $K$ 个视频。

任务的目标是基于支持样本对查询视频 $q$ 进行分类。

为了方便表述，我们考虑 $N$ -way 1-shot（即， $K = 1$ ）任务来展示我们的框架。

遵循先前的工作，在输入视频上实施了一种稀疏帧采样策略以减少计算负担。

首先，我们采用CLIP的视觉编码器 $\mathcal{V}$ 来生成输入视频帧的特征，以及文本编码器 $\mathcal{T}$ 来提取相应类别自然语言描述的文本嵌入。

然后，我们对这些获得的帧特征和文本特征应用视频-文本对比目标，以适应CLIP到少样本视频任务。

此外，我们提出了一种原型调制，以细化少样本度量目标的视觉原型。图2展示了我们CLIP-FSAR的整个框架。

Video-text contrastive objective

给定一个支持集 $S = \{s_1, s_2, ..., s_N\}$ 和一个查询视频 $q = \{q^1, q^2, ..., q^t\}$ ，其中 $s_i = \{s_i^1, s_i^2, ..., s_i^t\}$ 是一个由稀疏采样的 $t$ 帧组成的支持视频。

视觉编码器 $\mathcal{V}$ 用于编码视频特征：

$f_{s_i} = \mathcal{V}(s_i), \quad f_q = \mathcal{V}(q)$

其中 $f_{s_i} \in \mathbb{R}^{t \times C}$ ， $f_q \in \mathbb{R}^{t \times C}$ ， $C$ 是通道的数量。

然后我们使用文本编码器 $\mathcal{T}$ 通过提示模板 a photo of [CLS] 提取基类的文本特征，并将获得的文本特征表示为 $\{w_i\}_{i=1}^B$ ，其中 $B$ 是基类数据集 $\mathcal{D}_{train}$ 的总类数， $w_i \in \mathbb{R}^C$ 是一个特征向量。

遵循先前的做法，为了在文本编码器中保留原始预训练的可转移知识并减少优化负担，我们在训练过程中固定 $\mathcal{T}$ 不进行更新。

为了弥合CLIP和少样本视频任务之间的任务差异，我们模拟原始CLIP训练目标，以最大化视频特征和文本特征之间的相似性，如果它们是匹配对，则最小化其他情况。

为了实现这一目标，我们首先计算视频-文本匹配概率如下：

$p_{(y=i|v)}^{video-text} = \frac{\exp(\text{sim}(\text{GAP}(f_v), w_i) / \tau)}{\sum_{j=1}^B \exp(\text{sim}(\text{GAP}(f_v), w_j) / \tau)}$

其中 $v \in \{s_1, s_2, ..., s_N, q\}$ ， $\text{sim}$ 是余弦相似度函数， $\text{GAP}$ 是全局平均池化的缩写， $\tau$ 表示可学习的温度因子。

然后，我们在预测值和实际类别标签之间施加交叉熵损失 $\mathcal{L}_{video-text}$ 来优化目标。

Prototype modulation

现有的少样本动作识别方法，如OTAM，通常通过比较查询视频 $q$ 与支持视觉原型的时间对齐距离来分类查询视频 $q$ 。

在少样本动作识别任务中，视频原型是一系列帧原型，请参阅OTAM以获取更多详细信息。

查询视频 $q$ 与支持视频 $s_i$ 之间的距离可以表示为：

$d_{q, s_i} = \mathcal{M}(f_q, f_{s_i})$

其中 $\mathcal{M}$ 表示时间对齐度量。

在OTAM中， $\mathcal{M}$ 是动态时间规整的一种变体，用于测量支持-查询距离作为帧对齐成本。

少样本性能在很大程度上依赖于原型估计的准确性。

一方面，在低样本场景中，由于数据稀缺，视觉信息往往不足，导致不准确的原型。

另一方面，视觉和文本模态之间存在互补性，CLIP的文本描述表示涉及丰富的语义先验。

基于这些，为了提高支持原型的可靠性，我们建议利用信息丰富的支持文本特征来细化原型。

具体来说，在支持视觉特征 $f_{s_i}$ 的基础上，我们将文本特征沿着时间维度堆叠到对应的视频 $s_i$ ，即 $\mathbb{R}^{t \times C} \cup \mathbb{R}^C \rightarrow \mathbb{R}^{(t+1) \times C}$ ，并使用 Temporal Transformer 来自适应地融合特征。