【新智元导读】东北大学、武汉大学等的研究人员首次提出统一处理图像与视频的无监督领域自适应语义分割框架，通过四向混合机制（QuadMix）和光流引导的时空聚合模块，有效缩小跨域差异，显著提升模型性能，刷新多项基准记录。该方法不仅解决了图像与视频任务割裂的问题，还为未来多模态感知系统奠定了基础。 在语义分割领域，无监督领域自适应（Unsupervised Domain Adaptive Semantic Segmentation，UDA-SS）旨在将有标签的源域知识迁移到无标签的目标域。随着数据规模和多样性的迅速提升，该任务日益重要。 最近，东北大学、武汉大学、英国萨里大学、新加坡南洋理工大学的研究人员首次提出统一处理图像与视频UDA-SS的框架，通过统一特征空间建模和统一训练路径，有效解决上述割裂与低效问题。 为此，研究人员设计了全新机制QuadMix（四向混合），构建连续、稳健、丰富的中间域表示，从而大幅缩小跨域差异。并进一步引入光流引导的时空聚合模块，用于细粒度特征的分布对齐。 统一不是简单地「通用化」，而是一种深入语义建模的能力提升。QuadMix作为桥梁，不仅使图像和视频任务共享表征基础，更通过可扩展的路径结构，有望实现跨模态、跨场景的泛化能力，从而为未来多模态感知系统奠定了范式基础。 这种设计不仅打破了传统一阶/双向Mixup的限制，更是首次在特征空间中引入交叉式路径结构，最大限度地提升了域内连续性与语义对齐能力。 图2 不同领域混合范式的对比。与现有方法相比（存在如域内不连续性，特征泛化性差，以及特征分布不一致问题），研究人员提出的QuadMix方法在空间（时间）维度的像素级与特征级上，同时对域内混合和跨域混合进行了泛化与增强。其中符号「*」表示样本模板 图3 所提出的QuadMix用于UDA-SS的整体框架概览。图像领域自适应语义分割（Image UDA-SS）遵循一条并行流程，唯一的区别在于不包含时间线索，如图中虚线所示。图(a)：QuadMix包含四条全面的域内/跨域混合路径，在时空像素层与特征层上桥接域间差异。像素级混合作用于相邻帧、光流和标签/伪标签，旨在迭代生成两个增强的跨域中间域：T→(S→S)和S→(T→T)。这些中间域克服了源域S与目标域T内部的非连续性，并展现出更具泛化性的特征，从而有效弥合域间差异。此外，在quad-mixed域之间进行的特征级混合，有助于缓解因不同视频上下文导致的特征不一致问题。图(b)：光流引导的时空特征聚合模块将跨域视频特征压缩至一个紧凑的类别感知空间中，有效最小化类内差异，并提升类间判别能力，从而增强目标域的语义表征能力。整个训练过程是端到端的。在图(c)中，目标域测试阶段需要输入相邻帧堆叠的序列和光流 图4 展示了在视频UDA-SS中，QuadMix的多种混合策略示例：(a)为源域S和目标域T的原始样本（QuadMix之前）；(b)显示了源模板S*（如人物、骑手）与目标模板T*（如交通标志、天空）；(c)展示了域内混合路径S→S与T→T的结果；(d)展示了进一步的跨域混合路径S→(T→T)与T→(S→S)，即QuadMix后的结果。这些混合策略分别作用于视频帧、光流与标签/伪标签。需要特别说明的是，每一轮训练中所需的Patch模板均通过在线机制根据前一轮（n?1）自适应生成 图5 展示了用于领域对齐的光流引导时空特征聚合过程，其中t′表示前一时间步，ω^T_{t′→t}表示目标帧的时间聚合权重。?{t′→t}表示从前一时间步t′通过光流引导warp得到的帧特征，其中「→」表示沿时间维度的warp方向。 在各种任务上，该方法均显著超过现有SOTA方法，如DACS、ProDA、DAFormer、SAC、CMOM等。其中最引人注目的是：在SYNTHIA-Seq→Cityscapes-Seq视频迁移任务上，研究人员使用Vision Transformer架构（QuadMix ViT）实现了67.2的mIoU，刷新历史最好结果，领先前SOTA（PAT、TPL-SFC）近12个百分点。 图6 来自Cityscapes-Seq验证集的三个连续帧的定性结果。结果展示顺序如下：目标图像、真实标签、仅源域模型的语义分割结果、DA-VSN[16]、TPS[17]、CMOM[2]以及提出的方法 图7 展示了不同混合范式在t-SNE空间中的可视化效果，分别以sign（第一行）和pole（第二行）两个类别为例。子图(a)到(e)的实验设置对应表VI中的消融实验编号：Exp.ID 0*、ID 6、ID 1、ID 3和ID 12。请注意，子图(b)、(d)和(e)中的点数相同。子图(b)展示的是域内混合（intra-mixed）后的特征嵌入，呈现出较为连续的分布；而子图(e)展示的 四向混合（quad-mixed） 域则表现出更具泛化性的特征分布，而非聚集式的形式。这种分布更有效地缓解了域内不连续性问题，并更好地实现知识迁移中的细粒度特征分布拉近。
