---
type: publication
title: 样本选择偏差何以促成模型坍缩
description: ICML 2026 论文，研究低资源验证场景、样本选择偏差、模型坍缩与协作 Wasserstein 几何代理。
tags:
  - zh
  - publication
  - paper
  - accepted
  - icml-2026
  - synthetic-data
timestamp: '2026-06-02T22:56:50+08:00'
modified: '2026-07-16T20:08:42+08:00'
content_hash: 'sha256:09b8d93c182cc7e7940467c8a17797f2744016e10d4aa01ec370c6f5e2abc779'
reviewed_at: '2026-07-16T20:08:42+08:00'
review_due: '2027-07-16'
name: 样本选择偏差何以促成模型坍缩
language: zh
summary: ICML 2026 论文，研究低资源验证场景、样本选择偏差、模型坍缩与协作 Wasserstein 几何代理。
occupation: ICML 2026 paper
authors:
  - Xinbao Qiao
  - Xianglong Du
  - Wei Liu
  - Jingqi Zhang
  - Peihua Mai
  - 张萌
  - Yan Pang
venue: ICML 2026
location: 'COEX Convention & Exhibition Center, Seoul, South Korea'
year: 2026
status: accepted
publication_type: 会议论文
links:
  - label: OpenReview
    url: 'https://openreview.net/forum?id=FFXvnzM254'
  - label: arXiv
    url: 'https://arxiv.org/abs/2606.13732'
  - label: Code
    url: >-
      https://github.com/XinbaoQiao/When-Sample-Selection-Bias-Precipitates-Model-Collapse
  - label: ICML 2026 conference
    url: 'https://icml.cc/Conferences/2026'
translation_of: When_Sample_Selection_Bias_Precipitates_Model_Collapse
---
**样本选择偏差何以促成模型坍缩** 是 **[[Xinbao_Qiao|乔鑫宝]]**、Xianglong Du、Wei Liu、Jingqi Zhang、Peihua Mai、张萌和 Yan Pang 的 ICML 2026 会议论文。论文研究递归合成数据训练中的一种失效模式：当验证器只拥有本地、低资源证据时，它可能把稀有但有效的样本误判为低质量生成，使样本选择放大而不是抑制模型坍缩。论文把协作 Wasserstein 几何代理作为一种无需汇集原始数据的更宽分布参考。

![样本选择偏差何以促成模型坍缩 ICML 2026 poster](/papers/model-collapse/poster.png)

## 概述

论文研究递归合成数据训练中的 [[Model_Collapse|模型坍缩]]。已有工作常把数据选择视为稳定工具：验证器过滤生成样本，只让高质量合成数据进入下一轮训练。本文反过来把验证器本身作为分析对象。当验证器只看到目标分布中小规模、碎片化且有偏的局部切片时，选择会反复奖励靠近本地视角的样本，并删除未来生成器所需的全局相关尾部模式。

动机设置是低资源数据孤岛。医疗联合体、银行或专有机构可能因为原始数据不能汇集，只能使用自身有限参考数据评估合成样本。选择因此变成一种确认偏差机制：接近本地视角的样本被保留，而稀有但有效的模式被剪掉。新版论文尤其强调低资源社区更脆弱：尾部区域在合成数据增强开始前就已经代表不足，本地过滤会把数据稀缺放大为持续性的覆盖损失。

![局部选择偏差会收窄递归合成数据；协作 Wasserstein 验证有助于保持多样性](/papers/model-collapse/teaser.png)

## 方法

论文首先在 Gaussian 建模下形式化有偏 top-$\alpha$ 选择，并把它与递归代际中的方差坍缩联系起来。随后提出协作评估方法，用多方计算的分布代理替代单个本地验证器，并且不交换原始数据。方法上的转变是：从单个低资源孤岛判断样本质量，转向评估合成池与全局目标代理分布的拟合程度。

论文描述了两个方案：

- **Scheme I**：协作测地插值，在合成分布与本地真实分布之间的 Wasserstein geodesic 上构造代理测度；
- **Scheme II**：协作 Wasserstein barycenter 估计，为集体参考分布计算可复用的 barycenter 代理。

两个方案都使用 Wasserstein-gradient-based sample scoring，使合成样本由多方分布参考评估，而不是由一个有偏孤岛评估。

## 关键启示

- **数据筛选并不天然保护模型。** 在低资源场景中，验证器可能成为瓶颈：它倾向奖励看起来接近本地参考集的样本，并压制稀有但有效的模式。
- **模型坍缩也可能是治理问题，而不只是生成问题。** 论文把注意力从生成器本身转向选择过程：哪些合成数据被允许进入下一轮训练，决定了后续数据流的形状。
- **更好的多样性不一定需要共享原始数据，而可能需要共享评估视角。** 协作 Wasserstein 代理提供了更宽的分布参考，同时保留各机构对原始样本的边界。
- **最重要的实践警示是尾部覆盖。** 对代表不足的群体或低资源领域而言，狭窄验证器会把原本的数据稀缺放大为持续的覆盖损失。

## 结果

手稿报告了 CIFAR-10、STL-10 和 CelebA 上的 DDPM 风格递归图像生成实验。基线包括 Random selection、K-means、CenterMatch 和 CovMatch。在非 IID 或本地偏斜参考下，本地选择基线可能落后于随机选择；协作方案则能更好保持样本质量和模式覆盖。

核心结论是：低资源场景并不是高资源场景的简单缩小版。当真实数据覆盖稀缺或碎片化时，尾部模式本来就难以观测；本地参考选择会把稀有但有效的样本误认为低质量生成，从而系统性压制目标分布中代表不足的区域。附录中的 topic-local LLM 验证实验从语义角度支持了同一机制：用狭窄本地主题进行过滤，可能削弱 held-out 主题覆盖，而不是保护它。

## 定位

该工作属于 [[Synthetic_Data_and_Model_Collapse|合成数据]]、[[Synthetic_Data|合成数据（概念）]]、[[Recursive_Synthetic_Data_Training|递归合成数据训练]]、[[Data_Selection|数据选择]]、[[Sample_Selection_Bias|样本选择偏差]]、[[Data_Silos|数据孤岛]]、[[Collaborative_Evaluation|协作评估]] 和 [[Wasserstein_Geometry|Wasserstein 几何]]。它是乔鑫宝机器遗忘论文的合成数据对应面：不是问训练后如何删除数据，而是问训练前的数据选择和验证如何塑造未来训练流。低资源强调也把该论文与模型坍缩的社会维度连接起来：分布尾部损失可能对应文化、语言或机构中代表不足内容的消失。
