扩散模型为何不只复刻训练集：score smoothing 让生成落在样本之间

明确结论

扩散模型产生训练样本之外结果的一种可解释机制，是神经网络学到的 score function 比经验分布对应的理想函数更平滑。平滑后的去噪动力学不再把所有轨迹都拉回有限训练点，而会在样本之间留下可达的插值区域。

这种平滑并非越强越好。研究的关键判断是方向性：它主要沿数据流形切向减弱向单个样本坍缩，同时尽量保留法向上回到流形的收敛，才可能兼顾真实性与新颖性。

核心技术要点

• 理想 score function 描述噪声样本在每个位置应向哪里移动；若完全拟合有限训练样本，反向去噪最终会收敛到这些样本，表现为记忆而非生成。
• 权重衰减等显式正则化让神经网络难以拟合分数场中的尖锐变化，两层 ReLU 网络的一维实验显示，平滑增强会扩大训练点之间的插值区域。
• 即使没有显式权重衰减，基于梯度的训练也可能产生隐式正则化与 score smoothing；论文用函数空间正则化理论连接这一现象与去噪动力学。
• 在高维流形近似中，切向平滑降低轨迹向离散训练点聚集的倾向，而法向分数场本就较平滑，因此仍可把噪声拉回有意义的数据流形。

适用场景

• 研究扩散模型的记忆、泛化与训练数据泄漏边界，而不是只用感知质量评价生成结果。
• 设计图像、分子或其他流形数据的生成实验，分析正则化强度对真实性和新颖性的共同影响。
• 为去重、近邻检索和训练样本归因建立更有针对性的审计假设。

实践建议

• 训练实验应同时报告最近训练样本距离、质量指标与多样性指标，并扫描不同显式正则化强度，避免把单一视觉质量当作泛化证据。
• 复现实验时先从官方公开代码的一维与低维设置入手，验证 score 场、轨迹和插值区域，再扩大到高维条件生成模型。
• 在生产模型中把该机制作为诊断假设而非安全保证；仍需使用训练集近邻检查、成员推断和敏感样本测试识别记忆风险。

局限与风险

• 官方明确把这项工作定位为初步机制解释；复杂数据分布、网络架构和条件生成任务可能出现论文简化设置没有覆盖的行为。
• 在样本之间插值不等于语义层面的原创，也不能回答版权、来源归属或输出是否与某个训练样本过度相似。
• 更强平滑可能损失细节或把轨迹留在低密度区域；实际模型仍需在新颖性、保真度和稳定性之间做经验验证。

延伸阅读

原始资料来自 Google Research。建议结合官方文档的最新版本核对具体 API、限制和配置。