DiScoFormer：在单一Transformer中统一密度与得分估计
huggingface发布了discoformer，这是一个无需重新训练即可跨分布估计密度和得分的transformer。这将经典方法推广到了高维度，并支持生成建模和科学模拟的即时适应。
Hugging Face 发布了关于 DiscoFormer 的研究，这是一种变压器，旨在无需重新训练即可同时估计数据分布的密度和得分。该模型使用交叉注意力作为核密度估计的可学习泛化，在高维情况下保持准确性，而经典方法在高维情况下会失效。它具有一个共享的骨干和两个头部，利用无标签的一致性损失来适应超出分布的数据，而无需真实值。这种方法弥合了灵活的神经网络和可解释的经典方法之间的差距，可应用于基于扩散的生成和科学模拟，如等离子体建模。