文本退化引发推理瓶颈
huggingface的研究表明，文本退化是自回归模型的一种结构性故障，导致极少数请求消耗了近一半的总推理时间。
研究人员发现，达到最大标记限制并表现出 n-gram 重复模式的请求会大大增加推理延迟。诸如重复惩罚或温度调整之类的标准解决方法是不够的，因为它们无法解决根本原因：模型的训练目标。最大似然估计（Maximum-likelihood estimation）优化了立即的下一个标记概率，而不考虑整体序列质量，从而使模型容易陷入无限循环，永远不会发出序列结束标记。
huggingface的研究表明，文本退化是自回归模型的一种结构性故障，导致极少数请求消耗了近一半的总推理时间。
研究人员发现，达到最大标记限制并表现出 n-gram 重复模式的请求会大大增加推理延迟。诸如重复惩罚或温度调整之类的标准解决方法是不够的，因为它们无法解决根本原因：模型的训练目标。最大似然估计（Maximum-likelihood estimation）优化了立即的下一个标记概率，而不考虑整体序列质量，从而使模型容易陷入无限循环，永远不会发出序列结束标记。