超越想象的自我一致性

一、自我一致性：开启新时代的生成之路

众所周知，大规模预训练语言模型（LLM）产生的结果质量和一致性一直是人们关注的焦点。在固定答案的提示下，自我一致性已被证明是一种有效的方法，通过选择获得最多票数的答案来提升生成结果的一致性。然而，在这篇论文中，我们提出了一种推广的自我一致性框架，将其应用范围扩展到没有固定答案的问题上。通过大量的模拟实验，我们证明了我们的方法能够从一组候选结果中恢复出最优或接近最优的生成结果。我们还提出了轻量级无参数相似性函数，即使无法访问令牌的对数概率，也能在代码生成、自动形式化和摘要任务中显著且一致地提升效果。我们的方法计算开销极小，无需辅助的重新排序模型或对现有模型进行修改。

二、突破自我：自我一致性的多重应用

2.1 自我一致性在代码生成中的应用

代码生成一直是计算机科学领域的重要研究方向。我们的自我一致性方法在代码生成任务中展现出了卓越的性能。通过对大量代码生成实例的模拟，我们发现我们的方法不仅能够提高生成结果的质量，还能保持结果的一致性。与传统的方法相比，我们的方法无需额外的计算开销，更加高效。

2.2 自我一致性在自动形式化中的应用

自动形式化是一项复杂而关键的任务，涉及将自然语言转换为形式化的数学语言。我们的自我一致性方法在自动形式化任务中取得了显著的突破。通过对大量自动形式化实例的模拟，我们发现我们的方法能够提高生成结果的一致性和准确性。同时，我们的方法无需依赖令牌的对数概率，计算开销极小，为自动形式化的实现提供了一种高效的解决方案。