原文把方法写成一个三步流程,替换掉的正是思维链里的「贪心解码」这一步。
| 步骤 | 做法 |
|---|---|
| 1 | 用思维链提示词问模型 |
| 2 | 不从贪心解码取一条最优路径,而是采样出四十条不同的推理路径 |
| 3 | 把推理过程边缘化掉,只看最终答案,选出现最多的那个 |
论文里那道养鸭子的题最能说明这四条路径怎么走。同一个提问(一天 16 个蛋,早餐吃 3 个,做松饼用 4 个,剩下的每个卖 2 美元):
边缘化这个词是这个方法的核心。数学上它指的是「把一个变量积分掉」。这里的意思是:不关心哪条推理路径最可能,只关心哪个最终答案被最多路径指向。推理路径是中间变量,被消掉了,留在最后的只有答案的分布。
这个方法有三个前置条件,论文交代得很清楚:
| 条件 | 含义 |
|---|---|
| 最终答案必须可归类 | 答案要落在一个有限集合里,才能数它出现了几次 |
| 不需要额外训练 | 不用验证器、不用重排序模型、不用人工标注 |
| 兼容多数采样算法 | 温度采样、top-k、nucleus 采样都能用 |
第三个条件有个隐含后果:它不是「多采样几次总会碰对」。采样算法只负责产出多样性,答案怎么聚合是另一件事。作者专门做过对照,见后面的「对照实验」那节。
「答案落在一个有限集合里」这条限制很硬。论文自己在讨论思维树时指出过,多数投票这个启发式只在输出空间有限时成立,比如选择题、多选题、数学填空。遇到开放式生成(写一段话、画一张图),数答案这一步根本没法做。
作者在方法之后单独列了几条性质,这段比结果本身更能说明这个方法站在哪。
| # | 优势 | 说的是什么 |
|---|---|---|
| 1 | 完全无监督 | 不用额外人工标注、不用训练辅助模型、不用微调 |
| 2 | 任务无关 | 同一套解码策略,跨算术、常识、符号三类任务都能用 |
| 3 | 避开贪心解码的两个毛病 | 重复性与局部最优 |
| 4 | 缓解单次采样的随机性 | 单条路径可能歪,采四十条再投票就稳了 |
第 1 条跟之前的做法对比最明显。作者点名了两种更重的替代方案:一种要训练一个验证器,另一种要人工标注一批数据来训练重排序模型。自我一致性两样都不需要。
第 3 条是它相对思维链的原罪。贪心解码的问题不在于「错得离谱」,而在于它每一步都选概率最高的那个,于是走进一条局部最优的路出不来,它天然怕重复。自我一致性采 40 条不同路径,从源头上绕开了这个问题。
还有一点作者特别强调了:自我一致性跟通常的「集成」不一样。集成是训练多个模型再把输出聚合,而自我一致性是在单个模型上做,作用更像一个「自集成」。
第 4 条的「缓解」用得很准。它没有消除随机性,只是把它摊到 40 条上再用多数投票压下去。
作者在四个不同规模的模型上测,每一轮独立采样 40 条路径,跑 10 轮取平均。对照是思维链配贪心解码。
这个递增的趋势是最值得看的一处。20 亿参数那档只涨 3 个点,5400 亿那档涨了近 18 个点。作者的解释是:在低精度模型上,采样的 40 条里有大量是彻底走错的,投票也救不回来;模型本身越强,采出来的路径质量越高,投票机制才越有东西可投。
这跟思维链那篇的「涌现」是同一个现象的两面:思维链说推理能力是大模型长出来的,自我一致性说能力越强,这个解码策略的收益越大。两篇合起来看:推理方法的效果取决于底座模型的精度,不是免费的。
符号推理那部分是分布外测试。训练示例里给的是两个字母、两次抛硬币,测试时换成四个字母、四次。结果是在同样困难的前提下提升依然显著,说明这个方法在长度和步数上都还有余量。
所有数字都跑在 2023 年的模型上。这些解码策略本身还活着,但具体涨多少点已经不能照搬了:底座模型的推理能力已经大幅提高,贪心解码的基线也没那么低了。
作者拿自我一致性和四类方法做了对照,每一类都只改一个变量。
第一组最关键。同样采 40 条,按对数概率排序取最高的那条,也有提升,但小得多。这一条排除了「收益来自采样本身」的解释。采 40 条确实有用,但按概率取最优不如按答案一致性取最优,因为概率高低和最终答案对不对是两件事。
第二组里两者都是「保留多条路径」,区别在于集束搜索的筛选标准是概率,自我一致性的筛选标准是答案分布。
第三组作者试了加权求和(按概率加权)与多数投票。加权求和在部分任务上略高,多数投票则更稳。论文最终采用多数投票,因为它不需要模型额外输出概率值。
第四组的集成方法只换了提示词,模型本身的解码策略没变,贪心解码的重复性问题还在。
这是作者列的第一条局限:采 40 条路径意味着 40 倍的解码开销。他给的实用建议是:先试 5 到 10 条就能拿到大部分收益,因为性能很快就饱和了。
作者举了一个反例:有两条路径在读某个数量时把数字读错了,最后答案也不对,但推理读起来完全通顺。他把这件事说成「需要更好的办法把模型的推理接地到事实」。
这条比成本严重。多数投票能压住「随机歪掉的路径」,但压不住「系统性地歪」的路径:如果模型的错误是稳定的、可重复的,那么采 40 次会得到 40 个同样错误的答案,投票反而会把这个错误推得更稳。
作者列的第三条局限是:采样多样性与引导贪心解码的多样性之间存在张力,而这两者需要平衡。做法本身需要设计消融实验来处理这种张力。这条读起来更像是方法论上的坦白,而不是一个具体的缺陷。
论文没有做的一件事:没有把自我一致性和思维树这类带搜索的方法放在一起比。也就是说,「采样投票」和「树搜索回退」这两条路线的边界在哪里,这篇没有回答。
方法要求最终答案能落在一个可枚举的集合里才能数次数。数学题、选择题满足这个条件,开放式生成不满足。但论文没有说清楚这个方法的适用边界到底在哪,多开放算开放。它也没有测过任何开放式任务。
主实验一律采 40 条,然后在局限里建议「先试 5 到 10 条」。到底是采 5 条就能拿到八成收益,还是必须 40 条,论文的数据没有给成一张可直接查的表,只有一张曲线图说明会饱和。
前面提到的那条局限,模型生成通顺但错误的推理,作者承认了,但只是说「需要更好的办法接地」。他没有回答:这种情况下多数投票是帮忙还是添乱?如果 40 条里有 20 条同向错误,投票会把错误推到 50%,比单条采样更糟。
思维树那篇在同一时间发表,思路恰好互补:一个在同一条链上采多条然后投票,一个在每一步分叉然后回退。两篇都没有把对方列为对照。从 24 点游戏那个结果看,多数投票只有 9%、树搜索是 74%,这个差距恰好说明「多数投票」在输出空间无限时失效。但这是从另一篇论文的实验里推出来的,这篇自己没有意识到这个边界。
作者说「采 5 到 10 条能拿到大部分收益」,也说了「成本更高」,但没有把两者放在一起算一笔账:多花几倍的解码,换来几个点的准确率提升,值不值。



