chain of thought (CoT)

从起点出发，思考是一个树状发散的过程。 这个树的其中一条路可能是最佳答案 AR的问题是没有树结构，下一个token是固定的，即使生成中实际上是softmax的概率。 这样原始的AR可能在文本从左到右的意义上陷入局部最优，即下一个词选择里最优的，但这个词对应的树中的路径不是最优的。

CoT 某种意义上是尽可能探索这个树，然后再选择最优路径。具体方式是通过 but wait, 然而 这种转折式 token 来让思维链转向；然后通过注意力机制把整个树都拉进来思考。

突然想到路径积分了

排序等价于遍历，如何从排序算法启发遍历思路？