#世界模型
从维特根斯坦的早期语言哲学视角来看,世界是事态的世界,事态被语言描述。
这里的中心关系,是语言和世界的关系。
如果用微分流形的术语,「世界」有一些 atlas 到语言。事态的发展共轭到语言,就是文本从一个状态到另一个。
我们把文本嵌入到线性空间,这又是一个 atlas,并且共轭到线性空间之间的函数。
最后这个函数被神经网络拟合。
但问题是,这两个 atlas 都未必是同构的,甚至可能很不一样。没有什么理由认为 tokenizer 过程的线性空间是语义的恰当空间,也没有理由认为语言当真是事态的忠实体现(晚期维特根斯坦本人就反对了自己的观点)。
从哈密顿力学的角度来看,世界是一个相空间,事态是相空间中的点,事态的发展是相空间中的轨迹。 相空间中的场是外部额外的条件,通过外部引导来控制事态发展方向。
把世界模型看作一个相空间,那么输入的 prompt 起到特定的场的作用。