通信记录之一 关于 LLM

因为我觉得应该推广一下，所以就发出来了。这话是 Graygoo 说的。

--

下面这个想法是突然有的。LLM 是不是正在逼近老维早期梦寐以求的“语言的边界”？我觉得 LLM 正在证否两点，一个是康德式的理性统一性或者道德－理性联结，另一个是“语言的边界就是世界的边界”。

关于康德，LLM 的训练中发现不同学科训练无法通约，没经过严格 RLHF 训练的大模型也没有自发产生道德的迹象；关于分哲，读了所有语言的 LLM 达到（你认为的）世界的边界了吗？如果没有，那么分析哲学家能达到吗？如果能，那么他是否依靠语言之外的东西超越了 LLM 呢？如果不是，他凭什么比有这么多参数和训练资料，基于梯度下降和最小化 loss 构建的 LLM 能从语言中挖掘出更多东西？

我觉得现代的认知论研究必须要涉及 AI 啊。语言是实践的一部分，既影响实践，又是实践投射出的一个局部，我们当然可以在方法论意义上暂时孤立地研究它。不过，像分哲那样把它当做哲学的本源，一种所谓“所予”，就像试图对着一张卫生纸研究出它使用者的内心奥秘，完全是本末倒置。

其实已经晚了，从符号主义惨败之后，就该意识到绝大多数意义上的逻辑本体论都是鬼扯了。惨败到什么程度？对称信息博弈这个老家都守不住了，α-β 被 α-zero 打飞到不知道哪里了，连鳕鱼都开始搞 nnue，符号主义节节败退得没有一块能吹的阵地了。现在最新方向，连 α-zero 的 MCTS 框架都不用了，要让搜索也“可训练化”，彻底一元论，这根本上是联结主义和行为主义的胜利。联结主义对标唯物论，行为主义对标实践论，这不就完全对了吗？

困境也是有的。一年前天上还飘着两片乌云，一片是理工科强推理能力，一片是普遍领域的理性能力或者创新能力。一年过去 OpenAI 新模型靠着 RL，CF Rating 什么的成绩已经这么高了，算已经解决一朵，还剩一朵。这一朵可能是 AGI 路上最后一个阻碍，但不管从我的专业知识或者哲学立场，我都觉得最有希望搞定它的是 LeCun 那样的世界模型，而不是像一些三流学者幻想的所谓第一性原理那样重新引入什么符号主义残余。

应该这样说。最早的符号主义智能是分哲的最庸俗形态；早期 LLM 是后期维特根斯坦；现在的 LLM 是后期维特根斯坦的最高形态，也就是使用各种后训练来让模型掌握更彻底的静态化的实践属性，即他口中全部的语言游戏，这让它比纯粹的分哲聪明得多，但它也只能是静态的，上限就在目前的 LLM 这里了。就是说目前的训练已经几乎把语言游戏中一切营养都提取出来了。
现在几乎都在研究这几个方法，一个多模态，一个利用 CoT 合成数据然后左脚踩右脚螺旋升天，一个各种奇异 RL 针对性训练，一个试图提高训练资料质量。这里比较关键一点就是多模态，多模态算是跳出语言的第一步，OpenAI 不是发现训多模态同时能提升文字能力吗，这就对了！LeCun 设想的世界模型终于是跳出了语言，它也不完全彻底，应该被类比为杜威的实用主义，但这无论如何又要比维特根斯坦聪明。

说起这个，真没人研究过 AI 和哲的交叉领域吧。但是，两边理论上都需要这个东西，所以我感到很奇怪。对于哲，AI 不就是最稀缺的经验性证据吗？对于 AI，大伙都知道这里完全是实践远远走在理论之前，完全是盲人摸象，和玄学也差不了多少，所以理论上每个 AI 研究者都必须是哲学家，只不过哲学水平一般比较差，这时候一个更好的哲学解释不也是有用的吗？