Cohere公司研究员、伦敦大学学院博士劳拉·鲁伊斯（Laura Ruis）参加了播客节目《Machine Learning Street Talk》，在节目中，她分享了自己最新的研究：大模型的推理能力是靠“记忆”更多的知识，还是产生了一种更为普遍的认知模式？

Laura在节目中提到，大模型目前在生成零样本推理结果时的表现十分优秀，在没有明确任务定义的情况下，它们也能进行一些步骤性的数学推理。但，这种推理能力是否仅依赖于模型在数据中见到过的明确实例呢？为了弄清楚这个问题，她和团队使用了一种叫影响函数的方法来分析大模型如何产生推理结论。

影响函数提供了一种间接评估工具，可以近似回答一个反事实问题：如果从训练数据中移除某个具体文档，是否会对模型的推理能力产生影响？通过将影响函数应用于不同类型的任务，Laura发现了一个重大的区别。例如在事实检索任务中，文档的影响通常是高度局部化的，即不同的问题依赖于不同的数据段。而在推理任务中，相似任务的多个问题会受到类似文档群的影响。这表明，大模型在推理任务中，更倾向于从大量文档中抽取一般化的模式，而不是仅仅记忆某些特定的事实。

另一个有趣的发现是，代码（如Python代码）在模型的推理能力中扮演了重要角色。Laura观察到，用来描述数学公式或程序逻辑的代码逻辑，对模型在多步推理任务中有显著的影响力。这表明，类似于代码的明确结构表示可能是一种极为有效的“程序化知识来源”，帮助模型通过从描述性程序中学习步骤化推理，而非单纯地记忆具体答案。然而，对于代码为何同时可能在某些情况下负面影响推理过程，Laura表示在这方面目前尚无明确答案，但她将这一现象视为未来值得深入探索的问题。

这种“程序化知识”的概念让人联想到更大的哲学和认知学问题：大模型是在“模拟”推理，还是在某种层面上“进行推理”？Laura认为，其中可以确认的一点是，大模型通过对语料库的广泛抽象和类比学习，开发出了一种能够在不同上下文间泛化的能力。与传统的形式推理不同，这种推理模式并不依赖严格的逻辑操作，但却能够表现出强大的适应性。然而，她也指出，这并不意味着当下的模型能够胜任更复杂的归纳推理或科学推理，而这些能力在很大程度上仍需要更深入的验证和优化。

除了推理能力，Laura对“代理性”这一主题表现出浓厚的兴趣。在她看来，代理性可以被定义为一个系统在环境中采取行动以影响未来输入的能力。虽然目前大型语言模型主要作为工具，而非真正的“代理”，但模型学习过程本身可能在某种程度上隐含了代理的雏形，例如，模型可能会“建模”训练文本中人类的意图，并以此选择下一步生成的内容。

她进一步讨论了代理性的潜在风险。如果代理性从模型中自然涌现，甚至没有被显式设计，它可能会导致不可预测的后果。此外，Laura也表达了对大模型在社会中被误用的担忧，例如它们可能会被动或主动地塑造舆论，甚至造成潜在的不平等。这不仅仅是技术问题，也是整个社会需要准备面对的挑战。

当被问及人工智能的发展方向和局限时，Laura对规模化技术持开放态度。她承认，行业内规模化训练的策略已经取得了极大的成功，但她也认为，规模化并不一定是挖掘AI潜能的最佳途径。她提到了从代码中学习程序化知识以及环境互动学习作为可能的创新方向，并思考了这些方法是否可以在更少数据的情况下实现更高效的智能训练。

在交流中，Laura反复提到了“模拟”与“真实推理”的界限问题。她引用了许多人类语言的模糊性，并指出，尽管语言模型经常被认为是在“模拟”，但其实人类语言和思维的生成过程本身也充满了近似推理、模糊定义和多样化表达。因此，模型的“非正式”推理过程或许与人类思维方式比我们想象得更接近。

通过这些工作，Laura不仅在推动我们对大模型思维过程的理解，还让我们重新审视了“推理”“意图”和“智能”这些传统概念。正如她所言，“理解大模型怎么思考，就像我们试图理解人类自己，也许并不总会有答案，但这正是推动科学和哲学进步的动力所在。”