在热门科技播客“Big Technology Podcast”中，Meta首席AI科学家、图灵奖得主杨立昆（Yann LeCun）参与节目，深入探讨了生成式AI的困境以及大语言模型的发展瓶颈等关键话题。

在谈及生成式AI为何难以做出科学发现时，杨立昆指出，以大语言模型为代表的现有AI技术存在局限性。虽然模型能够存储海量人类知识，但它们本质上是基于文本训练，通过统计规律生成答案，无法真正创造新事物。大模型就像拥有巨大记忆和检索能力的系统，而非能够为新问题发明解决方案的“智能体”。与人类不同，人类在面对新情况时，能够利用常识和心理模型思考并解决问题，而大模型缺乏这种能力，它们无法在文本之外的抽象连续空间中进行推理，理解物理世界中物体的运动变化。

杨立昆认为，当前大语言模型的发展已接近瓶颈，训练数据的增长带来的回报逐渐递减。目前，模型训练已使用了大量互联网文本数据，进一步获取数据的成本高昂且效果不佳。此外，合成数据和人工标注等方式也无法从根本上解决模型理解逻辑和常识的问题。因此，AI领域迫切需要新的范式，构建具备搜索、规划和推理能力的系统，以实现真正的智能，像人类和动物一样快速适应新情况并解决问题。

虽然AI在理解物理世界方面仍面临挑战，但杨立昆肯定了其取得的一定进展。例如，AI视频生成系统在某些场景下能够呈现出符合物理规律的画面，但，这并不意味着AI真正理解了物理世界。以儿童学习为例，儿童在成长过程中仅通过少量数据就能理解重力等基本物理概念，而当前最大的语言模型即使经过大量文本训练，也难以达到儿童对物理世界的理解水平，这表明仅依靠文本训练无法实现人类水平的AI，需要寻找更有效的方式让AI理解世界。

为此，其团队正在研究一种名为联合嵌入预测架构（JEPA，Joint Embedding Predictive Architecture）的技术。与传统的生成式架构不同，JEPA不是通过重建数据来学习，而是对原始完整数据和损坏数据分别进行编码，再训练预测器根据损坏数据的表示预测完整数据的表示，从而学习到数据的抽象表示。这种抽象表示能够忽略输入中的不可预测细节，专注于更具一般性和可预测性的特征，进而让AI对物理世界中的可能性和不可能性做出判断，实现推理和规划。实验结果显示，JEPA在学习图像和视频的良好表示方面表现出色，能够检测出视频中不符合物理规律的现象，为AI理解物理世界提供了新的途径。

在开源模型与专有模型的比较上，杨立昆表示，开源世界的进步速度更快，能产生更多有趣的想法。例如，Deepseek等开源项目展示出强大的创新能力，小团队在较少限制下能够提出全新的理念，推动整个AI领域的发展。而且，开源模型在成本、安全性和可控性方面具有优势，越来越多的企业在产品部署阶段选择使用开源模型。他还强调，全球各地都有优秀的科学家，开源能够汇聚世界各地的智慧，促进科技的快速进步。像中国科学家提出的ResNet架构，以及巴黎团队开发的第一个Llama模型，都是开源创新的有力例证。

杨立昆认为，在当前AI投资热潮下，理解AI技术的真实发展状况和未来趋势至关重要。虽然新范式的成熟应用可能还需3-5年，但在此期间，持续的研究和探索将为AI的长远发展奠定基础。随着技术的不断演进，AI将在理解物理世界、实现真正智能等方面取得更大突破，为社会带来更多价值。

参考资料：https://www.youtube.com/watch?v=qvNCVYkHKfg