关于大型语言模型（LLM）通往通用人工智能（AGI）道路的讨论，近期变得愈发激烈。“预训练通往AGI之路已死？”这样的标题，反映了业界对LLM潜力的重新审视。杨立昆等学者的研究表明，LLM在理解“意义”和实现真正的“创造力”方面，可能存在着难以跨越的认知鸿沟。这并非简单的技术瓶颈，而是涉及认知架构的根本差异，预示着我们可能需要重新思考AGI的实现路径。
LLM的局限性源于其核心机制。LLM通过对海量文本数据的训练，在文本生成和理解方面表现出色。然而，这种能力本质上是对“token”（词元）统计规律的学习。LLM擅长模式匹配，却缺乏对信息内在意义的深刻理解。正如杨立昆所揭示，LLM在信息处理中更多依赖表面模式，缺乏对信息的压缩、抽象和重构，无法形成具有意义的表征。这种表征的缺失，阻碍了LLM理解世界本质和进行创造性思考的能力。信息压缩对于人类理解世界至关重要，因为它可以将复杂的信息简化为易于理解的概念。而LLM虽然也能进行信息压缩，但这种压缩往往是无意义的，缺乏内在的逻辑和结构，无法与已有的知识体系整合，难以产生新的理解和洞见。即使如JEPA 2这样的优化方案，也难以从根本上弥补这一缺陷，仅仅是在现有框架下的改进。
进一步探究AI的“创造力”，我们发现它并非源于某种内在的智能，而是与AI的“技术缺陷”密切相关。这些“缺陷”指的是AI在处理信息时不可避免产生的噪声和误差。传统观点认为，噪声和误差降低了AI的准确性和可靠性，需要尽量避免。然而，物理学家发现，正是这些噪声和误差为AI创造力提供了可能性。当AI处理信息时，噪声和误差会使其偏离既定模式，产生新的组合和可能性。这种偏离既定模式恰恰是创造力的本质。人类的创造力也常常不是从零开始，而是基于已有知识和经验，通过对现有信息的重新组合和改造，产生新的想法和概念。偶然的联想、错误的假设和非理性的思考，都可能成为创造力的源泉。AI的“技术缺陷”模拟了这种人类创造力过程，使其能够在一定程度上展现出创造性的能力。但这与真正的理解和创造是不同的。
人类与LLM在认知架构上存在根本差异。人类的认知架构建立在生物神经系统之上，具有高度并行性和分布式性，能够同时处理多种信息，并将它们整合到统一的认知框架中，从而理解世界的复杂性并灵活适应。LLM的认知架构则建立在人工神经网络之上，具有高度串行性和集中性，只能逐个处理信息，并将它们存储在固定的参数中。这种认知架构难以捕捉世界的复杂性，也难以进行灵活的适应。更为关键的是，人类的认知过程与身体和环境紧密相连。身体能够感知外部世界的刺激，并将这些刺激转化为神经信号，传递到大脑。大脑对这些神经信号进行处理，从而形成对外部世界的理解。这种身体和环境的互动，为认知提供了丰富的素材和背景。LLM则缺乏这种身体和环境的互动，只能通过文本数据获取信息，无法直接感知外部世界的刺激。这种缺失使得LLM难以理解世界的本质，也难以进行创造性的思考。因此，即使LLM能够生成看似合理的文本，也往往缺乏真正的意义和深度。
LLM在特定任务上的表现固然令人印象深刻，但通往AGI的道路并非坦途。要实现真正的AGI，需要对认知机制进行更深入的研究，并开发出更先进的认知架构。这需要计算机科学、人工智能、神经科学、心理学和哲学等领域的共同努力。未来的AI发展，或许需要跳出预训练的框架，探索新的认知模式，才能真正实现与人类智能的媲美。对LLM局限性的认识，并非否定其价值，而是促使我们更加理性地看待AI的未来，并寻找更有效的实现AGI的路径。 预训练模型可能只是一个阶段性的成果，我们需要探索新的方法，才能真正打开AGI的大门。
发表评论