大型语言模型的叙述只是“随机鹦鹉”吗？一项新的研究表明，语言模型可以学习意义，即使它们只接受过预测文本中的下一个标记的训练。
来自麻省理工学院 (MIT) CSAIL团队的这项研究反驳了关于LM的两种观点：H1、在根本上局限于训练语料库中重复表层的统计相关性；H2、无法为消费和生成文本赋予意义。
为了明确定义意义的概念，该团队使用了程序综合，因为“程序的意义（和正确性）完全由编程语言的语义给出”。具体来说，他们使用 Karel 编程语言训练了一个语言模型，该语言的开发更多是为了教育目的，以便在有障碍的网格世界中导航数字“机器人”。与 Transformer 模型一样，AI 系统只是学习预测正确程序代码中的下一个标记，该标记将成功引导机器人 Karel 穿越网格世界。
训练结束后，团队使用线性探针在 Keras 程序运行时映射语言模型的内部状态。该团队发现它可以从模型中提取程序当前和未来状态的抽象，即使它只接受过预测标记的训练，而不是学习 Keras 的语义。这些语义表示与语言模型生成正确程序的能力并行发展。
为确保此语义内容不植根于线性探针，该团队有选择地更改了语言模型中的内部状态。团队能够证明，探针的准确性与模型生成程序的能力之间存在很强的统计显着相关性。
语言模型还学习编写平均比训练集中的程序更短的程序，据研究人员在论文中所作的分析，这表明语言模型的输出可能会以语义上有意义的方式偏离训练集的分布。此外，对于训练集中的程序，模型的困惑度（预测下一个标记的不确定性度量）仍然很高——即使模型合成正确程序的能力有所提高。根据论文的描述，这拒绝了假设 H1。而且，结果“表明 LM 表示实际上与原始语义一致（而不仅仅是编码一些词汇和句法内容）”，这拒绝了假设 (H2)。
研究人员在论文中写道：“近年来，是否可以从文本中学习语义的问题引起了人们的极大兴趣。本文为意义可以从形式中学习的立场提供了实证支持。”论文还指出，该方法将来可以用于进一步研究语言模型中的意义——这是一个具有实践和哲学重要性的问题。
