伦敦的AI 公司DeepMind展示了一种新的非同寻常的AI 模型Gato：与OpenAI 的DALL-E 2、谷歌的PaLM和LaMDA 2以及该公司之前推出的Chinchilla和 Flamingo相比，它并不能更好地编写文本、更好地描述图像、更好地玩《Atari》、更好地控制机器人手臂，或者在3D空间中更好地定位自己，但什么事情都能做。
DeepMind使用图像、文本、本体感觉、关节力矩、按钮输入和其他“离散和连续的观察和动作”训练Gato，使其获得了基于Transformer architecture的“多才多艺”。在训练阶段，所有数据都由Transformer网络以令牌序列处理，这类似于训练大型语言模型常用的方式。
然后，研发团队在 604 项不同的任务上测试了 Gato。在其中450 多个任务中，该AI 模型的性能达到了基准测试中其他专家系统的 50% 左右，远远落后于可以达到专家水平的专业 AI 模型。但Gato测试性能低，是由于它规模很小。与 1750 亿参数的 GPT-3、5400 亿参数 PaLM 和700 亿参数的Chinchilla相比，Gato要小得多：只有 11.8 亿参数。
研发团队称，这样做是考虑了所使用的 Sawyer 机器人手臂的响应时间——较大的模型在当前硬件和当前架构下执行机器人任务的速度太慢。但团队表示，这些限制很容易通过新的硬件和架构来突破，更大的 Gato 模型可以用更多的数据进行训练，并且可能在许多任务上表现得更好。
这意味着可以创建一个通用的 AI 模型来代替专门的模型——人工智能研究的历史也表明了这一点。该团队还提到了人工智能研究员理查德·萨顿（Richard Sutton）所提到过的“苦涩的教训”：“在过去，更好地利用计算能力的通用模型已经胜过更具体、特定领域的方法。”
除了较大的模型外，该团队还训练了两个较小的模型，参数分别为 7900 万和 3.64 亿。从基准测试看，Gato的性能会随着规模的增加呈线性增长。
这种现象已经在大型语言模型中被发现，并在2020年初的研究项目“神经语言模型的比例律”中得到过详细研究。DeepMind最近还强调了数据对于Chinchilla缩放性能的重要性。数据越多，性能越好。
有朝一日，扩展Gato这样的系统会使通用人工智能成为可能吗？并不是每个人都对缩放原理抱有希望：认知科学家兼人工智能研究人员加里·马库斯（Gary Marcus）在一篇关于Gato的新文章中谈到了一种失败的“整体缩放”方法。因此，马库斯将这条研究路线称为“替代智能”（Alt Intelligence）。
“替代智能并不是指制造出能够以与人类智能有关的方式解决问题的机器。它是关于使用大量数据——通常来自人类行为——作为人类智能的替代品。”他写道。
马库斯还质疑了DeepMind研究总监南多·德·弗雷塔斯（Nando De Freitas）在推特上发布的一条关于Gato的帖子。德·弗雷塔斯的帖子写道：“现在一切都与规模有关！游戏结束！“他认为，如果所描述的扩展挑战得到解决，DeepMind将走向通用人工智能。DeepMind的研究人员称，萨顿的教训并不苦涩，而是相当甜蜜。马库斯回应道，德弗雷塔斯在这里表达了业内许多人的想法。
但DeepMind似乎很谨慎。“也许扩展就足够了。也许吧。”首席科学家默里·沙纳汉（Murray Shanahan）写道。然而，他称在 Gato 中还未能看到足够有说服力的东西，这表明仅规模化有可能导致人类水平的泛化。然而，DeepMind正在朝多个方向进行研究。【编译自mixed.de 原文作者：Maximilian Schreiner】
