人工智能语言模型（LLM）在科学领域的应用何去何从？本月中旬，Meta AI推出了使用科学数据训练的大型语言模型Galactica，称其能够简化科学研究并加快研究任务，并说这是迈向科学新界面的第一步。然而，一些科学家却提出了尖锐的批评和严厉警告，称Galactica看上去很有趣，但用途却不是，它生成的文本是垃圾和伪科学，扭曲了研究，是一种危险。面对批评，Meta AI已经暂停Galactica项目，但辩称它“不是科学工作和自己思考的替代品，而是一种便利，就像汽车中的驾驶助手一样”。
批评的要点：输出虚假信息
Galactica由Meta AI与Papers with Code平台合作，用4800万个科学数据（如论文、教科书和参考资料）训练。据称，在推理或数学任务的基准测试中，Galatica取得了比其他语言模型更好的结果。
根据人工智能博客The Decoder的报道，在Twitter等社交媒体上，Galactica以及Meta AI关于该语言模型的“喧哗”遭到了来自科学家的诸多批评。这些批评的要点是：像所有大型语言模型一样，Galactica确凿无疑地输出虚假信息（有些可能严重不正确，有些微妙地偏离），并且有滥用的风险。
盖瑞·马库斯：Galactica很有趣，但它的用途却不是
纽约大学心理学和神经科学教授盖瑞·马库斯（Gary Marcus）认为，Galactica对科学研究构成威胁。他说，如果该语言模型的开发不停止，将带来“错误信息流量急剧增加的转折点”。马库斯称这将是“划时代的事件”。
根据马库斯的说法，由Galactica生成的关于他的维基百科文本有85%的错误信息，但它的措辞合理。马库斯说，一个“体面的人工智能系统”可以在线查看这些信息，但Galactica不提供这一功能。“这不是开玩笑。Galactica很有趣，但它的用途却不是。“他说。
迈克尔·布莱克：Galactica扭曲了研究，是一种危险
德国图宾根马克斯·普朗克智能系统研究所所长迈克尔·布莱克（Michael Black）对Galactica进行了测试，发现Galactica引用了不存在的论文。他说，Galactica是一个有趣的研究项目，但对科学工作没有用处，而且很危险。
“Galactica生成的文本符合语法，感觉真实。这篇文本可能会混入真正的科学报告中。这将是现实的，但会有错误或偏见。这将很难被发现。这将影响人们的思想。“布莱克写道。
他警告说，这可能会导致一个新的“深度科学伪造”时代，在这个时代，研究人员从未写过的论文会得到引用。然后，这些虚假引用将被转移到其他论文中。“这将是多么混乱！”他说。在他看来，暗示人工智能可能会产生幻觉是不够的，“潘多拉的盒子是打开的，我们将无法将文本塞回去。
布莱克表示，Galactica不是科学的加速器，甚至不能用作写作辅助工具。相反，它扭曲了研究，是一种危险。他写道：
如果我们有假的科学论文，我们很可能还会有假论文的假评论。然后，我们也可以为在假大学晋升为终身教职的假学者提供假推荐信。然后我就可以退休了，因为我没有什么可做的了。
艾米丽·本德：语言模型无法获得“真相”
华盛顿大学的语言学家艾米丽·本德（Emily Bender）的批评更为强烈，她将Galactica生成的文本称为垃圾和伪科学。
“语言模型无法获得’真相’，或者说，除了关于训练数据中单词形式分布的信息之外的任何类型的’信息’。“本德说。
本德尔和她的同事奇拉格·沙阿（Chirag Shah）曾在2022 年 3 月的一篇科学论文中批评使用大语言模型作为搜索引擎，尤其是谷歌在这一领域的计划。他们认为，基于语言模型的搜索可能导致假新闻的进一步扩散和两极分化的加剧，因为搜索系统需要能够“不仅仅是匹配或生成答案”。
这两位研究人员写道，它需要为用户提供不同的交互方式和理解信息，而不是“仅仅根据编程的相关性和有用性概念来检索信息”。在他们看来，信息寻求是“一种社会和环境情境的活动，具有不同的目标和支持需求，绝不能归结为文本匹配和文本生成算法的组合。
Yann LeCun：Galactica就像汽车中的驾驶助手
在Twitter上，对Galactica的批评相当多。面对批评，起初，Meta AI和Papers with Code均保持沉默，只是禁用了Galactica网站的演示功能。近日，这两家机构解释说，演示虽然离线，但模型仍然可供有兴趣研究的人使用。
Galactica项目目前处于暂停状态。尽管如此，Meta-AI首席执行官Yann LeCun还是在Twitter上为该项目进行了辩护，称Galactica是一个演示，不是成品，也不是科学工作和自己思考的替代品，而是一种便利——就像汽车中的驾驶助手一样。LeCun说：
真正的文章将包含新的和有趣的科学。这将包括作者使用Galactica帮助他们撰写论文等文章。
停止Galactica研发可能不是一个明智的选择
当 GPT-3 首次公布时，也有过关于滥用风险的争论。因此，OpenAI 对 GPT-3的发布是逐步的，并采用了多种方法来降低滥用的风险。但是，同样强大的大型语言模型现在已经开源提供，人工智能驱动的假新闻洪流似乎并没有出现。
Galactica的反对者或许反对的是将语言模型用于准确性特别重要的学术环境中。然而，在未来，研究人员可能会使用常规语言模型来支持他们的工作，这可能还不如Galactica准确。因此，The Decoder指出，停止Galactica的继续研发可能不是一个明智的选择，更不是解决所有问题的最终方案。
