OpenAI 的 GPT-3 是目前最强大的 AI 语言模型。一项新的研究表明,这一 AI 模型在论文写作上不逊于学生,但在创意写作上表现较差。
EduRef 网站将学生和自由作者的匿名文章与 GPT-3 生成的文本混在一起,由选定的教授进行评估,结果 GPT-3 有关美国的历史和法律的最佳论文获得了 2 分,而学生的历史论文被评为 2 和 3+,法律方面的论文只有三分之一的学生获得比 GPT-3 更好的成绩。另外,GPT-3 在 COVID-19 疫苗研究方法上的研究获得了 3 分,而学生获得了 2 分和 4 分。
在创意写作方面,AI 是失败的。根据教授的评估,AI 文本其情节未能表现出统一的主题。
研究项目的负责人萨姆·拉森(Sam Larson)认为,GPT-3 在创意文本中表现不佳的事实与系统有关:GPT-3 借鉴了数据库中的事件、历史和法律信息。对于法律和历史主题,AI 可以轻松地从数据库中引用。但是,创造性写作“更多地基于想象力和思想到思想的综合,而不是对已经存在的数据进行反思”。
需要指出的是,用作评估的 GPT-3 生成的文本经过了简单的编辑,比如删除重复的内容。尽管如此,仅就文本的质量看,AI 已可以成为人类论文写作的帮手,何况效率远高于人类——几分钟即可生成数千字的论文。
创造性写作“更多地基于想象力和思想到思想的综合,而不是对已经存在的数据进行反思”。