人工智能语言模型能根据提示来回答问题,但答案有时并不理想,尤其是对于较复杂的问题的回答。为此,美国华盛顿大学保罗阿伦科学与工程学院的研究团队提出了一种新的提示方法,名为“自问”(Self-Ask),它不是让语言模型直接回答问题,而是让其独立地问自问后续问题,以获得最终答案。结果表明,这种论证方法可以提升GPT-3正确回答复杂问题的能力。
自问是自动进行的:第一个输入提供自问过程的示例,然后提出实际问题。GPT-3 独立地将这一过程应用于新问题,并根据需要提出尽可能多的后续问题来回答最终问题。据研究团队介绍,自问建立在思维链提示的基础上,但它只是通过提出后续问题将过程分成几个小的输出,而不是输出一个连续的、不可分隔的思维链。
研究人员测试的一个问题是:发明超导体时美国总统是谁?要回答这个问题,GPT-3必须首先确定超导体的发明时间,然后检查当时美国总统是谁。在这个例子中,直接提示和思维链提示都失败了,而自问方法得到了正确的结果。
将自问方法与谷歌搜索相结合,能够更可靠地生成正确答案。在谷歌中搜索一个简单中间问题的答案,GPT-3会将其反馈到自问过程中。在回答完所有中间问题后,该模型将决定最终答案。在使用不同的多级问题数据集的测试中,自问尤其是使用谷歌搜索自问的性能明显优于直接提示、思维链提示和直接谷歌搜索。
在测试过程中,研究人员还发现语言模型的大小对自问的效果没有什么影响。这可能表明大型语言模型虽然存储了更多的知识,但并不能因此更好地进行推理。
聊天机器人,如OpenAI的WebGPT、Deepmind 的Sparrow和Meta 的Blenderbot 3等均基于大型语言模型(它们也可以研究互联网上用户问题的答案)。自问方法无疑将有助于这些聊天机器人的能力的提升。