OpenAI的语言模型 GPT-3适用于各种文本任务，但会产生不正确的信息，特别是对于需要非常具体的关于世界的事实知识或其答案不在训练材料中的任务。为了消除此类错误，OpenAI 转向互联网搜索，希望通过网页浏览提高语言模型的事实准确性。现在，GPT-3的一个新变体WebGPT已经学会了在互联网上搜索答案。
WebGPT可以进行搜索查询、跟踪链接、上下滚动网站并显示找到的答案的来源。这应该可以更容易地向 AI 系统提供反馈并提高其准确性。
WebGPT 基于OpenAI安全人工智能创建：2020 年 9 月，该公司的一个团队展示了一个用于摘要的AI 系统，该系统已通过人类反馈进行了改进。2021 年 9 月推出的一个AI 系统可以总结整本书，还能依靠人工反馈进行优化。这两个系统使用的一种算法可通过强化学习从给定的反馈中学习人类偏好，然后进一步训练汇总系统，这减少了所需的人工反馈和相关成本。
另外，WebGPT还从人类示例以及分析人们更喜欢的回答问题的答案类型的算法中学习。它使用演示来学习如何使用网络浏览器回答问题，而来自第二个算法的反馈随后提高了答案的准确性。
在来自 ELI5 和 TruthfulAQ 数据集的问题的测试中，WebGPT 的得分明显优于 GPT-3，但仍落后于人类回答的质量。不过，根据 OpenAI 的说法，这种方法是有希望的，现在应该通过对抗训练和几个模型之间的自动辩论来改进。
OpenAI称，更好的 WebGPT 版本也伴随着风险。对来源的自动引用传达了某种权威，这并不总是合适的，因为来源的质量没有经过检查。一个更好的系统也只能选择它希望人们认为令人信服的来源——即使来源包含错误。
当前的 WebGPT 仅具有有限的 Internet 访问权限，并且根据对 GPT-3 能力的评估，不能滥用此访问权限。然而，有了更好的模型，让人工智能系统完全访问互联网的风险就会增加。因此，OpenAI已经在开发内部安全机制。
