一个研究团队用美国律师考试的试题对OpenAI的AI模型GPT-3.5（该模型是当前大热的对话AI系统ChatGPT的基础）进行了测试。他们预测，即将到来的GPT-4 和类似的AI模型将能够通过美国的律考。
这个研究团队由来自芝加哥肯特法学院、汉堡布塞留斯法学院和斯坦福法律信息学中心的研究人员组成。
GPT-3.5和ChatGPT在各种自然语言处理场景中表现出令人印象深刻的性能，通常优于针对特定领域进行过训练的模型。这可能跟它们的训练数据包含了作为公共资源的法律文本有关。然而，鉴于法律语言的复杂性和 GPT-3.5 针对一般任务绩效的训练，GPT-3.5 或类似模型能否在法律任务评估中取得成功是一个悬而未决的问题。
为此，该团队使用多州律师考试（MBE）的多项选择部分测试了OpenAI的大型语言模型。MBE只是完整考试的一部分，包括约200个问题，旨在测试法律知识和阅读理解能力。根据研究人员的说法，虚构的场景需要高于平均水平的英语语义和句法。
测试的结果是，GPT-3.5 能够通过各种提示对问题给出正确答案。但平均而言，GPT-3.5 落后于人类参与者约 17%，在刑法类别中，差异从几个百分点到 36% 不等。在证据和侵权行为这两个类别中，GPT 达到了平均通过率。
“在所有提示和超参数值中，GPT-3.5显著优于随机猜测的基线率。在没有任何微调的情况下，它目前在两个类别的考试中都达到了及格率，并在一个类别上与人类考生达到了同等水平。它对可能选择的排序与超过随机机会的正确性密切相关，证实了它对法律领域的一般理解。”研究人员在论文中写道。
研究人员称，大型语言模型开发的历史强烈表明，这种模型可能很快就会通过律师考试MBE部分的所有类别。根据与GPT-4和LAION的Bloom系列模型相关的轶事证据，研究人员认为这可能在未来18个月内发生。
接下来，该团队计划用美国律师考试的论文（MEE）和情境表现（MPT）部分对GPT-3.5进行测试。
