spot_img
首页文本AI研究人员说,GPT-...

研究人员说,GPT-4将能够通过美国的律师考试

一个研究团队用美国律师考试的试题对OpenAI的AI模型GPT-3.5(该模型是当前大热的对话AI系统ChatGPT的基础)进行了测试。他们预测,即将到来的GPT-4 和类似的AI模型将能够通过美国的律考。

这个研究团队由来自芝加哥肯特法学院、汉堡布塞留斯法学院和斯坦福法律信息学中心的研究人员组成。

GPT-3.5和ChatGPT在各种自然语言处理场景中表现出令人印象深刻的性能,通常优于针对特定领域进行过训练的模型。这可能跟它们的训练数据包含了作为公共资源的法律文本有关。然而,鉴于法律语言的复杂性和 GPT-3.5 针对一般任务绩效的训练,GPT-3.5 或类似模型能否在法律任务评估中取得成功是一个悬而未决的问题。

为此,该团队使用多州律师考试(MBE)的多项选择部分测试了OpenAI的大型语言模型。MBE只是完整考试的一部分,包括约200个问题,旨在测试法律知识和阅读理解能力。根据研究人员的说法,虚构的场景需要高于平均水平的英语语义和句法。

测试的结果是,GPT-3.5 能够通过各种提示对问题给出正确答案。但平均而言,GPT-3.5 落后于人类参与者约 17%,在刑法类别中,差异从几个百分点到 36% 不等。在证据和侵权行为这两个类别中,GPT 达到了平均通过率。

“在所有提示和超参数值中,GPT-3.5显著优于随机猜测的基线率。在没有任何微调的情况下,它目前在两个类别的考试中都达到了及格率,并在一个类别上与人类考生达到了同等水平。它对可能选择的排序与超过随机机会的正确性密切相关,证实了它对法律领域的一般理解。”研究人员在论文中写道。

研究人员称,大型语言模型开发的历史强烈表明,这种模型可能很快就会通过律师考试MBE部分的所有类别。根据与GPT-4和LAION的Bloom系列模型相关的轶事证据,研究人员认为这可能在未来18个月内发生。

接下来,该团队计划用美国律师考试的论文(MEE)和情境表现(MPT)部分对GPT-3.5进行测试。

专栏
赞赏
lighting
lighting
新的开始
本文系反讽机器原创(编译)内容,未经授权,不得用于商业目的,非商业转载须注明来源并加回链。

欢迎订阅我们的内容