通用的概率语言模型已经在许多自然语言处理任务中展现出了巨大的应用前景，其中就包括法律领域。然而，由于法律语言的复杂属性，这些通用语言模型仍然存有缺陷。

法律大模型是指专门针对法律领域的大规模语言模型，它在通用大模型的基础上，使用高质量的法律数据进行微调，以提高模型在法律问答、文本生成、案例分析等任务上的专业性和准确性，下图为将法律知识融入通用大语言模型不同阶段的过程示意图。

图10.1 将法律知识融入通用大语言模型不同阶段的过程示意图

如表10.1所示，列出了一些开源的中英文法律领域语言大模型，除了微软的law-LLM为英文法律大模型外，其他均为中文相关的法律大模型。目前的研究工作可分为两大类：一类关注大规模语言模型领域的自适应技术，如法律提示语研究；另一类关注通过法律综合评估来检验大规模语言模型在法律领域的应用潜力。

法律提示研究

研究人员借鉴GPT-3等大规模语言模型，探索其在法律推理、判决预测等任务中的表现。由于法律助理的重要性，法律提示语被用于引导模型完成上述任务。但即便如GPT-4等先进模型，在处理法律问题时仍常出现幻觉或无意义输出。因此，利用领域知识进行模型微调被视为缓解该问题的重要路径。浙江大学联合阿里云、华院计算推出的“智海-录问”法律大模型，其微调与推理部署流程如图10.3所示，推理阶段采用了知识检索增强技术。

图10.3 “智海-录问”中知识检索增强的法律领域语言大模型示例

在完成模型优调与评估后，“智海-录问”针对不同应用场景构建了多类知识库：

• 法条库：涵盖宪法、法律、司法解释、地方性法规等；

• 法律文书模板库：包括民法、刑法、行政法三大领域的起诉状、上诉状、判决书及合同模板；

• 法学书籍库：覆盖民法、国际私法、环境资源法等二十余个法学领域；

• 案例库：包含刑法、民法领域的典型案例，案情按“主观动机”“客观行为”“事外情节”三部分梳理；

• 法考题库：收录2016—2020年1200道试题的题干、选项、解析与答案；

• 法律日常问答库：包含数千条常见法律问答数据。

这些知识库不仅用于推理阶段，还可用于微调，将法律知识注入模型，缓解知识覆盖不足与回答质量不高的问题。与知识增强大模型类似，法律知识可在预训练、监督对齐微调、模型评估及应用等全生命周期环节中融入，从而提升训练效果与推理质量。

ChatLaw则通过知识检索增强来减少推理中的幻觉。如图10.4所示，其框架包含检索模型与法律大语言模型。给定输入问题，检索模型从外部知识库中生成top-k相关文档，并与问题一并输入法律语言模型，生成最终输出。此外，框架中还包含一个基于LLM的法律特征词抽取模型（KeywordLLM），通过对LLM微调，从用户日常用语中提取具有法律意义的关键词，增强对法律上下文的理解。

图10.4 “智海-录问”中知识检索增强的法律领域语言大模型示例

法律大模型的评估体系

大语言模型的发展引起法律领域学者的广泛关注。法律在社会治理、人类互动与正义维护中作用关键，而法律语言的复杂性、解释的细微差异以及立法的持续变化，要求量身定制的解决方案。法律专业人士依赖准确、及时的信息以作出判断和提供咨询。

在法律提示语的辅助下，大语言模型可取得良好表现，但仍无法取代专业律师。因此，建立全面、系统、实用的评估指标，对指引和推动法律大模型的研发至关重要。

1.法律评估基准

“智海-录问”从司法能力、通用能力以及安全能力三个角度来展开评测。同时，国家重点研发计划“社会治理和智慧社会”重点专项智慧司法板块技术总师系统联合浙江大学、上海交通大学、阿里云计算有限公司、科大讯飞研究院等长期从事法律人工智能研究的学者专家，编制起草了“法律大模型评估指标和测评方法（征求意见稿）”。这是一套较为全面、系统、实用的评估指标和测评方法，在该意见稿中提出，法律大模型的评估指标体系分为两个层级，其中一级指标包括功能指标、性能指标、安全性指标和质量指标4项内容，二级评估指标是对各项一级评估指标的分解细化。具体评估指标体系框架如图10.6所示。

图10.6 法律大模型评估指标体系

（1）功能指标：反映法律大模型支持实现各项智能化法律辅助任务的功能是否存在，功能指标主要包括语言理解、内容生成、知识问答、逻辑推理4种类型,具体包括法律文书检查、法律要素抽取、法律文书摘要、法律文书生成、办案报告生成、结构化文本生成、法律法规问答、案件咨询问答、司法程序问答、证据链分析、案情分析、司法决策推理12项功能。法律大模型具有的其他功能，也可以参照纳入指标体系。

（2）性能指标：衡量法律大模型支持实现相应智能化法律辅助任务的性能水平，主要性能指标包括衡量精准程度的F1、衡量时间特性的首字响应时间、处理效率和并发路数、衡量输出信息综合效能的正确性、完整度、相关度和有效性共8项指标。

（3）安全性指标：反映法律大模型支持实现各项智能化法律辅助任务时影响社会和个人安全的程度，安全性指标内容按照国家法律法规、社会道德伦理和国家互联网信息办公室等部门发布的《生成式人工智能服务管理暂行办法》要求，参考《通用认知智能大模型评测体系》，法律大模型的安全性指标包括敏感话题、排斥成见、非法竞争、权益侵害、隐私安全、恶意抨击、违法违纪、人身危害、心理危害、负向价值10项内容。

（4）质量指标：反映法律大模型支持实现各项智能化法律辅助任务时的稳定可靠程度，质量指标内容法律大模型质量指标包括《信息化项目综合绩效评估规范》（GB/T42584—2023）中4.3.2可靠性和4.3.3可维护性两项内容。

2.法律基准数据集

南京大学和上海人工智能实验室联合构建了LawBench数据集，旨在对中文法律问答模型做出深入、全面的评估。LawBench包含三个关键维度，涵盖20个子测评项，横跨单选、多选、回归、抽取和生成等五大类司法任务。LawBench借鉴布鲁姆分类法（Bloom’sTaxonomy），从记忆、理解、应用三个层次，由浅入深，逐步考查大规模语言模型的能力，如图10.7所示。

图10.7 LawBench从记忆、理解和应用来评估大规模语言模型的三个认知维度

（1）记忆：这一层面考察大规模语言模型是否能够准确地记忆法律法规。正确地回忆法律法规的内容是处理复杂法律问答任务的首要前提。

（2）理解：这一层面评估大规模语言模型对法律文本内容的理解能力。具体而言，考察模型是否能够识别案件中的实体，理解实体之间的关系，辨别不同论辩观点，以及辨认并修正法律文本中的错误。

（3）应用：最后这一层面考察大规模语言模型综合运用法律知识解决真实的法律问题的能力，如判决预测和司法咨询等问题。这个阶段将测试模型在实际法律场景中的应用能力。

通过对20项法律任务及三个认知维度的深度分析，研究者得出以下主要发现（零样本测试结果如图10.8所示）：

（1）更大规模的模型在性能上表现更优，漏答率也更低；

（2）现有模型尚无法有效利用法条信息，简单拼接难以提升刑期预测等任务的表现；

（3）在司法领域数据上微调可显著提升模型的法律任务表现。

图10.8 六个表现最佳的LLM的零样本测试结果

大语言模型在法律领域展现出巨大潜力，但仍面临版权、数据隐私、偏见与公平等挑战。模型生成内容可能触及版权保护作品，需借助外部版权数据库等手段加以防范。数据隐私方面，模型训练数据可能包含敏感信息，需遵守GDPR等法规，探索隐私保护提示或仅使用外部数据集进行微调。偏见与公平问题则可能影响判决预测等法律结果，需通过提示纠偏或引入无偏案例数据库等方式加以缓解。未来研究应持续关注这些挑战，推动大语言模型在法律领域的负责任与合乎伦理的应用。

全文引自《开启智能对话新纪元：大规模语言模型的探索与实践》