リーガルAIツールの回答の正確さと質を評価する

弁護士は、クライアントに助言を提供するとき、ビジネス契約をドラフトするとき、あるいは裁判所に提出する法的文書を作成するとき、法的調査の正確さと質を頼りにしなければなりません。法的データベースの検索結果が不正確であったり、回答が得られなかったりすると、弁護士は誤った方向に進んでしまい、法的戦略や信頼性が損なわれてしまいます。 

弁護士は、契約書や合意書を作成する際、正確な法的調査に頼らなければなりません。判例を参照することで、確立された解釈との整合性を確保し、訴訟リスクを軽減し、予測可能性を提供します。最新の規制を確認することで、最新の基準へのコンプライアンスを確保することができます。コンプライアンスに違反すると、契約が不履行になったり、罰則が課されたりする可能性があります。判例や規制を反映させることで、すべての当事者の利益を守る、強固で執行力のある文書を作成することができる。この原則は、生成AIツールの出現によってさらに強まりをみせており、「幻覚」のような回答を生成するものもあるため、法律事務所は法律専門家向けに訓練された専門的なリーガルAIの導入を促しています。   

この基本的な原理は、生成AI (Gen AI) ツールの出現によって改めて注目されるようになりました。昨年、多くの弁護士が汎用のAIツールを法務調査に使用することのリスクを発見し始め、「幻覚」のような回答を生み出す生成AIの可能性を発見しています。このため、法律事務所や企業内法務部門の多くが、法律家向けに訓練されたAIツールであるリーガルAIに注目するようになりました。 

弁護士は、業務フローに組み込む予定のツールを選択する前に、リーガルAIツールの品質を慎重に検討する必要があります。このデューデリジェンスを支援するために、私たちは最近、法律事務所や社内法務部門が組織に最適なソリューションを選択できるように、何を探すべきかを詳述した無料のバイヤーズ ガイドである「生成AIリーガル リサーチ ソリューション選びの決定版ガイド “The Definitive Guide to Choosing a Gen AI Legal Research Solution,” (英語) 」を発行しました。 

私たちがガイドの中で解き明かしている重要な柱のひとつは、「回答の質」です。 

3つの主な対策 

リーガルAIソリューションを評価する際には、そのソリューションが精緻に調整された学習言語 (LLM) だけで動いているのか、それとも権威あるコンテンツ コレクションにアクセスし、RAGやその他のアプローチを利用してそのコレクションから実体を引き出しているのかを問う必要があります。リーガルAIソリューションが法律の知識を必要とするのであれば、国際的な権威あるコンテンツに裏づけされている必要があります。 この技術モデルは、検索結果 (クエリ) に対応する最も包括的で正確な回答を表示するために必要となります。 

リーガルAIソリューションの内部構造を理解するためには、いくつかの重要な評価基準があり、その回答の正確さと質を評価するのに役立ちます： 

1. 回答の網羅性

リーガル リサーチとドラフティングは、クライアントの案件、業務分野、管轄区域の広い範囲にわたって実施されます。「エンド・ツー・エンド」をうたう法務AIソリューションは、各業務担当者の幅広いニーズに対応するため、正確で最新の法務コンテンツの大規模なリポジトリにアクセスし、活用する必要があります。これは、アウトプットの生成に関わる大規模な言語モデルの基礎となる洞察として機能し、不正確で幻覚的な回答につながる可能性のある非法律データを含む独自の事前学習に依存しないようにしています。 

2. 意味 (セマンティック) 検索

セマンティック検索は、検索クエリの根底にあるメッセージを理解し、入力された言葉の行間を読んで意図を把握し、クエリを関連する概念にマッチさせることができます。これは、単に検索ボックスに入力されたテキストに一致する答えを検索するキーワード検索とは異なります。セマンティック検索は、検索結果の精度を高め、より関連性の高い回答を提供し、余計な情報をかき分ける時間を節約するため、リーガルAIソリューションの優れたモデルです。 

3. 引用の検証と裏付け

法律業界のオブザーバーは、「オープンウェブ」の生成AIツールがもたらすリスクについてよく知っています。このような汎用AIモデルは、法的なユースケースで苦戦を強いられるでしょう。その理由は、モデルに供給される基礎となるコンテンツが古かったり、引用の典拠がなかったり、事実や概念の幻覚を起こしやすかったりするからでです。信頼できる法務AIソリューションは、権威ある法務コンテンツに基づき、リンクされたすべての法務引用を信頼できる引用サービスと照合して有効性を確実にし、検証可能な権威に裏付けされた結果を提供する必要があります。 

回答の正確さと質について尋ねるべき質問 

リーガルAIソリューションを評価する際、その製品によって生成される回答の正確性と品質について、ソリューション プロバイダーに提示すべき質問をいくつか挙げます：  

• 検索クエリに応じ、権威ある法律コンテンツを表示するために、ソリューションがアクセスする一次および二次法律データベースのサイズはどのくらいですか？ 
• そのツールは、一次および二次情報源にアクセスするために別のサブスクリプションを必要としますか、それとも全て1つの製品として統合されていますか？ 
• リサーチを行う際に、キーワード検索とセマンティック検索を組み合わせるオプションはありますか？  
• リーガルAIのアウトプットは、インライン引用を提供し、その答えを作成するために使用された元の情報源資料に戻るリンクを提供していますか？ 
• 幻覚 (ハルシネーション) のリスクを最小限に抑えるために、どのような対策をとっていますか？ 

Lexis+ AI の検討 

Lexis+ AIは、当社の画期的な生成AIソリューションであり、生成AIテクノロジーの可能性を実現するリーガル リサーチ、ドラフト、要約ツール群を提供することで、法律業務を変革すると確信しています。   

Lexis+ AIは、当社の卓越したリーガル・コンテンツと画期的な生成AIテクノロジーとの組み合わせにより、法務調査の実施方法や法務業成果物の作成方法を再定義します。その回答は、業界をリードするデータセキュリティとプライバシーへの配慮を備えた、当社 LexisNexisの正確かつ独占的な法律コンテンツの世界最大のリポジトリに基づいています。  

無料トライアルをご希望の方は こちら よりお申し込みください。 

「生成AIリーガル リサーチ ソリューション選びの決定版ガイド “The Definitive Guide to Choosing a Gen AI Legal Research Solution,” (英語) 」の無料コピーをダウンロードするには、ここをクリックしてください。  

ブログ原文記事 (英語): Assessing the Accuracy and Quality of Answers from Your Legal AI Tool