イスラーム法学の「ハディース学」を、AIエージェントが積み上げる知識ベースの信頼性判定に応用した論文が出ている(https://arxiv[.]org/html/2607.24117v1)。 複数のAIが協調して知識ベースを作る仕組み(スクレイパーが情報を抽出し、要約モデルが整理し、別のモデルが回答を合成する、という何人もの「手」を渡り歩く構成)では、来歴管理(provenance、誰が何をしたかの記録)があっても「この主張を信じていいか」までは答えられません。著者が持ち込むのは、預言者ムハンマドの死後にイスラーム法学者が約1200年かけて磨いた手法です。伝承の連鎖(isnād)を必ず記録し、伝承者ひとりひとりの信頼度を個別に格付けする(rijāl)という考え方です。 鎖全体の信頼度は一番弱い伝承者で決まる「弱点連鎖」が基本ルールです。最後にどれだけ賢いモデルが回答を合成しても、途中の抽出段階が壊れていれば意味がないという発想です。ただしAI向けの調整もあり、情報を壊すだけの処理(抽出や要約)は単純に最小値評価にする一方、情報を作り直す処理(生成モデルによる合成)は自分の格付けの範囲内でなら信頼度を持ち上げる方向にも動けます。弱点連鎖だけでは厳しすぎる場面を救うため、互いに独立した複数の連鎖が同じ主張を裏付ければ格上げする「相互証明」の仕組みも入っています。さらに、連鎖の信頼度が高くても中身が正しいとは限らないため、伝承の連鎖とは別に主張の中身そのものが既存の知識と矛盾していないか個別にチェックする仕組みも組み込まれています。実際に物理学の教科書(OpenStaxとCrowellの教科書)に適用した事例研究では19件の矛盾が見つかり、全て人手確認で本物と確認されました。多くは「古典力学とフォトンとで運動量の扱いが違う」ように、間違いではなくどちらも正しいが前提となる理論が違うだけ、というケースだったそうです。 本評価では同じ物理学教科書から抽出した2万件の主張を使い、信頼度の異なる4つの「伝承者」(モデルやスクレイパーのバージョン、故障率は1%・2%・15%・18%)を混ぜてテストしました。最も信頼度の低い伝承者を含む連鎖4,057件(全体の29%)は漏れなく検疫(要注意の主張を人の目に回す措置)され、原因となった伝承者まで追跡できています。一方で、監査ログから自動的に信頼度を学習する仕組みは4つの伝承者のうち3つは正しく回復できたものの、実験内で最も故障率が高かった伝承者(18%)は該当分野での事例が少なすぎて一度も格付けされず、見逃されました。さらに実運用でのカバー率を決めているのは主張の矛盾を見抜く「批評」担当モデルの性能で、参照実装は単語の重なりを見る程度の簡易版だったため大半の文章を「判定不能」としてしまい、カバー率は4.8%止まりだったとも正直に報告されています。 うまくいった部分といかなかった部分の両方をはっきり書いている点も含めて、複数エージェントで知識を積み上げるシステムの設計を考える上で参考になりそうです。