Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
AIに「この操作を許可してよいか」「作業は完了したか」を任せるなら、平均正解率に加えて、条件が変わったときに判断も変えられるかを見たいという視点の評価、DecisionPivot（
たとえば、ファイルをコピーしてから移動する手順と、その順番を入れ替えた手順。文章はよく似ていても、最後に必要な場所へファイルが残るかは変わる。片方だけ当てても、違いを正しく扱えたとは言えない。
48タスク、40,033問を収録。生成した7,800問は関連する問題群にまとめ、別実装のソルバーで正解を検証している。各問の正解率だけでなく、群の全問を当てる割合や、モデルが出す確率の信頼性を測る。
面白いのが、確率の順序と最終判断のずれ。2択の対照ペアでは、Perplexity Deciderが正例に高い確率を付けた割合は92.3%なのに、両方を正しく答えた割合は74.1%。正例にも負例にも「はい」を出せば、順序が合っていても判断は失敗する。
ただし、これは文章で与えた事例の評価。実際の業務システムを一通り動かした成功率ではなく、自動処理に回せる割合も評価データを使った事後測定だ。本番の閾値には別の検証が必要になる。
エージェントの権限や完了判定を設計するとき、成功例を増やすだけでなく、「何を変えたら拒否すべきか」を対にして確かめる。この評価の作り方は実務でも参考になると思う。
Show more
