TL;DR: 分類器型の「デシジョンモデル」はLLMジャッジを16〜357倍安く置き換えられますが、間違える場所までLLMと同じでした。 Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ポイント ・⚖️ 比較対象はJevとPerplexityのDecider。フラッシュ級LLM3種と、7ベンチ9パネル・5,003件で比べています ・💸 LLMジャッジのコストは16〜357倍、所要時間は5〜350倍です ・✅ 精度は27比較中、有意に劣るのは最大6件。二値パネルではむしろ強い傾向です ・📉 順序尺度は苦手で、人間より低めに採点しがちです ・🔁 Jevが自信満々に誤る事例では、LLMの96.0%が同じ誤答でした(独立なら50.3%) ・🪜 カスケードの精度向上は最大+2.7ptで、上位ティアでも+1.7ptにとどまります 置き換えるならコスト削減が主目的で、「不確実ならLLMへ」は精度の保険になりにくいという示唆です。 #LLMasaJudge# #LLM評価#