cv usk(@cv_usk):TL;DR: 分類器型の「デシジョンモデル」はLLMジャッジを16〜357倍安く置き換えられますが、間違える場所までLLMと同じでした。 Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places https://t.co/dwwFxSQyvd ポイント・⚖️ 比較対象はJevとPerplexityのDecider。フラッシュ級LLM3種と、7ベンチ9パネル・5,003件で比べています・💸 LLMジャッジのコストは16〜357倍、所要時間は5〜350倍です・✅ 精度は27比較中、有意に劣るのは最大6件。二値パネルではむしろ強い傾向です・📉 順序尺度は苦手で、人間より低めに採点しがちです・🔁 Jevが自信満々に誤る事例では、LLMの96.0%が同じ誤答でした(独立なら50.3%) ・🪜 カスケードの精度向上は最大+2.7ptで、上位ティアでも+1.7ptにとどまります置き換えるならコスト削減が主目的で、「不確実ならLLMへ」は精度の保険になりにくいという示唆です。 #LLMasaJudge #LLM評価

2026.11.12 07:40

TL;DR: 分類器型の「デシジョンモデル」はLLMジャッジを16〜357倍安く置き換えられますが、間違える場所までLLMと同じでした。 Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places ポイント・⚖️ 比較対象はJevとPerplexityのDecider。フラッシュ級LLM3種と、7ベンチ9パネル・5,003件で比べています・💸 LLMジャッジのコストは16〜357倍、所要時間は5〜350倍です・✅ 精度は27比較中、有意に劣るのは最大6件。二値パネルではむしろ強い傾向です・📉 順序尺度は苦手で、人間より低めに採点しがちです・🔁 Jevが自信満々に誤る事例では、LLMの96.0%が同じ誤答でした(独立なら50.3%) ・🪜 カスケードの精度向上は最大+2.7ptで、上位ティアでも+1.7ptにとどまります置き換えるならコスト削減が主目的で、「不確実ならLLMへ」は精度の保険になりにくいという示唆です。 #LLMasaJudge# #LLM評価#