TL;DR: 1回の順伝播で判断を返す「System One」モデルを、能力と信頼性の両面から測るベンチマークSO-Arenaが登場。能力が高いモデルが、判断も安定しているとは限りません。
SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models
ポイント
・📚 11ドメイン・2,919タスク、40の公開データセットから構成
・⚡ オープンウェイトのSystem Oneは1タスク0.3秒以内。System Twoより数十倍速い
・📉 最良のSystem OneでもGPT-6 Lunaに約10ポイント差(Lunaは79.7)
・🔀 選択肢を並べ替えても答えが変わらないか(順序安定性)を測定
・🚫 正解の選択肢を消したとき「正解なし」と言えるか(Null識別力)も測定
・🔍 最も信頼性の高いJevAny-27Bは、能力では全21モデル中11位
単純な意味判断は小さなモデルでも十分ですが、数学のような多段階の導出ではthinkingが大きく効きます。ルーティングや検証に使うなら、精度だけでなく安定性も見る必要がありそうです。
#
LLMBenchmark# #
SystemOne#