註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
加入 May 2026
286 正在關注    471 粉絲
TL;DR: 1回の順伝播で判断を返す「System One」モデルを、能力と信頼性の両面から測るベンチマークSO-Arenaが登場。能力が高いモデルが、判断も安定しているとは限りません。 SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models ポイント ・📚 11ドメイン・2,919タスク、40の公開データセットから構成 ・⚡ オープンウェイトのSystem Oneは1タスク0.3秒以内。System Twoより数十倍速い ・📉 最良のSystem OneでもGPT-6 Lunaに約10ポイント差(Lunaは79.7) ・🔀 選択肢を並べ替えても答えが変わらないか(順序安定性)を測定 ・🚫 正解の選択肢を消したとき「正解なし」と言えるか(Null識別力)も測定 ・🔍 最も信頼性の高いJevAny-27Bは、能力では全21モデル中11位 単純な意味判断は小さなモデルでも十分ですが、数学のような多段階の導出ではthinkingが大きく効きます。ルーティングや検証に使うなら、精度だけでなく安定性も見る必要がありそうです。 #LLMBenchmark# #SystemOne#
顯示更多