cv usk(@cv_usk):TL;DR: あらゆるクエリと予算に最適な単一LLMは存在しない。乱立するLLMルーティング研究を「5つの部品」で統一定式化し、16以上のルーターと専用ベンチマークをまとめたオープンソース基盤が登場しました。タイトル: LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers URL: https://t.co/WVL2QWb4dZ ポイント 🧩 ルーターを Context Encoder / Model Encoder / Scoring / Decision Rule / Learning Signal の5コンポーネントに分解して統一 📊 評価基盤 xRouteBench は Generic・Memory・Vision・TimeSeries・Personalized の5トラック計4,767クエリ 🛠️ 全18候補モデルへ全クエリを投げて作る密なクエリ-モデル行列で、訓練と評価を同時に供給 🚀 学習型ルーターは最強の固定モデル（常に最大を選択）を相対14.6%上回る ⚖️ 万能なルーターは無し。RouterDCは精度首位でもコスト重視だと10位に転落 🔁 マルチターンはコストの割に効果が不安定（Router-R1は22.3%） 👤 ユーザー条件付けは有効だが、実フィードバックとシミュレーションで最良設計が入れ替わる「最良のルーターはタスクと予算で変わる」を実証し、公平比較の土台を用意した一本です。 #LLM #ModelRouting

5hours ago

TL;DR: あらゆるクエリと予算に最適な単一LLMは存在しない。乱立するLLMルーティング研究を「5つの部品」で統一定式化し、16以上のルーターと専用ベンチマークをまとめたオープンソース基盤が登場しました。タイトル: LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers URL: ポイント 🧩 ルーターを Context Encoder / Model Encoder / Scoring / Decision Rule / Learning Signal の5コンポーネントに分解して統一 📊 評価基盤 xRouteBench は Generic・Memory・Vision・TimeSeries・Personalized の5トラック計4,767クエリ 🛠️ 全18候補モデルへ全クエリを投げて作る密なクエリ-モデル行列で、訓練と評価を同時に供給 🚀 学習型ルーターは最強の固定モデル（常に最大を選択）を相対14.6%上回る ⚖️ 万能なルーターは無し。RouterDCは精度首位でもコスト重視だと10位に転落 🔁 マルチターンはコストの割に効果が不安定（Router-R1は22.3%） 👤 ユーザー条件付けは有効だが、実フィードバックとシミュレーションで最良設計が入れ替わる「最良のルーターはタスクと予算で変わる」を実証し、公平比較の土台を用意した一本です。 #LLM# #ModelRouting#

커뮤니티로 전달