cv usk(@cv_usk):TL;DR 1万超のツールから必要なものを選ぶ仕事を、Qwen3の1.7B〜8Bに強化学習で教えたら、402BのLlama-4-Maverickをプロンプトで使うより高精度になりました。タイトル: Training Small Language Models for Transferable Tool Selection URL: https://t.co/REJYJLFcPs ポイント・🧩 指示をサブステップに分割し、リトリーバーで候補を絞り、1つずつ選ぶ「Plan-Retrieve-Select」・🧹 ToolBench G3のノイズあるゴールドを教師モデルで精査し、20,093件に整備・🎯 SFTのあとGRPOで、Planは順位重み付きF1、Selectは完全一致を報酬に学習・📈 ToolBench G3の成功率は8Bで41.5%。Maverickの最良は30.6% ・🔁 BM25を密リトリーバーCOLTに替えるだけで、再訓練なしに精度が向上・🧪 Selectorを学習済みにすると、BM25 top-1より約13ポイント上乗せ・⚠️ TaskBenchではPlanの転用が弱く、大型モデルに負けるケースもあります大きなモデルをプロンプトで回すより、小さなモデルを目的特化で訓練するほうが安く速く強くなる好例です。 #LLMエージェント #ToolUse

2026.10.30 00:40

TL;DR 1万超のツールから必要なものを選ぶ仕事を、Qwen3の1.7B〜8Bに強化学習で教えたら、402BのLlama-4-Maverickをプロンプトで使うより高精度になりました。タイトル: Training Small Language Models for Transferable Tool Selection URL: ポイント・🧩 指示をサブステップに分割し、リトリーバーで候補を絞り、1つずつ選ぶ「Plan-Retrieve-Select」・🧹 ToolBench G3のノイズあるゴールドを教師モデルで精査し、20,093件に整備・🎯 SFTのあとGRPOで、Planは順位重み付きF1、Selectは完全一致を報酬に学習・📈 ToolBench G3の成功率は8Bで41.5%。Maverickの最良は30.6% ・🔁 BM25を密リトリーバーCOLTに替えるだけで、再訓練なしに精度が向上・🧪 Selectorを学習済みにすると、BM25 top-1より約13ポイント上乗せ・⚠️ TaskBenchではPlanの転用が弱く、大型モデルに負けるケースもあります大きなモデルをプロンプトで回すより、小さなモデルを目的特化で訓練するほうが安く速く強くなる好例です。 #LLMエージェント# #ToolUse#