Itaru Tomita / 冨田到(@itarutomy):AIの考えすぎを減らすために、どこで推論を終えるかを学習させる「LoCo」が面白い（https://t.co/pJcu42vzo7）。まず、モデル自身の推論記録から、同じ確認を繰り返しているような地点を探す。モデルの確信度の変化で候補を絞り、別の判定モデルが、本当に冗長なのか、必要な前進なのかを確認する。その地点までの推論は固定し、同じモデルに続きを書かせ直す。正解を検証できた短い続きと元の長い続きを比べ、短いほうを選びやすくするDPO（2つの出力の好みからモデルを調整する学習）で訓練する。 70億パラメータのDeepSeek-R1-Distill-Qwen-7Bを数学のデータだけで学習。数学評価AIME 2024では、平均出力トークン数が13,493から7,364へ45.4%減り、正答率は50.83%から54.17%になった。面白いのはコード生成にも効果が移ったこと。MBPPというプログラミング評価では、正答率84.05%を維持し、平均出力トークン数は3,403から2,167へ36.3%減った。いずれも各問題から8出力を生成した評価で、出力全体の長さを測っている。ただし、この数字はトークン数の削減で、待ち時間や料金が同じ割合で減ると確認した結果ではない。長く考える能力を伸ばすのと、十分考えたら終える能力を育てるのは両方必要。推論の長さだけでAIの仕事ぶりを判断しない、という実務にも通じる話だと思う。

2026.11.05 09:30

AIの考えすぎを減らすために、どこで推論を終えるかを学習させる「LoCo」が面白い（まず、モデル自身の推論記録から、同じ確認を繰り返しているような地点を探す。モデルの確信度の変化で候補を絞り、別の判定モデルが、本当に冗長なのか、必要な前進なのかを確認する。その地点までの推論は固定し、同じモデルに続きを書かせ直す。正解を検証できた短い続きと元の長い続きを比べ、短いほうを選びやすくするDPO（2つの出力の好みからモデルを調整する学習）で訓練する。 70億パラメータのDeepSeek-R1-Distill-Qwen-7Bを数学のデータだけで学習。数学評価AIME 2024では、平均出力トークン数が13,493から7,364へ45.4%減り、正答率は50.83%から54.17%になった。面白いのはコード生成にも効果が移ったこと。MBPPというプログラミング評価では、正答率84.05%を維持し、平均出力トークン数は3,403から2,167へ36.3%減った。いずれも各問題から8出力を生成した評価で、出力全体の長さを測っている。ただし、この数字はトークン数の削減で、待ち時間や料金が同じ割合で減ると確認した結果ではない。長く考える能力を伸ばすのと、十分考えたら終える能力を育てるのは両方必要。推論の長さだけでAIの仕事ぶりを判断しない、という実務にも通じる話だと思う。