Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388 Following 2.8K Followers
AIの考えすぎを減らすために、どこで推論を終えるかを学習させる「LoCo」が面白い（
まず、モデル自身の推論記録から、同じ確認を繰り返しているような地点を探す。モデルの確信度の変化で候補を絞り、別の判定モデルが、本当に冗長なのか、必要な前進なのかを確認する。
その地点までの推論は固定し、同じモデルに続きを書かせ直す。正解を検証できた短い続きと元の長い続きを比べ、短いほうを選びやすくするDPO（2つの出力の好みからモデルを調整する学習）で訓練する。
70億パラメータのDeepSeek-R1-Distill-Qwen-7Bを数学のデータだけで学習。数学評価AIME 2024では、平均出力トークン数が13,493から7,364へ45.4%減り、正答率は50.83%から54.17%になった。
面白いのはコード生成にも効果が移ったこと。MBPPというプログラミング評価では、正答率84.05%を維持し、平均出力トークン数は3,403から2,167へ36.3%減った。いずれも各問題から8出力を生成した評価で、出力全体の長さを測っている。
ただし、この数字はトークン数の削減で、待ち時間や料金が同じ割合で減ると確認した結果ではない。
長く考える能力を伸ばすのと、十分考えたら終える能力を育てるのは両方必要。推論の長さだけでAIの仕事ぶりを判断しない、という実務にも通じる話だと思う。
Show more
