Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』
가입 January 2018
388 팔로잉 중 2.8K 팬
AIに考える回数を増やすなら、1回で何を進めるかも学ばせたいというPARの研究（
題材は、箱の中身を順番に入れ替え、最後に何がどこにあるかを答える状態追跡。同じ処理層を繰り返すループ型モデルでも、最終回答だけを教えると、追加のループが長い問題を解く力につながるとは限らない。
PARは、k回目のループで「最初のk個の操作を終えた状態」を予測するよう学習する。さらに、内部状態の大きさが反復のたびにずれないよう、最初の反復を基準にそろえる。回数と進捗の対応を保つ設計だ。
Qwen2.5-0.5Bを使い、最大32操作で訓練した箱の入れ替え課題では、512操作まで評価。完了を判定する仕組みも一緒に学習した条件で、5箱すべてを当てる正解率は92.9%。比較対象RLTの報告値は55.7%だった。
止めどきも大事で、正解に到達した後も反復を続けると、答えの表現が崩れる条件がある。「長く考えれば安全」とは言えず、終了の兆候を確認して適切な時点の答えを読む必要がある。
効果が出た中心は、順序のある状態追跡。並列に探索できるグラフ到達性では同じ伸び方をせず、あらゆる推論の長さへ一般化した結果ではない。
小さいモデルへ計算時間を追加するなら、反復の意味と終了条件まで設計する。考えさせる回数を設定するだけでは足りない、という具体例だと思う。
더 보기
