Itaru Tomita / 冨田到(@itarutomy):AIに考える回数を増やすなら、1回で何を進めるかも学ばせたいというPARの研究（https://t.co/a5POFTkGtP）。題材は、箱の中身を順番に入れ替え、最後に何がどこにあるかを答える状態追跡。同じ処理層を繰り返すループ型モデルでも、最終回答だけを教えると、追加のループが長い問題を解く力につながるとは限らない。 PARは、k回目のループで「最初のk個の操作を終えた状態」を予測するよう学習する。さらに、内部状態の大きさが反復のたびにずれないよう、最初の反復を基準にそろえる。回数と進捗の対応を保つ設計だ。 Qwen2.5-0.5Bを使い、最大32操作で訓練した箱の入れ替え課題では、512操作まで評価。完了を判定する仕組みも一緒に学習した条件で、5箱すべてを当てる正解率は92.9%。比較対象RLTの報告値は55.7%だった。止めどきも大事で、正解に到達した後も反復を続けると、答えの表現が崩れる条件がある。「長く考えれば安全」とは言えず、終了の兆候を確認して適切な時点の答えを読む必要がある。効果が出た中心は、順序のある状態追跡。並列に探索できるグラフ到達性では同じ伸び方をせず、あらゆる推論の長さへ一般化した結果ではない。小さいモデルへ計算時間を追加するなら、反復の意味と終了条件まで設計する。考えさせる回数を設定するだけでは足りない、という具体例だと思う。

6hours ago

AIに考える回数を増やすなら、1回で何を進めるかも学ばせたいというPARの研究（題材は、箱の中身を順番に入れ替え、最後に何がどこにあるかを答える状態追跡。同じ処理層を繰り返すループ型モデルでも、最終回答だけを教えると、追加のループが長い問題を解く力につながるとは限らない。 PARは、k回目のループで「最初のk個の操作を終えた状態」を予測するよう学習する。さらに、内部状態の大きさが反復のたびにずれないよう、最初の反復を基準にそろえる。回数と進捗の対応を保つ設計だ。 Qwen2.5-0.5Bを使い、最大32操作で訓練した箱の入れ替え課題では、512操作まで評価。完了を判定する仕組みも一緒に学習した条件で、5箱すべてを当てる正解率は92.9%。比較対象RLTの報告値は55.7%だった。止めどきも大事で、正解に到達した後も反復を続けると、答えの表現が崩れる条件がある。「長く考えれば安全」とは言えず、終了の兆候を確認して適切な時点の答えを読む必要がある。効果が出た中心は、順序のある状態追跡。並列に探索できるグラフ到達性では同じ伸び方をせず、あらゆる推論の長さへ一般化した結果ではない。小さいモデルへ計算時間を追加するなら、反復の意味と終了条件まで設計する。考えさせる回数を設定するだけでは足りない、という具体例だと思う。

显示更多