cv usk(@cv_usk):大きなモデルの賢さを、小さなモデルへ「再訓練なし」で移せる——しかも推論のその場で。そんな新しい能力転移の研究です。タイトル: AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses URL: https://t.co/tBZ6bzOAWn ❓ 蒸留と何が違うの? 💡 蒸留はターゲットの重みを訓練で更新します。本研究は重みを一切いじらず、強いビルダーモデルが推論時の「足場（ハーネス）」を組んで弱いモデルの実行を助けます。能力を推論環境ごしに転移させる発想です。 ❓ 足場って具体的に何をするの? 💡 主に3つです。・不安定な推論を決定的なコードに置き換える・問題の種類ごとに戦略を振り分けるルーティング・回答を確実にパースする厳格なフォーマット強制 ❓ どれくらい効くの? 💡 心の理論ベンチ4種で、GPT-5.4-miniの精度が0.49から0.91へほぼ倍増。全11ビルダー設定がベースラインを超えました。弱いモデルほど伸びしろが大きく効く一方、すでに強いモデルには逆効果になることもあります。 ❓ 成否を分けるのは? 💡 検証データを大量に探ることではなく、ビルダー自身の推論品質でした。強いビルダーは「タスク能力のコンパイラ」として、一度の推論で構造を手続き化します。 #AIAgents #TestTimeScaling

2026.08.14 23:27

大きなモデルの賢さを、小さなモデルへ「再訓練なし」で移せる——しかも推論のその場で。そんな新しい能力転移の研究です。タイトル: AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses URL: ❓ 蒸留と何が違うの? 💡 蒸留はターゲットの重みを訓練で更新します。本研究は重みを一切いじらず、強いビルダーモデルが推論時の「足場（ハーネス）」を組んで弱いモデルの実行を助けます。能力を推論環境ごしに転移させる発想です。 ❓ 足場って具体的に何をするの? 💡 主に3つです。・不安定な推論を決定的なコードに置き換える・問題の種類ごとに戦略を振り分けるルーティング・回答を確実にパースする厳格なフォーマット強制 ❓ どれくらい効くの? 💡 心の理論ベンチ4種で、GPT-5.4-miniの精度が0.49から0.91へほぼ倍増。全11ビルダー設定がベースラインを超えました。弱いモデルほど伸びしろが大きく効く一方、すでに強いモデルには逆効果になることもあります。 ❓ 成否を分けるのは? 💡 検証データを大量に探ることではなく、ビルダー自身の推論品質でした。強いビルダーは「タスク能力のコンパイラ」として、一度の推論で構造を手続き化します。 #AIAgents# #TestTimeScaling#

显示更多