「大きいほど良い」はもう常識ではないのかもしれません。小さなモデルを、訓練の自動化だけでフロンティア級に引き上げようという挑戦です🔬 タイトル: Tiny AutoScientist: Supersized Intelligence for Small Models URL: 🔬 概要 Tiny AutoScientistは、0.8B〜8Bといった本番でよく使われる小さなモデルの、訓練とアライメントのプロセス全体を自動化する自動研究システムです。小さなモデルでも、フロンティア級の品質で動くようにすることを目指します。 ❓ 解決する課題 実運用では、レイテンシ・コスト・デバイス制約から、小さなモデルを使いたい場面が多くあります。 ・しかし小さなモデルの訓練は、ハイパーパラメータに敏感で、過学習に陥りやすく、扱いが難しいです ・そのため、「制約に収まる小さなモデル」か「十分な能力を持つ大きなモデル」かの、つらい二者択一を迫られがちでした 💡 方法論と仕組み ・データと、モデル訓練のレシピを自動で共最適化（co-optimize）します ・品質が目標に収束するまで、両者を自己改善し続けます ・これまでフロンティアAIラボだけが回せていた研究開発のループ全体を自動化し、小さなモデル訓練につきまとうハイパーパラメータ感度や過学習の課題を引き受けます 📊 実験結果 / 実績 ・人間が設定した訓練に対し、相対で35%の改善を達成しました ・5,000〜100,000サンプルのデータセットサイズにわたって一貫した向上を示しました ・複数のモデルアーキテクチャで機能します ・フロンティア級の性能を、数ヶ月ではなく数日で提供します 🌍 ユースケース エッジでのデプロイ、オンデバイス推論、レイテンシに厳しいアプリ、データの境界が厳格な規制業界など、これまで現実的でなかった用途を解放します。小型モデルの訓練はハイパラ調整が職人芸になりがちなので、それを自動化して人手設定を上回れるのは、実務的に大きな意味があります。 #小型モデル# #AutoML#

🌳 AIはついに「単発の実験を回すツール」から、時間をまたいで知見を積み上げる“研究者そのもの”へと進化しはじめました。仮説を一本のツリーとして育てていく、新しい自律研究フレームワークが登場しています。 タイトル: Toward Generalist Autonomous Research via Hypothesis-Tree Refinement URL: 🔍 概要 本研究は、長期的な自律研究を可能にするフレームワーク「Arbor」を提案しています。中核となるのは「Hypothesis-Tree Refinement（仮説ツリーの精緻化）」という考え方で、仮説・実験で得た成果物・証拠・そこから蒸留された知見を、すべて一本の永続的なツリー構造で結びつけます。実験を重ねるたびにこのツリーが更新され、次にどの方向を深掘りすべきかという探索フロンティアが継続的に磨かれていきます。 ❓ 解決する課題 これまでのLLM研究エージェントは、1回きりの実験を回すのが精一杯でした。 ・複数の試行をまたいで「どの仮説を深掘りすべきか」という大局的な戦略を維持できない ・ある実験で得た教訓が次に引き継がれず、毎回ゼロから探索してしまう ・有望な枝と行き止まりの枝を区別し、限られた計算資源を配分する仕組みが弱い つまり、知見が複利的に積み上がらないことが大きな壁になっていました。 💡 方法論と提案手法 Arborは役割の異なる2種類のエージェントと、それらをつなぐ永続的なツリーで構成されます。 ・長命なコーディネーター：研究全体の戦略を司る司令塔。仮説ツリーを俯瞰し、次に検証すべき仮説を決めます。セッションをまたいで生き続けるため、長期的な一貫性を担保します ・短命なエグゼキューター：個々の仮説を隔離された環境で実装・検証する実働部隊。検証が終われば役目を終えます ・仮説ツリー：仮説・証拠・成果物・知見を時間軸でリンクし、再利用可能な教訓を全体に伝播させます これにより、研究が単発実験の集合から、戦略・実行・証拠が積み上がる累積的プロセスへと変わります。 🎯 ユースケース 継続的に実験を回して性能を高めていく、AutoMLや機械学習の自動最適化、さらには科学的な発見プロセスそのものの自動化が有望な応用先です。長期にわたる試行錯誤を、人手を介さずに戦略的に進められる点が魅力です。 📊 実験結果 Autonomous Optimizationの設定で、実在する6つの研究タスクを使って評価されました。 ・6タスクすべてで最良のホールドアウト成績を達成 ・CodexやClaude Codeと比べて、平均で2.5倍超のホールドアウトゲインを記録 ・MLE-Bench LiteではGPT-5.5と組み合わせて86.36%のAny Medalを獲得し、比較対象の中で最強の結果を示しました #AIエージェント# #自律研究#