「大きいほど良い」はもう常識ではないのかもしれません。小さなモデルを、訓練の自動化だけでフロンティア級に引き上げようという挑戦です🔬 タイトル: Tiny AutoScientist: Supersized Intelligence for Small Models URL: 🔬 概要 Tiny AutoScientistは、0.8B〜8Bといった本番でよく使われる小さなモデルの、訓練とアライメントのプロセス全体を自動化する自動研究システムです。小さなモデルでも、フロンティア級の品質で動くようにすることを目指します。 ❓ 解決する課題 実運用では、レイテンシ・コスト・デバイス制約から、小さなモデルを使いたい場面が多くあります。 ・しかし小さなモデルの訓練は、ハイパーパラメータに敏感で、過学習に陥りやすく、扱いが難しいです ・そのため、「制約に収まる小さなモデル」か「十分な能力を持つ大きなモデル」かの、つらい二者択一を迫られがちでした 💡 方法論と仕組み ・データと、モデル訓練のレシピを自動で共最適化（co-optimize）します ・品質が目標に収束するまで、両者を自己改善し続けます ・これまでフロンティアAIラボだけが回せていた研究開発のループ全体を自動化し、小さなモデル訓練につきまとうハイパーパラメータ感度や過学習の課題を引き受けます 📊 実験結果 / 実績 ・人間が設定した訓練に対し、相対で35%の改善を達成しました ・5,000〜100,000サンプルのデータセットサイズにわたって一貫した向上を示しました ・複数のモデルアーキテクチャで機能します ・フロンティア級の性能を、数ヶ月ではなく数日で提供します 🌍 ユースケース エッジでのデプロイ、オンデバイス推論、レイテンシに厳しいアプリ、データの境界が厳格な規制業界など、これまで現実的でなかった用途を解放します。小型モデルの訓練はハイパラ調整が職人芸になりがちなので、それを自動化して人手設定を上回れるのは、実務的に大きな意味があります。 #小型モデル# #AutoML#