cv usk(@cv_usk):TL;DR 自然言語で書いた仕様書から、大きな教師LLMを一度だけ動かして小さな専用ニューラル関数を「訓練によってコンパイル」する新手法です。難しいベンチマークでの精度をわずか数十秒〜数分で大きく引き上げます。タイトル: Compile by Training: Turning Natural-Language Specifications into Local Neural Functions URL: https://t.co/lEX4R4Xau3 🎯 GPT-5.4-miniとGPT-5.5を2:1で混合した教師モデルが入出力例を自動生成し、Qwen3-0.6BにLoRA（ランク64）でその場から焼き込みます ⚡ 難易度の高いFuzzyBench-Hardで、既存の高速コンパイラのLEM 0.224から0.836へと大幅に精度が向上しました 🕒 コンパイルにはB300 GPUで約51秒かかりますが、教師によるデータ合成と訓練を並行実行しGPUの手待ちを削減しています 🌐 4サイトを横断するQAアシスタント（30本中28本が本番稼働）や自然言語から3D操作DSLへの変換（44命令中43成功）など幅広い実用例で検証済みです 📈 教師混合とデータ量のアブレーションでは、2,400〜3,600ユニークペア付近で精度が飽和することも分かりました 💬 大規模モデルを毎回呼び出すのではなく、一度学ばせて小さく持ち帰る発想は、頻繁に実行される中程度の複雑さのタスクに効きそうです #LLM #LoRA

2026.09.04 22:40

TL;DR 自然言語で書いた仕様書から、大きな教師LLMを一度だけ動かして小さな専用ニューラル関数を「訓練によってコンパイル」する新手法です。難しいベンチマークでの精度をわずか数十秒〜数分で大きく引き上げます。タイトル: Compile by Training: Turning Natural-Language Specifications into Local Neural Functions URL: 🎯 GPT-5.4-miniとGPT-5.5を2:1で混合した教師モデルが入出力例を自動生成し、Qwen3-0.6BにLoRA（ランク64）でその場から焼き込みます ⚡ 難易度の高いFuzzyBench-Hardで、既存の高速コンパイラのLEM 0.224から0.836へと大幅に精度が向上しました 🕒 コンパイルにはB300 GPUで約51秒かかりますが、教師によるデータ合成と訓練を並行実行しGPUの手待ちを削減しています 🌐 4サイトを横断するQAアシスタント（30本中28本が本番稼働）や自然言語から3D操作DSLへの変換（44命令中43成功）など幅広い実用例で検証済みです 📈 教師混合とデータ量のアブレーションでは、2,400〜3,600ユニークペア付近で精度が飽和することも分かりました 💬 大規模モデルを毎回呼び出すのではなく、一度学ばせて小さく持ち帰る発想は、頻繁に実行される中程度の複雑さのタスクに効きそうです #LLM# #LoRA#

커뮤니티로 전달