iwashi / Yoshimasa Iwase(@iwashi86):特定のタスクでは、強化学習でファインチューニングしたSLMが、最新のLLMを上回っているよという内容。メモメモ。・Ramp社のデータによると、AI投資の上位企業は3年間で収益が2倍以上に成長・一方、AI支出がゼロの企業はわずか15%の成長にとどまっている・成功している企業の共通点は、AIの知能を自社で所有していること・その成功の定石となっているのが、オープンモデルと強化学習の組み合わせ・最新モデルで作ったデータを用い、自社の業務プロセスを模した環境で学習させる・BridgewaterやHarveyなども、この手法で最新モデルを上回る成果を出した・筆者らはeコマースのカタログ審査タスクを用いて、この手法を実際に検証した・約500ドルと数日のGPU稼働で、9BのオープンモデルをGRPOで強化学習・結果として、9Bのモデル(Qwen3.5)がGPT-5.5などの最新モデルのスコアを上回った・品質だけでなく、推論コストの面でも圧倒的な差が生まれている・最新モデルのAPIは1,000件の処理に34ドルのコストがかかる・しかし、自社モデルなら同じ処理がわずか0.50ドルで済む・大手eコマースの処理量で換算すると、年間5億ドルのコストが700万ドルになる計算・汎用モデルは毎回ゼロから背景を推論するため、プロンプトの指示には限界がある・自社モデルなら、タスク固有の知識を重みとしてモデル内部に保持できる・正誤の検証が可能で、かつ高頻度で実行されるタスクはファインチューニングが最適・ただ、まれにしか発生しないタスクは最新モデルのAPIを借りる方が適している

2026.07.29 03:00

特定のタスクでは、強化学習でファインチューニングしたSLMが、最新のLLMを上回っているよという内容。メモメモ。・Ramp社のデータによると、AI投資の上位企業は3年間で収益が2倍以上に成長・一方、AI支出がゼロの企業はわずか15%の成長にとどまっている・成功している企業の共通点は、AIの知能を自社で所有していること・その成功の定石となっているのが、オープンモデルと強化学習の組み合わせ・最新モデルで作ったデータを用い、自社の業務プロセスを模した環境で学習させる・BridgewaterやHarveyなども、この手法で最新モデルを上回る成果を出した・筆者らはeコマースのカタログ審査タスクを用いて、この手法を実際に検証した・約500ドルと数日のGPU稼働で、9BのオープンモデルをGRPOで強化学習・結果として、9Bのモデル(Qwen3.5)がGPT-5.5などの最新モデルのスコアを上回った・品質だけでなく、推論コストの面でも圧倒的な差が生まれている・最新モデルのAPIは1,000件の処理に34ドルのコストがかかる・しかし、自社モデルなら同じ処理がわずか0.50ドルで済む・大手eコマースの処理量で換算すると、年間5億ドルのコストが700万ドルになる計算・汎用モデルは毎回ゼロから背景を推論するため、プロンプトの指示には限界がある・自社モデルなら、タスク固有の知識を重みとしてモデル内部に保持できる・正誤の検証が可能で、かつ高頻度で実行されるタスクはファインチューニングが最適・ただ、まれにしか発生しないタスクは最新モデルのAPIを借りる方が適している