特定のタスクでは、強化学習でファインチューニングしたSLMが、最新のLLMを上回っているよという内容。メモメモ。 ・Ramp社のデータによると、AI投資の上位企業は3年間で収益が2倍以上に成長 ・一方、AI支出がゼロの企業はわずか15%の成長にとどまっている ・成功している企業の共通点は、AIの知能を自社で所有していること ・その成功の定石となっているのが、オープンモデルと強化学習の組み合わせ ・最新モデルで作ったデータを用い、自社の業務プロセスを模した環境で学習させる ・BridgewaterやHarveyなども、この手法で最新モデルを上回る成果を出した ・筆者らはeコマースのカタログ審査タスクを用いて、この手法を実際に検証した ・約500ドルと数日のGPU稼働で、9BのオープンモデルをGRPOで強化学習 ・結果として、9Bのモデル(Qwen3.5)がGPT-5.5などの最新モデルのスコアを上回った ・品質だけでなく、推論コストの面でも圧倒的な差が生まれている ・最新モデルのAPIは1,000件の処理に34ドルのコストがかかる ・しかし、自社モデルなら同じ処理がわずか0.50ドルで済む ・大手eコマースの処理量で換算すると、年間5億ドルのコストが700万ドルになる計算 ・汎用モデルは毎回ゼロから背景を推論するため、プロンプトの指示には限界がある ・自社モデルなら、タスク固有の知識を重みとしてモデル内部に保持できる ・正誤の検証が可能で、かつ高頻度で実行されるタスクはファインチューニングが最適 ・ただ、まれにしか発生しないタスクは最新モデルのAPIを借りる方が適している