cv usk(@cv_usk):本番で貯まったエージェントのログ、ただ眺めて終わっていませんか？そのデータを専用モデルに変える仕組みがLangSmithに加わりました。タイトル: Introducing LangSmith Fine-Tuning URL: https://t.co/SmSgXXDP82 ❓ LangSmith Fine-Tuningとは何ですか？本番のエージェント実行トレースを、独自インフラを組まずにファインチューニング済みモデルへ変換する `smithtune` CLIです。データセット作成・学習・評価・デプロイの4段階を一気通貫で扱えます。 ❓ どうやって学習データを作るのですか？ LangSmithプロジェクトからメッセージやツール呼び出しの時系列（トラジェクトリ）を取得し、マルチエージェントのレビューでカスタムルーブリックに沿った高品質な事例だけを選別します。ツールの利用可能状態まで含めた正確な文脈を保存するのがポイントです。 ❓ 学習やデプロイはどう進めますか？ LoRAによる教師ありファインチューニング（SFT）をFireworksやBasetenと連携して実行するため、GPUの用意は不要です。ベースモデルとの比較評価を経て、`smithtune deploy` でそのまま本番投入できます。 ❓ 効果はどれくらいありますか？問題検知タスクではKimi K3がSFTでスコア90.0から96.0に向上。コードレビューでは同等以上の品質を保ちつつ、モデル呼び出しを29.8%、ツールリクエストを29.4%削減できました。 #LangSmith #ファインチューニング

2026.09.26 01:41

本番で貯まったエージェントのログ、ただ眺めて終わっていませんか？そのデータを専用モデルに変える仕組みがLangSmithに加わりました。タイトル: Introducing LangSmith Fine-Tuning URL: ❓ LangSmith Fine-Tuningとは何ですか？本番のエージェント実行トレースを、独自インフラを組まずにファインチューニング済みモデルへ変換する `smithtune` CLIです。データセット作成・学習・評価・デプロイの4段階を一気通貫で扱えます。 ❓ どうやって学習データを作るのですか？ LangSmithプロジェクトからメッセージやツール呼び出しの時系列（トラジェクトリ）を取得し、マルチエージェントのレビューでカスタムルーブリックに沿った高品質な事例だけを選別します。ツールの利用可能状態まで含めた正確な文脈を保存するのがポイントです。 ❓ 学習やデプロイはどう進めますか？ LoRAによる教師ありファインチューニング（SFT）をFireworksやBasetenと連携して実行するため、GPUの用意は不要です。ベースモデルとの比較評価を経て、`smithtune deploy` でそのまま本番投入できます。 ❓ 効果はどれくらいありますか？問題検知タスクではKimi K3がSFTでスコア90.0から96.0に向上。コードレビューでは同等以上の品質を保ちつつ、モデル呼び出しを29.8%、ツールリクエストを29.4%削減できました。 #LangSmith# #ファインチューニング#