お知らせ📢 FM FUJIに、新しい夜がはじまる。 #fmfuji# 毎週水曜日 25-26時 新番組 『Triangle Shakes』 DJ #Newspeak# #愛来　##田口愛佳# 音楽、カルチャー、そして “いま気になること”を それぞれの感性でシェイクする エンタメ総合番組🎙️ 3つの感性が、夜を揺らす。 #トラシェク#

🔍 「実行を完了したと言いながら実は終わっていないエージェント」を自然言語で検索できたら便利ですよね。それを実現する機能がLangSmithに追加されました。 タイトル: Search agent traces by behavior with AI Search in LangSmith URL: 💡 概要 エージェントのトレースは大規模でマルチモーダルな非構造化データで、従来のプラットフォームでは「個人情報が漏洩した会話はあったか」のような意味理解を要する質問に答えるのが困難でした。AI Searchはこれを自然言語クエリで解決します。 🧩 解決する課題 埋め込みベクトルによる類似度検索では、情報が圧縮されてしまい「実際に作業を完了したエージェント」と「完了したと述べただけのエージェント」のような微妙な違いを区別できませんでした。 🛠 方法論と提案手法 実際のテキストを読んで推論する「高速決定モデル」を採用。さらに異種ソースのトレースを「トラジェクトリー」という蒸留ビューに正規化し、固定のトークン予算内でユーザー発言とエージェント応答を最優先に配置する設計で、情報密度の高い検索を実現しています。 📊 ユースケース / 実験結果 Open SWEの150会話を分析したところ、会話あたり中央値約72,000トークン、最大100万トークン超という規模でしたが、ユーザー・エージェントのやり取り自体は全体の約2.8%に過ぎませんでした。この知見を活かし、PII漏洩検出やユーザー不満の特定、解約意図の検出などに活用できます。 #LangChain# #AIエージェント#

本番で貯まったエージェントのログ、ただ眺めて終わっていませんか？そのデータを専用モデルに変える仕組みがLangSmithに加わりました。 タイトル: Introducing LangSmith Fine-Tuning URL: ❓ LangSmith Fine-Tuningとは何ですか？ 本番のエージェント実行トレースを、独自インフラを組まずにファインチューニング済みモデルへ変換する `smithtune` CLIです。データセット作成・学習・評価・デプロイの4段階を一気通貫で扱えます。 ❓ どうやって学習データを作るのですか？ LangSmithプロジェクトからメッセージやツール呼び出しの時系列（トラジェクトリ）を取得し、マルチエージェントのレビューでカスタムルーブリックに沿った高品質な事例だけを選別します。ツールの利用可能状態まで含めた正確な文脈を保存するのがポイントです。 ❓ 学習やデプロイはどう進めますか？ LoRAによる教師ありファインチューニング（SFT）をFireworksやBasetenと連携して実行するため、GPUの用意は不要です。ベースモデルとの比較評価を経て、`smithtune deploy` でそのまま本番投入できます。 ❓ 効果はどれくらいありますか？ 問題検知タスクではKimi K3がSFTでスコア90.0から96.0に向上。コードレビューでは同等以上の品質を保ちつつ、モデル呼び出しを29.8%、ツールリクエストを29.4%削減できました。 #LangSmith# #ファインチューニング#

運用中のAIエージェントのやり取りそのものが、モデルを賢くする教師データになるという論文です。 NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness 🧩 概要 リクエストの難易度に応じて処理を振り分ける「ルーティング・ハーネス」の運用ログを、追加の合成データなしにそのまま学習データへ変換し、モデルを再帰的に改善する仕組みを提案しています。 ❓ 解決する課題 再帰的自己改善には「自分の能力を観測し学習に還元する仕組み」が必要ですが、多くの手法は別途データパイプラインを必要としていました。日々の運用ログにその材料が眠っている点に着目しています。 ⚙️ 方法論 実行トラジェクトリをユーザーターン単位で構造化し、6軸の意味評価と構造検証で品質管理。ルーティングスコアを難易度の目安として3段階カリキュラム学習とオンポリシー蒸留に活用し、評価結果をもとに苦手分野へ次の学習データを重点配分します。 📊 実験結果 10種のエージェント・コーディング・指示追従ベンチマークで、4Bモデルはマクロ平均58.94→64.87、9Bモデルは65.60→69.04まで向上。公開合成データ比でもマクロ平均+6.26ptという結果でした。 #AIエージェント# #自己改善#

9ターンの会話が60個のメッセージに膨らむエージェントセッション、どこで問題が起きたか一目で追えますか？ タイトル: Trajectories now in LangSmith: A readable view of every agent session URL: LangSmithに、スレッド内の全メッセージを時系列に並べ直して読みやすく見せる新機能「Trajectories」が追加されました。 注目ポイント 🔍 ネスト構造をなくした時系列ビュー サブエージェントへのハンドオフやツール呼び出し、リトライを含む複雑な実行トレースを、human・AI・toolのメッセージだけを時系列に並べた1本の流れとして提示します。ツールの無駄な再呼び出しなど、問題箇所を素早く発見できます。 👥 非エンジニアもレビューできるSME向け設計 医療の臨床問診エージェントや金融のコンプライアンス対応、サポートのエスカレーション判断などを、技術的なトレースを読まずに専門家がアノテーションキューでレビューできます。 🎓 ポストトレーニングデータとしての活用 高品質なトラジェクトリをそのまま教師ありファインチューニング用データとしてエクスポートでき、システムプロンプトからツール呼び出しまで本番の挙動をまるごと学習データ化できます。 エージェントのデバッグを、エンジニアだけでなく組織全体で担える民主化への一歩だと感じます。 #LangSmith# #AIエージェント#