【草野球女子】汗だくになるまで自主練だ！(公園→バッセン)#野球女子# #野球# #バッティング# #キャッチング# @YouTubeより 横動画も是非見てください🙏

📌 TL;DR: MCPが「ステートレス」になったことで、LangChainのMCP統合が大幅刷新。セッション管理の呪縛から解放され、人間参加型の確認フローやキャッシングまで一気に実現しました。 タイトル: MCP in LangChain: Stateless Protocol, Elicitation, and More! URL: ポイント 🔌 セッションID保持が不要になり、サーバー再デプロイで接続が切れる問題を解消 📦 別パッケージだったMCP統合が本体`langchain.mcp`に統合（`pip install "langchain[mcp]"`） 🧩 複数クライアントが単一の`MCPAdapter`クラスに統一され利用がシンプルに 🙋 「エリシテーション」機能で、実行中にユーザーへ確認を求めて再開できる 🗂 `ClientGroup`で認証方式の異なる複数MCPサーバーをまとめて管理可能 ⚡ サーバー指定TTLに基づくクライアント側キャッシングでツール検出を高速化 セッション管理という地味だけど厄介な制約が外れたことで、実運用に効く機能がまとめて入ってきた印象です。 #MCP# #LangChain#

ADHDは、前頭葉が機能不全に陥っている為、自制ができない。 その結果、 家を出る直前までYouTubeを見て忘れ物をするし、 コンビニや自販機でお金を使いまくるし、 お金が無いのに、キャッシングをしてまで高い買い物をしたりする。 自制ができない、刺激やご褒美を最優先してしまう人生の沼はハマると抜け出せなくなってしまう。 みなさんも自制苦手ですか？

長いコンテキストのLLM推論、KVキャッシュをディスクに逃がすべきかGPUで再計算すべきか、実は「常に正解」は存在しません。それを定量的に判断する仕組みを作った論文です。 タイトル: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs URL: 📝 概要 vLLM向けの外部KVキャッシュシステム「py-kvcache」を提案。io_uringによる非同期I/OでPython実装ながらSSDの読取帯域13.5GB/sをほぼフルに引き出します。 ❗ 解決する課題 既存の外部KVキャッシュ（LMCacheなど）は「いつ使うべきか」の判断基準を持たず、短いプリフィクスや高速GPUでは再計算の方が速いのに無条件にディスクから読み込んでしまう問題がありました。 ⚙️ 方法論 リクエストの待機時間中にディスク読込を先行させる「スケジューラ認識プリロード」と、TTFT改善が見込めない場合はロードを拒否する「ブレークイーブンゲート」を導入しています。 📊 実験結果 LongBenchのマルチ文書QAでGPU再計算比6.02〜7.43倍、LMCache比2.77〜3.64倍高速化。マルチターンのSCBenchでは、ネイティブvLLMのディスク読取3.4TBに対しpy-kvcacheは85GBに抑え、完了時間も1200秒超から480秒へ短縮しました。 🖥️ ユースケース H100のような高性能GPUでは外部キャッシュなしでも十分高速なのに対し、RTX 4000 Adaのような手元のGPUでは外部キャッシングが明確に有効という、ハードウェア次第の判断指針も提供しています。 #LLM推論# #vLLM#

AIのAPIコスト、ベースURLを1行変えるだけで最大60%削減できます。 タイトル: Cheaper Inference - Save up to 60% on AI models URL: OpenAI、Anthropic、Google、xAI、AWS BedrockなどのAPIを複数プロバイダーの割引価格で一元提供するAPIゲートウェイです。既存のOpenAI SDK互換のため、コードはそのままでエンドポイントを差し替えるだけで導入できます。 注目ポイント 💰 最大60%のコスト削減を価格上限保証付きで 複数プロバイダーのリアルタイム割引価格を集約し、常にプロバイダー直接価格を超えないキャップを設定しています。月額コミットメント不要で$5から利用でき、理論上リスクゼロで試せます。 🔌 既存コードの書き換えゼロ・URL1行変更だけ OpenAI SDK互換を維持しているため、ベースURLを ` に変えてAPIキーを差し替えるだけで完了です。テキスト・画像生成からビジョン入力、推論モデル、プロンプトキャッシング、ストリーミングまで対応しています。 🔒 エンタープライズ級のセキュリティ制御 モデルホワイトリスト・IPアドレスフィルタリング・日次クォータ・月次予算上限をAPIキー単位で設定可能です。ゼロデータ保持オプションとHistoryによる監査ログも備えており、コンプライアンス要件の厳しい環境でも使いやすい設計です。 コスト最適化とセキュリティを両立しながら既存アーキテクチャを変えずに済む点が実用的です。AI APIコストが事業変数として重くなる中、こうした調達レイヤーの選択肢は今後重要度が増しそうです。 #LLMコスト# #APIゲートウェイ#

AIコーディングツールの指数関数的なコスト増をいかにコントロールしていくかについてのdatabricks記事。（一部引き算して読む感じ） ・AIコーディングツールは生産性を劇的に向上させる ・しかし、それに伴ってコストも指数関数的に増大している ・放置すれば、AIによる恩恵がコストで相殺される ・そのため、最高性能ではなく、コスパに優れた効率性フロンティアの追求が必要になっていく ・具体的な対策の筆頭は、より安価で効率的なモデルへの移行 ・特定のモデルへの依存を防ぐため、メタハーネスを導入して柔軟性を確保する ・また、タスクの難易度に応じて安価なモデルと高性能モデルを動的にルーティングする手法も有効 ・予算管理において、利用上限でアクセスを完全に遮断するのは悪手 ・これは、最も生産性の高い開発者の足を引っ張ってしまうため ・代わりにコストを可視化し、閾値を超えたら安価なモデルへダウンシフトさせる仕組みが望ましい ・さらに、不要なコンテキストを削ってトークン消費を抑えることも大事に ・また、プロンプトキャッシングを活用することで、コストを大幅に削減できる （で、Unity AI Gateway というプロダクトの宣伝になるので、以下は略）

単一文書のQ&Aから、数千文書を横断する分析へ——10万社が使うBoxが、Deep Agentsで「AIネイティブ」に生まれ変わった事例です📦 タイトル: Building Box AI: How an Enterprise Content Platform Went AI-Native with Deep Agents URL: 📦 概要 コンテンツ管理プラットフォームBoxが、Deep Agentsを採用して高度な複数文書分析を実現した事例です。親の「Global Agent」がリクエストの意図を分類し、必要に応じて子エージェントをツールとして動的に生成する階層型システムを構築しました。 ❓ 解決する課題 当初のBox AIは単一文書のQ&Aや知識ハブが中心でした。 ・しかし顧客は、数千文書を横断した調査の統合や、契約書をリスクフレームに照らした分析を求めました ・こうした多段階・分野横断のタスクは、従来のRAGベース検索では扱いきれませんでした 💡 方法論と提案手法 ・親のGlobal Agentが意図を分類し、単純なものは自分で、複雑なものは子エージェントを動的に生成して処理します ・全エージェントが共通ツール（BM25・ベクトル検索・構造化Q&A・ファイル操作）にアクセスできます ・子エージェントは隔離コンテキストで動き、ミドルウェア経由で結果を報告します ・ミドルウェアが本番の要：引用生成、プロンプトキャッシング、17万トークン超で自動要約するコンテキスト管理 ・Deep Agents採用の理由は、モデル非依存（OpenAI/Anthropic/Google）と反復速度です 📊 実験結果 / 実績 ・新エージェントの投入が、数ヶ月から数週間に短縮 ・再帰的な親子システムは、当初の専門エージェント構成より4倍速く出荷 ・単純なクエリは子生成をバイパスし、不要なレイテンシを排除 #AIエージェント# #エンタープライズAI#