TL;DR 信頼できるエージェントAIは「良いモデルやプロンプト」ではなく、コンテキストとオーケストレーションのハーネスを明示設計することで生まれる――Bayer×Thoughtworksの製薬システムPRINCEの実装知です。🧪 タイトル: Building Reliable Agentic AI Systems URL: ポイント 🧭 逐次エージェント＋一時停止点：意図確認→Think&Plan→Researcher→Reflection→Writerの流れで段階的に検証 🔁 3種類の内省ループ：プロセス(軌道)・データ(証拠の十分性)・ドラフト(出力の完全性)で別々の失敗を捕捉 🔎 ハイブリッド検索：クエリ拡張n=5、意味0.7＋キーワード0.3の加重、bge-rerankerで約20→7件に再ランク 🗃️ 構造化はText-to-SQL：SELECTのみ許可、最大3回の自己修正、1クエリ50件以下に制限 🛟 ハーネス工学：PostgreSQL/DynamoDBで状態永続化、障害点から再開、プロバイダ自動フォールバック 📌 文単位の引用＋RAGASとLangfuseで評価。本番トラフィックも毎日バッチでハルシネーション検出 🏷️ NERで試験PDFから実体抽出、信頼度スコアで高信頼は自動更新・低信頼は人手レビューへ 「大きなコンテキスト窓でも選択性は要る」という割り切りが現場感あります。 #AIエージェント# #LLMOps#

⚙️ 月125兆トークンを捌くLLM推論基盤は、どう信頼性とコストを両立しているのか。リクエスト数ではなく「モデルユニット」でコストを測り、GPUコストを80%削減しつつ安定運用を実現したDatabricksの実戦知です。 タイトル: Reliable LLM Inference at Scale URL: 📝 概要 本記事は、大規模なLLM推論を信頼性高く・コスト効率よく運用するための、Databricksのアーキテクチャと手法を解説します。GPUインフラの不安定さや、予測困難なリクエストコストといった本番特有の課題に、具体的な仕組みで対処しています。 ❓ 解決する課題 ・GPUインフラはCPUより本質的に不安定で、prefill/decodeを分離した構成では単一障害が複数ノードに波及します ・リクエストコストは事前推定が難しく、出力トークン生成がレイテンシを支配する一方、その時間は予測困難です ・高負荷時には、リクエストの組み合わせ次第で健全なサーバが突然不健全状態に陥ります 💡 方法論と提案手法 ・コストを「α×入力トークン＋β×出力トークン＋γ×マルチモーダル」とモデル化する「モデルユニット」抽象を導入し、係数はモデル/ハードウェアごとの自動ベンチマークで決定します ・自動シャーダーDicerが、キュー長でなくモデルユニットで測ったサーバ負荷でルーティングし、ステートフルセッションでキャッシュヒット率を高めます ・保留リクエスト数でなく「モデルユニット利用率」でオートスケールし、ピーク閾値に近づくと増設します ・ブラックボックスのヘルスチェックでサイレントハングを検知し、ヘルスチェックを最高優先度にして誤検知を防ぎます 🎯 ユースケース Superhumanやコーディングエージェント、サポートボットなど、トラフィックが数時間で急増するマルチテナントのエージェント型アプリを支えます。LLMアプリが単一テナントから共有本番環境へ移る局面に直結します。 📊 実験結果 ・コスト認識オートスケーリングで、静的なピーク見込みプロビジョニング比のGPUコストを80%超削減しました ・ヘルスチェックの誤検知を週数件からゼロへ、サイレント障害の検知・回復は5分未満に収めました ・画像処理をTorchvisionへ切り替え、OMP_NUM_THREADSをコンテナ上限に正しく設定し、同じレプリカ・負荷でスループットを3倍超に跳ね上げました ・月125兆トークンをマルチテナントで処理しています #LLM# #MLOps#

名分より実利。 米国の安全保障専門家ビクター・チャ氏が提案する「東アジア安保リスク管理論」とは？ 既存の枠組みを超えた現実的なアプローチで、日本周辺の地域安定をコントロールする新たな外交戦略を、4枚のカードニュースで解説します。 Card 1 The Most Realistic Roadmap to Stopping "North Korea's Nuclear Program." The "Pragmatic Security Strategy"—more reliable than mere justification—proposed by Victor Cha, a prominent U.S. hardliner and security strategist on North Korea. Card 2 Our Goal Should Be a "Realistic Nuclear Freeze" Rather Than Justification. While clinging to the premise of complete denuclearization, nuclear tech has only advanced. What is urgently needed right now is a "Nuclear Freeze" to halt further development. Card 3 A "Safety Valve" in the Name of U.S.-North Korea Dialogue. Dialogue is not a concession. It is a diplomatic brake that must be activated to control further development and testing by bringing them into a management system. Card 4 Securing Japan's Safety Through Deterrence (Defense) and Dialogue (Control)! A two-track strategy is required to drive a freeze while maintaining the robust defense of Japan, the U.S., and South Korea. This is the most pragmatic choice for Japan's national interest.

フィリピンのシャオガオ島で少しの間生活してました。 初めての島生活。 なかなか簡単ではなかった。笑 でも、すごくいい人生勉強になったなって思ってます。 今までLAと東京という便利なところで生活してきて、ノマド生活に切り替えてからも、ヨーロッパやオーストラリアの便利な街にばっかり行ってた。 今回の島の生活で、当然のようにどこにでもエアコンがあって生活ができること、普通に24時間不自由なくご飯がいつでも食べれること、熱いシャワーがあたりまえにいつでも浴びれること、電気がある部屋でいつでも安心して生活ができること、などなど、今までの普通が普通じゃないんだなーって気付けました。 島にいる人は、本当にみんな優しくて、笑顔で、助け合って生きていく精神がすごくあって、自分がずっと戦ってきた世界とは違う世界がここにはありました。 今までいた世界はつねに戦いの場所。つねに戦闘モードになっていないと、自分が置いていかれる感じ。 でも、ここにいると生きているだけで、幸せなんだなー、って改めて感じれて、本当にいい経験をしました。 人の優しさにもたくさん触れて、心が温かくなりました。 I spent some time living on Siargao Island in the Philippines, and it was my first experience living on an island. To be honest, it wasn’t always easy. Before this, I’d spent most of my life in places like Tokyo and Los Angeles. Even when I started living more nomadically, I found myself in big cities across Europe and Australia, surrounded by convenience and comfort. Siargao was different. Living there made me realize how many things I had always taken for granted. Air conditioning whenever it’s hot. Food available at any hour of the day. Hot showers whenever I wanted them. Reliable electricity and all the comforts that come with it. For most of my life, these things felt normal. But being on the island reminded me that they’re actually privileges many people don’t have. What struck me most, though, wasn’t what was missing. It was what the people had. The people of Siargao are some of the kindest I’ve ever met. There’s a genuine sense of community, people look out for each other, help one another, and carry a warmth that’s hard to put into words. It felt like a completely different world from the one I came from. Back home, life often felt like a race. A constant push to achieve more, do more, and stay ahead. But on the island, I was reminded of something simple. Sometimes, just being alive is enough. That lesson stayed with me. The kindness I experienced from so many people there genuinely touched my heart, and it’s something I’ll carry with me long after leaving. Thank you, Siargao.