Sakana AI がサービス基盤に Gemini Enterprise Agent Platform を採用した理由 → 新世代のマルチ エージェント AI モデル「Sakana Fugu」開発にあたり、難しい要件を実現するために選ばれたのが Google Cloud でした。サイエンティストの皆様に開発の舞台裏をお伺いします。

TL;DR 信頼できるエージェントAIは「良いモデルやプロンプト」ではなく、コンテキストとオーケストレーションのハーネスを明示設計することで生まれる――Bayer×Thoughtworksの製薬システムPRINCEの実装知です。🧪 タイトル: Building Reliable Agentic AI Systems URL: ポイント 🧭 逐次エージェント＋一時停止点：意図確認→Think&Plan→Researcher→Reflection→Writerの流れで段階的に検証 🔁 3種類の内省ループ：プロセス(軌道)・データ(証拠の十分性)・ドラフト(出力の完全性)で別々の失敗を捕捉 🔎 ハイブリッド検索：クエリ拡張n=5、意味0.7＋キーワード0.3の加重、bge-rerankerで約20→7件に再ランク 🗃️ 構造化はText-to-SQL：SELECTのみ許可、最大3回の自己修正、1クエリ50件以下に制限 🛟 ハーネス工学：PostgreSQL/DynamoDBで状態永続化、障害点から再開、プロバイダ自動フォールバック 📌 文単位の引用＋RAGASとLangfuseで評価。本番トラフィックも毎日バッチでハルシネーション検出 🏷️ NERで試験PDFから実体抽出、信頼度スコアで高信頼は自動更新・低信頼は人手レビューへ 「大きなコンテキスト窓でも選択性は要る」という割り切りが現場感あります。 #AIエージェント# #LLMOps#

AIがロボット犬を人間の助けなしに操り、最速の人間チームより約20倍速くタスクを完遂——物理世界に出てきたエージェントAIの実験です🐕 タイトル: Project Fetch: Phase Two URL: 🐕 概要 Anthropic の Frontier Red Team による研究で、先進的な言語モデルが四足歩行ロボット（ロボット犬）を自律制御し、高度なタスクを完遂できるかを検証した追跡実験（Phase Two）です。 ❓ 解決する課題 2025年8月の初回に続き、次の問いに答えます。 ・新しいClaudeモデルは、前世代（Opus 4.1）よりロボティクスのタスクで優れているか ・人間の助けなしに、自律的に動作できるか 💡 方法論と実験設定 ・Claude Opus 4.7を、Claude Code上で最大の適応的思考の努力レベルに設定し3回試行 ・Phase Oneで人間チームが行ったのと同じタスクに挑戦：映像・LiDARセンサー接続、制御プログラムの記述、経路監視、ビーチボール検出、自律回収 ・人間の関与は最小限（ノートPC接続、最初のプロンプト、コマンド/タスク承認のみ） 📊 実験結果 ・人間の助けなしのClaude Opus 4.7が、最速の人間チームより約20倍速い ・全グループ完了の4タスクで、非Claudeチームより平均37.7倍、Claude支援ありチームより18.9倍速い ・生成コードは1,045行で人間Claudeチーム（10,309行）の約1/10、それで同等以上の結果 ・一方、閉ループのフィードバックを要する精密なボール操作には苦戦 #エージェントAI# #ロボティクス#

📚 ReActもRAGもTree of Thoughtsも、論文ごとにバラバラだったエージェント設計を、同じAPIで動かして比較できたら最高だと思いませんか？それを実現した「35パターン全部入り」のリポジトリです。 タイトル: FareedKhan-dev/all-agentic-architectures URL: 📦 概要 本リポジトリは、プロダクション品質のエージェントAIパターンを35種類実装したPythonライブラリ兼「生きた教科書」です。すべてのアーキテクチャが同じ.run(task)メソッドを持ち、同一形式の結果を返すため、下流のコードを変えずにパターンを差し替えられます。 ❓ 解決する課題 エージェントの設計パターンは論文ごとに散らばっていて、実装も様式もバラバラでした。これを統一インターフェースの下に集約し、横並びで試せるようにしたのが最大の価値です。 💡 中核の工夫と提案手法 中心にあるのが「決定論的ピッカーの規律」です。 ・LLMのスコアリングに丸投げせず、まずLLMに真偽値や列挙型などカテゴリ的な特徴をコミットさせる ・最終判断はPythonのロジックで合成する これにより、スコアが平坦に潰れる「LLM-as-Scorer」の病理を緩和します。35アーキテクチャ中13で採用されています。 🎯 カバー範囲とユースケース 推論・内省（Reflection、Self-Discover）、探索（Tree of Thoughts、LATS）、RAG（Corrective/Self/Adaptive/GraphRAG）、メモリ（MemGPT、Voyager）、ツール・行動（ReAct、SWE-Agent）、マルチエージェント（Debate、STORM）など8系統を網羅。各パターンに実行済みのJupyterノートブックが付き、本物のLLM出力に基づく再現可能なリファレンスになっています。 📊 注目ポイント ・コアはLangGraph。NebiusやOpenAI、Anthropic、Ollamaなど主要プロバイダーに対応し、切り替えは環境変数1つ ・pytestで283件のテストがパス ・17タスクのベンチマークで直近42問中33問正解（成功率78%）。ReflectionやSelf-Consistencyが好成績でした #AIエージェント# #LangGraph#

🔬 「50人のチームが手元にいて、1日で全部やってくれる感覚」。Geminiベースのマルチエージェントが科学仮説を生成・討論・進化させ、肝線維症の瘢痕応答を91%ブロックする薬剤候補まで導きました。 タイトル: Co-Scientist: A multi-agent AI partner to accelerate research URL: 📝 概要 Co-Scientistは、Geminiを基盤とする協調型のマルチエージェントAIで、新規の科学仮説を生成・批評・洗練します。仮説の生成と評価のサイクルを自動化することで、ブレイクスルーの発見を加速する「AI研究パートナー」として機能します。 ❓ 解決する課題 研究者は、情報過多とますます複雑化する課題の中で、ブレイクスルーとなる仮説を立てるのに苦労します。膨大な文献にまたがる断片的な事実を結びつけ、有望な研究方向を特定するのが難しいのです。 💡 方法論と提案手法 3つのフェーズに専門エージェントを配置します。 ・生成フェーズ：Generationエージェントが文献とデータに基づき新規仮説を提案し、Proximityエージェントが仮説をクラスタ化して多様な探索を確保します ・討論フェーズ：Reflectionエージェントが「仮想ピアレビュア」として批判的に評価し、Rankingエージェントがペアワイズ比較とEloベースのトーナメントで優先順位付けします ・進化フェーズ：Evolutionエージェントが上位仮説を継続的に洗練・結合し、Meta-reviewエージェントが最終的な研究提案を統合します ・計算資源の大半を「検証」に充て、主張をChEMBLやUniProt、Web検索、AlphaFoldなどの専門ツールと突き合わせます 🎯 ユースケース 抗菌薬耐性、植物免疫、肝線維症の治療発見、ALSの機序探索、細胞老化の逆転、感染症タンパク質の特定、代謝疾患、老化生物学など、幅広い生命科学領域に応用されています。 📊 実験結果 ・肝線維症で、瘢痕に関連する応答の91%をブロックする薬剤候補を特定しました ・細胞老化では、実験室で細胞を若返らせる遺伝的リードを生成し、スクリーニング解析を数ヶ月から数日に短縮しました ・100以上の研究機関がテストし、Stanford、MIT、Cambridge、Calicoなどが協力しています ・第一三共やBayer Crop Science、米国の国立研究所にエンタープライズ版が展開されています #AIforScience# #AIエージェント#

🤔 「AIエージェントを作るのは難しくない。でも、本番で動かし続けるのは別の話だ。」──エージェント開発者なら、誰もがこの壁に当たったはずです。 Why Managed Agents Are the Next Big Thing in Agent Building 2022年末にLangChainが登場してから、エージェント開発は急速に進化してきました。初期のAutoGPTの熱狂から、LangGraphやGoogle ADKによる精緻なフレームワークの時代へ。そして2025年に入ると、モデルの能力が臨界点を超え、「ツールを呼び出しながら自律的にループするLLM」という基本形が現実のものとなりました。Claude Code、Deep Agentsといった専用ハーネスの登場は、その完成形への一歩でした。 🌊 しかし、ここで大きな問題が浮かび上がります。エージェントを本番環境で"動かし続ける"ためには、LLMの賢さだけでは足りないのです。信頼性のある実行環境をどう構築するか。失敗したエージェントをどう再開させるか。コードをどう安全に実行させるか。ユーザーへのUXをどう設計するか──開発者はモデルとは全く別の、インフラの泥沼と格闘してきました。 LangChainの創業者 Harrison Chase はこの1年間の学びを結晶化し、「マネージドエージェント」というコンセプトを提唱します。本番エージェントに必要なのは、ビジネスロジック・ハーネス・インフラの3層だと整理し、そのうちインフラ層をまるごと引き受けるのがManaged Deep Agentsです。ランタイム管理、イベントストリーミング、サンドボックス、メモリ、認証、評価ツール──かつては自前で構築するしかなかったすべてが、プラットフォームとして提供されます。Anthropicの「Claude Managed Agents」やVercelの「Eve」も同様の方向へ向かっており、エコシステム全体がインフラの民主化という潮流に入りつつあります。 エージェント開発者がビジネスロジックだけに集中できる時代が、ようやく到来しようとしています。 #AIエージェント# #LangChain#

# AIエージェントをソフトウェアに組み込むプラクティス # Dry-run & Commit｜差分提示してから実行 🎯 LLMがハルシネーションしたパラメータで決済が走る。それ、dry-runで防げます。 Terraformの plan → apply と同じ発想をエージェントのツール呼び出しに適用。「何が変わるか」を見てから実行する二相プロトコルです。 🔥 解決する課題 LLMはハルシネーションで意図しないパラメータを生成することがあり、ツール呼び出しは副作用を伴います。この二つが掛け合わさると、存在しないリソースIDや桁違いの金額で不可逆な操作が実行されるリスクが生まれます。dry-runなしの直接実行では、人間が「エージェントが何をしようとしているか」を確認する手段がなく、問題は事後にしか検出できません。 💡 提案パターン 副作用を伴う操作を「計画（dry-run）→ 差分提示 → 承認 → 実行（commit）」の二相で行います。dry-runフェーズではシステムを一切変更せず差分だけを計算し、承認を得てからcommitフェーズで書込を実行します。承認方式はリスクに応じて段階化し、高リスクは人間承認、中リスクはポリシー自動検証、低リスクは自動承認とします。planにはTTLを設け、状態変化が起きていたら再生成を強制します。 ✅ 選定条件 使うとき： - 不可逆な操作（データ削除、外部API書込、課金処理）をエージェントが実行する - 誤操作が金銭的・法的・運用的な実害を生みうる - 差分を評価するための数秒〜数分の待機が許容される 使わないとき： - 全操作が読み取り専用の場合 - 全操作が可逆かつ低コストの場合（チャット応答生成など） - レイテンシ制約が極めて厳しく承認待ちが許容されない場合 ⚠️ 落とし穴 - planとcommitの間に状態が変わるTOCTOU問題があります。commit時に前提条件を再検証する設計が必須です - 外部APIがdry-runモードを提供していない場合は、パラメータ検証とシミュレーションで代替し「推定」であることを明示します - commitエンドポイントがplan IDなしで呼べると、dry-runを迂回できてしまいます 🔧 実装方針 - ツール実行をdry-run（差分計算のみ）→承認→commit（実行）の三段階パイプラインとして構成し、各フェーズを独立したエンドポイントに分離します - planオブジェクトに変更前後の値・影響範囲・ロールバック手順・前提条件のハッシュを含め、commit時に前提条件の再検証（TOCTOU対策）を行います - commitエンドポイントは有効なplan IDと承認トークンの両方を必須パラメータとし、直接呼び出しによるdry-run迂回を構造的に防止します - planにTTLを設定し、期限切れの場合は再planを強制することで、古い差分に基づく実行を防ぎます #AIエージェント# #ソフトウェアアーキテクチャ#

# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 棄権閾値｜Abstention Threshold 🎯 ポイント エージェントが「自信がないときに黙る」仕組み、ちゃんと設計していますか？ 棄権閾値とは、エージェントが「自信がない」と判断して回答を棄権し人間にエスカレーションする信頼度スコアの境界線です。低すぎると誤答がユーザーに届き、高すぎるとエスカレーションだらけで自動化の意味がなくなります。誤答コストの大きさに応じてタスクカテゴリごとに異なる閾値を設定する多段構成が正解です🔑 📋 概要 棄権閾値は、エージェントが回答に自信がないときに人間へのエスカレーションを発動する信頼度スコアの基準値です。閾値が低ければ自動解決率は上がりますが誤答リスクも上がり、高ければ安全ですがエスカレーションが増えて人間の負荷と応答遅延が増大します。「間違った回答を自信満々にする」エージェントは信頼を致命的に損ないます。一方で「何でもかんでも聞いてくる」エージェントは導入の意味がありません。この間のバランスを、業務の誤答コストに基づいて精密に設計するのがこのダイヤルの役割です。 🔍 意思決定のポイント このダイヤルは「誤答した場合のコスト」で決めます。 致命的（不可逆・法的リスク・金銭損害）→ 高い閾値（0.85〜0.95）。返金金額の誤り、契約条件の誤案内、医療・法律相談など。少しでも不確実なら棄権。 中程度（修正可能だが手間がかかる）→ 中程度の閾値（0.70〜0.85）。Jiraチケットの優先度誤判定、Salesforceの商談ステージ誤更新など。 軽微（すぐ修正でき影響が限定的）→ 低い閾値（0.50〜0.70）。FAQ回答候補の表示、Slackでの情報検索結果など。多少の誤りは許容。 一律の閾値は避け、タスクカテゴリごとに異なる閾値を設定する多段構成にしてください⚡ 💡 要点と詳細 棄権閾値を機能させるには、信頼度スコアの設計が重要です。4つの算出方法があります： モデルのlogprob — トークンレベルの確率を集約します。分類タスクでは有効ですが、自由形式の回答では使いにくくなります。 自己評価プロンプト — 「回答の確信度を0〜1で評価せよ」と追加プロンプトで問います。キャリブレーションが必要です。 複数回生成の一致度 — 同じ入力を3〜5回生成し、回答の一致率を信頼度とします。コストはかかりますがロバストです。 検索ヒットの関連度スコア — RAGベースの回答では、検索結果の類似度スコアを信頼度の代理指標にします。 計測すべき指標は、自動解決率（エスカレーションせずに完了した割合）、誤答率（自動回答のうち誤っていた割合、目安として2〜5%以下）、不要棄権率（棄権したが正しく回答できていたケースの割合）、エスカレーション後の解決時間、そして信頼度スコアのキャリブレーション（信頼度0.8の回答の実際の正答率が80%前後か）です📊 ⚖️ トレードオフ 閾値が低すぎると、自動解決率は上がりますが誤答がユーザーに到達します。「間違った回答を自信満々にする」ケースが増え、信頼毀損や実害が発生します。特に金銭・法的リスクが絡む業務では、一度の誤答が取り返しのつかない結果を招きます😰 一方、閾値が高すぎると、エスカレーションが増えすぎて人間がボトルネックになります。ユーザーの待ち時間が増加し、エージェント導入の価値が問われます。期待される自動解決率の目安は、致命的リスクで40〜60%、中程度で60〜80%、軽微で80〜95%です。この数字から大きく外れていれば閾値の見直しが必要です⚠️ 🛠️ ユースケース Zendesk顧客対応：返金・解約に関する回答は閾値0.90で厳格に棄権します。間違った返金額を案内するリスクは取れません。一方、商品情報の案内は閾値0.65で自動回答を優先し、スループットを確保します📚 ServiceNow ITサポート：パスワードリセット手順（定型・低リスク）は閾値0.50で積極的に自動対応。権限変更の承認判断（高リスク）は閾値0.90で、不確実なら即エスカレーションします🎯 Salesforce営業支援：商談の受注確度予測は閾値0.75。データが不十分で信頼度が閾値を下回る場合は「判断を保留します。追加情報をご確認ください」と棄権し、誤った確度予測による営業判断ミスを防ぎます🔧 実践のコツ：初期は高めの閾値（0.85）で開始し、2〜4週間のデータ蓄積後に不要棄権率を分析して0.05刻みで下げてください。誤答率が許容範囲を超えたら即座に閾値を戻すこと。信頼度スコアのキャリブレーションは月次で実施し、モデル更新によるドリフトを補正してください。棄権時には「確認中です、担当者におつなぎします」のように、棄権を透明に伝えるUX設計も忘れずに💪 #AIエージェント# #エンタープライズアーキテクチャ#