# AIエージェントをソフトウェアに組み込むプラクティス # Risk-based Human Approval｜リスクベース人間承認 🎯 エージェントに「全部お任せ」も「全部確認」も間違いです。操作のリスクに応じて自動実行・人間承認・禁止を動的に振り分けるのが正解です。 🔥 解決する課題 エージェントが外部システムに副作用を持つ操作を実行できるとき、すべてを自動実行すれば不可逆な損害が起きえます。しかしすべてに人間承認を求めれば待ち時間で業務が止まり、エージェントの自動化の価値が消失します。LLMに「危険だと思ったら聞いて」と指示しても、その判断自体が確率的でありすり抜けが起きます。 💡 提案パターン 操作をリスクスコア（不可逆性 x 失敗コスト）で3層に分類します。低リスク（読取・可逆操作）は自動実行、中〜高リスク（不可逆または高コスト）は人間承認を経由、極高リスク（不可逆かつ致命的）は禁止とします。分類はLLMではなく決定論的なルールエンジンで行い、承認タイムアウト後のデフォルトは安全側（自動却下）に倒します。さらに段階的自律性（Autonomy Ladder）により、エージェントの実績に応じて閾値を動的に調整する仕組みも設計できます。 ✅ 選定条件 使うとき： - エージェントが書込・削除・送信など副作用を伴う操作を実行する - 操作によって不可逆性と失敗コストが異なり、一律ポリシーでは過剰か不足になる - 人間がレビューに関与できる運用体制がある 使わないとき： - すべての操作が読取専用で副作用がない - 失敗コストが一律に低くロールバックが容易 - レイテンシ要件が極めて短く人間介在を許容できない ⚠️ 落とし穴 - リスク分類自体をLLMに任せてはいけません。分類は決定論的なコードかポリシーエンジンの責務です - 承認待ちの状態を永続化しないと、プロセス再起動で承認待ち操作が消失します - 条件付き承認（パラメータ修正して実行）を設計に含めないと、却下と再提案のラウンドトリップが増えます 🔧 実装方針 - リスク分類はツール名×アクション名の静的テーブルまたはポリシーエンジンで行い、LLMには委譲しません - リスクスコアは不可逆性（reversibility）と失敗コスト（failure_cost）の積で算出し、閾値で3層（auto/approval/forbidden）に振り分けます - 承認待ち状態は耐久的なストア（キュー＋永続化）に保持し、プロセス再起動で消失しない設計にします - 承認タイムアウト時のデフォルト動作は安全側（自動却下）に倒します - リスクポリシーはYAML等の宣言的設定として外部化し、コード変更なしでルール追加・変更できるようにします #AIエージェント# #ソフトウェアアーキテクチャ#

🔬 最上位のAIエージェントでも、科学計算コードの修復タスクは約1/3が1時間以内に解けないという結果が出ました。 タイトル: ScienceIDE: Turning World's Scientific Codebase into Agent Learnable Environments URL: 🧩 概要 AItonomy・Qwen・PhAI-Labsが、天体物理・海洋モデリングなど27の科学コードベースを、AIエージェントが学習できる実行可能な環境へ変換するインフラ「ScienceIDE」を構築しました。64環境・2,812タスクを整備しています。 ⚙️ 解決する課題 科学コードには数十年分の専門知識が詰まっていますが、断片化したツールチェーンや文書化されていない数値慣習のせいで、信頼できる学習経験に変換するのが困難でした。 🛠 方法論と提案手法 数値許容誤差や保存量を比較する「科学的チェック」でタスクの正当性を検証し、修復・実装など7分類のタスクを生成。強化学習では予算切り捨てへの不当なペナルティを防ぐ「切り捨てマスキング」という工夫も導入しています。 📊 実験結果 1時間予算でのエージェント比較ではFable 5.1が67.1%で最高、Astraが63.1%。ScienceIDEの経験で学習したPhAI-IDEモデルは科学コード修復タスクで最大+33.33ポイント、強化学習ではLAPSタスクの報酬が2.4倍に向上しました。 #AIエージェント# #AI4Science#

学習に数日かかるレコメンドモデルの研究を、AIエージェントに自律的に回させたらどうなるかという論文です。 Auto-RecSys: Harnessing Autonomous Research Agents for Industry-Scale Recommender Systems ❓ なぜ既存の自律AI研究エージェントでは足りないのでしょうか 💡 既存システムは数分〜数時間で結果が出る小規模実験を前提にしていますが、産業用レコメンドモデルは1回の学習に数日かかり、設定も数千行に及びます。逐次試行が現実的でないため、複数のアイデアを分散サーバーで並行に走らせ、失敗からも復旧できる全く別の設計が必要になります。 ❓ どうやって並行実験と障害復旧を両立させているのでしょうか 💡 アイデアごとに独立した状態ファイルを持たせ、発案→実装→検証→学習→分析という工程を管理します。セッションが再起動しても、共有ストレージ上のグローバルレジストリと軌跡ログを読み直すことで、サーバーをまたいでシームレスに作業を再開できます。 ❓ 本当にシステムは「学習」していくのでしょうか 💡 実験の軌跡をモデル固有のプレイブックに蒸留し、失敗を「やってはいけないこと」として蓄積します。31回の反復のうち、1反復あたりの主要な修正回数は4.0件から0.5件まで減り、無修正で完了する反復の割合は83%に達しました。 ❓ 実際にどれくらい自律的に動けるのでしょうか 💡 970件連続のログエントリを人の介入なしで実行し、公開の失敗が続いた際には学習フローを自ら切り替えるといった適応も観察されています。 #AIエージェント# #機械学習#