登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 AIエージェント
AIエージェント コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
AIエージェント を含む検索結果
# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # HITL vs HOTL vs 全自動 🎯 ポイント エージェントに「全部任せる」か「全部聞いてくる」か — この二択で設計していませんか?実は人間の関与度にはHITL(都度承認)、HOTL(監視+例外介入)、全自動の三段階があり、操作のリスクと実績に応じて段階的に自動化レベルを引き上げるのが基本戦略です。さらに、一度決めたら固定ではなく「運転免許」のように昇格・降格する動的運用が鍵になります🔑 📋 概要 HITL(Human-in-the-Loop)は、エージェントの各操作に対して人間が都度承認する方式です。不可逆で影響が大きい操作 — Workdayでの給与変更、Salesforceでの大型商談のステージ変更、本番DBへの書き込み — に適用します。HOTL(Human-on-the-Loop)は、エージェントが自動実行しつつ人間が監視し、異常時のみ介入する方式です。一定の実績があり、操作のリスクが中程度の場合に有効です。全自動は、操作が可逆かつ影響範囲が限定的で、エージェントの精度が十分に検証されている場合に適用します。 🔍 意思決定のポイント 判断フローは「可逆性」→「影響範囲」→「実績」→「件数」の順で進みます。 操作は可逆か? → 不可逆ならHITLが基本です。可逆なら次へ。 影響範囲は? → 外部顧客・金銭・法的効力に直結するならHITL。社内のみならHOTL以上を検討できます。 エージェントの実績は十分か? → 導入初期・実績不足ならHITLから開始。過去の承認率が95%以上ならHOTLへの昇格を検討します。 処理件数は人手で対応可能か? → 日次50件以下ならHITLが現実的。100件超ならHOTLまたは条件付き全自動を検討しましょう。 最後の確認:異常検知とロールバックの仕組みがあるか? → なければHITLに留めるべきです⚡ 💡 要点と詳細 HITLの適用範囲は「不可逆×高影響」の操作です。規制要件により「人間が承認した」エビデンスが必須の場合(金融取引、医療判断、法的文書の発行)、副作用が外部顧客に直接影響する場合(顧客向けメール送信、契約書の自動生成、請求処理)、そして導入初期で出力品質の実績データがまだ蓄積されていない場合に選択します。 HOTLは「中リスク×実績あり」の操作に最適です。Jiraチケットの優先度変更、Slackへの社内通知、ServiceNowのインシデント分類など。異常検知の仕組み(信頼度スコア、異常値アラート)で逸脱をリアルタイムに検知し、ロールバック手段で誤操作を事後修正できることが前提条件です。 全自動は「可逆×低影響×高精度」の操作に限定します。社内ナレッジの検索と要約、ログの自動分類、ダッシュボード更新など。エラー率が1%未満で安定していること、即時性が求められ人間の介入がSLA違反につながる場合(リアルタイムのカスタマーサポート初期応答など)が適用条件です。 最も強力な運用パターンはリスクベースの動的切り替えです。操作の種類・金額・影響範囲に応じて自動的にモードを切り替えます。例えば10万円未満の経費承認は全自動、10〜100万円はHOTL、100万円超はHITLとします🎚️ ⚖️ トレードオフ HITLの最大の罠は承認疲れ(Approval Fatigue)です。全操作をHITLにした結果、承認者が形骸的に全件承認し、ゲートとして機能しなくなります。低リスク操作への繰り返し承認で「OKを押す作業」が機械的になり、本当に重要な承認も見逃す。「全件承認」は「承認なし」と同じくらい危険です。 全自動への早すぎる移行も危険です。十分な実績データなしに全自動化し、エッジケースでの誤操作が顧客影響を引き起こすケースが後を絶ちません。特にZendeskの顧客応答やShopifyの注文処理で問題になりやすい。 見落としがちなのは降格ルールの未定義です。全自動に昇格した後にモデル変更や精度劣化が発生した場合、HOTL→HITLへの巻き戻しルールがなければ、問題が長期化します。昇格ルールと降格ルールはセットで定義してください⚠️ 🛠️ ユースケース EC受注処理エージェント:注文・在庫確認は全自動(可逆×低影響)、発送手配はHOTL(2週間の実績で承認率95%超なら昇格)、返金処理はHITL(金銭操作は常に承認必要)、高額注文(100万円超)はHITLでドライラン付き。金額と操作種別でモードを動的に切り替えます🛒 開発支援エージェント(CI/CD連携):コード分析とテスト実行は全自動(開発環境限定)、PR作成はHOTL(信頼度スコア連動)、ステージングデプロイはHITL、本番デプロイはHITL+ドライラン必須。サンドボックスでは全自動まで許容しますが、本番影響のある操作は制限します🔧 社内ナレッジ検索アシスタント:検索は全自動、回答生成もHOTL(出力ガードレール付き)、文書編集はHITL、削除はHITLでドライランのみ。読取中心のワークフローなので高い自律性で運用可能です📚 実践のコツ:昇格条件を数値で定義してください。「承認率95%以上を2週間継続」「重大エラー0件」など、曖昧さのない基準を設定する。降格トリガーも事前に決める。「重大エラー1件で即座にHITLに戻す」「承認率が90%を下回ったらHOTLに降格」。昇格履歴はすべて監査証跡として記録してください💪 #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント LLMの出力、JSON Schemaで縛りますか?それとも自由に生成させてから抽出しますか? 下流にAPIやDBがあるなら型安全性は生命線。でも構造化を強制するとLLMが「フォーマットに従うこと」に認知リソースを割いて、肝心の内容品質が落ちることがあります。出力制約をどの段階で課すかが、システムの信頼性と生成品質の両方を左右します。 📋 概要 F-17「構造化出力強制 vs 自由出力+抽出」は、LLMの出力フォーマットをJSON Schema等で事前に強制するか、自由形式で出力させた後にパーサーで構造を抽出するかの判断です。エージェントの出力は人間だけでなく下流のコードやAPIに渡されることが多く、この選択がシステム全体の信頼性を左右します。 🔍 意思決定のポイント 判断の軸は「説明責任」と「タスクの多様性」です 🎯 構造化出力強制を選ぶべき場面: - 下流にコード・API・DBがあり出力を機械的に消費する → 型不一致やフィールド欠損が実害を生む - 説明責任が高い → 構造が事前定義されていることで検証・監査・テストが容易に - 出力スキーマが安定しており頻繁な変更が見込まれない - パースエラーが連鎖的障害を引き起こすリスクがある 自由出力+抽出を選ぶべき場面: - タスクの多様性が高く出力形式を事前に定義できない → 探索的タスク、創造的生成 - 出力が主に人間に読まれる → 自然な文章表現が品質の重要要素 - プロトタイピング段階で出力形式が未確定 - 複雑なスキーマでLLMの生成品質が劣化することが確認された 💡 要点と詳細 🔹 構造化出力強制の強み 型安全性が保証される 🔒 出力は必ず定義スキーマに従い、パースエラーが構造的に排除されます。`response_format`やtool use等のAPI機能で実現。後処理は単純なデシリアライズだけで済み、正規表現やアドホックなパーサーへの依存から解放されます。 🔹 自由出力+抽出の強み 生成品質が最大化 ✍️ LLMがフォーマット制約に認知リソースを割かず、内容の推論と生成に集中。特に創造的文章・長文要約・ニュアンスのある分析では自由度が品質に直結します。スキーマの事前定義が不要でプロトタイピングが高速。 ⚖️ トレードオフ 構造化の代償:表現の自由度が制限 📐 特に長い自由記述フィールドや複雑なネスト構造では内容が表面的になりがち。スキーマの変更頻度が高いと更新→テスト→デプロイのサイクルがボトルネックに。スキーマ違反率が高くリトライ頻発も。 自由出力の代償:抽出の信頼性リスク 🎲 「JSONで返して」と書いても余分テキスト付加・キー名揺れ・フォーマット崩壊が発生。モデル更新やプロンプト修正で出力形式が変わるたびに抽出ロジックの修正が必要。「ほぼうまくいくが時々壊れる」が本番で問題に。 デフォルトは「下流にコードがある(機械消費)なら構造化強制、人間が読むだけなら自由出力」です。 🛠️ ユースケース ✅ ハイブリッド二段構成が折衷案:まずLLMに自由形式で思考・生成させ(chain-of-thought含む)、その出力を別のLLM呼び出しで構造化データに変換。生成品質と型安全性の両立が可能です。ただし追加のLLMコストとレイテンシは上乗せ。 ⚠️ 判断ミスのサイン: - 構造化を選んだが自由形式の方が明らかに品質が高い → スキーマ制約が内容品質を圧迫 - 自由出力を選んだがパーサーのエラー率が高い → 構造化で型安全性を確保すべき - 型不一致が下流でサイレントに問題を起こし発見が遅れる → 構造化が不可欠 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # LLM-judge vs 人手評価 🎯 ポイント エージェントの出力品質を「LLMに評価させる」か「人間の専門家が判定する」か。この二者択一で議論している時点で、すでに設計を間違えています。実運用では両者を組み合わせた二段構成が標準です。LLM-judgeで広くカバーし、人手評価で深く検証する。問題は「どの評価軸をどちらに割り当てるか」と「どうキャリブレーションを維持するか」です🔑 📋 概要 LLM-judgeは、エージェントの出力をLLMに自動評価させる手法です。CI/CDパイプラインに組み込めば、プロンプト変更やモデル更新のたびに回帰テストを自動実行でき、日次100件以上の評価もスケールします。一方、人手評価は人間の専門家が出力を直接判定する手法で、安全性・倫理性・コンプライアンスに関わる判定や、主観的・文脈依存の評価基準では代替不可能です。評価の速度・スケーラビリティと、判定の信頼性・安全性保証がトレードオフになります。 🔍 意思決定のポイント 最初の分岐は「評価対象の出力は安全性・規制に直結するか?」です。 YES → 人手評価を必須にしましょう。LLM-judgeは補助として使いますが、最終判定は人間です。金融商品の説明、医療情報、法務回答は人手評価を外せません。 NO → LLM-judgeが有効です。事実整合性、フォーマット準拠、トーン一貫性など、基準を明文化・数値化できる軸はLLMで自動評価できます。 次に「日次の評価対象件数」を確認します。100件超ならLLM-judgeでの自動化が必須です。Zendeskで日次500件の要約を全件人手レビューすることは物理的に不可能です。50件以下なら人手評価も運用上現実的です。 ゴールドデータの有無も重要です。LLM-judgeのキャリブレーションには目安として200件以上のゴールドラベルが必要です。不足している場合は、まず人手でゴールドセットを構築するところから始めてください📊 💡 要点と詳細 LLM-judgeの適用範囲は「形式化しやすい評価軸」です。事実整合性(出力が入力データと矛盾していないか)、フォーマット準拠(JSON構造やフィールドの過不足)、トーン一貫性(ブランドガイドラインとの整合)、Salesforceのケース要約やJiraチケットの自動分類のように出力の正解パターンがある程度定型化されている場合に威力を発揮します。 人手評価が不可欠な領域は「主観的・文脈依存の判定」です。顧客への共感表現の適切さ、ブランドトーンの微妙なニュアンス、新規ユースケース立ち上げ時のゴールドデータ作成。規制当局への報告に「人間が検証した」というエビデンスが求められる場合も人手評価は必須です。 最も効率的な併用パターンは「LLM-judgeでフィルタリング→人手で精査」です。全出力をLLM-judgeで自動スコアリングし、低スコア(下位10〜20%)のみ人手レビューに回します。これにより、人手の工数を最も価値の高い判定に集中配分できます。もう一つの重要なパターンは「段階ゲート」で、開発環境ではLLM-judgeのみ、ステージング環境でLLM-judge+サンプル人手評価、本番リリース前に人手評価によるゲート承認とします🔍 ⚖️ トレードオフ LLM-judgeの最大のリスクは自己評価バイアスです。同一モデルファミリーで生成と評価を行うと、自分の出力を過大評価する傾向が出ます。評価モデルは生成モデルと異なるプロバイダを使うか、評価プロンプトにバイアス対策を明示的に組み込む必要があります。LLM-judgeの精度を人手との一致率で定期的に検証しないまま運用を続けるのも危険です。 人手評価のリスクはスケール不足と基準の暗黙知化です。「全件人手レビュー」を方針にして運用が破綻するのは時間の問題です。評価者の判断基準が明文化されず、評価者間のばらつき(Inter-Annotator Agreement)が低いまま運用されるケースも多い。Cohen's Kappaで0.7以上を維持できていなければ、評価基準の再教育が必要です。 コスト面も見逃せません。LLM-judgeのAPIコストを軽視して全出力×複数評価軸で評価した結果、生成コストと同程度の評価コストが発生することがあります。サンプリングや評価軸の絞り込みで制御しましょう💰 🛠️ ユースケース カスタマーサポートの品質管理:Zendeskの応答品質を日次300件評価する場合、事実整合性とフォーマット準拠はLLM-judgeで自動評価し、共感表現の適切さとエスカレーション判断の妥当性は低スコア分のみ人手レビューに回します。四半期ごとに200件のゴールドセットを更新してLLM-judgeを再キャリブレーションします📞 金融商品の説明文生成:規制当局への報告に「人間が検証した」エビデンスが必須なので、全出力に対して人手評価を実施。ただしフォーマット準拠と禁止表現の検知はLLM-judgeで事前フィルタリングし、人手レビューの効率を上げます🏦 CI/CDパイプラインの回帰テスト:プロンプト変更やモデル更新のたびに、LLM-judgeで100〜500件の回帰テストを自動実行。スコアが前回比で5%以上低下した場合にアラートを発し、人手で原因を調査します🔧 実践のコツ:評価軸を分離してください。全軸を同一手法で評価する必要はありません。事実整合性はLLM-judge、共感表現は人手、フォーマットはルールベース — 軸ごとに最適な手法を割り当てるのが評価設計の基本です。LangfuseやBraintrustでLLM-judgeスコアと人手スコアの推移・乖離をダッシュボード化し、劣化を早期に検知してください💪 #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
「AIエージェント博 2026 byAI博覧会」 カンファレンス第3弾スピーカーを発表!
AIエージェント普及の壁、膨大なコストを誰が負担? エージェントは計算処理に非常に高いコストがかかるため、AI企業はプレミアム顧客にのみ提供するか、アクセスできるユーザーを制限している。
もっと見る
AIエージェントに「どのデータがどこにあるか」を、プロンプトに書かずに教える方法です。 Build a Knowledge Layer: Map Your Data with an Ontology 銀行取引・事業計画・融資方針・過去の判断など、バラバラのデータソースを、オントロジー(他のグラフを説明するグラフ)で地図にするNeo4jの解説記事です。 注目ポイント 🗺️ 汎用スキーマで地図を作る DataProduct(データソース全体)とSchemaEntity(ソース内のエンティティ)の2種類のノードだけで構成します。各ソース固有のリレーション名はRELATESのプロパティに持たせるので、ソースが変わっても吸収しやすくなります。 🔗 ソース同士の4つの関係 RESOLVES(同じ実体)、SUPPLEMENTS(文脈の補完)、GOVERNS(制約)、CITES(根拠の引用)の4種類でつなぎます。DB間の統合を作らなくても、エージェントはどこを見ればよいか分かります。 🧭 クエリの前に地図を読む get_schema_helpで場所と形を確認し、ontology_guided_queryで読み取り専用のCypherを実行します。プロンプトに書く指示は実質1つで、スキーマ一覧の貼り付けが不要になります。 プロンプトを古くしない設計として参考になります。 #Neo4j# #KnowledgeGraph#
もっと見る
# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 集中IDブローカー vs 連合認証 🎯 ポイント エージェントがSalesforce、ServiceNow、Workday、Box、Slackと横断的にアクセスするとき、認証をどう設計しますか?「全部Oktaに集約」と「各システムの既存SSOをそのまま使う」では、セキュリティモデルも運用コストもまったく違います。しかも多くの企業では、どちらか一方ではなく「集中ブローカーで統一認証→各SaaS側でスコープを絞る」ハイブリッドに落ち着きます。なぜそうなるかを理解することが、エージェント時代のID設計の出発点です🔑 📋 概要 集中IDブローカーは、OktaやAzure ADのような単一のIdPにエージェントの認証・認可を集約する方式です。OAuth 2.0 Token Exchange(RFC 8693)でユーザートークンからエージェント用のスコープ制限トークンを発行し、「誰が何をエージェントに委任したか」を一元管理できます。一方、連合認証は各SaaSの既存SAML/OIDC連携をそのまま活用する方式で、各事業部門の自律性と既存投資を活かせます。権限の一貫性と統制力を取るか、各システムの自律性と導入速度を取るかの選択です。 🔍 意思決定のポイント 最初の分岐は「全社IdPは統一されているか?」です。 OktaやAzure ADで統一済み → 集中ブローカーが自然な拡張です。エージェント用のOAuth 2.0 Token Exchangeを集約できる基盤がすでにあります。 IdPが事業部門ごとに分散 → 連合認証から始めるのが現実的です。統合コストを過小評価すると痛い目を見ます。 次に「エージェントがアクセスするシステム数」を確認します。5システム以上なら集中管理の効率が個別管理を上回ります。3システム以下なら個別連携でも十分運用可能です。 データ主権・地域規制も重要な軸です。GDPRや中国データ安全法により認証トークンを特定リージョンから出せない場合、連合認証またはリージョン別ブローカーを選ぶ必要があります🌍 💡 要点と詳細 集中IDブローカーの強みは、ゼロトラスト方針との親和性です。全アクセスをOPAやCedarのような単一ポリシーエンジンで検証し、エージェントの権限を「最小権限」で一括管理できます。定期的な権限棚卸も集中的に行え、SOX/ISMAPなどの監査証跡要件にも対応しやすい。新規にエージェント基盤を構築し、認証設計を白紙から始められる場合はこちらが第一選択です。 連合認証の強みは、既存投資の活用と導入速度です。各SaaSネイティブのSAML/OIDC連携が成熟している環境では、エージェント用に再構築する合理性がありません。M&A直後など異なる認証基盤の統合が中長期課題として残っている過渡期にも有効です。各システム固有のきめ細かい権限モデル(Salesforceのプロファイル/権限セット等)を集中化すると粒度が失われるリスクもあります。 ハイブリッドで最も一般的なのは「集中ブローカー+ローカルスコープダウン」です。Oktaで統一認証した後、各SaaS側でエージェント専用のスコープ制限を適用します。もう一つの現実的なパターンは「フェデレーション+集中監査」で、認証は各システムに委ねつつ、全認証イベントをSIEM(Splunk、Sentinel等)に集約して監査証跡の一元化だけを実現します🔐 ⚖️ トレードオフ 集中ブローカーの最大のリスクは単一障害点化です。IDブローカーの障害で全エージェントが停止する。冗長構成とサーキットブレーカーの設計を怠ると、全社業務に影響します。また、全権限変更が集中ブローカーのチケット承認を経由するため、事業部門のアジリティが低下するという声もよく聞きます。 連合認証のリスクはトークン管理の複雑化です。各SaaSごとに異なるトークンライフサイクル(Salesforceは2時間、ServiceNowは30分などデフォルト値がバラバラ)を管理し、リフレッシュ失敗やトークン失効の検知漏れが多発します。各SaaSの認証強度(MFA要否、セッション有効期限等)がシステムごとに異なり、最弱のリンクがセキュリティホールになるリスクもあります。 移行期の二重管理も見逃せない落とし穴です。連合から集中への移行途中に両方の仕組みが並存し、どちらがsource of truthか混乱する。カットオーバー基準を明確にした移行計画が不可欠です⚠️ 🛠️ ユースケース 全社統一IdP導入済みの大企業:Oktaで全社統一済み、エージェントが10以上のSaaSにアクセスする場合、集中ブローカーが最適です。Token Exchangeでエージェント用のスコープ制限トークンを発行し、OPAで統一ポリシーを適用。各SaaS側ではエージェント専用のサービスアカウントにローカルスコープダウンを設定します🏢 M&A直後の統合過渡期:異なるIdPを持つ2社が統合途中の場合、連合認証で早期稼働し、全認証イベントをSIEMに集約して監査だけ一元化するのが現実的です。高頻度アクセス先から順に段階的に集中ブローカーへ移行します🔄 地域規制が厳しいグローバル企業:GDPRやデータローカライゼーション要件がある場合、リージョン別のIDブローカーを配置するか、各リージョンの既存IdPを連合的に活用します。認証トークンがリージョンを越えない設計が必須です🌐 実践のコツ:いずれの方式でも、エージェントが保持するトークンの暗号化保存とメモリ上の保持時間最小化は必須要件です。移行に使える期間が3か月以内なら連合認証で早期稼働、中長期なら集中ブローカーへの段階的移行を計画してください💪 #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
AIエージェントに過去の経験から作った教訓を渡すなら、その教訓が生まれた作業記録も一緒に持たせた方がいい、と示した研究( 外部メモリ(過去の作業記録を短い教訓にまとめて次のタスクで読ませる仕組み。再学習なしで経験を活かせる)には、メモリなしなら解けるタスクを落とすという副作用がある。メモリなしで3回とも解けたのにメモリありで失敗したケースを調べると、52%は従った教訓が原因で、最多は教訓自体の誤り(20%)だった。作業記録には成否のラベルしかなく、どの行動が効いたかは推測で教訓にするしかない。 WikiTraceは記憶を3層で持つ。短い教訓の「insight」、その実行がなぜ成功・失敗したかの要約「compilation」、元の作業記録そのもの。これらをリンクでつなぎ、読み取り専用のファイルとして置く。エージェントは全insightを読んでから動き、教訓が細部を欠く、別の教訓と食い違う、失敗した実行から来ている、行動が失敗した、というときだけ元記録まで降りて確かめる。 5つのベンチマーク(家事、理科実験、Minecraft風のクラフト、アプリ操作、顧客対応)の8スイート(評価用の課題セット)で、平均スコアはメモリなしの79.5に対し90.2。同じinsightだけを渡す「Insights Only」の87.0も3.2ポイント上回った。メモリなしで解けたタスクを落とす割合(Regression)も、Insights Onlyの6.5%に対し4.5%に抑えた。 降りる頻度は難しさに応じて変わり、文字のコマンドで操作する仮想環境の3ベンチマークでは簡単なタスクで22%、難しいタスクで44%の実行が元記録を開いた。1タスクあたりのコストはInsights Onlyの1.17倍。モデルはdeepseek-v4-flashで、GLM-5.3-flashでも評価した3スイートすべてで首位だった。 ただし、元記録を見られても教訓の正しさが検証されるわけではない。全insightを最初に読ませるため、記憶が増えるとプロンプトも膨らむ。失敗原因の分類はLLMによる判定で、記憶の元になった学習タスクも各ベンチマーク38〜54件と小さい。 大きなモデルや並列のエージェントを足すのではなく、必要なときだけ一段深く根拠を確かめる。個人のエージェント運用にも取り入れやすい設計だと思う。
もっと見る
AIエージェントを仮想環境で試験し、本番前に失敗を見つけるイスラエルのPluraiが、Team8主導のシードラウンドで1,300万米ドルを調達しました( Mokady氏ら20人を超えるエンジェル投資家も参加しました。資金は研究開発チームの拡充、大企業向け市場の開拓、米国での事業拡大に充て、約12人の従業員を2026年末までに倍にする計画です。プラットフォームも無料枠つきで開発者に一般公開しました。 エージェントを作ること自体は、デモなら数時間でできるようになりました。難しいのはその先です。エージェントは同じ依頼にも違う応答を返すことがあり、プロンプトやモデルを少し変えるだけで振る舞いが変わります。手作業や決め打ちのシナリオでは試しきれず、利用者の前で初めて問題が出ることもあります。同社が引用するVentureBeatの調査では、社内評価を通ったエージェントやLLM機能が本番で顧客向けの不具合を起こした企業が半数にのぼりました。 発想の元は自動運転のシミュレーションです。企業のナレッジベース、ツール、ポリシーをもとに、エージェントとその動作環境のデジタルツイン(ソフトウェア上に再現した複製)を作り、サンドボックス(本番から隔離された試験環境)で数千の模擬ユーザーをぶつけます。意地の悪い問い合わせも混ぜて、ハルシネーション(もっともらしい誤答)、ポリシー違反、ツール呼び出しの失敗、機密情報の漏えいなどを洗い出し、修正案を作って同じ環境で再試験します。 本番では、シミュレーションで得たデータからエージェントごとに小規模言語モデル(SLM)を作り、常時の監視役にします。全会話を大型モデルで検査すると高くつくため、多くの企業は一部の抜き取り確認にとどまっています。用途を絞った小さなモデルなら全件を見られるという考え方で、1枚のGPUで数百の専用モデルを同時に動かせることも研究で示したとしています。 同社によると、デザインパートナー(製品を一緒に磨く初期顧客)では開発期間が数か月から数時間に縮み、利用者に届く失敗が82%減り、運用コストは最大97%下がりました。NVIDIAとNebiusとの取り組みでは、ある大手企業向けに追加学習したNemotronモデルが、特定の本番タスクでOpenAIのGPT-6 Lunaと同等の結果を約40分の1のコストで出し、AnthropicのClaude Haiku 5.5を約44分の1のコストで上回ったそうです(ynetの報道。Calcalistは両方を精度で上回ったと伝えています)。特定業務での比較で、汎用的な性能比較ではありません。 巨大なモデル1つに全部を見張らせるのではなく、小さな専用モデルをたくさん並べて監視する設計なので、エージェントを安心して動かすための費用は、モデルの大きさより試験データの質で決まっていくのかもしれません。
もっと見る
AIエージェントを導入して最初にすることなんて見た目を萌え萌え二次元美少女に変更することに決まっとるじゃろがい