生成AIに調査とレポートとアクションプランを練ってもらい、それらを縦長クソデカ単一HTMLに出力してもらうんのに最近ハマってる。とりあえずブラウザで閲覧できるし、必要であればPDF化も簡単にできるし、情報の編集も結構簡単。あとはLLMのインプットとして適しているかどうかだけど、MarkdoenとHTMLで精度を比較してる人とかいるんかな？

AIが毎回ワンショットで作ったカスの物理演算でクリアしないといけないアクションゲームとか作ろうとしたけど、そもそもクリア可能である保証ができなかったのでおもんなかった

闇のAIから地球を救うSFヒーローアクション「クロノブレイバーズ」7月8日放送開始　「宇宙刑事シャリバン」渡洋史らが声の出演 #クロノブレイバーズ#

AIエージェントの性能はモデルだけで決まらない——ハーネスの設計次第で大きく変わります。 TL;DR JIT-Agentはタスクの特性に応じてエージェントハーネス（スキャフォールド）をジャストインタイムで自動生成・修復・進化させる専用モデルです。GLM-5.2で+7.7pt、DeepSeek-V4-Flashで+8.8ptの平均向上を達成し、9ベンチマーク中8つでGPT-5.6を含む全フロンティアモデルを上回りました。 タイトル: Scaling Harness Intelligence via Just-in-Time Harness Evolution URL: ポイント 🧩 ハーネスを「学習可能なアーティファクト」として定式化 メモリ・計画・アクション・能力オーケストレーションの4モジュールプロトコル h = (M, P, A, F) でハーネスを形式化。生成空間を制約しつつ13種類の既存ハーネスを全て表現できる設計です。 🎓 教師あり→修復→進化の3段階訓練 ステージIで教師生成ハーネスを学習、ステージIIで実行失敗時の修復を学習（最大2反復）、ステージIIIのEvo-GDPOでパレートフロンティアを前進させる新規ハーネスを進化的に探索します。 📊 精度向上とコスト削減を同時達成 xBench-DeepSearchでスコア78→82（+4pt）の一方、トークン消費は527K→212K（▲60%）、コストは$0.075→$0.039（▲48%）。9ベンチマーク平均で固定ハーネス比36%のトークン削減を実現しています。 ⚡ 複数モデルファミリーに転移可能 JIT生成ハーネスはDeepSeek V4（+10.2pt平均）、Mimo V2.5（+8.6pt）、Qwen 3.6（+4.0pt）でいずれもReActを上回り、ハーネス生成器を再訓練せずに転移できます。 🔄 ストリーミングモードで運用中も進化 デプロイ後もタスクシーケンスをまたいでハーネスを蓄積・更新する「オンライン進化」を実装。静的生成より全評価ベンチマークで上回ります。 ベースモデルのスケーリングと独立した「ハーネス知性」という新たなスケーリング軸の提案として注目です。 #AIエージェント# #LLMスケーリング#

AIエージェントをエンタープライズシステムに組み込むプラクティス 【二重トラック検証】 💡 LLMの出力を「信じる」のではなく「検証する」。生成と検証を別トラックに分離することで、ハルシネーションを構造的に捕捉します。 🔥 解決する課題 - 事実と異なる情報がそのまま顧客や経営層に伝わる - 存在しない文書・条項・判例が引用される（捏造引用） - LLMが数値計算を誤り、財務レポートや見積もりに反映される - 出典が示されない根拠なき主張が信頼性を毀損する 🏗️ 提案パターン エージェントの「生成」とは独立した決定論的な検証トラックを設けます。数値検証では信頼ソース（DB/API）から再計算しエージェント出力と突合。引用検証では引用が実在すること、引用箇所が主張と一致することをプログラムで照合します。アクション検証ではパラメータをスキーマ＋ビジネスルールで事前チェック。不一致が検出された場合は棄却・再試行・人間エスカレーションのいずれかで対応します。 ✅ 選定条件 - 向き：数値・事実・引用の正確性が重要な業務（財務・法務・分析・サポート） - 不向き：創造的・主観的な出力で検証基準が定義できない領域 ⚠️ 落とし穴 - 検証器自体の精度が低いと偽陽性が多発し、業務フローが詰まる - 事前検証はレイテンシを増やすため、情報提供のみなら事後検証を検討する - 検証対象を「全出力」にすると処理コストが膨大になるため、リスクに応じた対象選定が重要 🛠️ 実装方針 1. 数値検証では、エージェント出力の数値をSalesforce API等の信頼ソースから再計算するPythonスクリプトを用意し、差分を自動突合します 2. 引用検証（grounding）には、RAGのチャンク検索結果と引用箇所の意味的一致をembedding類似度で照合する仕組みを構築します 3. アクション検証では、出力パラメータをJSONスキーマ＋ビジネスルールエンジン（OPA等）で事前バリデーションします 4. 不一致検出時のハンドリングを「棄却→再試行（最大2回）→人間エスカレーション」のフローとしてTemporalワークフローに組み込みます 5. 検証対象はリスクレベルで選別し、財務・法務は全件検証、情報提供はサンプリング検証とする運用ルールを設定します #AIエージェント# #エンタープライズアーキテクチャ#

AIエージェントをエンタープライズシステムに組み込むプラクティス 【Human-in-the-Loop 承認ゲート】 💡 AIの「最後の砦」は人間です。高リスク操作の前に承認を挟む仕組みがなければ、ハルシネーション1つで取り返しのつかない事態を招きます。 🔥 解決する課題 - ハルシネーション・誤操作による致命的ミスが最終チェックなく実行される - 「誰が承認したか」の証跡がなく説明責任を果たせない - 規制上、人間の関与が義務付けられている操作への対応ができない - 承認対象が広すぎて形骸化し、機械的にクリックするだけになる 🏗️ 提案パターン アクションをリスクスコアリング（金額・影響範囲・可逆性・データ分類）し、閾値を超えたものだけを承認キューへ送ります。承認通知はSlack・メール・専用UIで送信し、承認待ちの間ジョブは中断・永続化されます。承認/却下/修正の結果と承認者情報は監査ログに記録。初期は広めに承認を求め、精度実績が蓄積されたら段階的に自動化率を上げていく（HITL→HOTL→全自動）設計にします。 ✅ 選定条件 - 向き：金銭・契約・顧客接点・人事・本番変更など高リスク操作 - 不向き：低リスク・大量・即時性が命の処理（承認がボトルネック化） ⚠️ 落とし穴 - 全操作を承認対象にすると「承認疲れ」で形骸化する - 承認待ちのジョブ永続化設計を忘れると、タイムアウトでジョブが消失する - 自動化率を上げるタイミングの判断基準（精度実績の閾値）を事前に決めておかないと、いつまでも手動のまま 🛠️ 実装方針 1. リスクスコアリングロジック（金額・影響範囲・可逆性・データ分類）をOPA/Cedarでポリシーとして定義し、承認要否を動的に判定します 2. 承認通知はSlack Bolt（またはTeams Webhook）で実装し、承認/却下ボタン付きのインタラクティブメッセージを送信します 3. 承認待ちジョブの永続化にはTemporalのワークフロー中断機能またはStep Functionsのコールバック待機を使います 4. 承認/却下/修正の全結果を監査ログ（承認者・タイムスタンプ・理由）としてCloudWatch LogsやDatadog等に記録します 5. HITL→HOTL→全自動の移行閾値（例：連続100件の正答率99%超）を事前に定義し、ダッシュボードで進捗を可視化します #AIエージェント# #エンタープライズアーキテクチャ#

# AIエージェントをソフトウェアに組み込むプラクティス # Risk-based Human Approval｜リスクベース人間承認 🎯 エージェントに「全部お任せ」も「全部確認」も間違いです。操作のリスクに応じて自動実行・人間承認・禁止を動的に振り分けるのが正解です。 🔥 解決する課題 エージェントが外部システムに副作用を持つ操作を実行できるとき、すべてを自動実行すれば不可逆な損害が起きえます。しかしすべてに人間承認を求めれば待ち時間で業務が止まり、エージェントの自動化の価値が消失します。LLMに「危険だと思ったら聞いて」と指示しても、その判断自体が確率的でありすり抜けが起きます。 💡 提案パターン 操作をリスクスコア（不可逆性 x 失敗コスト）で3層に分類します。低リスク（読取・可逆操作）は自動実行、中〜高リスク（不可逆または高コスト）は人間承認を経由、極高リスク（不可逆かつ致命的）は禁止とします。分類はLLMではなく決定論的なルールエンジンで行い、承認タイムアウト後のデフォルトは安全側（自動却下）に倒します。さらに段階的自律性（Autonomy Ladder）により、エージェントの実績に応じて閾値を動的に調整する仕組みも設計できます。 ✅ 選定条件 使うとき： - エージェントが書込・削除・送信など副作用を伴う操作を実行する - 操作によって不可逆性と失敗コストが異なり、一律ポリシーでは過剰か不足になる - 人間がレビューに関与できる運用体制がある 使わないとき： - すべての操作が読取専用で副作用がない - 失敗コストが一律に低くロールバックが容易 - レイテンシ要件が極めて短く人間介在を許容できない ⚠️ 落とし穴 - リスク分類自体をLLMに任せてはいけません。分類は決定論的なコードかポリシーエンジンの責務です - 承認待ちの状態を永続化しないと、プロセス再起動で承認待ち操作が消失します - 条件付き承認（パラメータ修正して実行）を設計に含めないと、却下と再提案のラウンドトリップが増えます 🔧 実装方針 - リスク分類はツール名×アクション名の静的テーブルまたはポリシーエンジンで行い、LLMには委譲しません - リスクスコアは不可逆性（reversibility）と失敗コスト（failure_cost）の積で算出し、閾値で3層（auto/approval/forbidden）に振り分けます - 承認待ち状態は耐久的なストア（キュー＋永続化）に保持し、プロセス再起動で消失しない設計にします - 承認タイムアウト時のデフォルト動作は安全側（自動却下）に倒します - リスクポリシーはYAML等の宣言的設定として外部化し、コード変更なしでルール追加・変更できるようにします #AIエージェント# #ソフトウェアアーキテクチャ#