Cのモデル検査が「ループ展開で爆発」する問題、関数契約でどう解決するのでしょうか？ タイトル: Function Contracts for Bounded Model Checking of C Programs URL: ❓ なぜBMCは重くなるの？ ループをN回展開し、関数呼び出しも全部インライン化するためです。N回ループする関数をK箇所で呼ぶと、コストはおよそN×Kに膨らみます。 💡 契約を使うとどう変わる？ 関数本体は契約に対して1回だけ検証し、各呼び出しは契約から作ったスタブに置き換えます。展開が不要になるので、呼び出し回数に引きずられません。 ❓ 何が新しいの？ ESBMCに契約機能を実装しました。assigns句は「書いてはいけない場所の入口時の値を保存し、終了時に比較する」観測的方式で検査します。書き込み回数でなくグローバル変数の数で式の大きさが決まる点がCBMCとの違いです。代数の骨格はLean 4で機械検証されています。 ❓ 効果は？ ・N=20,K=10で、直接検証は120秒超のタイムアウト、モジュラーは12.5秒 ・N=10,K=10で42.0秒から1.8秒（23.3倍） ・W=500の書き込みでVCC数はESBMC 5に対しCBMC 521 ・ML-KEMのFIPS-203サイズでは、モノリシックは両ツールとも10分で終わらず、モジュラーなら完了 ただしK=1では逆に遅くなります。 #形式検証# #モデル検査#

#Repost拡散希望# 3/22(土)16時〜秋葉原 滋養強壮💊＆性病検査キット イベントのモデルします🥰 皆の夜の健康と安心のお手伝い👩‍⚕️🏥 販売グッズ馴染みあるかたも、 試したことないかたも、皆、仲間！ ぜひお越しください⭐️ 🎟️参加 ✍️サプリの記事

TL;DR: プロンプトインジェクションを「モデルの賢さ」ではなく「システム設計」で防ぐ手法CaMeLです。AgentDojoで77%のタスクを、証明可能なセキュリティ付きで解決しました。 タイトル: Defeating Prompt Injections by Design URL: ポイント ・🧠 Privileged LLMは計画だけを書き、信頼できないデータは一切見ません ・🔒 Quarantined LLMは非信頼データを構造化するだけで、ツールは持ちません ・🏷️ 全ての値に出所と読み手のcapabilityを付与します ・📜 ツール呼び出し前にPythonのセキュリティポリシーで検査します ・📊 Claude 3.5 Sonnetで攻撃成功は0件。次点の防御は8件でした ・⚖️ 有用性は84%から77%へ。トークンは約2.8倍に増えます ・🕳️ 例外や時間などのサイドチャネルは課題として残ります 信頼できないモデルの周りに安全なシステムを作るという発想が、エージェントの本番運用で重要になりそうです。 #プロンプトインジェクション# #AIエージェント#

TL;DR: エージェントが失敗するのはモデルの賢さ不足ではなく「実行を取り巻く仕組み」の欠陥。重みを触らず実行環境だけを鍛える「ハーネススケーリング」で、Terminal-Bench 2.1に95.3%・約$15で到達しました。 タイトル: StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling URL: ポイント 🧠 モデルではなくハーネスを拡張。再訓練なしで失敗から学習させる新パラダイム 📌 永続状態でエピソードをまたいで発見を保持 🎯 フェーズ局所の文脈で意思決定点に関連情報だけを提示 ✅ 検査付き遷移で事前条件を検証し連鎖失敗を防止 📖 回復可能ランブックで失敗を照会可能な知識として再利用 🕒 バージョン管理された手順で戦略を更新・ロールバック 💰 GPT-5.6が95.3%(445試行/全89タスク成功)、$574.68の実行を約$15に圧縮 失敗を毎回「実行可能な事前条件」に変え、信頼性を運用基盤から底上げする一本です。 #AIAgents# #TerminalBench#

TL;DR AIコーディングエージェントに「計画→開発→QA検査」のループを重ねさせるだけで、複数日にわたる自律ソフトウェア開発の性能が平均52%も向上するそうです。 タイトル: Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement URL: ポイント 🔁 既存のCodex CLIやOpenCodeなどのハーネスは改造せず、その上に反復改善レイヤーを被せる設計です 🧭 計画者・開発者・QA検査官の3ロールに分離し、証拠（エビデンス）を次のループに引き継ぎます 📊 GameCraft-Benchでスコア49.58→71.52など、3ベンチマーク×3モデル構成すべてで改善しました 💰 同じパス数ならVanillaの繰り返しより常に上回り、トークン効率も良いことを確認しています 🎮 70イテレーションのFPSゲーム自律開発ケースでは、複数日かけて実プレイ可能な作品を完成させています 🧩 計画更新・エビデンスフィードバック・Warm-startのどれを外しても性能が下がるアブレーション結果です 単純に長く動かすのではなく、検証済みの知識を積み上げながら賢く反復する設計思想が印象的でした。 #AIエージェント# #ソフトウェア開発#

TL;DR 複数のハーネスで解けた成功体験を、単一の汎用ハーネスで再現できる学習データへ「書き直す」手法です。生データをそのまま学習させると性能が落ちる一方、書き直すとpass@3が57.0%から74.2%へ上がりました。 タイトル: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite URL: ポイント 🧩 ハーネスが違えば解けるタスクも違い、3種類の和集合は最強単体より34.3%多くのタスクを解きました 📝 成功軌跡から手順書を再構成し、新しいサンドボックスで汎用ハーネスのまま解き直させます 🔍 手順書が答えを漏らしていないかを批評役が検査し、却下なら理由付きで作り直させます 🧹 最後にモデル自身が「環境から導けない値」を検出して該当データを破棄します 📈 学習データは2,001本から11,094本へ拡大し、Terminal-Bench Hardは39.0%から63.0%に向上しました ⚠️ 生データ直接学習はTB2でむしろ悪化。同じ行動を延々ループする行き止まり挙動が混入していました 🎛 学習なしでもハーネスを替えるだけでTBHは33.0%から66.0%へ倍増します 自前のエージェントログを学習に回すなら、書き直しと漏洩監査を挟む価値があると感じる結果です。 #AIエージェント# #自己改善#

TL;DR コードを書いて画像や動画を生成するAIは、コードの実行が成功しても見た目の要求を満たしているかは別問題です。この「プログラムと視覚のギャップ」を測る評価手法が提案されました。 タイトル: MaLiang-Harness: A Programmable Path to Image and Video Generation URL: ポイント 🖼️ 状態を保持しながら生成物を検査・修正するステートフルなフレームワーク 🔧 コードの変更と映像の結果を対応づける追跡可能な生成プロセスを導入 🎨 Canvas・SVG・Three.jsなど複数バックエンドを共通プロトコルで統一 📊 画像生成50タスクでGPT-6-Astraが成功率100%・品質基準クリア96.0% 🎬 動画生成13タスクでもGPT-6-Astraが成功率100%・品質基準クリア76.9% ⚠️ DeepSeek系は画像で12〜40%、動画では0%と大きく苦戦 🔍 汎用能力スコアが同じ2モデルでも描画品質の合格率は44%対88%と激しく食い違う 汎用ベンチマークのスコアだけではモデルの実力を測れない、という指摘が特に刺さります。 #マルチモーダルAI# #画像生成#

拒食と過食を繰り返し 体重50キロ→100キロ「本当の自分を見つけた」 ⠀ 太ってモテモテに！「SNSですごいナンパ」 ⠀ 子どもの頃は痩せ型～普通体型だったくるみさん。中3で不登校になって以来、ストレスで過食と拒食を繰り返しMAX80キロになることも。 『la farfa』ぽっちゃりモデル落選で吹っ切れて100キロに到達したが「ひざも割と健康で、お医者さんにも『健康に太れる体質だね』と言われて、血液検査も一切に引っかからない」と語る。再び同誌のモデルに応募し、見事合格した。

LLMエージェントの「検索」を「推論」から切り離すと、精度はほぼ維持したまま検索コストを最大98%削減できました🔌 タイトル: Decoupling Search from Reasoning: A Vendor-Agnostic Grounding Architecture for LLM Agents URL: 🔌 概要 検索による根拠づけ（grounding）を、言語モデルの推論から切り離す手法DSGの提案です。Model Context Protocol（MCP）に準拠した独立ゲートウェイとして動作し、ベンダー非依存の中間層として機能します。 ❓ 解決する課題 本番のLLMエージェントでは、リアルタイム検索がモデルプロバイダーに密結合しています。 ・システムの検査・再構成・転用・移行が難しい ・検索が「Search-Induced Verbosity（検索起因の冗長化）」を招き、厳格な出力要件に違反することがある 検索と推論の一体化が、柔軟性とコストのボトルネックでした。 💡 方法論と提案手法 根拠づけを「モデルの中」ではなく「検索と生成の境界」に置きます。これまでモデルに埋め込まれていた要素を制御可能な第一級機能として公開します。 ・プロバイダールーティング（検索先の選択・切り替え） ・ソースを意識したコンテキストレンダリング ・設定可能なフォールバック機構 ・検索深度の管理 ・厳密キャッシュとセマンティックキャッシュの両方 📊 実験結果 ・SimpleQA：精度86.1%（ネイティブ検索87.7%）を保ちつつ検索コストを91%削減 ・キャッシュのウォームヒット率99.4%、レイテンシ68%削減 ・本番Eコマース：ネイティブ同等の精度で検索コストを98%以上削減 ・一方、新しさが重要なFreshQAではネイティブ検索が優位 #LLMエージェント# #検索#

製造業のAI活用、つまずきの本当の原因は「目（視覚）」ではなく「知識」でした🏭 18種類の最先端モデルを徹底検証して、その事実を突き止めた研究です。 タイトル: FORGE: Fine-grained Multimodal Evaluation for Manufacturing Scenarios URL: 🏭 概要 本研究は、製造現場でマルチモーダルLLM（MLLM）がどこまで実用に耐えるかを、厳密に測るための評価フレームワーク「FORGE」を提案しています。2D画像と3D点群（point cloud）を組み合わせ、型番などの細かいドメイン情報を付与した高品質なデータセットを構築し、18種類の最先端MLLMを横断的に評価しました。 ❓ 解決する課題 製造業はAI活用を急速に進めていますが、その性能を正しく測る基盤が追いついていませんでした。 ・製造現場の高品質なマルチモーダルデータ（実機画像や3D形状）は希少で、評価用データが不足しています ・既存データセットは、型番・構造的な欠陥・組立の正誤といった製造特有の細粒度な意味情報を欠いています そのため、現行のMLLM評価は実際の製造業の要求を反映できていませんでした。 💡 方法論と提案手法 FORGEは、現実的な条件で能力を測るために設計されています。 ・実世界の2D画像と3D点群を含む高品質なマルチモーダルデータで構成します ・正確な型番を含む、製造特有の細粒度ドメイン意味アノテーションを付与します ・評価する中核タスクは3つです ・ワークピース検証（対象部品が正しいものか） ・構造表面検査（表面の欠陥や状態の確認） ・組立検証（組み付けが正しく行われているか） 🌍 ユースケース / 実験結果 検証から、実務に直結する重要な知見が得られました。 ・評価したMLLM群の間で、性能に大きなギャップが存在することが判明しました ・従来の想定に反し、視覚的グラウンディング（画像中の対象を特定する力）はボトルネックの本質ではありませんでした ・真のボトルネックは「ドメイン固有知識の不足」であると結論づけられました ・この知見を裏付けるように、コンパクトな3Bパラメータのモデルを教師ありファインチューニングしたところ、未知の製造シナリオで最大90.8%の相対精度改善を達成しました 巨大な汎用モデルに頼るより、小型モデルを自社の現場データで鍛える方が、検査や品質管理で現実的な解になり得ます。 #製造業AI# #MLLM#