登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 Framework
Framework コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
Framework を含む検索結果
楽々Framework3、生成AI新機能「RakStudio AIアドバイザー」を提供開始
WWDC26 What’s new in the Foundation Models framework みはじめた。Foundation Modelsの進化すごいね... #wwdc26#
社内のSQL分析エージェント、「構文は正しいのに0行が返っている」という失敗を見逃していませんか? Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents Amazonが、トレースベースのLLMジャッジ(Strands Evals)、テキストのみのLLMジャッジ(PromptFoo)、決定論的チェック(Agenta)を、小売サプライチェーン予測エージェント2種で比較しました。約11,700回の評価です。 注目ポイント 🔍 見える情報が検出力を決める 72ケースの既知失敗の検出で、実行トレース全体を見るStrandsはF1 0.896、誤検知率10.3%でした。テキストのみのPromptFooは再現率こそ87.9%でも誤検知率が48.7%に跳ね上がります。ツール正確性の検出は89%対11%でした。 🧪 未知の失敗はテストの種類で別物 自動生成テストで見つかった新規の失敗24件のうち、機能テストとセキュリティテストの重複はゼロでした。Strandsは負インデックスのSUBSTRバグなどを、PromptFooはスキーマ漏洩やシステムプロンプト開示を見つけています。 🎲 LLMジャッジは揺れる 36構成中35は安定でしたが、判定の一貫性は82〜92%でした。Qwen3のある構成は一貫性20%まで落ちています。個別ケースでのCI/CDゲートに使うにはまだ早そうです。 結論は、機能評価はトレース付きジャッジ、セキュリティはレッドチーミングという二本立てです。 #AIエージェント# #LLM評価#
もっと見る
長期記憶や自己改善には専用のハーネスが必要、という前提はもう古いのかもしれません。 タイトル: Harness as a Language: A Minimalist Agent Framework With Maximal Expressivity URL: ❓ JAZとは何ですか? `invoke`というたった1つの基本要素だけで動くLLMエージェントフレームワークです。LLMが再帰的なinvoke呼び出しを含む実行可能コードを書き、実行環境内の変数としてすべてが見える、という最小構成になっています。 ❓ なぜこれが長期記憶の代わりになるのですか? JAZはREPLの対話履歴を`__history__`という変数としてコード実行環境に公開します。エージェントはこれをプログラム的に参照し、サブエージェントに委任するときも参照渡しできるため、専用の記憶ストアを使わずに記憶・再想起を実現できます。 ❓ 専用ハーネスより性能が出るのですか? 長期タスクのStuLifeベンチマークでは、専用メモリシステムLettaを遠距離再想起で8ポイント上回りながらコストは半分以下でした。AppWorldでの継続的改善タスクでも、専用ハーネスACEを上回る性能をより低コストで達成しています。 ❓ この研究の意義は何ですか? 高度な能力には複雑なハーネスが必要という前提に疑問を投げかけ、表現力の高い最小限のループの中でモデル自体を強くする方向を示唆しています。 #AIエージェント# #LLM#
もっと見る
AIが自律的に論文を書く時代、「幻引用・メソッドとコードの不整合・再現不可能なスコア」という信頼性の危機が深刻化しています。 タイトル: Science One Framework: A verifiable autonomous research framework via Chain-of-Evidence Google CloudのScience One Frameworkは「検証可能性を後付けではなく設計の第一制約とする」というChain-of-Evidence原則で、AI自律研究の信頼性問題を根本から解決します。 🔍 注目ポイント1 — Chain-of-Evidence(CoE)の2原則 「すべての主張が記録された証拠チェーンを持つ(完全性)」「各チェーンがその主張を真に支持する(正確性)」という2原則を定義します。ベースラインシステムで最大21%あったPhantom Referenceを0%に削減し、論文に記述されたメソッドとコードの整合性も全評価システム中で最高水準を達成しています。後付けで検証するのではなく、主張を生成する段階で証拠チェーンを同時に構築する点が従来手法との根本的な違いです。 🏗 注目ポイント2 — 3モジュールアーキテクチャ Problem Investigator(Semantic Scholar APIで最大100本のPDFから引用グラフを構築し、モデル記憶ではなく取得データに根拠付け)、Discovery Engine(並列ブランチで複数解を探索し全評価器出力を不変記録として保持)、Paper Writer & Claim Verifier(専用エージェントが主張を特定のワークスペース成果物に結びつけ、不整合を削除ではなく保守的に修正)という3つのモジュールが科学的誠実性を構造的に担保します。 🏆 注目ポイント3 — MLE-BenchとParameter-Golfでの実績 医療画像・細粒度認識・3D知覚を含むKaggleコンペ5種で金メダル2個・銀メダル2個を獲得。全ベースラインシステムが失敗した3Dオブジェクト検出タスクで優勝しました。厳格なハードウェア・ファイルサイズ制約下でのParameter-Golf LLMコンペでも2026年4月27日時点のSoTAを達成し、ベースラインはいずれも有効な提出物を生成できませんでした。 厳密性と競争力は両立できます。AI Scientist v2・AutoResearchClaw・DeepScientistなど最先端5システムを上回り、検証可能な自律研究の新しい基準を打ち立てています。 #AIResearch# #科学AI#
もっと見る
スライド修正で「1枚だけ直したいのに全部作り直されて崩れる」問題、ありますよね。それをメモリの階層化と局所修正で解いた研究です🗂️ タイトル: MemSlides: A Hierarchical Memory Driven Agent Framework for Personalized Slide Generation with Multi-turn Local Revision URL: ❓ 何が新しいの? 💡 スライド生成エージェントに「階層的メモリ」を入れ、恒久的な好み(プロファイル)・セッション単位の作業記憶・再利用可能なツール経験を明確に分離します。さらにデッキ全体を作り直さず、対象スライドだけを直す局所修正を採用しています。 ❓ どうやって局所修正の暴走を防ぐ? 💡 Plan–Act–Guardの3段で進めます。Planで修正を「実行契約」(対象パス・適用ルール・カバレッジ要件)に変換し、Actで共通セレクタのバッチCSSやパッチ操作を使い分け、Guardでコンテンツのハッシュに束縛して全対象が直るまで早期確定をブロックします。 ❓ 一時的な指示が恒久的な好みに化けない? 💡 ジョブ終了時に意図を考慮した統合を行い、安定した信号だけをプロファイルへ書き戻します。「この回だけ」の要求が永続化するのを防ぐ仕組みです。 ❓ 効果は? 💡 ブラインド審査でパーソナライズはDeepPresenter比で全次元改善(Visual +1.66など)。ツール記憶ありだと修正の完了率0.963、初回正答までの時間は609.5→242.5秒で約60%短縮でした。 エージェントのメモリを「種類ごとに役割分担」する設計思想が、多ターン編集タスク全般に効きそうだと感じます。 #AIエージェント# #LLM#
もっと見る