「このタスクに合うベンチマークってどれだっけ」を毎回散らばった情報源から探すの、地味に時間を食いますよね。 タイトル: Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation URL: ❓ Benchmark Radarって何？ 💡 arXiv・Hugging Face・GitHubなど37ソースを日次で巡回し、ベンチマークの論文・データセット・リポジトリ・スコア履歴を1つの検索エンジンにまとめたツールです。CLIでオフラインクエリもできます。 ❓ どれくらいの規模のデータを扱っているの？ 💡 4つのカタログから1,283件のソースレコード、790ベンチマークにまたがる12,916件の数値スコアを収録。日次収集だけで6,546アーティファクトから11,068件の観測を記録しています。 ❓ なぜ単純にスコアを比較できないの？ 💡 スコア付きレコードのうち0〜100の検証済みパーセンテージスケールを使っているのはわずか82件。残りは異なるスケールや未検証のスケールで、公開日も約半数が不明なため、単純比較は危険なんです。 ❓ だからどうするの？ 💡 無理に比較可能にするのではなく、出典と引用を保持して読者自身が評価条件を検査できるようにする、という設計を取っています。 #LLM評価# #ベンチマーク#

🎮 コードエージェントが強いのは「実行して検証できる」から。同じ発想をゲーム開発に持ち込み、世界モデルの学習を加速させる研究です。 タイトル: Agentic Game Development as a Verifiable Trajectory Data Engine for Scaling World Models URL: 🧩 概要 動画やCLIPスコアのような曖昧なプロキシ指標では報酬がゲーム化されやすいという「検証可能性のボトルネック」を指摘し、ゲームエンジンの衝突判定・物理演算・navmeshチェックを報酬源として活用する手法を提案しています。 ❗ 解決する課題 空間生成モデル（動画・3D・世界モデル）は信頼できる報酬信号を欠いており、スケーリングしても真の能力向上につながらない「不可検証性の代償」を抱えています。 🛠 方法論と提案手法 エンジン由来の密な構造的報酬と人間の採否判断を組み合わせるRLHEV、Propose→Render→Verify→Repair→Reviewの反復ループを回すAWoMoエージェント、開発トレースを統一構造化するUWDPプロトコルを提案しています。 📊 実験結果 UnitySceneBenchで曖昧プロキシ比+0.098、クロスエンジン汎化はUnity→Godotで0.15→0.35に向上。さらにD4RL Gym-MuJoCoで+48.43%、R2Rナビゲーションで+0.79%の性能向上も確認されています。 #世界モデル# #強化学習#

🚀 FastAPIを「最初のエンドポイント」から「本番でスケールするAIシステム」まで一気通貫で学べる電子書籍です。LLM/RAG serving まで踏み込み、各章末に面接問題が付くのが実用的です。 タイトル: FastAPI for AI Engineers: From First Endpoint to Production-Scale AI Systems URL: 🚀 概要 PythonでMLモデルやLLM/RAGを本番運用するAIエンジニア向けの実践書（初版・2026年、AI Engineering Insider）。全10章・計100問の面接問題に加え、実在の障害事例やコストモデルのコラムが織り込まれています。 ❓ 解決する課題 ・モデルは作れても、本番でスケールするAPIとして安全に配信するのは別スキル ・LLM/RAGの serving はストリーミング・ガードレール・コスト管理など固有の難しさがある 本書はFastAPIを「AI/MLの事実上の serving レイヤー」として体系化します。 💡 構成と扱う技術 ・基礎：ASGI/WSGI、Uvicorn、OpenAPI、Pydantic v2によるスキーマ分離と検証 ・実装：冪等性、適切なステータスコード、ページネーション、Router→Service→Repositoryのクリーンアーキテクチャ ・DB/セキュリティ：SQLAlchemy/SQLModel/Alembic、N+1、プールサイジング、JWT、BOLA対策、OWASP API Top 10 ・非同期：「イベントループを絶対にブロックしない」、def vs async defの使い分け、httpxのリトライ/サーキットブレーカー 🎯 核心（第9章 AI/RAG/LLM） ・lifespanで重みを一度だけロード、CPU推論はスレッドにオフロード ・LLMゲートウェイで認証・プロンプト・ガードレール・コスト計測を集約、SSEでトークンを逐次配信 ・埋め込み＋ベクトルDB（pgvectorから開始）でRAGを構築し、出力はPydanticで検証→失敗なら差し戻して再試行 ・max_tokensを「支出上限」として型で強制 📊 注目ポイント ・実在の障害（Netflix、Stripe、GitLab、Optus、Air Canada）から学ぶ実践志向 ・第10章はGunicorn+Uvicorn、K8sのliveness/readiness、可観測性の3本柱（p99 vs p50）、SLOベースのアラートまでカバー #FastAPI# #AIエンジニアリング#

🌐 強いAIエージェントを作る鍵は、実は「エージェントが動く環境の設計」かもしれません。環境エンジニアリングという視点を体系化した、全63ページのサーベイです。 タイトル: Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application URL: 📝 概要 LLMエージェントは単独でなく、相互作用する「環境」の中で動きます。本サーベイは、その環境そのものを工学的に設計・構築する「環境エンジニアリング」という観点から、研究の全体像を体系化しています。 ❓ 解決する課題 これまで「環境の作り方」は断片的に語られてきました。エージェント能力の向上が良い環境設計に大きく依存するにもかかわらず、それを統一的に整理する枠組みがなかったのです。 💡 方法論と提案手法 環境を開発ライフサイクルに沿って4つの柱で分類します。 ・環境モデリング：代表的な環境の特徴づけとコア能力の評価 ・環境合成：シンボリック合成とニューラル合成の2パラダイム ・環境評価：合成パラダイムに整合したドメイン固有の評価 ・環境応用：記憶中心・ワークフロー中心・軌跡中心・探索中心という、エージェントと環境の共進化4経路 🎯 ユースケース エージェント研究者が自分の取り組みを地図上に位置づけ、抜けている観点を見つける指針になります。環境合成・評価・自己進化の設計を考える際の出発点としても有用です。 📊 トレンドと展望 ・進化のアプローチを、ニューラル駆動・難易度駆動・スケーリング駆動の3系統で整理しています ・8つの属性と8つの応用ドメインを軸に分析しています ・今後の方向性として、Environment-as-a-Service、マルチエージェント、ニューラル・シンボリック統合を挙げています #AIエージェント# #LLM#