💻 最強クラスのコーディングAIでも、非プログラマー相手だとスコアが半分以下に落ちる…そんな現実を突いたベンチマークが登場しました。 タイトル: SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction URL: ❓ 何が課題だったの？ 既存のコーディング評価ベンチマークは、タスクが短く、かつ要件を最初から全部提示してしまうものが多く、実際のユーザーが段階的に要望を出していく現実の使われ方を反映できていませんでした。 ❓ SWE-Journeyは何が違うの？ 平均10.2ファイル・768行規模の長期タスクを自動合成し、Claudeの実対話ログから抽出した「非プログラマー」「プロダクトマネージャー」「新人開発者」「ソフトウェアアーキテクト」という4つのペルソナがAIと何十ターンもやり取りしながら評価します。 ❓ 結果はどうだったの？ 最高性能のモデルでもFinal F2P（最終的な機能実装成功率）は52.22%にとどまりました。しかもソフトウェアアーキテクト相手では78.50%出せるのに、非プログラマー相手だと23.00%まで落ち込み、差は55.50ポイントにも及びます。 ❓ なぜそんな差が出るの? 弱いモデルは曖昧な要求を聞き返さず、見当違いの箇所に過信して固執し、根拠なく「修正完了」と報告してしまう傾向が確認されています。相手に応じて質問の仕方や確認の仕方を変える力が、実力の差になっていました。 #AIコーディング# #LLM評価#

「このタスクに合うベンチマークってどれだっけ」を毎回散らばった情報源から探すの、地味に時間を食いますよね。 タイトル: Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation URL: ❓ Benchmark Radarって何？ 💡 arXiv・Hugging Face・GitHubなど37ソースを日次で巡回し、ベンチマークの論文・データセット・リポジトリ・スコア履歴を1つの検索エンジンにまとめたツールです。CLIでオフラインクエリもできます。 ❓ どれくらいの規模のデータを扱っているの？ 💡 4つのカタログから1,283件のソースレコード、790ベンチマークにまたがる12,916件の数値スコアを収録。日次収集だけで6,546アーティファクトから11,068件の観測を記録しています。 ❓ なぜ単純にスコアを比較できないの？ 💡 スコア付きレコードのうち0〜100の検証済みパーセンテージスケールを使っているのはわずか82件。残りは異なるスケールや未検証のスケールで、公開日も約半数が不明なため、単純比較は危険なんです。 ❓ だからどうするの？ 💡 無理に比較可能にするのではなく、出典と引用を保持して読者自身が評価条件を検査できるようにする、という設計を取っています。 #LLM評価# #ベンチマーク#

ワールドモデルの評価、本当にできていますか？スコアだけ出して中身はブラックボックス——そんな評価手法に終止符を打つ研究が登場しました。 HarnessEval-W: Agentifying the Evaluation of Visual Worlds ❓ そもそも何が問題だったの？ 💡 既存のワールドモデルベンチマークはスカラー値しか返さず、なぜそのスコアになったかの推論根拠を示せませんでした。また物理的妥当性・因果関係・状態の持続性を「人間がやるように」自動検証する手段がなかったのです。 ❓ どんな仕組みで評価するの？ 💡 3層のエージェント階層で動きます。まずケースを専門スキルへルーティングし、サブエージェントが個々の問いに答え、親エージェントがエビデンスを集約してスコアを出します。全工程の推論が証拠ツリーとして記録されるため、どの判断も追跡・監査できます。評価軸は観測品質・遷移の正確さ・世界の持続性の3カテゴリ8設定、330件のケースで18モデルを評価しました。 ❓ 従来手法と比べてどう違う？ 💡 物理遷移のペアワイズ精度が WBench の 31.9% から 71.7% へ、引き分け率は 52.2% から 1.8% にまで激減しました。人間の判断との一致も高く、意図的遷移で Spearman ρ=0.93、物理遷移で ρ=0.87 を達成（5,000件のペアワイズA/B判定で検証）。 ❓ 実際のモデル評価で何かわかった？ 💡 上位は Seedance 2.0（75.5）、Wan 2.7（75.0）、Kling 3.0（74.4）の順。そしてファインチューニング分析が示す「能力トレードオフ」が興味深く、DreamX-World は探索的遷移で +4.8 改善しながら意図的遷移が −11.9 悪化。画質の良さと物理挙動の正確さも r=−0.04 でほぼ独立した能力であることがわかりました。 #WorldModel# #ビデオ生成#

便利だけど知られていないClaude APIの機能 🧪 プロンプトを変えたけど、本当に良くなったのか...感覚じゃなくて数字で確認したくないですか？ ClaudeのEvaluation Tool（評価ツール）は、Console内でプロンプトの評価を実行・比較できるツールです。本番投入前の品質検証を体系的に行えます。 📌 タイトル：Evaluation Tool（ConsoleでのEvaluation Tool使用） 🔗 URL： 🧩 概要 プロンプトを改善したとき、「本当に良くなったか」を客観的に判断するのは難しいです。Evaluation Toolは、テストケースに対してプロンプトを実行し、品質指標を定量的に評価する仕組みです。変更前後のプロンプトを同じテストセットで比較でき、「感覚的に良さそう」ではなく「数値的に改善した」ことを確認してからデプロイできます。 🛠 使い方 Anthropic Consoleで評価を設定します。テストケース（入力＋期待される出力や評価基準）を用意し、プロンプトを実行して結果をスコアリングします。複数のプロンプトバージョンを並べて比較でき、どの変更がどれだけ効果があったかが一目でわかります。 🏗 本番システムへの組み込み方 ・プロンプト変更のゲートキーパー：プロンプトの更新前に必ず評価を実行し、スコアが下がっていないことを確認してからデプロイ。回帰を防げます。 ・モデルアップグレードの検証：新しいモデルバージョンに切り替える前に、既存のテストセットで品質を比較。予期しない品質低下を事前に検知。 ・チームのプロンプトレビュー：PRレビューのように、プロンプト変更時に評価結果を添付して品質の議論を客観化。 ・継続的な品質モニタリング：定期的に評価を実行して、時間経過による品質ドリフトを検知。 💡 ユースケース ✅ プロンプト変更の回帰テスト 🔄 モデルアップグレード前の品質検証 👥 チームでのプロンプトレビュー 📉 品質ドリフトの継続的検知 ⚠️ 注意点 評価の品質はテストケースの品質に直結します。偏ったテストセットでは信頼性の高い評価はできません。本番で遭遇する多様なケースをカバーするテストセットを整備することが重要です。また、定量評価だけでなく、生成結果の定性的なチェックも併用しましょう。 ✨ 「なんとなく良さそう」ではなく「数字で良くなった」を確認してからデプロイする。この習慣が、プロダクション品質のAIを作る基本です。 #Claude# #LLM#

便利だけど知られていないClaude APIの機能 🧪 プロンプトを変えたけど、本当に良くなったのか...感覚じゃなくて数字で確認したくないですか？ ClaudeのEvaluation Tool（評価ツール）は、Console内でプロンプトの評価を実行・比較できるツールです。本番投入前の品質検証を体系的に行えます。 📌 タイトル：Evaluation Tool（ConsoleでのEvaluation Tool使用） 🔗 URL： 🧩 概要 プロンプトを改善したとき、「本当に良くなったか」を客観的に判断するのは難しいです。Evaluation Toolは、テストケースに対してプロンプトを実行し、品質指標を定量的に評価する仕組みです。変更前後のプロンプトを同じテストセットで比較でき、「感覚的に良さそう」ではなく「数値的に改善した」ことを確認してからデプロイできます。 🛠 使い方 Anthropic Consoleで評価を設定します。テストケース（入力＋期待される出力や評価基準）を用意し、プロンプトを実行して結果をスコアリングします。複数のプロンプトバージョンを並べて比較でき、どの変更がどれだけ効果があったかが一目でわかります。 🏗 本番システムへの組み込み方 ・プロンプト変更のゲートキーパー：プロンプトの更新前に必ず評価を実行し、スコアが下がっていないことを確認してからデプロイ。回帰を防げます。 ・モデルアップグレードの検証：新しいモデルバージョンに切り替える前に、既存のテストセットで品質を比較。予期しない品質低下を事前に検知。 ・チームのプロンプトレビュー：PRレビューのように、プロンプト変更時に評価結果を添付して品質の議論を客観化。 ・継続的な品質モニタリング：定期的に評価を実行して、時間経過による品質ドリフトを検知。 💡 ユースケース ✅ プロンプト変更の回帰テスト 🔄 モデルアップグレード前の品質検証 👥 チームでのプロンプトレビュー 📉 品質ドリフトの継続的検知 ⚠️ 注意点 評価の品質はテストケースの品質に直結します。偏ったテストセットでは信頼性の高い評価はできません。本番で遭遇する多様なケースをカバーするテストセットを整備することが重要です。また、定量評価だけでなく、生成結果の定性的なチェックも併用しましょう。 ✨ 「なんとなく良さそう」ではなく「数字で良くなった」を確認してからデプロイする。この習慣が、プロダクション品質のAIを作る基本です。 #Claude# #LLM#

操作に応じて映像を生み出す「動画ワールドモデル」、その実力を公平に測る統一ベンチマークが登場しました🎮 タイトル: WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation URL: 🎮 概要 インタラクティブな動画ワールドモデルを包括的に評価する統一フレームワークです。289テストケース・1,058インタラクションターンで、テキスト・6-DoF姿勢・離散アクションという異なる操作方式のモデルを同じ土俵で比較できます。 ❓ 解決する課題 インタラクティブなワールドモデルは急速に進歩する一方、能力を体系的に測る基準がありませんでした。既存ベンチマークは一部しかカバーできず、入力方式がモデルごとに違うため横並び比較も困難でした。 💡 方法論と提案手法 評価は5つの次元で行います。 ・映像品質 ・設定への忠実性 ・インタラクションへの忠実性 ・一貫性 ・物理法則への整合性 タスクはナビゲーション・被写体アクション・イベント編集・視点切り替えの4種。専門視覚モデルと大規模マルチモーダルモデルを組み合わせた22の自動指標を、人間の判断と照合して検証しています。 📊 実験結果 最先端20モデルを分析した結果、すべての次元で強いモデルは1つも存在しないことが判明。各アプローチに特徴的な強み・弱みと、共通の難題が浮かび上がりました。 #ワールドモデル# #ベンチマーク#

TL;DR: 機能追加は簡単なのに機能削除だけ異常に大変という、推薦システム運用の「技術的負債あるある」。それを日次の自動化で解決した実運用フレームワークがPinterestから登場しました。 タイトル: FORTE: A Production Framework for Feature Evaluation and Deprecation in Industrial Recommender Systems URL: ポイント 🧩 特徴量追加は「指標が良くなればOK」、削除は「どの指標も悪化させてはいけない」という非対称な難しさがある ⏱️ 日次の摂動実験で特徴量の重要度・ランク安定性を自動追跡する 🧪 まとめて評価する「グループ摂動」で特徴量同士の相互作用も見逃さない 🚀 1モデル分の全実験を1回の分散推論にまとめ、300実験で54倍の実行時間削減 🔗 下流の全モデルを自動追跡するリネージ機能で、安全な削除範囲を特定 📉 Pin Rankerモデルでは8特徴量削除でパラメータ29.9%減、処理能力19.8〜25.5%向上、年間コストを数十万ドル規模で削減 機能を「増やす」技術だけでなく「減らす」技術こそ、大規模な本番MLの持続可能性を支える重要なピースだと感じます。 #推薦システム# #MLOps#