登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 LLMベンチマーク
LLMベンチマーク コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
LLMベンチマーク を含む検索結果
【ブログ】日本語の複雑な質問応答と文単位の引用を評価する新たなLLMベンチマークTokyo-Metropolitan Government Complex QA (tmg_cqa)を公開しました。リサーチャーの今村が、なぜこのようなベンチマーク構築に至ったか、PFNが開発するPLaMoが競合モデルと比べてどのような性能を発揮するかをご紹介します。
もっと見る
TL;DR: 実カルテは公開できずラベルも不完全という臨床AIベンチマークの根本問題を、完全合成データで解決した研究です。フロンティアモデルでもトップ医師の性能には届きませんでした。 タイトル: Synthetic Hospital: An Open, Verifiable, Physician-Validated Longitudinal EHR Benchmark URL: ポイント 🏥 医学教育教材から1,268人・5,602受診分の完全合成カルテを構築し、個人情報ゼロで公開可能に 🔗 診断・所見・時間関係をICD-10-CM/SNOMED CT/LOINCへ決定的に紐づけ、ラベルは知識グラフから機械的に導出 👨‍⚕️ 医師によるリアリズム検証で、実カルテとの識別精度はほぼチャンスレベルの53% 📊 10モデルを5タスクで評価。患者診断の最高スコアはKimi 2.5-thinkingの重症度加重F1 0.732で医師平均と同水準 ⚠️ トップ医師(0.89)には未到達。要約タスクではどのモデルも所見の約半分を見落とし 🔁 生成モデルを変えても性能変化は0.05以下、臨床状態そのものを測るベンチマークであることを確認 臨床LLMの実力を偽りなく測れる基盤が整った意義は大きいと感じます。 #医療AI# #LLMベンチマーク#
もっと見る
「このタスクに合うベンチマークってどれだっけ」を毎回散らばった情報源から探すの、地味に時間を食いますよね。 タイトル: Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation URL: ❓ Benchmark Radarって何? 💡 arXiv・Hugging Face・GitHubなど37ソースを日次で巡回し、ベンチマークの論文・データセット・リポジトリ・スコア履歴を1つの検索エンジンにまとめたツールです。CLIでオフラインクエリもできます。 ❓ どれくらいの規模のデータを扱っているの? 💡 4つのカタログから1,283件のソースレコード、790ベンチマークにまたがる12,916件の数値スコアを収録。日次収集だけで6,546アーティファクトから11,068件の観測を記録しています。 ❓ なぜ単純にスコアを比較できないの? 💡 スコア付きレコードのうち0〜100の検証済みパーセンテージスケールを使っているのはわずか82件。残りは異なるスケールや未検証のスケールで、公開日も約半数が不明なため、単純比較は危険なんです。 ❓ だからどうするの? 💡 無理に比較可能にするのではなく、出典と引用を保持して読者自身が評価条件を検査できるようにする、という設計を取っています。 #LLM評価# #ベンチマーク#
もっと見る
エージェントのベンチマーク、どうやって作ればいいのか?LangChainが実践ノウハウを公開しました。 タイトル: How We Build Agent Environments & Tasks URL: ❓ エージェントの「タスク」って何で構成されているの? 💡 タスクは「インプット・環境・テストスクリプト」の3要素で成り立ちます。環境はエージェントの実行場所を提供し、ルーブリックが採点基準を定義します。複数の関連タスクにまたがる共有知識は「ワールドスペック」としてまとめ、APIスキーマ・データ生成方法・トレース解析スクリプトなどを一元管理します。 ❓ 大量のタスクを効率よく作るにはどうすればいい? 💡 LangChainは2段階パイプラインを採用しています。最初に「スペック生成」フェーズでコーディングエージェントがリポジトリをスキャン・トレースを分析しワールドスペックを自動生成します。次に「Spec2Task」フェーズでそのスペックから実行可能なタスクに変換します。最初のタスク作成時のスペックをベースに、後続のサイクルで反復的に品質を高めていく設計です。 ❓ タスク作成で特に注意すべき落とし穴は? 💡 3点が重要です。 ・実際のエージェントを動かさないと環境の欠陥が見えない(ペーパーテストでは不十分) ・モデルティア間(例: gpt-5.6-Luna vs Sol)で難易度を均等に校正する必要がある ・自由記述にはLLMベースの生成、表形式データにはSQLスクリプトという使い分けを徹底する ❓ ベンチマークは作ったら完成ですか? 💡 いいえ。本番データを使った継続的改善が核心です。コスト分析・プロンプト簡略化の検証・ツール設定テストに本番トレースを活用し、ベンチマーク自体の品質を運用しながら高め続けます。 評価環境の構築を「一度やれば終わり」でなく継続的なエンジニアリングとして捉える姿勢が実践的です。 #AIエージェント# #LLM評価#
もっと見る
LLMのサイズを大きくだけすれば良いわけでもない、むしろ小さい方がハルシネーションが少ないという話。 ・AI研究機関の間で、従来の大規模化路線に対する懐疑的な見方が広がっている ・一般的にモデルの規模が大きいほどAIのベンチマークスコアは高くなる ・しかし、オープンな比較的小型なモデルが、非公開の超巨大モデルのスコアに肉薄している ・これは、モデルのサイズを大きくしても実際の知能の向上がすでに頭打ちになっていることを示す ・巨大なモデルは膨大で事実に基づいたデータを使って学習する ・その結果、巨大なモデルは「分からない」と認めることができず、もっともらしい嘘を生成するハルシネーションの確率が非常に高くなる ・実際のベンチマークテストでは、一部の超巨大モデルのハルシネーション率は80〜90パーセント台に達する ・一方で、比較的小型のモデルはハルシネーション率を20パーセント台にうまく抑え込んでいる ・テストとして意図的に構造的欠陥を含ませた複雑なプログラミングの課題を与えてみた ・すると、モデル間に明確な違いが確認された ・超巨大モデルは約4分もの時間と大量のトークンを消費したにもかかわらず、自信満々に誤った解決策を提示した ・対照的に、半分のサイズの小型モデルはわずか12秒で課題の技術的な矛盾を見抜いた ・超巨大なAIは膨大な計算資源を浪費しながら、論理的な破綻に気づかずに誤答を作り出してしまう ・カタログスペック上では超巨大モデルが優れていても、実社会における正確性や誠実さとは大きな乖離が生じている ・推論にかけるリソースやパラメータ数を盲目的に増やし続ける開発手法はもはや適切ではない ・単にサイズを拡大するだけでは知能が頭打ちになるだけでなく、かえって精度が悪化するケースすら存在する ・消費者にとってもこれは重要 ・モデルの規模や理論上の性能の高さだけで利用するAIを選ぶべきではない ・今後のAIは、純粋な処理能力、ハルシネーションの抑制、そして計算効率という3つの要素のバランスを取ることが課題に
もっと見る
LLMの重みを全体の0.05%未満ゼロにするだけで、全パラメータを更新する微調整に並んだという研究( Tuning」だ。 事後学習(事前学習済みモデルを用途に合わせる追加学習)では、全パラメータを動かすFFTも、小さな差分行列を足すLoRAも、重みの値を書き換える。Deletion Tuningは各ブロックの「gate projection」(MLP内で情報の流れを掛け算で絞る重み)について、どれを0にするかだけを学ぶ。重みごとにスコアを持たせ、学習が進むほど残すか消すかの二択へ近づける。 正解を自動判定できる報酬で鍛える強化学習(GRPO)では、Llama3-8B-InstructのGSM8K(算数の文章題)で83.55%、FFTは83.24%。混合エキスパートモデル(総30Bのうち一部の3Bだけが動く構成)のQwen3-30B-A3Bでも、数学6ベンチマーク平均で58.54%対58.43%だった。教師あり微調整(正解例をまねる学習)など別の方法でも、試した最大のモデルではFFTと同等になっている。 初期値には枝刈り手法Wandaの重要度を使うが、効いているのは学習のほうだ。Wandaで切っただけでは試した6モデルとも元から2.4ポイント以内の変化で、マスクを学習すると最大53.2ポイント伸びた。 実用面の利点はサイズと忘れにくさ。保存するのは圧縮したマスクだけで、Llama3-8Bでも8.4MB(FFTのチェックポイントは30633MB)。用途ごとにマスクを差し替えて1つのベースモデルを使い回せるので、個人や小さなチームと相性がいい。また、HellaSwagやMMLUなど既存6タスクの平均精度は学習中ずっと元から1ポイント以内だった。FFTは1.3〜3.1ポイント、LoRAやランダムな一部の重みだけ更新する手法は最大5.4ポイント下がっている。 注意点もある。小さいモデルではFFTの90〜99%にとどまる(Llama3.2-1BのGSM8Kは54.44%対60.50%)。学習時メモリはFFTより少ないがLoRAより多い。推論の高速化は狙っておらず、忘れにくさの測定は3サイズのLlamaでのGRPOに限られる。複数タスクを順に学ぶ継続学習は今後の課題だ。 新しい知識を書き足すより、すでにある経路を少し外して能力を引き出す。事後学習の一部は「足す」より「選ぶ」作業に近いのかも。
もっと見る
LLMエージェントの「考える」と「話す」は、実は同じ言語でやらなくてもいいかもしれません。 タイトル: Hybrid Reasoning Agents URL: ❓ 潜在空間で考えるエージェントって何が違うの? 💡 普通のLLMエージェントは、考える時も行動する時もすべてトークン(言葉)に変換しながら処理します。監視はしやすい一方で遅く、効率が悪いという課題がありました。一方「潜在推論」は言葉に変換せず隠れ状態のまま考えるので速いのですが、ツールを呼んだり人間が内容を追跡したりしにくいという別の欠点がありました。 ❓ Hybrid Reasoning Agentsはどう解決したの? 💡 HybridLinkという軽量な橋渡しモジュールを使い、1つのエージェントの中で「言葉で考えて話すモード」と「隠れ状態のまま考えるモード」を動的に切り替えます。切り替えのタイミングは、隠れ状態の意味が終了を示すトークンの埋め込みに十分近づいた時に自動で判定されます。 ❓ 本当にその両立はできているの? 💡 11種のベンチマークで検証した結果、GAIAで52.4%(既存手法ARPOの43.7%を上回る)など、エージェント推論タスクで平均10.4%の性能向上を達成しました。しかもテキストトークンの使用量を35.5〜54.7%削減しつつ、推論速度は1.8〜2.6倍、計算コストは2.7〜3.7倍も削減しています。 ❓ 潜在思考の中身は本当に「考えている」の? 💡 隠れ状態を最も近いトークン埋め込みに復号すると、人間にも読める疑似テキストが得られます。潜在部分をランダムなトークンに置き換えると性能が49〜51%も落ちることから、見せかけではなく実質的に推論へ使われていることが確認されました。 #AIエージェント# #推論効率化#
もっと見る
TL;DR LLMが自然言語の最適化問題を数式・コードに変換する際に起きる「幻覚」を、生成後に安全に直すフレームワークが登場しました。精度を最大20ポイント改善しつつ、正しかった部分を壊す「後退」は1%以下に抑えています。 タイトル: Fix What's Wrong, Keep What's Right: Hallucination Repair for LLM-Based Optimization Modeling URL: ポイント 🔍 問題文⇄数式⇄コード⇄データを5方向からチェックして、どこがなぜ間違っているかを特定します ✂️ 直す範囲を「コードだけ」「モデルの一部だけ」「全体の再構築」の3段階から証拠に基づき最小限に絞ります 📜 24種類の「修復カード」が、書き換えてよい箇所・守るべき箇所・合格基準を契約として明文化します ✅ 修復後は実行テストと監査に両方合格しないと採用せず、失敗時は元の成果物をそのまま残します 📊 6つのベンチマークと複数の生成モデルで検証し、精度を6.3〜20.1ポイント改善、後退率は最大1.0%に抑制しました 🧩 診断の仕組みを外すと救済率が24.5ポイントも落ちることが確認され、各仕組みの効果が裏付けられています 生成するだけでなく「直す」工程を体系化した発想が実務的で、最適化以外のコード生成や構造化出力にも応用できそうです。 #LLM# #最適化モデリング#
もっと見る
🤔 マルチエージェントLLMの通信トポロジーは、本当に毎回コストをかけて“生成”しなければならないのでしょうか?UCLAのチームがこの前提そのものに疑問を投げかけた研究を発表しました。 タイトル: Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems URL: ❓ エージェント同士の通信トポロジーは、なぜ生成モデルで毎回探索する必要があると考えられてきたのですか? 💡 実は必要ないかもしれません。報酬で生き残るトポロジーは、コードブックのサイズを8から64まで増やしても常に6個程度のグラフに収束することが分かりました。設計空間は見かけほど広くなかったのです。 ❓ エッジ数を減らして疎なグラフにすれば、トークン消費も減らせそうですが? 💡 逆でした。エッジ数とトークン消費の相関係数は-0.4で、グラフを疎にするほどトークンが増えてしまいます。構造的な「コストらしさ」と実測コストは一致しないのです。 ❓ 既存のGNNによる候補採点は何が問題なのですか? 💡 エージェントのプロファイルが同質なチーム(多くの実運用構成に該当)では、GNNのメッセージパッシングがどの隣接行列も同じ入力とみなしてしまい、候補ごとに差をつけられない機能不全に陥っていました。 ❓ 生成をやめて選択に切り替えたCodebook Agentは、実際どれくらい効果があるのですか? 💡 VQ-AEでトポロジーを16個のコードに圧縮し、報酬加重MLPと実測データによる代理モデルで候補を選ぶことで、生成時間を301〜396msから2.4msへと125〜158倍高速化。6ベンチマーク平均で従来最強手法から精度+1.6ポイント、トークン消費も21.9〜33.2%削減しています。 #マルチエージェント# #LLM#
もっと見る
TL;DR: あらゆるクエリと予算に最適な単一LLMは存在しない。乱立するLLMルーティング研究を「5つの部品」で統一定式化し、16以上のルーターと専用ベンチマークをまとめたオープンソース基盤が登場しました。 タイトル: LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers URL: ポイント 🧩 ルーターを Context Encoder / Model Encoder / Scoring / Decision Rule / Learning Signal の5コンポーネントに分解して統一 📊 評価基盤 xRouteBench は Generic・Memory・Vision・TimeSeries・Personalized の5トラック計4,767クエリ 🛠️ 全18候補モデルへ全クエリを投げて作る密なクエリ-モデル行列で、訓練と評価を同時に供給 🚀 学習型ルーターは最強の固定モデル(常に最大を選択)を相対14.6%上回る ⚖️ 万能なルーターは無し。RouterDCは精度首位でもコスト重視だと10位に転落 🔁 マルチターンはコストの割に効果が不安定(Router-R1は22.3%) 👤 ユーザー条件付けは有効だが、実フィードバックとシミュレーションで最良設計が入れ替わる 「最良のルーターはタスクと予算で変わる」を実証し、公平比較の土台を用意した一本です。 #LLM# #ModelRouting#
もっと見る