TL;DR: 実カルテは公開できずラベルも不完全という臨床AIベンチマークの根本問題を、完全合成データで解決した研究です。フロンティアモデルでもトップ医師の性能には届きませんでした。 タイトル: Synthetic Hospital: An Open, Verifiable, Physician-Validated Longitudinal EHR Benchmark URL: ポイント 🏥 医学教育教材から1,268人・5,602受診分の完全合成カルテを構築し、個人情報ゼロで公開可能に 🔗 診断・所見・時間関係をICD-10-CM/SNOMED CT/LOINCへ決定的に紐づけ、ラベルは知識グラフから機械的に導出 👨‍⚕️ 医師によるリアリズム検証で、実カルテとの識別精度はほぼチャンスレベルの53% 📊 10モデルを5タスクで評価。患者診断の最高スコアはKimi 2.5-thinkingの重症度加重F1 0.732で医師平均と同水準 ⚠️ トップ医師(0.89)には未到達。要約タスクではどのモデルも所見の約半分を見落とし 🔁 生成モデルを変えても性能変化は0.05以下、臨床状態そのものを測るベンチマークであることを確認 臨床LLMの実力を偽りなく測れる基盤が整った意義は大きいと感じます。 #医療AI# #LLMベンチマーク#

「このタスクに合うベンチマークってどれだっけ」を毎回散らばった情報源から探すの、地味に時間を食いますよね。 タイトル: Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation URL: ❓ Benchmark Radarって何？ 💡 arXiv・Hugging Face・GitHubなど37ソースを日次で巡回し、ベンチマークの論文・データセット・リポジトリ・スコア履歴を1つの検索エンジンにまとめたツールです。CLIでオフラインクエリもできます。 ❓ どれくらいの規模のデータを扱っているの？ 💡 4つのカタログから1,283件のソースレコード、790ベンチマークにまたがる12,916件の数値スコアを収録。日次収集だけで6,546アーティファクトから11,068件の観測を記録しています。 ❓ なぜ単純にスコアを比較できないの？ 💡 スコア付きレコードのうち0〜100の検証済みパーセンテージスケールを使っているのはわずか82件。残りは異なるスケールや未検証のスケールで、公開日も約半数が不明なため、単純比較は危険なんです。 ❓ だからどうするの？ 💡 無理に比較可能にするのではなく、出典と引用を保持して読者自身が評価条件を検査できるようにする、という設計を取っています。 #LLM評価# #ベンチマーク#

エージェントのベンチマーク、どうやって作ればいいのか？LangChainが実践ノウハウを公開しました。 タイトル: How We Build Agent Environments & Tasks URL: ❓ エージェントの「タスク」って何で構成されているの？ 💡 タスクは「インプット・環境・テストスクリプト」の3要素で成り立ちます。環境はエージェントの実行場所を提供し、ルーブリックが採点基準を定義します。複数の関連タスクにまたがる共有知識は「ワールドスペック」としてまとめ、APIスキーマ・データ生成方法・トレース解析スクリプトなどを一元管理します。 ❓ 大量のタスクを効率よく作るにはどうすればいい？ 💡 LangChainは2段階パイプラインを採用しています。最初に「スペック生成」フェーズでコーディングエージェントがリポジトリをスキャン・トレースを分析しワールドスペックを自動生成します。次に「Spec2Task」フェーズでそのスペックから実行可能なタスクに変換します。最初のタスク作成時のスペックをベースに、後続のサイクルで反復的に品質を高めていく設計です。 ❓ タスク作成で特に注意すべき落とし穴は？ 💡 3点が重要です。 ・実際のエージェントを動かさないと環境の欠陥が見えない（ペーパーテストでは不十分） ・モデルティア間（例: gpt-5.6-Luna vs Sol）で難易度を均等に校正する必要がある ・自由記述にはLLMベースの生成、表形式データにはSQLスクリプトという使い分けを徹底する ❓ ベンチマークは作ったら完成ですか？ 💡 いいえ。本番データを使った継続的改善が核心です。コスト分析・プロンプト簡略化の検証・ツール設定テストに本番トレースを活用し、ベンチマーク自体の品質を運用しながら高め続けます。 評価環境の構築を「一度やれば終わり」でなく継続的なエンジニアリングとして捉える姿勢が実践的です。 #AIエージェント# #LLM評価#

LLMのサイズを大きくだけすれば良いわけでもない、むしろ小さい方がハルシネーションが少ないという話。 ・AI研究機関の間で、従来の大規模化路線に対する懐疑的な見方が広がっている ・一般的にモデルの規模が大きいほどAIのベンチマークスコアは高くなる ・しかし、オープンな比較的小型なモデルが、非公開の超巨大モデルのスコアに肉薄している ・これは、モデルのサイズを大きくしても実際の知能の向上がすでに頭打ちになっていることを示す ・巨大なモデルは膨大で事実に基づいたデータを使って学習する ・その結果、巨大なモデルは「分からない」と認めることができず、もっともらしい嘘を生成するハルシネーションの確率が非常に高くなる ・実際のベンチマークテストでは、一部の超巨大モデルのハルシネーション率は80〜90パーセント台に達する ・一方で、比較的小型のモデルはハルシネーション率を20パーセント台にうまく抑え込んでいる ・テストとして意図的に構造的欠陥を含ませた複雑なプログラミングの課題を与えてみた ・すると、モデル間に明確な違いが確認された ・超巨大モデルは約4分もの時間と大量のトークンを消費したにもかかわらず、自信満々に誤った解決策を提示した ・対照的に、半分のサイズの小型モデルはわずか12秒で課題の技術的な矛盾を見抜いた ・超巨大なAIは膨大な計算資源を浪費しながら、論理的な破綻に気づかずに誤答を作り出してしまう ・カタログスペック上では超巨大モデルが優れていても、実社会における正確性や誠実さとは大きな乖離が生じている ・推論にかけるリソースやパラメータ数を盲目的に増やし続ける開発手法はもはや適切ではない ・単にサイズを拡大するだけでは知能が頭打ちになるだけでなく、かえって精度が悪化するケースすら存在する ・消費者にとってもこれは重要 ・モデルの規模や理論上の性能の高さだけで利用するAIを選ぶべきではない ・今後のAIは、純粋な処理能力、ハルシネーションの抑制、そして計算効率という3つの要素のバランスを取ることが課題に

🤔 マルチエージェントLLMの通信トポロジーは、本当に毎回コストをかけて“生成”しなければならないのでしょうか？UCLAのチームがこの前提そのものに疑問を投げかけた研究を発表しました。 タイトル: Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems URL: ❓ エージェント同士の通信トポロジーは、なぜ生成モデルで毎回探索する必要があると考えられてきたのですか？ 💡 実は必要ないかもしれません。報酬で生き残るトポロジーは、コードブックのサイズを8から64まで増やしても常に6個程度のグラフに収束することが分かりました。設計空間は見かけほど広くなかったのです。 ❓ エッジ数を減らして疎なグラフにすれば、トークン消費も減らせそうですが？ 💡 逆でした。エッジ数とトークン消費の相関係数は-0.4で、グラフを疎にするほどトークンが増えてしまいます。構造的な「コストらしさ」と実測コストは一致しないのです。 ❓ 既存のGNNによる候補採点は何が問題なのですか？ 💡 エージェントのプロファイルが同質なチーム（多くの実運用構成に該当）では、GNNのメッセージパッシングがどの隣接行列も同じ入力とみなしてしまい、候補ごとに差をつけられない機能不全に陥っていました。 ❓ 生成をやめて選択に切り替えたCodebook Agentは、実際どれくらい効果があるのですか？ 💡 VQ-AEでトポロジーを16個のコードに圧縮し、報酬加重MLPと実測データによる代理モデルで候補を選ぶことで、生成時間を301〜396msから2.4msへと125〜158倍高速化。6ベンチマーク平均で従来最強手法から精度+1.6ポイント、トークン消費も21.9〜33.2%削減しています。 #マルチエージェント# #LLM#

TL;DR: あらゆるクエリと予算に最適な単一LLMは存在しない。乱立するLLMルーティング研究を「5つの部品」で統一定式化し、16以上のルーターと専用ベンチマークをまとめたオープンソース基盤が登場しました。 タイトル: LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers URL: ポイント 🧩 ルーターを Context Encoder / Model Encoder / Scoring / Decision Rule / Learning Signal の5コンポーネントに分解して統一 📊 評価基盤 xRouteBench は Generic・Memory・Vision・TimeSeries・Personalized の5トラック計4,767クエリ 🛠️ 全18候補モデルへ全クエリを投げて作る密なクエリ-モデル行列で、訓練と評価を同時に供給 🚀 学習型ルーターは最強の固定モデル（常に最大を選択）を相対14.6%上回る ⚖️ 万能なルーターは無し。RouterDCは精度首位でもコスト重視だと10位に転落 🔁 マルチターンはコストの割に効果が不安定（Router-R1は22.3%） 👤 ユーザー条件付けは有効だが、実フィードバックとシミュレーションで最良設計が入れ替わる 「最良のルーターはタスクと予算で変わる」を実証し、公平比較の土台を用意した一本です。 #LLM# #ModelRouting#

TL;DR 自然言語で書いた仕様書から、大きな教師LLMを一度だけ動かして小さな専用ニューラル関数を「訓練によってコンパイル」する新手法です。難しいベンチマークでの精度をわずか数十秒〜数分で大きく引き上げます。 タイトル: Compile by Training: Turning Natural-Language Specifications into Local Neural Functions URL: 🎯 GPT-5.4-miniとGPT-5.5を2:1で混合した教師モデルが入出力例を自動生成し、Qwen3-0.6BにLoRA（ランク64）でその場から焼き込みます ⚡ 難易度の高いFuzzyBench-Hardで、既存の高速コンパイラのLEM 0.224から0.836へと大幅に精度が向上しました 🕒 コンパイルにはB300 GPUで約51秒かかりますが、教師によるデータ合成と訓練を並行実行しGPUの手待ちを削減しています 🌐 4サイトを横断するQAアシスタント（30本中28本が本番稼働）や自然言語から3D操作DSLへの変換（44命令中43成功）など幅広い実用例で検証済みです 📈 教師混合とデータ量のアブレーションでは、2,400〜3,600ユニークペア付近で精度が飽和することも分かりました 💬 大規模モデルを毎回呼び出すのではなく、一度学ばせて小さく持ち帰る発想は、頻繁に実行される中程度の複雑さのタスクに効きそうです #LLM# #LoRA#

TL;DR 自然言語で書いた仕様書から、大きな教師LLMを一度だけ動かして小さな専用ニューラル関数を「訓練によってコンパイル」する新手法です。難しいベンチマークでの精度をわずか数十秒〜数分で大きく引き上げます。 タイトル: Compile by Training: Turning Natural-Language Specifications into Local Neural Functions URL: 🎯 GPT-5.4-miniとGPT-5.5を2:1で混合した教師モデルが入出力例を自動生成し、Qwen3-0.6BにLoRA（ランク64）でその場から焼き込みます ⚡ 難易度の高いFuzzyBench-Hardで、既存の高速コンパイラのLEM 0.224から0.836へと大幅に精度が向上しました 🕒 コンパイルにはB300 GPUで約51秒かかりますが、教師によるデータ合成と訓練を並行実行しGPUの手待ちを削減しています 🌐 4サイトを横断するQAアシスタント（30本中28本が本番稼働）や自然言語から3D操作DSLへの変換（44命令中43成功）など幅広い実用例で検証済みです 📈 教師混合とデータ量のアブレーションでは、2,400〜3,600ユニークペア付近で精度が飽和することも分かりました 💬 大規模モデルを毎回呼び出すのではなく、一度学ばせて小さく持ち帰る発想は、頻繁に実行される中程度の複雑さのタスクに効きそうです #LLM# #LoRA#

【ID締切まであと3日】 ChatGPTをはじめとする大規模言語モデル（LLM）の仕組みを、基礎理論から最新のモデル動向まで体系的に学べる「「大規模言語モデル（LLM）講座1」のID締切まで、あと3日となりました。 本講座では、 ・事前学習・事後学習の仕組み ・ベンチマーク評価 ・最新の推論モデルの動向 ・公開モデルやAPIを活用した性能向上手法 など、LLMを理解するために必要な知識を一気通貫で学びます。 また、松尾・岩澤研究室が監修した実践的な演習を通じて、手を動かしながら理解を深めることができます。 LLMに関する理論・技術・実装を体系的に学びたい方に最適な講座です。 🗓️ID登録締切：6/22（月）10:00 🗓️募集締切：6/24（水）10:00 ▼講座詳細・お申し込みはこちら

⚙️ 月125兆トークンを捌くLLM推論基盤は、どう信頼性とコストを両立しているのか。リクエスト数ではなく「モデルユニット」でコストを測り、GPUコストを80%削減しつつ安定運用を実現したDatabricksの実戦知です。 タイトル: Reliable LLM Inference at Scale URL: 📝 概要 本記事は、大規模なLLM推論を信頼性高く・コスト効率よく運用するための、Databricksのアーキテクチャと手法を解説します。GPUインフラの不安定さや、予測困難なリクエストコストといった本番特有の課題に、具体的な仕組みで対処しています。 ❓ 解決する課題 ・GPUインフラはCPUより本質的に不安定で、prefill/decodeを分離した構成では単一障害が複数ノードに波及します ・リクエストコストは事前推定が難しく、出力トークン生成がレイテンシを支配する一方、その時間は予測困難です ・高負荷時には、リクエストの組み合わせ次第で健全なサーバが突然不健全状態に陥ります 💡 方法論と提案手法 ・コストを「α×入力トークン＋β×出力トークン＋γ×マルチモーダル」とモデル化する「モデルユニット」抽象を導入し、係数はモデル/ハードウェアごとの自動ベンチマークで決定します ・自動シャーダーDicerが、キュー長でなくモデルユニットで測ったサーバ負荷でルーティングし、ステートフルセッションでキャッシュヒット率を高めます ・保留リクエスト数でなく「モデルユニット利用率」でオートスケールし、ピーク閾値に近づくと増設します ・ブラックボックスのヘルスチェックでサイレントハングを検知し、ヘルスチェックを最高優先度にして誤検知を防ぎます 🎯 ユースケース Superhumanやコーディングエージェント、サポートボットなど、トラフィックが数時間で急増するマルチテナントのエージェント型アプリを支えます。LLMアプリが単一テナントから共有本番環境へ移る局面に直結します。 📊 実験結果 ・コスト認識オートスケーリングで、静的なピーク見込みプロビジョニング比のGPUコストを80%超削減しました ・ヘルスチェックの誤検知を週数件からゼロへ、サイレント障害の検知・回復は5分未満に収めました ・画像処理をTorchvisionへ切り替え、OMP_NUM_THREADSをコンテナ上限に正しく設定し、同じレプリカ・負荷でスループットを3倍超に跳ね上げました ・月125兆トークンをマルチテナントで処理しています #LLM# #MLOps#