学習データにgoldサンプルのラベルつけていくevalは本当に面倒 ラベラーのUIがいけてないせいでミスラベリングが普通に起きるから、かなり知識もあって執念深い人にUIを磨かせないとゴミデータになる AIといってもその技術の根幹にあるのは心理学と根性だったという

便利だけど知られていないClaude APIの機能 🧪 プロンプトを変えたけど、本当に良くなったのか...感覚じゃなくて数字で確認したくないですか？ ClaudeのEvaluation Tool（評価ツール）は、Console内でプロンプトの評価を実行・比較できるツールです。本番投入前の品質検証を体系的に行えます。 📌 タイトル：Evaluation Tool（ConsoleでのEvaluation Tool使用） 🔗 URL： 🧩 概要 プロンプトを改善したとき、「本当に良くなったか」を客観的に判断するのは難しいです。Evaluation Toolは、テストケースに対してプロンプトを実行し、品質指標を定量的に評価する仕組みです。変更前後のプロンプトを同じテストセットで比較でき、「感覚的に良さそう」ではなく「数値的に改善した」ことを確認してからデプロイできます。 🛠 使い方 Anthropic Consoleで評価を設定します。テストケース（入力＋期待される出力や評価基準）を用意し、プロンプトを実行して結果をスコアリングします。複数のプロンプトバージョンを並べて比較でき、どの変更がどれだけ効果があったかが一目でわかります。 🏗 本番システムへの組み込み方 ・プロンプト変更のゲートキーパー：プロンプトの更新前に必ず評価を実行し、スコアが下がっていないことを確認してからデプロイ。回帰を防げます。 ・モデルアップグレードの検証：新しいモデルバージョンに切り替える前に、既存のテストセットで品質を比較。予期しない品質低下を事前に検知。 ・チームのプロンプトレビュー：PRレビューのように、プロンプト変更時に評価結果を添付して品質の議論を客観化。 ・継続的な品質モニタリング：定期的に評価を実行して、時間経過による品質ドリフトを検知。 💡 ユースケース ✅ プロンプト変更の回帰テスト 🔄 モデルアップグレード前の品質検証 👥 チームでのプロンプトレビュー 📉 品質ドリフトの継続的検知 ⚠️ 注意点 評価の品質はテストケースの品質に直結します。偏ったテストセットでは信頼性の高い評価はできません。本番で遭遇する多様なケースをカバーするテストセットを整備することが重要です。また、定量評価だけでなく、生成結果の定性的なチェックも併用しましょう。 ✨ 「なんとなく良さそう」ではなく「数字で良くなった」を確認してからデプロイする。この習慣が、プロダクション品質のAIを作る基本です。 #Claude# #LLM#

便利だけど知られていないClaude APIの機能 🧪 プロンプトを変えたけど、本当に良くなったのか...感覚じゃなくて数字で確認したくないですか？ ClaudeのEvaluation Tool（評価ツール）は、Console内でプロンプトの評価を実行・比較できるツールです。本番投入前の品質検証を体系的に行えます。 📌 タイトル：Evaluation Tool（ConsoleでのEvaluation Tool使用） 🔗 URL： 🧩 概要 プロンプトを改善したとき、「本当に良くなったか」を客観的に判断するのは難しいです。Evaluation Toolは、テストケースに対してプロンプトを実行し、品質指標を定量的に評価する仕組みです。変更前後のプロンプトを同じテストセットで比較でき、「感覚的に良さそう」ではなく「数値的に改善した」ことを確認してからデプロイできます。 🛠 使い方 Anthropic Consoleで評価を設定します。テストケース（入力＋期待される出力や評価基準）を用意し、プロンプトを実行して結果をスコアリングします。複数のプロンプトバージョンを並べて比較でき、どの変更がどれだけ効果があったかが一目でわかります。 🏗 本番システムへの組み込み方 ・プロンプト変更のゲートキーパー：プロンプトの更新前に必ず評価を実行し、スコアが下がっていないことを確認してからデプロイ。回帰を防げます。 ・モデルアップグレードの検証：新しいモデルバージョンに切り替える前に、既存のテストセットで品質を比較。予期しない品質低下を事前に検知。 ・チームのプロンプトレビュー：PRレビューのように、プロンプト変更時に評価結果を添付して品質の議論を客観化。 ・継続的な品質モニタリング：定期的に評価を実行して、時間経過による品質ドリフトを検知。 💡 ユースケース ✅ プロンプト変更の回帰テスト 🔄 モデルアップグレード前の品質検証 👥 チームでのプロンプトレビュー 📉 品質ドリフトの継続的検知 ⚠️ 注意点 評価の品質はテストケースの品質に直結します。偏ったテストセットでは信頼性の高い評価はできません。本番で遭遇する多様なケースをカバーするテストセットを整備することが重要です。また、定量評価だけでなく、生成結果の定性的なチェックも併用しましょう。 ✨ 「なんとなく良さそう」ではなく「数字で良くなった」を確認してからデプロイする。この習慣が、プロダクション品質のAIを作る基本です。 #Claude# #LLM#

LLMOpsで最初に作るべきは、派手なダッシュボードじゃない。evalだ。評価基準がないまま本番に出すのは「祈りながらデプロイ」してるのと同じ。計測してないものは改善できないし、評価してないものは固められない。LLMOpsは、ここから始まる。

🧠 「もう画面に映っていない情報」を覚えて行動できますか？ 最新のマルチモーダルLLMでも、神経衰弱や3D迷路でボロボロに崩れることが分かりました。 📰 タイトル: Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games 🔗 URL: 💡 概要 MLLMが「過去の見えない観測」を内部に保持して行動できるかを測る新ベンチマーク「RNG-Bench」の提案です。神経衰弱（Matching Pairs）と一人称視点の3D迷路という2つのゲームで、文脈内の信念状態トラッキングだけを切り出して評価します。 🔍 解決する課題 既存ベンチは状態を全部見せたり、エピソード後に「思い出して答える」だけを測りがちでした。本研究は記憶ミスがその後の観測を変えてしまう「思い出して行動する」閉ループ設定に踏み込み、より現実のエージェントに近い難しさを測ります。 🛠 方法論と提案手法 ・ゲームをPOMDP（部分観測マルコフ決定過程）として定式化し、履歴から信念状態を維持する力を要求 ・グリッドサイズ、視覚パターン、テキスト/画像モダリティで難易度を細かく制御 ・2モデルが同一盤面で戦うDuel、真の隠れ状態を注入するOracleを用意 ・通常時とOracle時を比べる「Memory Gap」指標で、忘却と判断ミスを切り分け 📊 ユースケース / 実験結果 10×10神経衰弱でGPT-5.4が62.3%、Gemini-3.1-Proが50.0%、Qwen3.5-397Bが25.3%。13×13迷路ではGemini-3.1-ProがSR50%で首位。Qwen3.5-397Bは4×4で90.6%→12×12で0.7%へ崩壊。行動履歴のテキストを消すとGPT-5.4は約75%性能低下し、履歴の長さより視覚認識が壁になると判明しました。 #マルチモーダルLLM# #AIエージェント#

操作に応じて映像を生み出す「動画ワールドモデル」、その実力を公平に測る統一ベンチマークが登場しました🎮 タイトル: WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation URL: 🎮 概要 インタラクティブな動画ワールドモデルを包括的に評価する統一フレームワークです。289テストケース・1,058インタラクションターンで、テキスト・6-DoF姿勢・離散アクションという異なる操作方式のモデルを同じ土俵で比較できます。 ❓ 解決する課題 インタラクティブなワールドモデルは急速に進歩する一方、能力を体系的に測る基準がありませんでした。既存ベンチマークは一部しかカバーできず、入力方式がモデルごとに違うため横並び比較も困難でした。 💡 方法論と提案手法 評価は5つの次元で行います。 ・映像品質 ・設定への忠実性 ・インタラクションへの忠実性 ・一貫性 ・物理法則への整合性 タスクはナビゲーション・被写体アクション・イベント編集・視点切り替えの4種。専門視覚モデルと大規模マルチモーダルモデルを組み合わせた22の自動指標を、人間の判断と照合して検証しています。 📊 実験結果 最先端20モデルを分析した結果、すべての次元で強いモデルは1つも存在しないことが判明。各アプローチに特徴的な強み・弱みと、共通の難題が浮かび上がりました。 #ワールドモデル# #ベンチマーク#

便利だけど知られていないOpenAI APIの機能 📊 モデルの出力品質、人間がいちいち手動でチェックしていませんか？ OpenAIの「Graders（グレーダー）」は、モデルの出力を自動で採点する仕組みです。Evalsでの品質評価や、強化ファインチューニングの報酬設計に使えます。 📌 タイトル：Graders（グレーダー） 🔗 URL： 🧩 概要 モデルの品質改善には「良い出力と悪い出力を定量的に判定する」仕組みが不可欠です。Gradersは出力に対してスコアを自動で付与する採点器で、文字列一致、モデルベースの判定、Pythonコードによるカスタム評価など、複数の採点方式に対応しています。Evalsの品質測定や、強化ファインチューニングの報酬関数として活用できます。 🛠 使い方 採点方式を選び、評価基準を定義します。文字列一致やラベル判定のような単純なものから、別のLLMを使った複雑な品質判定まで設定可能。定義したグレーダーはEvalsのパイプラインに組み込んだり、強化ファインチューニングの報酬として使ったりできます。 🏗 本番システムへの組み込み方 ・継続的品質モニタリング：本番のモデル出力をサンプリングし、グレーダーで自動スコアリング。品質低下を早期検知。 ・Evalsパイプライン：プロンプト変更やモデル更新時に、グレーダーで品質を定量比較。 ・強化ファインチューニング：グレーダーのスコアを報酬にしてモデルを強化学習的に改善。 ・A/Bテストの評価基盤：異なるプロンプトやモデルの出力をグレーダーで比較評価。 💡 ユースケース 📈 モデル出力の継続的品質モニタリング 🧪 Evalsでの定量的品質比較 🎯 強化ファインチューニングの報酬設計 🔬 プロンプト・モデルのA/Bテスト評価 ⚠️ 注意点 グレーダーの品質が評価の信頼性を左右します。特にモデルベースのグレーダーは、評価基準が曖昧だと採点がブレることがあります。明確で具体的な評価基準を定義し、人間の判断と比較してキャリブレーションすることが重要です。 ✨ 品質改善は「測れること」から始まる。まずはEvalsにグレーダーを組み込んで、出力品質の定量化を始めてみてください。 #OpenAI# #LLM#

# Elasticsearchの機能と実践的な使い方 🔎 「検索→変換→集計」を1本のパイプで書ける。SQLライクで学習コストが低い新世代のクエリ言語、それがES|QLです。 🏷️ タイトル: ES|QL(パイプ型クエリ言語) 🔗 URL: 📘 概要 ES|QLはElasticsearchのデータを問い合わせ・集計・可視化・アラート化まで一気通貫で扱える新しいクエリ言語です。Unixのパイプのように `|` でコマンドを連結し、データを段階的に絞り込み・変換・集約していきます。JSONの集計DSLを書かずに、アドホック分析を素早く進められます。 ⚙️ 機能の説明 クエリは必ずソースコマンドから始まり、処理コマンドをパイプで連結する構造です。 ・`FROM` でインデックス/データストリームを指定(時系列向けの `TS` もある) ・`WHERE` で行を絞り込み ・`STATS ... BY` で集計とグルーピング ・`EVAL` で派生列を生成、`SORT` で並べ替え、`LIMIT` で件数制限 ・`KEEP`/`DROP`/`RENAME` で出力列を制御 ・`DISSECT`/`GROK` で非構造テキストをパース ・`LOOKUP JOIN` でマスタデータと結合、`ENRICH` でポリシー付与 コマンドや関数名は大文字小文字を区別しません(`FROM` も `from` も同じ)。 🛠️ 実践的な使い方 障害調査では、検索から集計までを次のように1本で書けます。 `FROM logs-* | WHERE status >= 500 | STATS count = COUNT(*) BY BUCKET(@timestamp, 5m) | SORT count DESC` Kibanaのエディタはオートコンプリート、インライン補完、Prettifyボタンによる自動整形を備え、実行後はフッターに処理ドキュメント数などの統計が出ます。同じES|QLがDiscover・ダッシュボードのパネル・アラートルール・Elastic Securityで共通に使えるのが大きな利点です。クエリ履歴やお気に入り(スター)機能で定番クエリの再利用も可能です。 💡 ユースケース ・SREのアドホックなログ分析(エラー率のサービス別・時間バケット別集計) ・ダッシュボードのES|QL可視化パネル ・セキュリティの検知ルールやアラート条件の記述 ・`LOOKUP JOIN` でサービス名→チーム名のようなマスタ結合を行う運用分析 ⚠️ 注意点 ・フィルタなしで多数のインデックスを横断するとレスポンスが肥大化するため、`KEEP`/`DROP` で列を絞ること。 ・Kibana内では `SET time_zone` ではなく `dateFormat:tz` 設定でタイムゾーンを扱う。 ・自然言語からのクエリ生成はEnterpriseライセンスとコネクタ設定が必要です。 ・マッピングされていないフィールド参照は既定で失敗するため注意が必要です。 #Elasticsearch# #ESQL#

便利だけど知られていないOpenAI APIの機能 🔄 「OpenAIと他のモデル、どっちが良いの？」を公平に比較したいと思いませんか？ OpenAIの「External models（外部モデル評価）」は、OpenAI以外のモデルもEvals基盤で評価できる機能です。複数モデルを同じ基準で比較したいときに便利です。 📌 タイトル：External models（外部モデル評価） 🔗 URL： 🧩 概要 モデルの選定や切り替えの判断には、同じ評価基準での公平な比較が必要です。External modelsを使えば、OpenAIのモデルだけでなくClaude、Gemini、オープンソースモデルなど外部のモデルもOpenAIのEvals基盤上で同じグレーダー・同じデータセットで評価できます。ベンダーごとに評価ツールを分ける手間がなくなります。 🛠 使い方 外部モデルの接続情報（APIエンドポイントや認証情報）をEvalsに登録し、評価対象として指定します。あとは通常のEvalsと同様に、データセットとグレーダーを使ってテストを実行するだけ。結果は同じダッシュボードで横並びに比較できます。 🏗 本番システムへの組み込み方 ・モデル選定プロセス：新しいモデルが出たときに、既存モデルと同じベンチマークで比較評価。 ・モデル移行の判断：別モデルに切り替える前に、自社タスクでの品質を定量比較。 ・コスト最適化：同等品質の安いモデルがないか、Evalsで定期的にスキャン。 ・マルチモデル戦略：タスクごとに最適なモデルを選ぶための評価フレームワークとして。 💡 ユースケース 🏆 複数モデルのベンチマーク比較 🔀 モデル移行前の品質検証 💰 コスト対品質の最適化 📋 タスク別の最適モデル選定 ⚠️ 注意点 外部モデルのAPIキーや利用料金は別途かかります。また、モデルによってはレスポンス形式やエラーハンドリングが異なるため、評価時に出力の正規化が必要になることもあります。比較は「同じタスク・同じデータ」で行うことが大前提です。 ✨ モデル選定を「なんとなく」から「データドリブン」に。まずは今使っているモデルと気になるモデルをEvalsで並べて比べてみてください。 #OpenAI# #LLM#