⚡ 数十億件の集計を、クエリの先頭に1行足すだけで最大100倍速く。しかも統計的に厳密な信頼区間付き——Elasticsearch ES|QLの近似クエリです。 タイトル: Approximate queries in Elasticsearch ES|QL: 100x faster on billions of records, with built-in confidence intervals URL: 📝 概要 Elasticsearch 9.4は、ES|QLに近似クエリ実行を導入します。既存クエリの先頭にSET approximation = true;を付けるだけで、自動的なサンプリングと外挿が有効になり、クエリの書き換えは不要です。 ❓ 解決する課題 数十億ドキュメントの厳密な集計は、計算コストが行数に比例して増えるため高コストでした。これが大規模インデックスでのインタラクティブな探索やリアルタイムダッシュボードの妨げになっていました。 💡 方法論と提案手法 ・サンプリングはLucene層で行われ、サンプル分のドキュメントだけを読むため、I/Oと計算の節約はサンプリング率に比例します ・サンプル上で実行した結果を、データセット全体を表すよう自動でスケールします ・信頼区間はサンプルのサブパーティションへのブートストラップ法で厳密に計算します ・各結果に「certifiedフラグ」が付き、形式的な統計保証が成り立つかを示します 🎯 ユースケース エージェントが数十億件をサブ秒で走査して候補を絞り、必要な箇所だけ厳密クエリへズームインする、といった使い方ができます。ダッシュボードの高速描画や巨大ログのパターン検出にも有効です。 📊 実験結果 ・ClickBenchで信頼区間付き平均23倍、個別クエリのピークは約100倍、区間計算なしでは最大約300倍 ・サンプリングコストは一定なので、データが大きいほど高速化率も大きくなります ・対応集計はCOUNT/SUM/AVG/MEDIAN/PERCENTILE/STD_DEVなど。rowsとconfidence_levelで精度と速度を調整できます #Elasticsearch# #DataAnalytics#

毎日数十億トークンのトレースを、フロンティアLLMで評価するのはコスト的に無理がありました💸 小型オープンモデルのファインチューニングで、同等精度を10〜100倍安く実現した事例です。 タイトル: Building a 100x Cheaper Trace Judge with Fireworks URL: 💸 概要 LangChain LabsがFireworksと連携し、エージェントのトレースに対する「Perceived Error（知覚されたエラー）」検出器を構築した事例です。ユーザーが「間違い」や「修正が必要」と感じたケースを、小型のオープンモデルで検出します。 ❓ 解決する課題 LangSmithは本番トレースを通じて日次で数十億トークンを処理しています。 ・これらをフロンティアの大規模LLMで評価すると、規模が大きすぎてコストが非現実的になります ・「フロンティア級の性能を保ちつつ、全トレースから重要なシグナルをコスト効率よく抽出できるか」が問いでした 💡 方法論と提案手法 ・オープンソースのQwen-3.5-35Bを、Fireworks基盤上でLoRAによる教師ありファインチューニング（SFT） ・訓練データは2つの本番データセット：chat-langchain（技術Q&A・707例）とFleet（ノーコードエージェント・727例） ・「Perceived Error」を学習し、巨大なフロンティアモデルに頼らず評価をこなします 📊 実験結果 ・精度：ファインチューニングしたQwenがフロンティアモデルと同等以上（chat-langchainで96.1%、ドメイン横断のFleetで90.8%） ・コスト：トレース量に応じてフロンティアより10〜100倍安い ・転移性：chat-langchainで訓練したモデルが、再訓練なしでFleetでも全フロンティアモデルを上回る #LLM評価# #ファインチューニング#