9/8(火)にチューリングで取り組んでいるDatabricksを活用したデータ基盤について話します！これからDatabricks使ってみたい人にも刺さる内容にします！ぜひ！ Databricksで加速するAI開発基盤 ─ MLOps基盤とデータセット作成パイプライン #TuringTechTalk#

AIコーディングツールの指数関数的なコスト増をいかにコントロールしていくかについてのdatabricks記事。（一部引き算して読む感じ） ・AIコーディングツールは生産性を劇的に向上させる ・しかし、それに伴ってコストも指数関数的に増大している ・放置すれば、AIによる恩恵がコストで相殺される ・そのため、最高性能ではなく、コスパに優れた効率性フロンティアの追求が必要になっていく ・具体的な対策の筆頭は、より安価で効率的なモデルへの移行 ・特定のモデルへの依存を防ぐため、メタハーネスを導入して柔軟性を確保する ・また、タスクの難易度に応じて安価なモデルと高性能モデルを動的にルーティングする手法も有効 ・予算管理において、利用上限でアクセスを完全に遮断するのは悪手 ・これは、最も生産性の高い開発者の足を引っ張ってしまうため ・代わりにコストを可視化し、閾値を超えたら安価なモデルへダウンシフトさせる仕組みが望ましい ・さらに、不要なコンテキストを削ってトークン消費を抑えることも大事に ・また、プロンプトキャッシングを活用することで、コストを大幅に削減できる （で、Unity AI Gateway というプロダクトの宣伝になるので、以下は略）

「ClickHouseはJOINが苦手」という通説、本当でしょうか？🏎️ チューニングなしで3者を同一クエリ比較したベンチマークが面白いです。 タイトル: Join me if you can: ClickHouse vs. Databricks vs. Snowflake — Part 1 URL: 🏎️ 概要 結合（JOIN）を多用するSQLワークロードで、ClickHouse・Databricks・Snowflakeを同一クエリ・同一データで比較したベンチマークです。7.21億行〜72億行のデータで、JOIN性能の通説を検証します。 ❓ 解決する課題 ClickHouseは高速な分析DBとして知られる一方、「JOINが苦手」という根強い認識があります。 ・この通説が、分析基盤の選定でClickHouseを外す理由になりがちでした ・本記事は、同一条件の3者比較でその真偽を確かめます 💡 方法論と手法 ・元々DatabricksとSnowflakeを比較していた「コーヒーショップ」ベンチマークを再現 ・JOINを多く含む17クエリを、ClickHouse Cloudで最小限の変更で実行 ・重要な点：クエリ側もClickHouse側も一切チューニングしていません ・各クエリ5回実行し最速を報告、2〜16ノード構成（AWS）で検証 📊 実験結果 ・7.21億行：大半のクエリが1秒未満で完了。他より3〜5倍高速かつ低コスト ・14億行：17億行を結合・処理してわずか0.5秒（競合は5〜13秒） ・72億行：複雑なクエリでも分単位ではなく秒単位で完了 チューニングなしでも、大規模な複数テーブル結合を効率的にこなせることを示しました。 #ClickHouse# #データベース#

⚙️ 月125兆トークンを捌くLLM推論基盤は、どう信頼性とコストを両立しているのか。リクエスト数ではなく「モデルユニット」でコストを測り、GPUコストを80%削減しつつ安定運用を実現したDatabricksの実戦知です。 タイトル: Reliable LLM Inference at Scale URL: 📝 概要 本記事は、大規模なLLM推論を信頼性高く・コスト効率よく運用するための、Databricksのアーキテクチャと手法を解説します。GPUインフラの不安定さや、予測困難なリクエストコストといった本番特有の課題に、具体的な仕組みで対処しています。 ❓ 解決する課題 ・GPUインフラはCPUより本質的に不安定で、prefill/decodeを分離した構成では単一障害が複数ノードに波及します ・リクエストコストは事前推定が難しく、出力トークン生成がレイテンシを支配する一方、その時間は予測困難です ・高負荷時には、リクエストの組み合わせ次第で健全なサーバが突然不健全状態に陥ります 💡 方法論と提案手法 ・コストを「α×入力トークン＋β×出力トークン＋γ×マルチモーダル」とモデル化する「モデルユニット」抽象を導入し、係数はモデル/ハードウェアごとの自動ベンチマークで決定します ・自動シャーダーDicerが、キュー長でなくモデルユニットで測ったサーバ負荷でルーティングし、ステートフルセッションでキャッシュヒット率を高めます ・保留リクエスト数でなく「モデルユニット利用率」でオートスケールし、ピーク閾値に近づくと増設します ・ブラックボックスのヘルスチェックでサイレントハングを検知し、ヘルスチェックを最高優先度にして誤検知を防ぎます 🎯 ユースケース Superhumanやコーディングエージェント、サポートボットなど、トラフィックが数時間で急増するマルチテナントのエージェント型アプリを支えます。LLMアプリが単一テナントから共有本番環境へ移る局面に直結します。 📊 実験結果 ・コスト認識オートスケーリングで、静的なピーク見込みプロビジョニング比のGPUコストを80%超削減しました ・ヘルスチェックの誤検知を週数件からゼロへ、サイレント障害の検知・回復は5分未満に収めました ・画像処理をTorchvisionへ切り替え、OMP_NUM_THREADSをコンテナ上限に正しく設定し、同じレプリカ・負荷でスループットを3倍超に跳ね上げました ・月125兆トークンをマルチテナントで処理しています #LLM# #MLOps#

TL;DR: Gemini 3.6 Flashからわずか3週間でアップデート。コーディング・エージェント系ベンチマーク全項目で大幅改善しながら、導入期間中は半額で使えます。 Introducing Gemini 3.7 Flash ポイント: 🚀 DeepSWE v1.1: 65.3%（前世代49.0%から+16.3pt） 🖥 FrontierCode 1.1: 43.6%（前世代34.4%から+9.2pt） 🌐 WebDev Arena Eloスコア: 1588（前世代1538から+50） 📄 GDP.pdf文書理解: 34.0%（前世代22.0%から+12.0pt） 🤖 AutomationBench: 30.4%（前世代17.0%から+13.4pt、約1.8倍） 💰 導入価格: 入力$0.75・出力$3.75（1Mトークンあたり）で3.6 Flashの半額 🌍 提供先: Gemini API、AI Studio、Android Studio、Gemini Enterprise、Gemini Spark（160カ国以上） 🛡 安全機能: CBRN・サイバーセキュリティ悪用防止のフロンティアセーフガードも更新 特にエージェント・コーディング向けに尖らせた設計で、Box、Databricks、Harvey、LangChainなど実務ユーザーから「大幅に良くなった」と評価されています。3週間に1回のペースでこのクオリティのアップデートが来るとは、Flashシリーズの進化が止まりません。 #Gemini# #LLM#

SaaStr 「エンタープライズAIの現実」 ■ ダッシュボードの死とセルフサービス分析 全てのフォーチュン500企業がAI推進を命じた結果、トークン消費だけが肥大化し価値が見えないAIスプロールが起きている。これに伴い従来のBIダッシュボードは完全に死を迎え、自然言語で直接対話するセルフサービス型分析が台頭している。実際に大手自動車メーカーでは、7万人もの非技術職ユーザーを直接オンボーディングする大規模なデータ活用改革を断行した。彼らは社内データにプレーンテキストで直接クエリを投げ、データアナリストの承認を待つことなく即座に回答を得ている。組織内のデータ流通におけるボトルネックを取り除くことこそが、現場の意思決定スピードを数日から数分へと劇的に引き上げる。 ■ データではなくコンテキスト（セマンティックレイヤー）の壁 多くのエンタープライズ企業でAIエージェントが失敗に終わるのは、データやモデルの質ではなく、運用のためのコンテキスト（文脈）が足りないからだ。自社の地域定義や会計年度、売上計上ルールなどを体系化したセマンティックレイヤーがなければ、AIは正確な意思決定を行えない。膨大なデータが単にデータベースに蓄積されていることと、そのビジネス的な意味が機械可読な形で定義されていることは全く別物である。企業はビジネス用語の標準的な解釈を定義する「オントロジー」を、あらかじめ機械にインプットしておかなければならない。独自のセマンティックな語彙集を盤石に整備することだけが、AIが妄想することなく真に信頼に足る出力を返すための唯一の手段である。 ■ 30日以内のレガシーシステム移行革命 かつて数年がかりで巨額のコストを要した企業のレガシーシステム移行が、LLMの導入によって劇的に高速化している。Databricksでは、コードの解析やデータモデルの変換、さらには移行前後の完全な整合性検証にLLMを活用している。この仕組みにより、これまで数年を要したエンタープライズ規模 of システム移行をわずか30日以内で完了させる体制を構築した。従来支払われていた数年間の巨額なコンサル費用と時間ロスが、実質的にゼロに近い水準まで削減される。移行コストの劇的な低廉化は、企業の近代的なテクノロジースタックへの移行ハードルを完全に消し去っている。 ■ 24ヶ月以内に崩壊するソフトウェア独占 システム移行や開発のコストが極限まで低下したことにより、今後24ヶ月以内に既存のエンタープライズ向けソフトウェアの独占構造は崩壊する。巨額のサンクコストや移行障壁に守られていた業界の大手 incumbent も、安価なAIネイティブ競合の出現により強烈な価格破壊プレッシャーに晒される。ユーザー企業は特定の高価で不便なシステムを使い続ける客観的な理由を完全に失うことになる。これにより、自社のニーズに最も合致した最新の競合製品へ容易に乗り換える動きが世界的に加速する。自社独自の顧客データや固有のコンテキストで強固な差別化を構築できないSaaSは、この価格破壊の波を乗り越えられない。 ■ 危険な「曖昧な中間」を避ける予算選別 企業のIT予算は「純粋なAI予算」と「従来のソフトウェア予算」の二極化が進んでおり、自社製品がどちらの枠にいるかを見極める必要がある。ここで最も危険なのは、どちらの予算枠からも真っ先に削減される「曖昧な中間（マキシー・ミドル）」に位置する製品である。自社プロダクトが現場の作業を10倍自動化する本物のAI兵器なのか、それとも従来のワークフロー管理ツールに過ぎないのかを徹底的に峻別すべきだ。企業はただのAI機能のアドオンに留まらず、顧客に対して具体的かつ明確なコスト削減や業務時間の短縮といった実数値を証明しなければならない。顧客のAI予算を確実に獲得するためのポジショニングの再設計と、価値提案の刷新こそが全B2Bベンダーに今求められている。