akuwano
@kuwa_tw
DatabricksのSolutions Architect をやっています！銀河とかおいもんごとか呼ばれる事もありました！気軽によろしくです！ ツイートの内容は個人の意見で会社とはまっったく関係ございません｜Amazonアソシエイト・プログラム参加者
2.7K フォロー中 7.2K ファン
Databricksは、ガバナンスの保たれたデータ上で高速かつ低コストな意思決定を行う新しいAI関数「ai_decide」を公開しました！
要するに！Databricks NativeなJevがでました！
今までのLLMはテキスト生成を伴い、単純な分類タスクではレイテンシやコストが課題でしたが、ai_decideは意思決定に特化したモデルを採用、非構造化テキストと質問を入力すると、瞬時に確率や選択肢、スコアなどの構造化データを返します！
主な用途としては、顧客レビューのタグ付けと課題分析、難易度や推論レベルに応じた適切なモデルへのプロンプトルーティング、AI生成回答のポリシー遵守状況などの評価、リアルタイムアプリにおける瞬時のアクション決定などなど
ai_decideはSQLやREST APIを用意しており、大規模なバッチ処理からリアルタイム処理まで幅広く利用可能です！
ai_decideで意思決定を高速化しましょー！
もっと見る
DropboxさんのDash chatのシステムプロンプトをDSPyで自動最適化！
手動プロンプト修正サイクルのスケール限界を、評価→最適化を閉じたループで回す設計に置き換え！
LLMのチェックするエージェントを先に調整し、ユーザー意図の追従・セマンティック関連性・ツール呼び出し・指示遵守・コンテキスト選択の5次元を1〜5段階で評価するように設計しています。
そのエージェントを評価器とし、過去の会話例に代替プロンプト候補を当て直す「offline counterfactual replay」でエージェントのシステムプロンプトをGEPAで自動最適化！
本番での結果は不完全な回答26%減、見落とし13%減、トークン使用量5.4%減、平均完了長9.8%短縮で、改善は本番稼働24時間以内に出たそうです！DSPy是非お試しください！Databricks上でも簡単に使えます！
もっと見る
