akuwano(@kuwa_tw):DropboxさんのDash chatのシステムプロンプトをDSPyで自動最適化！手動プロンプト修正サイクルのスケール限界を、評価→最適化を閉じたループで回す設計に置き換え！ LLMのチェックするエージェントを先に調整し、ユーザー意図の追従・セマンティック関連性・ツール呼び出し・指示遵守・コンテキスト選択の5次元を1〜5段階で評価するように設計しています。そのエージェントを評価器とし、過去の会話例に代替プロンプト候補を当て直す「offline counterfactual replay」でエージェントのシステムプロンプトをGEPAで自動最適化！本番での結果は不完全な回答26%減、見落とし13%減、トークン使用量5.4%減、平均完了長9.8%短縮で、改善は本番稼働24時間以内に出たそうです！DSPy是非お試しください！Databricks上でも簡単に使えます！

akuwano

@kuwa_tw

DatabricksのSolutions Architect をやっています！銀河とかおいもんごとか呼ばれる事もありました！気軽によろしくです！ツイートの内容は個人の意見で会社とはまっったく関係ございません｜Amazonアソシエイト・プログラム参加者

参加 April 2007

2.7K フォロー中 7.2K ファン

akuwano@kuwa_tw

2026.06.27 10:56

DropboxさんのDash chatのシステムプロンプトをDSPyで自動最適化！手動プロンプト修正サイクルのスケール限界を、評価→最適化を閉じたループで回す設計に置き換え！ LLMのチェックするエージェントを先に調整し、ユーザー意図の追従・セマンティック関連性・ツール呼び出し・指示遵守・コンテキスト選択の5次元を1〜5段階で評価するように設計しています。そのエージェントを評価器とし、過去の会話例に代替プロンプト候補を当て直す「offline counterfactual replay」でエージェントのシステムプロンプトをGEPAで自動最適化！本番での結果は不完全な回答26%減、見落とし13%減、トークン使用量5.4%減、平均完了長9.8%短縮で、改善は本番稼働24時間以内に出たそうです！DSPy是非お試しください！Databricks上でも簡単に使えます！