akuwano
@kuwa_tw
DatabricksのSolutions Architect をやっています！銀河とかおいもんごとか呼ばれる事もありました！気軽によろしくです！ ツイートの内容は個人の意見で会社とはまっったく関係ございません｜Amazonアソシエイト・プログラム参加者
가입 April 2007
2.7K 팔로잉 중 7.2K 팬
DropboxさんのDash chatのシステムプロンプトをDSPyで自動最適化！
手動プロンプト修正サイクルのスケール限界を、評価→最適化を閉じたループで回す設計に置き換え！
LLMのチェックするエージェントを先に調整し、ユーザー意図の追従・セマンティック関連性・ツール呼び出し・指示遵守・コンテキスト選択の5次元を1〜5段階で評価するように設計しています。
そのエージェントを評価器とし、過去の会話例に代替プロンプト候補を当て直す「offline counterfactual replay」でエージェントのシステムプロンプトをGEPAで自動最適化！
本番での結果は不完全な回答26%減、見落とし13%減、トークン使用量5.4%減、平均完了長9.8%短縮で、改善は本番稼働24時間以内に出たそうです！DSPy是非お試しください！Databricks上でも簡単に使えます！
더 보기
