가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
가입 May 2026
270 팔로잉 중    313
# AIエージェント開発の意思決定ポイント # 温度(Temperature) 🎯 ポイント 温度パラメータ、全部のタスクに同じ値を設定していませんか? エージェントシステムにおける温度は「創造性のつまみ」ではありません。構造化出力、ツール呼び出し、ユーザー応答 -- 経路ごとに最適な温度は全く違います。1つのエージェント内でも使い分けるのが基本です。 📋 概要 温度はLLMが次のトークンを選ぶ際の確率分布の「尖り具合」を制御するパラメータです。温度0に近いほど最も確率の高いトークンが選ばれやすくなり、出力は決定論的で安定します。温度を上げると確率分布が平坦化し、低確率のトークンも選ばれるようになるため、出力の多様性と創造性が増します。 AIエージェントでは、構造化出力を生成する場面、ツール呼び出しの引数を組み立てる場面、自由形式のテキストを生成する場面で求められる温度が異なります。温度は単一の固定値ではなく、タスクの種別に応じて動的に切り替えるべき変数です。 🔍 意思決定のポイント 温度の設定は主にtask_variability(タスクの定型度)で決まります。判定フローは明快です 🧭 1. 構造化出力(JSON/関数呼び出し)か? → 0.0〜0.3 2. 正確性が最優先(事実抽出・分類・要約)か? → 0.2〜0.5 3. 対話・説明・コミュニケーションか? → 0.5〜0.7 4. 創作・ブレインストーミング・候補生成か? → 0.7〜1.0 加えて、failure_cost(失敗コスト)が高いほど温度の上限を下げ、cost_sensitivity(コスト感度)が高い環境ではリトライによるコスト増を見込んで温度を抑えます。 💡 要点と詳細 タスク別の目安値 📊 - 構造化出力(JSON / function calling) → 0.0〜0.3。スキーマ違反の最小化が最優先 - 分類・抽出・データ変換 → 0.0〜0.2。正確性と再現性が命 - 要約・説明・カスタマー対応 → 0.5〜0.7。自然さと正確性のバランス - 創作・ブレスト・候補生成 → 0.7〜1.0。多様性が価値の源泉 - ツール引数の生成 → 0.0〜0.2。関数名・引数名の正確性が不可欠 - 計画・推論 → 0.3〜0.6。多少の探索は有益だが論理の一貫性を保つ 構造化出力の温度はまず0から始めてください。0でもスキーマ違反が出る場合はプロンプトかスキーマの問題です。温度を上げて「偶然正しい出力が出る」ことに依存してはいけません 🚫 ⚖️ トレードオフ 温度が低すぎると対話が機械的で紋切り型になります 🤖 同じ質問に毎回同じ回答を返し、「テンプレート応答」の印象を与えます。Best-of-Nサンプリングも候補がほぼ同一になり、N倍のコストだけかかって実質N=1と同じ結果に。 温度が高すぎると構造化出力が壊れ始めます 💥 JSONのフィールド名が揺れたり、型が合わなくなったり。ハルシネーションも増加し、固有名詞・数値・日付の正確性が崩壊します。ツール呼び出しの不安定化、再現性の喪失も深刻な問題です。 温度によるリトライコストの増加も計測してください。スキーマ違反率が概ね5%を超えたら温度を下げることを検討しましょう。 🛠️ ユースケース エージェント内の経路ごとに温度を変えるのが基本 🔀 計画ステップは0.3〜0.5、ツール呼び出しの引数生成は0.0〜0.2、ユーザー向け応答は0.5〜0.7。モデルを切り替える際に温度も同時に切り替えると自然です。 Best-of-Nを使うなら温度を上げる必要があります。温度0でN=5を生成しても、ほぼ同一の候補が5つ返るだけです。N>1のときは0.5〜0.8に設定し、多様な候補の中からJudgeが最良を選ぶ構成にします。 top_pとの併用には注意 ⚠️ 温度とtop_pを両方変更すると効果が掛け算になり、予測困難な挙動を示します。原則としてどちらか一方だけを調整してください。 #AIエージェント# #ソフトウェアアーキテクチャ#
더 보기