cv usk(@cv_usk):LLMに「選択肢から選ばせる」とき、考えさせるかどうかを後から調整できたら便利だと思いませんか🤔 ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions https://t.co/HlWgFsGbv8 ❓ 型付き決定って何? 💡 チケットのルーティングやルール検査のように、固定の選択肢から選び、その結果をコードが実行する決定です。1回の順伝播で選択肢の確率を読めば速いのですが、日付計算のような多段階の決定では間違えます。 ❓ どう解決するの? 💡 学習なしで、1つのQwen3モデルを2通りに使います。考えずに答えるSystem 1と、考えた後に答えるSystem 2を、同じキャッシュ済みプロンプト上で動かします。1つの思考を途中で切って閉じるだけで、予算ごとの精度曲線も得られます。 ❓ どれくらい効くの? 💡 Qwen3.5-27Bでは、直接回答が62.2%、常に考えると82.7%です。anytime方策は81.6%を、思考トークン72%で達成しました。目標5%のとき、System 1は決定の24.5%に答え、実際の誤り率は3.9%でした。 ❓ 注意点は? 💡 事前登録した節約の基準は、すべてのモデルで満たされませんでした。System 1の確信度は「いつ考えるか」の信号としては弱く、思考予算を変えたら較正のやり直しも必要です。 #LLM推論 #較正

2026.11.08 09:38

LLMに「選択肢から選ばせる」とき、考えさせるかどうかを後から調整できたら便利だと思いませんか🤔 ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions ❓ 型付き決定って何? 💡 チケットのルーティングやルール検査のように、固定の選択肢から選び、その結果をコードが実行する決定です。1回の順伝播で選択肢の確率を読めば速いのですが、日付計算のような多段階の決定では間違えます。 ❓ どう解決するの? 💡 学習なしで、1つのQwen3モデルを2通りに使います。考えずに答えるSystem 1と、考えた後に答えるSystem 2を、同じキャッシュ済みプロンプト上で動かします。1つの思考を途中で切って閉じるだけで、予算ごとの精度曲線も得られます。 ❓ どれくらい効くの? 💡 Qwen3.5-27Bでは、直接回答が62.2%、常に考えると82.7%です。anytime方策は81.6%を、思考トークン72%で達成しました。目標5%のとき、System 1は決定の24.5%に答え、実際の誤り率は3.9%でした。 ❓ 注意点は? 💡 事前登録した節約の基準は、すべてのモデルで満たされませんでした。System 1の確信度は「いつ考えるか」の信号としては弱く、思考予算を変えたら較正のやり直しも必要です。 #LLM推論# #較正#

커뮤니티로 전달