【LLP26情報】 aiko Live Tour「Love Like Pop vol.26」 本日11/9(月)12:00～、オフィシャル最終先行受付開始！ ▼対象公演 12/31(木)大阪城ホール 2/17(水)日本武道館 2/18(木)日本武道館 ▼受付 11/9(月)12:00～11/15(日)23:59まで ▼お申込み

LLMに「選択肢から選ばせる」とき、考えさせるかどうかを後から調整できたら便利だと思いませんか🤔 ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions ❓ 型付き決定って何? 💡 チケットのルーティングやルール検査のように、固定の選択肢から選び、その結果をコードが実行する決定です。1回の順伝播で選択肢の確率を読めば速いのですが、日付計算のような多段階の決定では間違えます。 ❓ どう解決するの? 💡 学習なしで、1つのQwen3モデルを2通りに使います。考えずに答えるSystem 1と、考えた後に答えるSystem 2を、同じキャッシュ済みプロンプト上で動かします。1つの思考を途中で切って閉じるだけで、予算ごとの精度曲線も得られます。 ❓ どれくらい効くの? 💡 Qwen3.5-27Bでは、直接回答が62.2%、常に考えると82.7%です。anytime方策は81.6%を、思考トークン72%で達成しました。目標5%のとき、System 1は決定の24.5%に答え、実際の誤り率は3.9%でした。 ❓ 注意点は? 💡 事前登録した節約の基準は、すべてのモデルで満たされませんでした。System 1の確信度は「いつ考えるか」の信号としては弱く、思考予算を変えたら較正のやり直しも必要です。 #LLM推論# #較正#

LLM、推論力の強化と文章力って背反する能力だったりするんかな……あと間違った方向にも思考が伸びまくるので枝刈りが面倒……お前は調査だけやっとれ……って感じでモデルとパラメータ選択悩ましいな。

【LLP26情報】 本日から、11/14(土)＆15(日)横浜アリーナ公演のチケット発券開始！ また「チケプラTrade」も受付中！ 行けなくなった方/ご購入を検討の方は、非公式の譲渡ではなく公式トレードをご利用ください。 ◎受付：各公演9日前〜公演当日11:59 ◎期間中毎日12:00抽選

LLMの検索エージェントは、「いつ検索するか」を何で学べばよいのでしょうか 🔎 Search When Needed, Proceed When Reliable: Metacognitive Reliability Supervision for Efficient Agentic Search ❓ 最終回答の正誤を報酬にすると、何が問題ですか？ 💡 偶然の正解、無駄な検索を含む正解、有用な検索のあとの誤答があり、各検索判断が適切だったかを直接は示せません。その結果、信頼できない状態のまま進む検索不足や、すでに信頼できるのに検索する検索過多が起こります。 ❓ この論文は何を報酬にしていますか？ 💡 各ステップでモデルが出す中間の結論について、「どれだけ信頼できそうか」を推定して使います。トークンの平均負の対数尤度を不確実性とし、事前に集めたデータで不確実性から正答率への対応を作って、信頼度に変換します。 ❓ 検索する判断と、しない判断は、どう評価しますか？ 💡 ・検索しない場合は、今の信頼度が較正用の基準より高ければ報酬、低ければ罰です ・検索する場合は、検索結果を足したときの信頼度から、足さないときの信頼度を引いた差で評価します この平均をプロセス報酬としてGRPOに加えます。プローブは学習時だけで、推論時の追加コストはありません。 ❓ 効果はどれくらいですか？ 💡 Qwen2.5-7Bの7つのQAで平均CEM 69.3となり、最強のベースラインHiPRAGの67.2を上回りました。1問あたりの検索回数は1.64回で、HiPRAGより6.8%少なくなります。ただしマルチホップでは検索が約6.6%増え、学習は1ステップ約14.6%遅くなります。 #AgenticRAG# #ReinforcementLearning#

【LLP26情報】 aiko Live Tour「Love Like Pop vol.26」オフィシャル2次先行の受付は、本日11/1(日)23:59まで！ ▼対象公演 12/31(木)大阪城ホール 2/17(水)日本武道館 2/18(木)日本武道館 ▼受付 ～11/1(日)23:59まで ▼お申込みはこちら

LLMの推論は1トークンずつ。この前提を「フロー」で崩す、8Bのフロー言語モデルが登場しました。 タイトル: Large Flow Language Models URL: 🌊 事前学習済みの自己回帰モデルを、ブロック単位のフロー言語モデル Lafa に適応させる研究です。学習トークンは300億未満で、7Bで同等品質のままAR比2.54倍のスループットを達成しました。 ⚡ 注目ポイント1：非同期フロー ブロック内の各トークンに固有の時刻を持たせ、デノイズの進みをデノイズ損失から学習します。前の位置ほど速く確定する左から右への傾向が、課していないのに自然に現れました。 🧠 注目ポイント2：自己投機的デコード 1ステップのフローで下書きを作り、同じモデルに残したARヘッドが検証します。出力は貪欲ARデコードと一致し、1回の順伝播あたり約2.5〜5トークンを出せます。 🪶 注目ポイント3：少ない学習で品質も上がる Qwen2.5とQwen3を土台に、Dream・LLaDA・Efficient-DLMより18倍以上少ない学習トークンで学習。7Bの平均精度はAR SFTの58.4に対して60.9でした。 連続フローが、並列生成の実用的な土台になりうることを示した一本です。 #言語モデル# #高速推論#