登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

cv usk
@cv_usk
AI / Software Research Notes AI Agent, LLMOps, MLOps, Software Architecture 投稿は個人の意見です。
参加 May 2026
286 フォロー中    474 ファン
モデルが同じ文を延々と繰り返すループ癖を、重みのビット編集だけで直せるとしたらどうでしょう。 Tree-Ising: Repairing Language Models with Bit-Level Ising Edits 📌 概要 Qwen3.5-0.8B の thinking モードのループを、重みのスパースな離散ビット編集で修復する手法です。勾配も学習も使いません。 ⚠️ 解決する課題 先行研究はLLMエージェントに重みを読ませて修復させ、約312ドル、15.6時間かかっていました。 🧩 提案手法 ・BF16の符号と4ビット状態だけを動かす(共有指数と仮数は不変) ・ループ方向で2層を選び、出力行ごとに512スピンのQUBOに分解 ・焼きなまし法などで求解 📊 実験結果 ・MATH-500@4:エージェント51.7%に対し54.6〜55.1% ・GSM8K:65.6%に対し70.5〜70.8% ・約0.90ドル、フォワード4回 ・2Bモデルでは GSM8K 21.6%→69.4%(報告値) 数学ベンチマークのループ修復のみの検証で、コードは近日公開予定とのことです。 #LLM# #量子最適化#
もっと見る