登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 LLM架构
LLM架构 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
LLM架构 を含む検索結果
LLM へのアクセス権を乗っ取る「LLMJacking」 わずか数時間で不正リクエストのスパイクが発生 → 犯罪エコシステムの成熟とともに進化する LLMJacking の攻撃ライフサイクル。実際の観察事項と専門家の分析、およびインフラストラクチャ保護のための実用的な検知、ハードニング、修正のガイダンスをご確認ください。
もっと見る
LLMの重みを全体の0.05%未満ゼロにするだけで、全パラメータを更新する微調整に並んだという研究( Tuning」だ。 事後学習(事前学習済みモデルを用途に合わせる追加学習)では、全パラメータを動かすFFTも、小さな差分行列を足すLoRAも、重みの値を書き換える。Deletion Tuningは各ブロックの「gate projection」(MLP内で情報の流れを掛け算で絞る重み)について、どれを0にするかだけを学ぶ。重みごとにスコアを持たせ、学習が進むほど残すか消すかの二択へ近づける。 正解を自動判定できる報酬で鍛える強化学習(GRPO)では、Llama3-8B-InstructのGSM8K(算数の文章題)で83.55%、FFTは83.24%。混合エキスパートモデル(総30Bのうち一部の3Bだけが動く構成)のQwen3-30B-A3Bでも、数学6ベンチマーク平均で58.54%対58.43%だった。教師あり微調整(正解例をまねる学習)など別の方法でも、試した最大のモデルではFFTと同等になっている。 初期値には枝刈り手法Wandaの重要度を使うが、効いているのは学習のほうだ。Wandaで切っただけでは試した6モデルとも元から2.4ポイント以内の変化で、マスクを学習すると最大53.2ポイント伸びた。 実用面の利点はサイズと忘れにくさ。保存するのは圧縮したマスクだけで、Llama3-8Bでも8.4MB(FFTのチェックポイントは30633MB)。用途ごとにマスクを差し替えて1つのベースモデルを使い回せるので、個人や小さなチームと相性がいい。また、HellaSwagやMMLUなど既存6タスクの平均精度は学習中ずっと元から1ポイント以内だった。FFTは1.3〜3.1ポイント、LoRAやランダムな一部の重みだけ更新する手法は最大5.4ポイント下がっている。 注意点もある。小さいモデルではFFTの90〜99%にとどまる(Llama3.2-1BのGSM8Kは54.44%対60.50%)。学習時メモリはFFTより少ないがLoRAより多い。推論の高速化は狙っておらず、忘れにくさの測定は3サイズのLlamaでのGRPOに限られる。複数タスクを順に学ぶ継続学習は今後の課題だ。 新しい知識を書き足すより、すでにある経路を少し外して能力を引き出す。事後学習の一部は「足す」より「選ぶ」作業に近いのかも。
もっと見る
LLMに「選択肢から選ばせる」とき、考えさせるかどうかを後から調整できたら便利だと思いませんか🤔 ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions ❓ 型付き決定って何? 💡 チケットのルーティングやルール検査のように、固定の選択肢から選び、その結果をコードが実行する決定です。1回の順伝播で選択肢の確率を読めば速いのですが、日付計算のような多段階の決定では間違えます。 ❓ どう解決するの? 💡 学習なしで、1つのQwen3モデルを2通りに使います。考えずに答えるSystem 1と、考えた後に答えるSystem 2を、同じキャッシュ済みプロンプト上で動かします。1つの思考を途中で切って閉じるだけで、予算ごとの精度曲線も得られます。 ❓ どれくらい効くの? 💡 Qwen3.5-27Bでは、直接回答が62.2%、常に考えると82.7%です。anytime方策は81.6%を、思考トークン72%で達成しました。目標5%のとき、System 1は決定の24.5%に答え、実際の誤り率は3.9%でした。 ❓ 注意点は? 💡 事前登録した節約の基準は、すべてのモデルで満たされませんでした。System 1の確信度は「いつ考えるか」の信号としては弱く、思考予算を変えたら較正のやり直しも必要です。 #LLM推論# #較正#
もっと見る
LLM、推論力の強化と文章力って背反する能力だったりするんかな……あと間違った方向にも思考が伸びまくるので枝刈りが面倒……お前は調査だけやっとれ……って感じでモデルとパラメータ選択悩ましいな。
もっと見る
LLMの検索エージェントは、「いつ検索するか」を何で学べばよいのでしょうか 🔎 Search When Needed, Proceed When Reliable: Metacognitive Reliability Supervision for Efficient Agentic Search ❓ 最終回答の正誤を報酬にすると、何が問題ですか? 💡 偶然の正解、無駄な検索を含む正解、有用な検索のあとの誤答があり、各検索判断が適切だったかを直接は示せません。その結果、信頼できない状態のまま進む検索不足や、すでに信頼できるのに検索する検索過多が起こります。 ❓ この論文は何を報酬にしていますか? 💡 各ステップでモデルが出す中間の結論について、「どれだけ信頼できそうか」を推定して使います。トークンの平均負の対数尤度を不確実性とし、事前に集めたデータで不確実性から正答率への対応を作って、信頼度に変換します。 ❓ 検索する判断と、しない判断は、どう評価しますか? 💡 ・検索しない場合は、今の信頼度が較正用の基準より高ければ報酬、低ければ罰です ・検索する場合は、検索結果を足したときの信頼度から、足さないときの信頼度を引いた差で評価します この平均をプロセス報酬としてGRPOに加えます。プローブは学習時だけで、推論時の追加コストはありません。 ❓ 効果はどれくらいですか? 💡 Qwen2.5-7Bの7つのQAで平均CEM 69.3となり、最強のベースラインHiPRAGの67.2を上回りました。1問あたりの検索回数は1.64回で、HiPRAGより6.8%少なくなります。ただしマルチホップでは検索が約6.6%増え、学習は1ステップ約14.6%遅くなります。 #AgenticRAG# #ReinforcementLearning#
もっと見る
LLMの推論は1トークンずつ。この前提を「フロー」で崩す、8Bのフロー言語モデルが登場しました。 タイトル: Large Flow Language Models URL: 🌊 事前学習済みの自己回帰モデルを、ブロック単位のフロー言語モデル Lafa に適応させる研究です。学習トークンは300億未満で、7Bで同等品質のままAR比2.54倍のスループットを達成しました。 ⚡ 注目ポイント1:非同期フロー ブロック内の各トークンに固有の時刻を持たせ、デノイズの進みをデノイズ損失から学習します。前の位置ほど速く確定する左から右への傾向が、課していないのに自然に現れました。 🧠 注目ポイント2:自己投機的デコード 1ステップのフローで下書きを作り、同じモデルに残したARヘッドが検証します。出力は貪欲ARデコードと一致し、1回の順伝播あたり約2.5〜5トークンを出せます。 🪶 注目ポイント3:少ない学習で品質も上がる Qwen2.5とQwen3を土台に、Dream・LLaDA・Efficient-DLMより18倍以上少ない学習トークンで学習。7Bの平均精度はAR SFTの58.4に対して60.9でした。 連続フローが、並列生成の実用的な土台になりうることを示した一本です。 #言語モデル# #高速推論#
もっと見る
LLMエージェントの「考える」と「話す」は、実は同じ言語でやらなくてもいいかもしれません。 タイトル: Hybrid Reasoning Agents URL: ❓ 潜在空間で考えるエージェントって何が違うの? 💡 普通のLLMエージェントは、考える時も行動する時もすべてトークン(言葉)に変換しながら処理します。監視はしやすい一方で遅く、効率が悪いという課題がありました。一方「潜在推論」は言葉に変換せず隠れ状態のまま考えるので速いのですが、ツールを呼んだり人間が内容を追跡したりしにくいという別の欠点がありました。 ❓ Hybrid Reasoning Agentsはどう解決したの? 💡 HybridLinkという軽量な橋渡しモジュールを使い、1つのエージェントの中で「言葉で考えて話すモード」と「隠れ状態のまま考えるモード」を動的に切り替えます。切り替えのタイミングは、隠れ状態の意味が終了を示すトークンの埋め込みに十分近づいた時に自動で判定されます。 ❓ 本当にその両立はできているの? 💡 11種のベンチマークで検証した結果、GAIAで52.4%(既存手法ARPOの43.7%を上回る)など、エージェント推論タスクで平均10.4%の性能向上を達成しました。しかもテキストトークンの使用量を35.5〜54.7%削減しつつ、推論速度は1.8〜2.6倍、計算コストは2.7〜3.7倍も削減しています。 ❓ 潜在思考の中身は本当に「考えている」の? 💡 隠れ状態を最も近いトークン埋め込みに復号すると、人間にも読める疑似テキストが得られます。潜在部分をランダムなトークンに置き換えると性能が49〜51%も落ちることから、見せかけではなく実質的に推論へ使われていることが確認されました。 #AIエージェント# #推論効率化#
もっと見る
LLMエージェントに「安全な理由」をちゃんと説明させられたら、それは本当に理解している証拠でしょうか。 オークションやマッチング市場のように、正直に答えることが最善手だと分かっている状況でも、LLMエージェントは最適な意思決定からずれてしまう。ハーバード大学とMITの研究チームは、インターフェースの形やテキストの補助を変えることで、この振る舞いが改善するかを検証した。結果は明確だった。第二価格オークションを上昇クロック形式に変えるだけで、最も性能の悪かったGemmaの平均偏差は-5.3からほぼ完璧な-0.3へと改善。マッチングでも「あなたの提示は拒否されるかどうかを決めるだけ」という安全性の説明だけで、誤り率は4.2%から0.2%まで落ちた。 🔍 ところが本当に驚くべき発見はここからだ。入札が大きく改善したペイオフ安全性の介入では、600件の計画の中で、述べられた安全性の理由に言及したものが一件もなかった。逆に、相手の行動を推測させる信念プロンプトは、それらしい言葉遣いを2%から43%まで増やしたのに、入札そのものは全く変わらなかった。 タイトル: Engineering Simplicity: Simple Mechanism Interfaces Steer LLM Agents URL: つまり、言葉で説明できることと実際に正しく動くことは、ほとんど別物だということだ。エージェントの「理解度」を評価するときは、説明文だけを見て安心せず、実際の決定そのものを確かめる必要がある、という実務上の教訓が重い。 #LLMエージェント# #意思決定#
もっと見る
LLMエージェントに「脆弱性を探して」と頼むだけでは誤検知が多くなりがちです。Cloudflareはそこに対立的検証という発想を持ち込みました。 タイトル: cloudflare/security-audit-skill URL: 🔍 概要 コーディングエージェントを自動セキュリティ監査ツールとして機能させ、独立した検証と機械可読な脆弱性報告を実現するスキルです。npxコマンド1つでClaude Codeなどに導入できます。 🧭 解決する課題 単純にAIへ脆弱性探索を任せると根拠の薄い誤検知や見落としが発生しがちです。それに対し、探索と検証を別エージェントに分離することで信頼性を高めています。 ⚙️ 方法論・提案手法 偵察→カバレッジ主導の探索→候補検証→構造化出力→独立記録検証→中立的な報告、という6フェーズのパイプラインを構成。新規の独立エージェントが候補と最終クレームをそれぞれ再検証する「対立的検証」が特徴です。 🛠️ ユースケース ・security audit this codebaseのような自然言語指示で起動 ・LLM・プロンプトインジェクションからクラウド・サプライチェーンまで12種類の攻撃クラスに対応 ・validate-findings.cjs等の検証ツールも同梱 📊 実験結果 テストでは単一実行で約50%の脆弱性を検出し、複数回の実行を重ねることでカバレッジが積み上がる設計です。GitHubでは16.3kスター・894フォークを獲得しています。 #セキュリティ# #AIエージェント#
もっと見る
LLMは数学の問題で人間より高い正解率を出せるようになりました。でもそれは「きちんと積み上げて理解している」からでしょうか? タイトル: Do LLMs Exhibit Coherent Knowledge Structures in Mathematical Reasoning? A Perspective from Knowledge Space Theory URL: ❓ LLMは前提知識をきちんと積み上げて正解しているの? 💡 正解率自体は人間79.6%に対しLLM最高92.5%(Qwen3-80B)と上回りますが、前提を完全に満たした上での正解の割合は人間72.7%に対しLLMは48.16%にとどまります。正解していても土台が抜けているケースが多いということです。 ❓ 前提知識をヒントとして教えてあげれば改善する? 💡 実は前提に基づくヒントを与えても、無関係な例を与えた場合とほとんど差が出ませんでした。構造的な前提推論ではなく、表層的なパターンマッチングに頼っている可能性が高いです。 ❓ 賢いモデル同士なら、似たような知識の持ち方をしているはず? 💡 人間の学習者グループ間では知識の重なりが0.9以上と高いのに対し、LLM同士では0.38〜0.6程度しか重なりません。強いモデルほど人間から離れていく傾向も見られました。 ❓ つまりこの研究が示しているのは? 💡 精度という指標だけでは、LLMの「理解の仕方」のズレは見抜けないということです。知識空間理論という新しい評価レンズを使うことで、正解率の裏にある断片的な知識構造が浮かび上がります。 #LLM評価# #数学的推論#
もっと見る