登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 デコーディング
デコーディング コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
デコーディング を含む検索結果
Speculative Decodingが速い理由は計算量が減るからではなく、GPUの仕事の性質が変わるからだ、という記事。観点が面白かった。 ・Speculative Decodingが速いのは少ない計算で済むからではない ・速さの理由は、GPUが待っている時間を有効に使えるようになるから ・通常のデコーディングは1トークンずつ生成する ・この状態ではメモリの読み込み待ちが支配的(メモリバウンド) ・GPUの計算能力の大半は遊んでいる ・Speculative Decodingでは、小さいモデルが複数トークンの草案をまとめて出す ・大きいモデルはその草案を1ステップで並列に検証する ・これでメモリバウンドからコンピュートバウンドに寄り、遊んでいた計算能力を使える ・ただ、バッチサイズが大きいと話が変わる ・GPUに空きがなく、拒否された草案のトークンは純粋なオーバーヘッドになる ・vLLMにはバッチサイズに応じてSpeculative Decodingを自動で無効化する機能がある
もっと見る
TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。 タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失います ただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM# #推論基盤#
もっと見る
再帰構造のTransformerが生成する「途中経過」、実はそのまま捨てられていました。これをデコード時にただで活用する手法が登場です。 タイトル: Decoding Looped Transformers Better for (Almost) Free URL: 📝 概要 共有ブロックを繰り返し実行することでパラメータ効率を高める「ループ型Transformer」向けに、学習フリーのコントラスティブ・デコーディング手法LoopCDを提案。補助モデルも再学習も不要です。 ❗ 解決する課題 既存のデコード手法は、ループの途中段階の隠れ状態を捨てて最終予測だけを使っていました。反復を通じて自然に生まれる「弱い予測→強い予測」という整合したペアの情報が無駄になっていたのです。 🛠️ 方法論・提案手法 出力層の後でコントラストを取るLoopCD-Logits(出力パスを1回追加)と、coda層の前でコントラストを取り追加コストがほぼゼロのLoopCD-Hiddenの2種類を用意。初回ループと最終ループの差分を誘導強度ωで拡張し、モデルが不確実な場面ほど強く誘導する適応的な設定も可能です。 📊 実験結果 Ouro-2.6B-ThinkingのAIME 2024でpass@1が61.88%→73.33%に向上。HuginnのHumanEvalも22.56%→31.71%に改善しました。反復回数を半分にしてLoopCDを使っても元の精度を維持・上回り、フォワードFLOPsを22.5〜48.2%削減できています。 🏢 ユースケース Ouro・Huginn・Parcaeなど既存のループ型Transformerへそのまま適用でき、追加学習なしで推論コストを抑えながら推論性能を底上げできます。 #Transformer# #デコーディング#
もっと見る
次のトークンだけでなく「次の概念」も予測させたら、8.9Bモデルの事前学習が1.95倍速くなったという報告です。 NCP-ArchPreview: Moving towards Latent Space Language Models through Next Concept Prediction 複数トークンにまたがる離散的な「概念」をベクトル量子化で学習し、トークン予測と概念予測を同時に行う潜在空間言語モデルです。 🚀 注目ポイント1: 圧倒的な収束の速さ OLMo-3-7Bと全く同じ5.73Tトークンで学習しても、訓練トークンのわずか51.3%を消費した時点で同じ損失に到達し、下流タスクのマクロ平均も2.45ポイント上回りました。 🧩 注目ポイント2: 概念予測がそのまま性能に効く Concept Module・階層的残差接続・NCP損失を1つずつ足すアブレーションで、それぞれが独立に損失を改善することを確認。パラメータ・計算量を揃えた比較でも優位性が消えませんでした。 ⚡ 注目ポイント3: 学習後も概念空間が使い回せる わずか17Mパラメータのみを更新するドメイン適応で、フルチューニングより忘却を抑えつつ性能を伸ばし、投機的デコーディングの受理長も4.17%改善させています。 概念という抽象単位を副産物ではなく学習目標そのものに据える発想が、次世代モデル設計の実用的な指針になりそうです。 #LLM# #言語モデル#
もっと見る
「1文字ずつ」しか喋れないAIは、もう古いのかもしれません🌀 画像生成で大成功した拡散モデルを、ついに言語生成へ持ち込んだ研究が登場しました。 タイトル: dLLM: Simple Diffusion Language Modeling URL: 🌀 概要 本研究は、画像生成でおなじみの「拡散モデル」の考え方を、言語モデリングに応用したフレームワーク「dLLM」を提案しています。テキストを左から右へ順番に作るのではなく、ノイズ(マスク)まみれの状態から、複数ステップをかけて文章全体を少しずつ整えていく「反復的な精緻化」によって生成します。名前のとおり、複雑な仕掛けを足さずに、できる限りシンプルに実現することを重視しているのが特徴です。 ❓ 解決する課題 現在のLLMの主流は、トークンを1つずつ予測していく「自己回帰(Autoregressive)」方式です。しかしこの方式には弱点があります。 ・逐次生成のため本質的に並列化しにくく、長文ほど生成が遅くなりがちです ・一度書いたトークンを後から推敲・修正する仕組みがなく、全体を見渡して整えるのが苦手です 拡散ベースの生成は、これらの制約を別の角度から解きほぐす可能性を持っています。 💡 方法論と提案手法 dLLMは、言語生成を「離散拡散(Discrete Diffusion)プロセス」として定式化し直します。 ・マスクされた、あるいはノイズの乗ったトークンからスタートします ・複数ステップにわたって段階的にアンマスク(デノイズ)し、クリーンな系列へ復元します ・破損した入力から正しいトークンを予測するよう、ニューラルネットワークを訓練します ・複数トークンを同時に生成できる「並列デコーディング」に対応します 新規の特殊なネットワークを設計するのではなく、既存のTransformerにそのまま載せられる点が実装上の大きな利点です。 🌍 ユースケース / 実験結果 複数のモデル規模・系統で有効性が確認されました。 ・エンコーダ系:ModernBERTを拡散方式で訓練し、分類ベンチマークで競争力ある結果を達成 ・デコーダ系:QwenやLlamaをベースにした拡散モデルでも、言語理解タスクで実用的な性能を確認 ・並列デコーディングにより、標準的な自己回帰方式より高速な推論を実現 ・0.6Bから、より大きなパラメータ領域まで一貫して有効性を確認 高速応答が求められるチャットや、推論コストを抑えたい大規模サービスでの活用が期待されます。 #拡散モデル# #LLM#
もっと見る
最近AIでコーディングできないけど万能感ある感覚を料理で知る事が出来てる気がする。この食材使ってこんな料理作れないかなっていうとレシピ作ってくれて、店出せるレベルでって言えばアップグレード版を作ってくれるしマジで美味い。リピートして練習して上手くなって料理人目指したくなる。お粗末!
もっと見る
# Cursorの機能と実践的な使い方 🏢 全社でCursorを安全に展開するには、アクセス管理・ガバナンス・データ統制・可視化が欠かせません。Cursorのエンタープライズ機能は、SSO/SCIMから監査ログ、AIコードの可視化までを一通り揃えています。 🏷️ タイトル: SSO/SCIM/ガバナンス 🔗 URL: 📘 概要 Cursorのエンタープライズ機能は、大規模組織での導入を支えるアクセス管理・ガバナンス・データ統制・分析の集合です。SSOやSCIMによるID管理、Team Rules/Hooksの全社配布、Privacy Modeの強制、利用状況の可視化などを通じて、安全かつ統制の取れた展開を可能にします。 ⚙️ 機能の説明 ・SSO(SAML/OIDC):既存のIdP資格情報で認証を一本化。TeamsとEnterpriseで利用可能。 ・SCIMプロビジョニング(Enterprise限定):ユーザーの追加・削除を自動化し、IdPのグループに応じてマーケットプレイスの可視範囲をゲートできます。 ・MDMポリシー:許可するTeam IDや拡張機能を端末側で強制。 ・Team RulesとHooks:ルールは「強制+任意」で配布でき、HooksはMDMやサーバーサイド配布でセキュリティ・コンプライアンス用ワークフローを全社に展開。 ・エージェント制御:リポジトリのブロックリスト、モデルアクセス制限、Auto-run/Browser/Networkの制御、CLI・Cloud Agent作成の制限など。 ・Privacy Mode:組織全体で強制し、データがモデル学習に使われないようにできます。 🛠️ 実践的な使い方 推奨される導入順序は、まずOrganizationsで複数チームをまとめ、SSO/SCIMでID基盤を整え、MDMポリシーを配布し、ダッシュボードで定着度を監視し、最後にコンプライアンス・監査を構成する流れです。可視化面では、Conversation Insights(どんな作業に使われているか)、AI Code Tracking API(コミット単位のAI利用率)、Cursor Blame(AIと人間のコード帰属を示すgit blame)が利用できます。請求はEnterpriseでプール利用+管理者専用の制御や、部門別チャージバック用のBilling Groupsに対応します。 💡 ユースケース 全社展開では、SSO/SCIMで入退社に合わせてアクセスを自動付与・剥奪し、Privacy Modeを組織強制してデータ統制を担保。Team RulesとHooksでコーディング規約や安全策を全社に行き渡らせ、ダッシュボードとCursor BlameでAI活用の定着度を経営層に可視化、といった運用が現実的です。 ⚠️ 注意点 SCIM、監査ログ(認証・ユーザー管理・管理操作を追跡しSIEMへ連携可)、Billing Groups、AI Code Tracking、Cursor Blame、Conversation Insightsなど多くの高度な制御はEnterpriseライセンス前提です。データレジデンシーの詳細はTrust Centerで確認が必要で、HIPAAのBAAは要請ベース、サポートの人手による初動応答時間はEnterpriseで重大8時間・標準24時間です。 #Cursor# #Enterprise#
もっと見る
Figma・PSD・AiのPCデザインから最短半日でコーディング。実装時間の実測値を公開する「AIコーディング代行」β版の...
インターンの高専生が、AIを使いこなして社員並みのスピードでコーディングしている。品質を細かく確認していないが、シンプルにすごい。尊敬の気持ちと同時に焦りも覚えた。おじさんも頑張らないと。
もっと見る
Figmaデザインデータをしっかり作り込めば、簡単なレイアウトのサイトだともはや自分の手でコーディング不要であることは驚かないが、部分的に自由配置や意味のあるレクタングルであれば、意図や動きを伝えると、ClaudeCodeなら構築してくれる。 そのまま少しコーディングを進め、コード側でレイアウトを整えて、それをFigmaに反映してもらうなんてこともできる。 仕事の進め方にもよるけど、もはや完璧なFigmaデザインデータって必要か?と疑問に感じている。
もっと見る