登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 GPUカーネル
GPUカーネル コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
GPUカーネル を含む検索結果
同じモデルでも「チームの作り方」を進化させるだけで、GPUカーネル最適化が人間の専門家レベルに迫りました🚀 Evolving Agent Teams 📌 概要 UC Berkeleyが提案するEATは、コーディングエージェントのチーム構成(役割・連携・知識管理)を、解と一緒に進化させる手法です。 ⚠️ 解決する課題 ・エージェントは実装しやすい方向に予算を使い切り、局所最適に陥りがちです ・固定チームでは、デバッグ→プロファイリング→設計変更と変わる局面に対応できません 🧬 手法 ・スーパーバイザーが失敗パターンを診断し、次のチームを設計します ・Profiling ScientistやKnowledge Integratorなど、役割をゼロから発明します ・永続ファイルシステムで知見と成果を次のチームへ引き継ぎます 📊 結果 ・MLA decode(H100)で、拡張予算ではFlashInfer比1.21倍、47ワークロード中36で上回りました ・固定4役チームは0.31倍、Claude Codeは約0.5倍で頭打ちでした ・GDN prefill(B200)は2.2倍から4.06倍へ、GEMM+AllReduceは1.56倍に伸びました 🔭 意義 モデルを変えず、組織の側を適応させることで停滞を抜けられると示した点が重要です。 #AIエージェント# #GPUカーネル#
もっと見る
⚡ 「賢さ」と「効率」を別物にしない。GPT-5.6は1トークンあたりの知能を最大化し、同等以上の性能をより安く速く出しにきました。 タイトル: How GPT-5.6 fuses frontier intelligence with frontier efficiency URL: ⚡ 概要 GPT-5.6は、タスクの成功と効率を同時に最適化するよう学習し、より直行的にタスクを解きます。OpenAI史上「最高のintelligence-per-token効率」を掲げる発表です。 🧩 解決する課題 フロンティアモデルは賢い一方で、推論トークン・レイテンシ・コストが実運用の壁でした。GPT-5.6は効率を第一級の目標に据え、性能とコストのトレードオフを押し広げます。 🛠 方法論とラインナップ ・Sol: フロンティア推論と長時間エージェント向けの旗艦 ・Terra: GPT-5.5級の性能を約半額で出す日常用バランス型 ・Luna: 最速最安(Solより約80%安い) サービング面も、投機的デコードでトークン生成を15%以上効率化、GPUカーネル改善でコスト20%削減。 📊 実験結果 コーディングのAgent Index(Artificial Analysis)でSol最大推論が80の新SOTA。Fable 5を+2.8上回りつつ、出力トークン半分・時間半分・コスト約1/3。ExploitBenchでもMythos Preview級を出力トークン約1/3で達成しました。 #GPT56# #OpenAI#
もっと見る
Transformerの「層方向」にも記憶を持たせたら?残差接続を回帰問題として捉え直した論文です。 タイトル: Depth Memory URL: 残差・Attention Residuals・Hyper-Connectionsを「メモリへのRead/Write」で統一し、層を超えて情報を蓄える固定サイズのメモリ LDM(Linear Depth Memory)を提案しています。 注目ポイントは3つです。 🧮 深さ方向の回帰として厳密に解く 各層の出力をキーと値の観測とみなし、忘却係数つきの重み付き最小二乗を再帰的最小二乗法(RLS)で解きます。線形注意の外積更新はその近似にすぎない、という整理が鮮やかです。 ⚡ 実用コストに落とすGPU実装 State unwindingで前の層の状態を小さな保存情報から復元し、Windowed writesで書き込みをまとめます。CuTeカーネルでB200上、Full AttnResより高速、Block AttnResとも同等水準です。 📈 400Mと1.5Bで一貫して改善 1.5BのLAMBADA perplexityはPreLNの10.49に対しLDMは8.42。パラメータ増は約1%で、深くするほど性能が伸び続けました。 残差ストリームを外すと大きく悪化するなど、「足し算の道」を残す大切さも見えます。 #Transformer# #LLM#
もっと見る
GPUとAI半導体の巨人NVIDIAに激震。ジェンスン・フアンCEOを標的とする中国のスパイ工作疑惑で独立調査を開始。不倫関係を認め謝罪 フアン氏と親密な関係にあった女性に,中国情報機関との関係が疑われている。同社は機密流出を確認しておらず,米議会も説明を要求している
もっと見る
GPUの計算時間を、必要な期間だけ売買しやすくする市場にも資金が向かうのでしょうか( 報道は、3段階に分けた計1億5,000万米ドルを調達中で、Thrive CapitalとGeneral Catalystが主導するという内容。最終段階の評価額が10億米ドルを超える可能性にも触れています。 これは調達完了の発表ではありません。1億5,000万米ドルは調達中の金額で、10億米ドル超は成立した場合の評価額の話です。会社による正式な完了発表、最終条件、資金の具体的な使途は確認できていません。 Ornnの公式サイトでは、GPUの計算能力を必要とする企業と、空いている設備を持つ側をつなぐサービスを提供しています。契約期間は短時間から複数年まで。使わない容量を他の利用者へ回し、取引に基づく価格情報も扱います。 AIモデルを開発する会社に加え、計算資源を確保し、余った分を融通し、価格を把握する仕組みにも事業が広がっています。長期契約で余らせるリスクと、必要なときに不足するリスクをどう減らすか。今回の交渉報道は、その市場を追う材料として見ています。
もっと見る
GPUに入り切らないMoEモデルを動かすとき、「次の語」だけでなく「次に必要な重み」まで先読みするSpecterが面白い( MoEは、入力ごとに一部の専門家ネットワークを選んで計算する仕組み。重みをCPU側のメモリへ置けば大きなモデルも扱えるが、必要になるたびGPUへ転送すると、その間GPUが待つ。 Specterは元モデルの専門家部分を4ビットへ量子化した軽量版で、複数の候補トークンを先に作る。同じ構造を持つので、将来どの専門家を使いそうかも予測できる。その重みを先に運び、下書きや検証の計算と転送を重ねる。 候補は元のFP16モデルで検証し、採用された部分だけ確定する。軽量版の出力を無条件で使う方式ではなく、誤った先読みは主に転送効率へ影響する。 A100 40GBを1基使った実験で、単一リクエストの出力トークン当たり時間は、比較対象のSpecMoEOffに対して平均1.50倍、最大1.88倍の高速化。モデルやメモリ条件で差があり、すべてのローカルGPUで同じ倍率が出るという結果ではない。 先読みを深くすればよいわけでもなく、候補を増やすほど必要な専門家も増える。そのため先読みの深さを事前計測で選び、キャッシュと実行順も一緒に調整している。 小さなモデルに最終判断を代行させるだけでなく、大きなモデルが待たずに働けるよう準備させる。推論の高速化をデータ転送まで含めて考える設計だと思う。
もっと見る
GPUが2年で陳腐化すると言っていた人たちは構造変化が起きていることに気付いていないため、ここ1〜2年はずっと頓珍漢な予想を出し続けますね 根本が間違っている
もっと見る
GPU負荷への配慮が見られる
GPUぶん回す前提のサーバーをたくさん格納するデータセンターって、我々が知ってるデータセンターではないよね。