TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
参加 March 2025
696
フォロー中
12.1K
ファン
Ren
@Ryrenz
2026.09.11 07:06
🐳 DeepSeek 刚开源了 DeepSelect,大模型里“从海量候选中挑出前 K 个”这一步,比 PyTorch 自带的 torch.topk 快 2 到 20 倍。 它是给 DeepSeek 稀疏注意力 DSA 和采样器用的 TopK 内核,而 DSA 就用在 DeepSeek V3.2、V4 和 V4.1 上。仓库昨天才建,今天就发了 1.0.0。 稀疏注意力的思路是每一步只看最要紧的那部分 token,挑哪几千个就靠 TopK;生成时从约 12.8 万的词表里采样,也要先挑出前 K 个候选。 DeepSelect 把这两个场景分别做了优化:批大小、词表大小随便设,K 最多到 4096,每一行还能单独设长度上限,接口同样返回 values 和 indices 两个张量。默认开着 NaN 检查,发现坏数值直接终止程序。 如果你在做推理框架、抠每一步的开销,可以拿仓库自带的基准测试跑一遍对比。 GitHub:
もっと見る
0
0
15
57
3
コミュニティへ転送
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
New York Post
@nypost
4.3M ファン
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K ファン
TVer新着
@TVer_info
101.8K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
Reuters
@Reuters
26.5M ファン
First Squawk
@FirstSquawk
579.4K ファン
モデルプレス
@modelpress
2.1M ファン
Bloomberg
@business
10.5M ファン
billboard
@billboard
16.9M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.6K ファン
ファミ通.com
@famitsu
1.4M ファン
zerohedge
@zerohedge
3.4M ファン
cv usk
@cv_usk
470 ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン