注册并分享邀请链接,可获得视频播放与邀请奖励。

anonymous
@youyouAllen
Nothing
加入 August 2014
1.2K 正在关注    3.1K 粉丝
感觉模型在降本增效方向演进上,MoE和kv cache压缩只满足任务级别。而在token级别的会从单向注意力朝着双向注意力进行调整。自回归和扩散相结合,以进一步降本增效。
显示更多