注册并分享邀请链接,可获得视频播放与邀请奖励。

anonymous
@youyouAllen
Nothing
加入 August 2014
1.2K 正在关注    3.1K 粉丝
我自己在测试AR+diffusion结合的本地推理引擎。目前来看block内进行diffusion,对kv cache是一个极大的节省。通过proposer/verifier的表征对齐的小型训练 把acceptance做到0.3-0.5,这种组合快速低成本scale。但是也面临计算量的飙升。同时仍然看好连续潜空间的全局表示配合AR的精准局部预测。
显示更多