注册并分享邀请链接,可获得视频播放与邀请奖励。

t.toda
@Trtd6Trtd
ML Engineer / NLP / 音声対話 / Kaggle Master / #AI砂場# / #ロボ漫才#
加入 December 2015
650 正在关注    1.9K 粉丝
位置エンコーディングの解説 RoPEが強いってよく聞くけど、実際何が嬉しいのかよくわかってなかったが、Attentionに「何トークン離れているか」を直接組み込めるのがポイントらしい 要は文章の先頭でも後半でも「3つ前」という相対的な位置関係を同じ仕組みで扱えるってことみたい
显示更多