Register and share your invite link to earn from video plays and referrals.

t.toda
@Trtd6Trtd
ML Engineer / NLP / 音声対話 / Kaggle Master / #AI砂場# / #ロボ漫才#
Joined December 2015
650 Following    1.9K Followers
位置エンコーディングの解説 RoPEが強いってよく聞くけど、実際何が嬉しいのかよくわかってなかったが、Attentionに「何トークン離れているか」を直接組み込めるのがポイントらしい 要は文章の先頭でも後半でも「3つ前」という相対的な位置関係を同じ仕組みで扱えるってことみたい
Show more