註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

t.toda
@Trtd6Trtd
ML Engineer / NLP / 音声対話 / Kaggle Master / #AI砂場# / #ロボ漫才#
加入 December 2015
650 正在關注    1.9K 粉絲
位置エンコーディングの解説 RoPEが強いってよく聞くけど、実際何が嬉しいのかよくわかってなかったが、Attentionに「何トークン離れているか」を直接組み込めるのがポイントらしい 要は文章の先頭でも後半でも「3つ前」という相対的な位置関係を同じ仕組みで扱えるってことみたい
顯示更多