登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

t.toda
@Trtd6Trtd
ML Engineer / NLP / 音声対話 / Kaggle Master / #AI砂場# / #ロボ漫才#
参加 December 2015
650 フォロー中    1.9K ファン
位置エンコーディングの解説 RoPEが強いってよく聞くけど、実際何が嬉しいのかよくわかってなかったが、Attentionに「何トークン離れているか」を直接組み込めるのがポイントらしい 要は文章の先頭でも後半でも「3つ前」という相対的な位置関係を同じ仕組みで扱えるってことみたい
もっと見る