가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

t.toda
@Trtd6Trtd
ML Engineer / NLP / 音声対話 / Kaggle Master / #AI砂場# / #ロボ漫才#
가입 December 2015
650 팔로잉 중    1.9K 팬
位置エンコーディングの解説 RoPEが強いってよく聞くけど、実際何が嬉しいのかよくわかってなかったが、Attentionに「何トークン離れているか」を直接組み込めるのがポイントらしい 要は文章の先頭でも後半でも「3つ前」という相対的な位置関係を同じ仕組みで扱えるってことみたい
더 보기