ころんびあ
@colum2131
Turing Inc.🚗 │ Kaggle Master │ AtCoder 水 | E2E Autonomous driving
Joined April 2018
1.7K Following 3.3K Followers
多分ラベリングが本質コンペだったけど、エンコーダとしての ViT の学習を安定させてうまくするあれこれが楽しかった、意外とうまくいった
OrthoFoundation-L (DINOv3-L ベース; 使っていいと判断して使ったけど) と DINOv3 ViT-L が一番性能良かった
ViT 学習安定させるのが大変で、LP-FT (1 epoch 目は head の学習 -> その後全体)、LLRD、lr 低めで epoch 長くする、crop 入力の補助損失入れるで単体 Public Score 0.959 と 0.958
Show more
