TwiScan
人気
コミュニティ
アカウントコレクション
ログイン
登録
English
日本語
한국의
简体中文
繁体中文
登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。
今すぐ登録
コレクションに追加
t.toda
@Trtd6Trtd
ML Engineer / NLP / 音声対話 / Kaggle Master / #
AI砂場
# / #
ロボ漫才
#
650
フォロー中
1.9K
ファン
t.toda
@Trtd6Trtd
2026.11.16 02:43
位置エンコーディングの解説 RoPEが強いってよく聞くけど、実際何が嬉しいのかよくわかってなかったが、Attentionに「何トークン離れているか」を直接組み込めるのがポイントらしい 要は文章の先頭でも後半でも「3つ前」という相対的な位置関係を同じ仕組みで扱えるってことみたい
もっと見る
0
0
0
29
3
コミュニティへ転送
t.toda
@Trtd6Trtd
2026.08.05 07:49
プレーンなLLMが表形式データを扱うのが苦手なことについて調べた研究 特に大きく影響していたのは特徴量の列数だったそう 面白かったのはLLMが表をまったく読めないわけではなかったこと 2次元程度では距離ベースの分類器に近い予測ができ、指定された列を見つけてコピーする、みたいなこともできたらしい 一方で、複数の列を組み合わせて予測する必要があると、列数が増えるほど性能が低下するっぽい もうツールを使うのが当たり前になっている領域だけど、素のLLMがどこで失敗するのかをきちんと分解して調べることは、ツールとの役割分担を考える上でも大事だと思った
もっと見る
0
0
0
94
18
コミュニティへ転送
t.toda
@Trtd6Trtd
2026.07.28 11:12
Kimi K3のテクニカルレポート ナナメ読みだが、CoTで各ターンの思考内容/ツール呼び出し/回答を分けて保持して、次のターンへそのまま引き継ぐ「Preserved Thinking History」が面白い エージェントがなぜその行動を選んだか、まで状態として残せるイメージ?
もっと見る
0
0
0
7
2
コミュニティへ転送
読み込み中...
人気のあるユーザー
オリコンニュース
@oricon
2M ファン
New York Post
@nypost
4.3M ファン
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K ファン
TVer新着
@TVer_info
101.8K ファン
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K ファン
Reuters
@Reuters
26.5M ファン
First Squawk
@FirstSquawk
579.5K ファン
モデルプレス
@modelpress
2.1M ファン
Bloomberg
@business
10.5M ファン
billboard
@billboard
16.9M ファン
MANTANWEB/毎日キレイ
@mantanweb
68.6K ファン
ファミ通.com
@famitsu
1.4M ファン
cv usk
@cv_usk
470 ファン
zerohedge
@zerohedge
3.4M ファン
Yahoo!ニュース
@YahooNewsTopics
2.1M ファン