プレーンなLLMが表形式データを扱うのが苦手なことについて調べた研究
特に大きく影響していたのは特徴量の列数だったそう
面白かったのはLLMが表をまったく読めないわけではなかったこと
2次元程度では距離ベースの分類器に近い予測ができ、指定された列を見つけてコピーする、みたいなこともできたらしい
一方で、複数の列を組み合わせて予測する必要があると、列数が増えるほど性能が低下するっぽい
もうツールを使うのが当たり前になっている領域だけど、素のLLMがどこで失敗するのかをきちんと分解して調べることは、ツールとの役割分担を考える上でも大事だと思った
Show more
