LLMのサイズを大きくだけすれば良いわけでもない、むしろ小さい方がハルシネーションが少ないという話。 ・AI研究機関の間で、従来の大規模化路線に対する懐疑的な見方が広がっている ・一般的にモデルの規模が大きいほどAIのベンチマークスコアは高くなる ・しかし、オープンな比較的小型なモデルが、非公開の超巨大モデルのスコアに肉薄している ・これは、モデルのサイズを大きくしても実際の知能の向上がすでに頭打ちになっていることを示す ・巨大なモデルは膨大で事実に基づいたデータを使って学習する ・その結果、巨大なモデルは「分からない」と認めることができず、もっともらしい嘘を生成するハルシネーションの確率が非常に高くなる ・実際のベンチマークテストでは、一部の超巨大モデルのハルシネーション率は80〜90パーセント台に達する ・一方で、比較的小型のモデルはハルシネーション率を20パーセント台にうまく抑え込んでいる ・テストとして意図的に構造的欠陥を含ませた複雑なプログラミングの課題を与えてみた ・すると、モデル間に明確な違いが確認された ・超巨大モデルは約4分もの時間と大量のトークンを消費したにもかかわらず、自信満々に誤った解決策を提示した ・対照的に、半分のサイズの小型モデルはわずか12秒で課題の技術的な矛盾を見抜いた ・超巨大なAIは膨大な計算資源を浪費しながら、論理的な破綻に気づかずに誤答を作り出してしまう ・カタログスペック上では超巨大モデルが優れていても、実社会における正確性や誠実さとは大きな乖離が生じている ・推論にかけるリソースやパラメータ数を盲目的に増やし続ける開発手法はもはや適切ではない ・単にサイズを拡大するだけでは知能が頭打ちになるだけでなく、かえって精度が悪化するケースすら存在する ・消費者にとってもこれは重要 ・モデルの規模や理論上の性能の高さだけで利用するAIを選ぶべきではない ・今後のAIは、純粋な処理能力、ハルシネーションの抑制、そして計算効率という3つの要素のバランスを取ることが課題に