LLMはslopを生み出すけど、それでも使うのはやめられない。でも気をつけていることがあるよ、という話。 ・筆者は著作権や環境問題、OSSの破壊リスクなど、LLMに対する批判のほとんどに同意だが、使い続けている ・カンファレンスでもAI批判に拍手が起きる一方で、参加者が手元でClaude Codeを開いているという矛盾がある ・筆者自身も月に約1万ドルを課金するほどLLMを多用している ・LLMは、すでに自身の思考を増幅させるツールであり手放せない ・自分の意見や構造がある人間が使えば、より鋭く、より速く出力できる ・ただし問題は、外から見て「人間が考えた結果」か「AIが出力しただけのスロップ」か区別が難しいこと ・結局はアウトプットへの信頼が重要になる ・筆者はスロップを防ぐためにいくつかの具体的な手法を導入している ・例えば、完全に理解するまで私を徹底的に尋問して、と指示する/grill-meというプロンプトを使う ・これにより、人間側が自分の思考の言語化を強制される ・ほかにも、LLMに自分の解決策を批判させ続け、無理やり粗探しをさせるアプローチも有効 ・また、APIの実装前にLLMに仕様を予想させ、人間の直感に合うかテストする手法もある ・ただ、これらの前提として人間側が良いものとスロップを見分ける能力を持っている必要がある ・自分が理解していない領域でLLMを使うと、単に粗悪品を大量生産するだけに終わる

学会の査読に提出された論文の68%が、架空の引用やでっち上げの著者リストを含むAI Slopだった、という記事。アカデミアも大変。 ・筆者らがNeurIPSなどの主要会議で22本の論文を査読したところ、15本が明らかなLLM生成のslopだった ・実在する論文の著者を架空の研究者にすり替えて引用するなどの悪質な例が散見された ・しかも、そのような論文が2本もオーラル発表に採択されている ・こうした問題は他の会議でも起きている ・2025年だけで14万件以上の架空の引用が見つかっている ・NeurIPS 2025でも、架空の引用を含む論文が複数の専門家の査読をすり抜けて採択 ・一方で査読者側もLLMを利用している ・ICLRの査読の21%がAI生成だったという報告もある ・LLMが書いた論文にありがちな特徴として、本文の数値と表の数値が一致しないことが多い ・これは、著者が実験をやり直した後に、LLMに本文の更新を指示するのを忘れているから ・つまり、彼らは自分で生成した論文を読み直していない ・査読者の時間を無駄にしている ・手作業での文献確認は査読者の負担が大きすぎる ・そこで筆者らは参考文献の自動監査ツールbib-auditを公開した ・CrossrefやarXivなどのデータベースと照合し、架空の著者や存在しない論文を自動で検出できる

￣￣￣￣￣￣ #MISIA×WOWOW# 　　特集中 ＿＿＿＿＿＿ 🎶LOVE BEBOP 🎶CATCH THE RAINBOW 🎶オルフェンズの涙 など MISIAの圧倒的なパフォーマンスを堪能できる珠玉のプログラム💫 「THE TOUR OF MISIA LOVE BEBOP all roads lead to you」 7/24(金)午後8:00～放送＆配信 📱終了後からアーカイブ配信

要件が後から追加される実践的なベンチマークでのAIコーディングについて。こっちのが実践的かも。 ・従来のAIコーディング評価は、最初からすべての要件が提示されることが多い ・一方、 SlopCodeBench は段階的に要件が追加されるのが特徴 ・実際の開発のように、コードを時間をかけて進化させる能力が問われる ・著者が最新の Opus 5 などをこのベンチマークで実際に検証した ・結果、Opus 5 のパス率は24%にとどまった ・前世代の Opus 4.8 や Sonnet 5 の6%よりは高い ・ただ、どのモデルも課題が進むにつれてバグが確実に蓄積していく ・また、Opus 5 は Opus 4.8 の約5倍もの関数を生成した ・生成コードの約半分をテストが占めている ・しかし、その圧倒的な記述量がパス率の大幅な向上には直結していない ・1つずつ課題を解決していく現実の開発において、今のAIに完全自動運転を任せるのは非常に困難 ・人間によるステアリングがまだまだ必要そう