iwashi / Yoshimasa Iwase(@iwashi86):LLMが生成したテキストは古典的な機械学習で高精度に検出できるよ、というポスト。（検出は日本語対象ではない）・昨今のネット小説界隈には、低品質なAI生成テキストが大量に溢れかえっている・既存の予測確率を用いたAI検出手法は、推論コストが高く精度も非常に不安定・そこで筆者は、古典的な機械学習であるSVMを用いたテキスト分類を試みた・約1万件の人間の書いたテキストと、複数のLLMに生成させたテキストを学習データとして用意・単語の出現頻度（TF-IDF）に基づく単純な判定だけで、まず約85%の精度を達成・さらに7つの異なるモデル用の分類器を作成し、多数決をとることで判定を強固にしてみた・で、これを使って、某小説プラットフォームの上位作品を判定したところ、約32%でAI生成の疑いが強いことが判明・ただ、その中でAI使用を事前に明記している作品は一つもなかった・AIっぽさを消すプロンプトや翻訳の往復を試しても、判定スコアはほとんど下がらなかった・なぜか？・LLMの出力テキストには特有の統計的なパターンが非常に強く現れてしまうため・そのため、最新の複雑なAIを使わずとも古典的な手法で十分に見抜ける・AIによる創作物は底が浅くパターンの再構成に過ぎない（という指摘）

2026.07.19 06:00

LLMが生成したテキストは古典的な機械学習で高精度に検出できるよ、というポスト。（検出は日本語対象ではない）・昨今のネット小説界隈には、低品質なAI生成テキストが大量に溢れかえっている・既存の予測確率を用いたAI検出手法は、推論コストが高く精度も非常に不安定・そこで筆者は、古典的な機械学習であるSVMを用いたテキスト分類を試みた・約1万件の人間の書いたテキストと、複数のLLMに生成させたテキストを学習データとして用意・単語の出現頻度（TF-IDF）に基づく単純な判定だけで、まず約85%の精度を達成・さらに7つの異なるモデル用の分類器を作成し、多数決をとることで判定を強固にしてみた・で、これを使って、某小説プラットフォームの上位作品を判定したところ、約32%でAI生成の疑いが強いことが判明・ただ、その中でAI使用を事前に明記している作品は一つもなかった・AIっぽさを消すプロンプトや翻訳の往復を試しても、判定スコアはほとんど下がらなかった・なぜか？・LLMの出力テキストには特有の統計的なパターンが非常に強く現れてしまうため・そのため、最新の複雑なAIを使わずとも古典的な手法で十分に見抜ける・AIによる創作物は底が浅くパターンの再構成に過ぎない（という指摘）