iwashi / Yoshimasa Iwase(@iwashi86):LLMが生成したテキストは古典的な機械学習で高精度に検出できるよ、というポスト。（検出は日本語対象ではない）・昨今のネット小説界隈には、低品質なAI生成テキストが大量に溢れかえっている・既存の予測確率を用いたAI検出手法は、推論コストが高く精度も非常に不安定・そこで筆者は、古典的な機械学習であるSVMを用いたテキスト分類を試みた・約1万件の人間の書いたテキストと、複数のLLMに生成させたテキストを学習データとして用意・単語の出現頻度（TF-IDF）に基づく単純な判定だけで、まず約85%の精度を達成・さらに7つの異なるモデル用の分類器を作成し、多数決をとることで判定を強固にしてみた・で、これを使って、某小説プラットフォームの上位作品を判定したところ、約32%でAI生成の疑いが強いことが判明・ただ、その中でAI使用を事前に明記している作品は一つもなかった・AIっぽさを消すプロンプトや翻訳の往復を試しても、判定スコアはほとんど下がらなかった・なぜか？・LLMの出力テキストには特有の統計的なパターンが非常に強く現れてしまうため・そのため、最新の複雑なAIを使わずとも古典的な手法で十分に見抜ける・AIによる創作物は底が浅くパターンの再構成に過ぎない（という指摘）

iwashi / Yoshimasa Iwase

@iwashi86

NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#fukabori#.fmの中の人、書籍翻訳者。 AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。発言は個人の見解であり、所属する組織の公式見解ではありません。 Amazonアソシエイト・プログラム参加者。

加入 May 2009

699 正在关注 20.8K 粉丝

iwashi / Yoshimasa Iwase@iwashi86

2026.07.19 06:00

LLMが生成したテキストは古典的な機械学習で高精度に検出できるよ、というポスト。（検出は日本語対象ではない）・昨今のネット小説界隈には、低品質なAI生成テキストが大量に溢れかえっている・既存の予測確率を用いたAI検出手法は、推論コストが高く精度も非常に不安定・そこで筆者は、古典的な機械学習であるSVMを用いたテキスト分類を試みた・約1万件の人間の書いたテキストと、複数のLLMに生成させたテキストを学習データとして用意・単語の出現頻度（TF-IDF）に基づく単純な判定だけで、まず約85%の精度を達成・さらに7つの異なるモデル用の分類器を作成し、多数決をとることで判定を強固にしてみた・で、これを使って、某小説プラットフォームの上位作品を判定したところ、約32%でAI生成の疑いが強いことが判明・ただ、その中でAI使用を事前に明記している作品は一つもなかった・AIっぽさを消すプロンプトや翻訳の往復を試しても、判定スコアはほとんど下がらなかった・なぜか？・LLMの出力テキストには特有の統計的なパターンが非常に強く現れてしまうため・そのため、最新の複雑なAIを使わずとも古典的な手法で十分に見抜ける・AIによる創作物は底が浅くパターンの再構成に過ぎない（という指摘）

显示更多