iwashi / Yoshimasa Iwase
@iwashi86
NTTドコモビジネスでEM(育休中)。その他に、早稲田大で非常勤講師、#fukabori#.fmの中の人、書籍翻訳者。
AI、マネジメント、Dev、PdM、Agile、HRに関する学びをポストしています。
発言は個人の見解であり、所属する組織の公式見解ではありません。
Amazonアソシエイト・プログラム参加者。
Joined May 2009
682 Following 20.1K Followers
LLMが生成したテキストは古典的な機械学習で高精度に検出できるよ、というポスト。（検出は日本語対象ではない）
・昨今のネット小説界隈には、低品質なAI生成テキストが大量に溢れかえっている
・既存の予測確率を用いたAI検出手法は、推論コストが高く精度も非常に不安定
・そこで筆者は、古典的な機械学習であるSVMを用いたテキスト分類を試みた
・約1万件の人間の書いたテキストと、複数のLLMに生成させたテキストを学習データとして用意
・単語の出現頻度（TF-IDF）に基づく単純な判定だけで、まず約85%の精度を達成
・さらに7つの異なるモデル用の分類器を作成し、多数決をとることで判定を強固にしてみた
・で、これを使って、某小説プラットフォームの上位作品を判定したところ、約32%でAI生成の疑いが強いことが判明
・ただ、その中でAI使用を事前に明記している作品は一つもなかった
・AIっぽさを消すプロンプトや翻訳の往復を試しても、判定スコアはほとんど下がらなかった
・なぜか？
・LLMの出力テキストには特有の統計的なパターンが非常に強く現れてしまうため
・そのため、最新の複雑なAIを使わずとも古典的な手法で十分に見抜ける
・AIによる創作物は底が浅くパターンの再構成に過ぎない（という指摘）
Show more
