LLMの評価とかLLMアプリの評価とかLLM出力の評価とか、ここ1年ぐらいで浸透してきたと思ったら現場ではここ数ヶ月で急に言い始めたけど、結局盲目的に「評価」することが目的になっていくって容易に想像できる。それも2026年時点のLLM評価の知識のまま2028年までやるんだぜ。まぁ見ててよ。

LLMが生成したコードはコピペせず、あえて手で写経して認知負債を防ぐアプローチ。 ・個人開発においてAIは非常に便利 ・ただ、すべてをAIに任せるとコードに対する認知負債が溜まってしまう ・退屈な実装を任せたいだけで、コードへの理解まで手放したいわけではない ・かといって、AIが自動生成した大量のコードをレビューする作業は全く楽しくない ・そこで筆者は、AIにチャットでコードを出力させ、それをすべて手打ちで書き写している ・プロンプトで、AIによるファイルの直接編集やコマンド実行をあえて固く禁止 ・これだとAIに自動化させるより効率は落ちる ・それでも、AIを使わない場合に比べれば2倍は早い ・手打ちすることで作業ペースが落ち、AIのハルシネーションや設計のまずさに気づきやすくなる ・書き写しながらリファクタリングでき、コードベースの空間的なマップが頭の中に作れる ・筆者は生産性よりも、コードに対する理解を優先している ・ソフトウェア業界は今、近い将来に支払うべき巨大な認知負債を抱え込もうとしている ・少なくとも自分が生み出すコードだけは完全に理解しておきたい、というスタンス

LLMが使われた結果、Chromeの脆弱性の発見から修正までの速度が爆上がりしている。 ・2026年初頭にはGeminiを使ったエージェントを投入 ・その結果、コードベースに13年間潜んでいた脆弱性を発見した ・なお、モデルの暴走を防ぐため、ネットワークを遮断した環境でスキャンしている ・バグのトリアージも自動化され、ノイズ除去やバグの再現を行っている ・これにより、毎月数百時間もの開発者の時間を節約できているらしい ・バグの修正も複数のAIエージェントが連携して提案や評価を行っている ・直近の2回のリリースでは、合計1,072個ものセキュリティバグを修正 ・これは過去23回のリリースにおける合計修正数を上回る圧倒的なペース ・さらに、コードがマージされる前のCI上でもAIが脆弱性を検知 ・5月だけで20以上の脆弱性が本番環境に出るのを未然に防げている ・ただ、バグを修正してもユーザーにパッチが適用されなければ意味がない ・そこでブラウザ全体を再起動せずに動的にパッチを当てる仕組みを開発している

LLMに回答の自信度を数値化させるのは無意味では、という主張。 ・LLMに0から100の自信度を出力させる手法がよく見られる ・しかし、LLMに自信度を自己評価させるのは完全に無意味 ・科学的な根拠はなく、出力が信頼できそうに見えるだけの心理的なトリック ・Anthropicの研究などで、モデルが内省的な認識を持つことは確認されている ・ただ、それは実験環境での話であり、実際の出力の正しさを評価できるレベルにはない ・思考プロセスを用いて自己評価させても「その自信度の自信度は？」という無限ループに陥る ・実際にDeepMindの論文でも、外部フィードバックなしの自己修正は性能を低下させることが示されている ・現在のモデルは、自らの状態を定量化できるほど自分自身を理解していない ・そもそも、スコア化しようとする自信の定義が極めて曖昧 ・回答の正確性なのか、一貫性なのか、ユーザーの目的を満たそうとしているのか ・全く異なる次元の問題を単一の数値に押し込めるのは無理がある

LLMが生成したテキストは古典的な機械学習で高精度に検出できるよ、というポスト。（検出は日本語対象ではない） ・昨今のネット小説界隈には、低品質なAI生成テキストが大量に溢れかえっている ・既存の予測確率を用いたAI検出手法は、推論コストが高く精度も非常に不安定 ・そこで筆者は、古典的な機械学習であるSVMを用いたテキスト分類を試みた ・約1万件の人間の書いたテキストと、複数のLLMに生成させたテキストを学習データとして用意 ・単語の出現頻度（TF-IDF）に基づく単純な判定だけで、まず約85%の精度を達成 ・さらに7つの異なるモデル用の分類器を作成し、多数決をとることで判定を強固にしてみた ・で、これを使って、某小説プラットフォームの上位作品を判定したところ、約32%でAI生成の疑いが強いことが判明 ・ただ、その中でAI使用を事前に明記している作品は一つもなかった ・AIっぽさを消すプロンプトや翻訳の往復を試しても、判定スコアはほとんど下がらなかった ・なぜか？ ・LLMの出力テキストには特有の統計的なパターンが非常に強く現れてしまうため ・そのため、最新の複雑なAIを使わずとも古典的な手法で十分に見抜ける ・AIによる創作物は底が浅くパターンの再構成に過ぎない（という指摘）

LLMはslopを生み出すけど、それでも使うのはやめられない。でも気をつけていることがあるよ、という話。 ・筆者は著作権や環境問題、OSSの破壊リスクなど、LLMに対する批判のほとんどに同意だが、使い続けている ・カンファレンスでもAI批判に拍手が起きる一方で、参加者が手元でClaude Codeを開いているという矛盾がある ・筆者自身も月に約1万ドルを課金するほどLLMを多用している ・LLMは、すでに自身の思考を増幅させるツールであり手放せない ・自分の意見や構造がある人間が使えば、より鋭く、より速く出力できる ・ただし問題は、外から見て「人間が考えた結果」か「AIが出力しただけのスロップ」か区別が難しいこと ・結局はアウトプットへの信頼が重要になる ・筆者はスロップを防ぐためにいくつかの具体的な手法を導入している ・例えば、完全に理解するまで私を徹底的に尋問して、と指示する/grill-meというプロンプトを使う ・これにより、人間側が自分の思考の言語化を強制される ・ほかにも、LLMに自分の解決策を批判させ続け、無理やり粗探しをさせるアプローチも有効 ・また、APIの実装前にLLMに仕様を予想させ、人間の直感に合うかテストする手法もある ・ただ、これらの前提として人間側が良いものとスロップを見分ける能力を持っている必要がある ・自分が理解していない領域でLLMを使うと、単に粗悪品を大量生産するだけに終わる

LLMは、ハーネスやskills内容、workflowならプロンプトをちょっと変えたら劇的に変わるのがとっても大変ですが、ホントに興味深いです これだけ使ったり検証しても発見が日々あるので、まだまだ気持ちが解るまでは遠い

LLM向けオントロジーを作る前に決めることです。 ・スキーマは自分で定義するか、LLMに任せるか ・OWL/RDFでのクラスと制約の表現 ・既存データパイプラインとのマッピング ・エンティティ解決の方法 ・更新を続ける運用体制（生きたソフトとして扱います） 意味の定義は、LLMの幻覚を抑える土台になります。

LLM選定では、「同じ業務をいくらで完了できるか」も非常に重要。 ライブTrader Deskを作る同一プロンプトの検証では、 Fugu Ultra：$0.51 GLM 5.2：$0.03 品質が一定超えてくると、コストのクオリティのバランスも大切。 via：@atomic_chat_hq

LLMOpsで最初に作るべきは、派手なダッシュボードじゃない。evalだ。評価基準がないまま本番に出すのは「祈りながらデプロイ」してるのと同じ。計測してないものは改善できないし、評価してないものは固められない。LLMOpsは、ここから始まる。