ハーネスエンジニアリングのアンチパターン AP1. コンテキストの溜め込み（The Context Hoarder） 🎯 ポイント 「念のため全部入れておこう」——その安心感が、エージェントの性能を静かに殺しています。情報は多いほど安全ではなく、しばしば害です。 ❗ 発生する課題 コンテキストウィンドウに無関連な情報が溢れ、エージェントの注意が希釈されます。重要な情報が中盤に埋もれ、本来必要なコードや仕様を載せるスペースが不足します。結果として、エージェントの判断精度が低下し、コストとレイテンシが線形以上に悪化します。 🔍 メカニズムと症状 このアンチパターンが魅力的に見えるのは、「情報は多いほど安全」という直感が強いからです。取得設計（何をいつ取りに行かせるか）は手間がかかるため、全部入れる方が楽に感じます。しかし、コンテキストウィンドウはCPUのL1キャッシュに相当する希少資源です。効用は単調増加しません。一定量を超えると無関連トークンが注意メカニズムを希釈し、重要情報の中盤埋没（lost in the middle）が発生します。症状としては、リポジトリ全体や長い会話履歴の丸ごと注入、全ツール定義の毎回ロード、「なぜか前に読んだはずの情報を無視する」といった現象が現れます。 📋 シナリオ ・issue-to-PRエージェントに、issueの内容だけでなくリポジトリ全体のREADME・設定ファイル・過去のPR履歴をすべて注入している。エージェントは肝心のissueの要点を見落とし、無関係なファイルを編集し始める。 ・マイグレーションエージェントに数千ファイルの情報を一度に渡し、コンテキストが溢れてエージェントが途中で一貫性を失う。 ・ペアプログラミングで、開いていないファイルや過去の長い会話履歴がコンテキストを圧迫し、レスポンスが遅くなる。 🛡 回避方法 ・コンテキストの使用量をカテゴリ別に計測し、メモリプロファイラのように配分を可視化します ・取得はpull既定（エージェント自身に必要な情報を取りに行かせる）とし、push（強制注入）は破ると致命的な不変条件だけに絞ります ・会話履歴は古いターンから要約・圧縮し、ツール定義は現在のタスクに必要なものだけを動的にロードします ・「全部入れれば安心」という思考に気づいたら、それがこのアンチパターンのサインだと認識してください #HarnessEngineering# #AIAgent#

ハーネスエンジニアリングのアンチパターン AP1. コンテキストの溜め込み（The Context Hoarder） 🎯 ポイント 「念のため全部入れておこう」——その安心感が、エージェントの性能を静かに殺しています。情報は多いほど安全ではなく、しばしば害です。 ❗ 発生する課題 コンテキストウィンドウに無関連な情報が溢れ、エージェントの注意が希釈されます。重要な情報が中盤に埋もれ、本来必要なコードや仕様を載せるスペースが不足します。結果として、エージェントの判断精度が低下し、コストとレイテンシが線形以上に悪化します。 🔍 メカニズムと症状 このアンチパターンが魅力的に見えるのは、「情報は多いほど安全」という直感が強いからです。取得設計（何をいつ取りに行かせるか）は手間がかかるため、全部入れる方が楽に感じます。しかし、コンテキストウィンドウはCPUのL1キャッシュに相当する希少資源です。効用は単調増加しません。一定量を超えると無関連トークンが注意メカニズムを希釈し、重要情報の中盤埋没（lost in the middle）が発生します。症状としては、リポジトリ全体や長い会話履歴の丸ごと注入、全ツール定義の毎回ロード、「なぜか前に読んだはずの情報を無視する」といった現象が現れます。 📋 シナリオ ・issue-to-PRエージェントに、issueの内容だけでなくリポジトリ全体のREADME・設定ファイル・過去のPR履歴をすべて注入している。エージェントは肝心のissueの要点を見落とし、無関係なファイルを編集し始める。 ・マイグレーションエージェントに数千ファイルの情報を一度に渡し、コンテキストが溢れてエージェントが途中で一貫性を失う。 ・ペアプログラミングで、開いていないファイルや過去の長い会話履歴がコンテキストを圧迫し、レスポンスが遅くなる。 🛡 回避方法 ・コンテキストの使用量をカテゴリ別に計測し、メモリプロファイラのように配分を可視化します ・取得はpull既定（エージェント自身に必要な情報を取りに行かせる）とし、push（強制注入）は破ると致命的な不変条件だけに絞ります ・会話履歴は古いターンから要約・圧縮し、ツール定義は現在のタスクに必要なものだけを動的にロードします ・「全部入れれば安心」という思考に気づいたら、それがこのアンチパターンのサインだと認識してください #HarnessEngineering# #AIAgent#

この特集号めっちゃおもしろい。 Full article: Fostering researcher independence: What are the educational and professional development consequences in the doctoral context?

エージェントに本当に長いコンテキストは必要でしょうか。圧縮して進めれば、精度をほぼ保ったまま大幅に安くなるそうです 💸 "You don't need long context" 長いコンテキストはトークン単価の割に実コストが高く、256Kの提供コストは16Kの3.6〜7倍と推定されています。そこで、履歴を溜め込む方式と、要約や1行動ごとの状態更新で会話を作り直す方式を、13のベンチマークで比べた研究です。 注目ポイント 🔁 長期タスクは圧縮しても解ける しきい値で要約して新しい会話を始めても、精度の変化はClaude Opus 4.5で−3.7〜+5.6ポイント、GPT 5.6 Solで−3.3〜+4.4ポイントでした。推定コストは2.2〜8.8倍安くなります。SWE-bench VerifiedではOpusが70.0%から74.8%に上がっています。 📄 長い文書は丸ごと読まなくてよい 文書をファイルに置き、grepやsedで必要な部分だけ読む方式では、Opusが−0.4〜+40.0ポイント、GPTが+1.0〜+30.9ポイントの変化でした。推定コスト削減は最大233.3倍で、文書が長くなっても会話の長さはほぼ一定です。 ⚙️ 1回の行動ごとに状態を更新する Single-Action Compactionは、タスクと要約した状態から1行動だけ取り、状態を更新して会話を捨てます。SWE-bench VerifiedはOpusで70.2%、GPTで82.4%で、ピークの生きたコンテキストは中央値で約77〜99Kトークンでした。 ただし圧縮は不可逆で、コストは推定値です。オープンモデルでは、Qwen 3 Coder Nextが53.0%から3.6%に落ちる例もあります。 #LLMエージェント# #LongContext#

検索エージェントの精度が頭打ちなら、次に削るべきはコンテキストのトークンです。 Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses BM25とgrepだけのharnessでも、FRAMESで91%に達したそうです。残る問題は、同じ文書を読み直して無駄にトークンを使うこと。そこで、事前にLLMで文脈を付与する「知識コンパイル」を提案しています。 🧾 注目ポイント1：主張-根拠ペア 1単位は「正規化した主張＋原文そのままの根拠スパン＋出典オフセット」です。根拠が特定できない主張は保存しません。検索でチャンクを見つけたら、チャンクをこのペアに置き換えてコンテキストに入れます。 📉 注目ポイント2：構造化は効かず、置換が効いた 要約木、目次、wiki、グラフは精度向上が検出されませんでした。一方、主張-根拠への置換はFRAMES（N=200）でクエリトークンを平均38%削減し、精度は測定誤差内です。代償として、ラウンドが増えて遅延は悪化し、判断ゲートで抑えます。 🧮 注目ポイント3：元が取れるかを式で見積もる ゲート受理率をp_hとすると、損益分岐は約2%です。実測の平均は受理率約43%に相当し、コンパイルが10クエリ分のコストなら約26クエリで回収できる計算です。 ただし1ベンチ・1実行・信頼区間なしで、誤受理率の監査は未実施です。コンテキストを「インフラ」として設計する発想が実務的だと思います。 #RAG# #AgenticAI#

チャッピーの更新日まで使える Pro を使ってこれまでのメモリやコンテキストをぶっこ抜いていく。 Grok Bot のアプリにあるこれで↓ --- Export all of my stored memories and any context you've learned about me from past conversations. Preserve my words verbatim where possible, especially for instructions and preferences. ## Categories (output in this order): 1. **Instructions**: Rules I've explicitly asked you to follow going forward — tone, format, style, "always do X", "never do Y", and corrections to your behavior. Only include rules from stored memories, not from conversations. 2. **Identity**: Name, age, location, education, family, relationships, languages, and personal interests. 3. **Career**: Current and past roles, companies, and general skill areas. 4. **Projects**: Projects I meaningfully built or committed to. Ideally ONE entry per project. Include what it does, current status, and any key decisions. Use the project name or a short descriptor as the first words of the entry. 5. **Preferences**: Opinions, tastes, and working-style preferences that apply broadly. ## Format: Use section headers for each category. Within each category, list one entry per line, sorted by oldest date first. Format each line as: [YYYY-MM-DD] - Entry content here. If no date is known, use [unknown] instead. ## Output: - Wrap the entire export in a single code block for easy copying. - After the code block, state whether this is the complete set or if more remain.

So much happened to $NBIS in Q3, you'd need no social life and a team of 5 analysts to keep up. Thankfully I have no friends (joke?) and don't sleep. Every material event, contextualized. Out tomorrow bright and early! Buckle up gents, this is a thick boy. (☞ﾟヮﾟ)☞