モデルを切り替えるたびに会話の文脈を再計算し直すの、実はもったいないかもしれません。 タイトル: Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse URL: ❓ そもそも何をする研究？ 💡 NVIDIAの研究チームが、あるサイズのLLMが計算したKVキャッシュを、別サイズの同系統モデルにそのまま「翻訳」して使い回す手法を提案しました。学習不要、閉形式のリッジ回帰だけで変換できます。 ❓ なぜモデルサイズをまたいで使い回したいの？ 💡 実運用ではコストと品質のバランスを取るために、小さいモデルから大きいモデルへエスカレーションしたり、会話途中でモデルを切り替えたりします。そのたびにゼロから文脈を再計算（re-prefill）するのは無駄が多いためです。 ❓ 精度は落ちないの？ 💡 良い組み合わせでは元モデル単体の73〜98%の精度を維持します。相性の悪いペアでは大きく劣化しますが、小さなMLPを追加するだけでHellaSwagが最大36.8ポイント回復しました。 ❓ どれくらい速くなるの？ 💡 再prefillと比べて2.7〜25倍高速。32Kトークンの長い文脈では最大25倍の差がつき、10ターン程度の会話でも精度の劣化はごくわずかでした。 #LLM# #KVキャッシュ#

今度しばらくモンゴルに行くので、いろいろ予習している。以下、本書の感想。👉「あなたモンゴルでも行く？」。この一言から、給食調理の仕事をしていた著者の人生は大きく変わった。在モンゴル日本国大使館の公邸料理人となった著者が草原の食と暮らしを体当たりで綴ったエッセイが本書である。ぼくはこの本をひとつの文明論として読んだ。食は、その土地の自然と歴史のすべてが凝縮する場所だからだ。その土地の文化も思想も、食に表れるのである。 モンゴルの食文化には明快な体系がある。肉を中心とする赤い食べ物「オラーン・イデー」と、乳製品を中心とする白い食べ物「ツァガーン・イデー」の二分法だ。遊牧民は羊、山羊、牛、馬、ラクダの五畜を飼い、乳の出る夏は搾乳して乳製品を作り貯え、家畜が肥える秋に屠って冬は肉で越す。北里大学の有原圭三さんは東北畜産学会報の解説で、「モンゴルでは古くから食生活の中心に乳と肉が据えられてきた」と述べ、この二分法が今日でもモンゴル人の食生活の中心にあると報告している。季節のサイクルがそのまま食の体系になっている。夏は白、冬は赤。食卓に一年の時間が刻まれているのだ。 本書が鮮やかなのは、著者がこの食文化の合理性を、現地の人々との交流のなかで体感的に解き明かしていくところである。著者の友人はこう問うたという。草を食べた家畜の肉を食べているのに、なんでわざわざ野菜を食べるのか、と。面白い見方である。乾燥と寒冷のモンゴル高原では、人間が直接食べられる植物はほとんど育たない。しかし、家畜は人間が消化できない草を、肉と乳に変換してくれる。つまり、遊牧とは「人間が直接利用できない草原の膨大な資源を、家畜という装置を通して食に変える精緻なエネルギー変換システム」なのだ。 他方で、なぜ豚や鶏を飼わないのか。彼らは長距離の移動についてこられず、草ではなく人間と競合する穀物を必要とするからだ。五畜の構成すら、環境から合理的に導かれている。ぼくらが栄養学の常識と信じている「野菜を食べなさい」は、農耕地帯というローカルな環境の産物にすぎないのかもしれない。 ちなみに── 「カルピス」の名称は、牛乳に含まれる成分「カルシウム」と、仏教の経典に登場するサンスクリット語の「サルピス（熟酥・じゅくそ）」を掛け合わせて名付けられた。仏教における牛乳の精製過程「五味（ごみ）」の教えが深く関わっていて、かつてぼくも仏教書で同様の内容を読んだ。 創業者の三島海雲は僧侶でもあり、内モンゴルで出会った酸乳の美味しさと健康効果をヒントに飲み物を開発した際、この「五味」の考え方をヒントに取り入れ、4番目の段階である「熟酥（サルピス / sarpis）」をベースにし、当時流行していた「カルシウム」と組み合わせて「カルピス」と命名したのである。 さて、本題に戻ろう。 ここで、二項対立をひとつ立ててみたい。 モンゴルの食は野蛮か、合理か。 羊を屠るとき、遊牧民は胸を小さく切開し、手を入れて大動脈を握りつぶす。血を一滴も大地にこぼさないためだ。血は腸詰めにし、臓物も骨も余さず使いきる。都市に暮らすぼくらの目には衝撃的な光景かもしれない。だが、視点を変えれば、これほど命を丁寧に頂ききる食文化があるだろうか、とも思う。食品を毎日大量に廃棄しながら、屠畜の現場だけを残酷と呼ぶぼくらの感性のほうが、よほどねじれている。文化人類学者の小長谷有紀さんが繰り返し論じてきたように、モンゴルの乳加工は、乳の性質を経験的に知り尽くした精緻な知の体系だ。ヨーグルト、チーズ、乳酒、乳茶。冷蔵庫のない草原で乳を保存するために発酵と乾燥のあらゆる技術が磨かれてきた。野蛮どころか、そこには何百年もの科学がある。 著者は公邸料理人として日本の食材が乏しい環境で和食を作る工夫を重ねながら、同時にモンゴルの食の懐へ深く入っていく。マイナス30度の冬。人も家畜も、支え合わなければ生きられない世界。その厳しさこそが食への敬意を育てたのだと、読みながら何度も思った。安定的な食の環境がなかなかないからこそ、食への感謝は尽きないのだ。 ご関心のある方は、ぜひ本書を直に読んでみてほしい。 『まんぷくモンゴル！公邸料理人、大草原で肉を食う』鈴木裕子（産業編集センター）

# AIエージェント開発の意思決定ポイント # オーケストレーション vs コレオグラフィ 🎼 🎯 ポイント 複数のエージェントやサービスを協調させるとき、「指揮者を置くか、各自が自律的に踊るか」を選ぶ必要があります。 オーケストレーションは中央の指揮者がすべてを統制する方式。コレオグラフィは各コンポーネントがイベントに反応して自律的に動く方式。制御の所在が根本的に異なるため、障害処理・監査・デバッグ・スケーリングの設計が全く変わります。 📋 概要 オーケストレーションでは中央のオーケストレータが全体のワークフローを定義し、各コンポーネントを順次または並列に呼び出し、結果を集約して次のステップを決定します。Temporal、Airflow、LangGraphのSupervisorパターンなどが典型的な実装基盤です。コレオグラフィでは各コンポーネントがイベントバス（Kafka、EventBridge等）上のイベントを購読し、関心のあるイベントに自律的に反応して新たなイベントを発行します。全体の制御フローを知る中央は存在しません。 🔍 意思決定のポイント 判定の主軸は **説明責任（accountability）** です。 🏛️ **オーケストレーションに倒す条件**: - 処理の全体像と各ステップの判断根拠を事後に説明する必要がある - 審査→承認→実行のような厳密な順序制約がある - LLMの出力を次のステップに渡す前に検証・変換が必要 - 全体の予算（トークン・時間・コスト）を中央で管理したい - コンポーネント数が概ね10以下 🌊 **コレオグラフィに倒す条件**: - 高スループット・高スケールが求められ、中央がボトルネックになる - 多数のチームが独立してコンポーネントを開発・デプロイしている - イベントへの「反応」が主な処理パターン（通知、ログ、非同期集計） - 実行順序の厳密な追跡が不要 💡 要点と詳細 🟢 **オーケストレーションの強み**は制御の明確さと監査性です。ワークフローの全体像が1箇所に定義されているため「今どこまで進んでいるか」「なぜこのステップが実行されたか」が常に明らかです。障害時のリカバリもどのステップで失敗したかを特定して再開できます。エージェント固有の利点として、LLMの出力を検証してから次ステップに進められるため、ハルシネーションの伝播を各ステップで遮断できます。 🟡 **コレオグラフィの強み**は疎結合とスケーラビリティです。各コンポーネントはイベントスキーマだけを共有し、他の存在を知りません。新コンポーネントの追加はイベント購読の追加だけで、既存コンポーネントに変更不要です。独立スケールも可能で、イベントバスがバッファとして一時的な負荷偏りを吸収します。 ⚖️ トレードオフ | 観点 | オーケストレーション | コレオグラフィ | |---|---|---| | 全体状態の可視性 | 常に明確 🟢 | イベントログの突合が必要 🔴 | | 監査性 | 高い（因果関係を示せる） | 低い（分散した追跡が必要） | | スケーラビリティ | 中央がボトルネック | 各コンポーネントが独立スケール | | 結合度 | 高い（中央への変更が集中） | 低い（スキーマ共有のみ） | | ハルシネーション制御 | ステップごとに検証可 | 各自でガードレールが必要 | | チーム独立性 | オーケストレータ変更で衝突 | 独立開発・デプロイ可 | 🛠️ ユースケース 🔵 **オーケストレーションが向くケース**: 業務系システム、規制対象の処理、審査・承認ワークフロー、LLMの出力検証が必要な処理。説明責任が求められる環境。 🔴 **コレオグラフィが向くケース**: 高スループットのイベント駆動処理、通知・ログ集約・分析パイプライン。多数のチームが独立してコンポーネントを開発する大規模システム。 📌 **デフォルト戦略**: 業務系システムではオーケストレーション（中央集権）がデフォルトです。AIエージェントを含むシステムでは、LLMの確率的な出力を制御・検証する中央の存在が安全性と監査性の両面で重要です。実用的な折衷は「中核は中央集権、周辺探索はイベント駆動」で、主要な業務フローはオーケストレータが管理し、周辺の非同期処理はイベント駆動で疎結合に構成する形です。 #AIエージェント# #ソフトウェアアーキテクチャ#

「設計するかどうかにかかわらず、すべての API チームはいずれエージェントのコンシューマーを抱える」——Pinecone エンジニアによるエージェントフレンドリー API 設計の論考が秀逸です。 Designing Agent-Friendly APIs エージェント向け API 設計の6原則を紹介するこの記事から、特に重要な3つのポイントを深掘りします。 🔴 注目1: エラーメッセージが「指示」になるかどうか `"Invalid request"` というエラーを返すだけでは、エージェントはバジェット（トークン予算）を無駄に消費しながら推測を繰り返します。正しい設計は「何が・なぜ・どう直す」の3要素をセットにすること。`"Response is too large. To reduce the size, try a lower top_k value."` のように具体的な回復手順を含めれば、エージェントは次のコールで自己修正できます。RFC 9457 Problem Details で機械可読エラーコードを安定提供し、認証エラーは「欠如」と「不正」を別コードに分けることも重要です。 🔵 注目2: エンドポイント1:1でのMCPサーバー化は失敗する 大規模 API をそのまま MCP サーバーに変換すると、エージェントはファーストコール以前に「数十万トークン」を消費しかねません。Cloudflare は `search()` と `execute()` の2つのツールだけで 2,500 エンドポイントへのアクセスを約 1,000 トークンで実現しています。`list_users` + `list_events` + `create_event` という3エンドポイントの代わりに `schedule_event` 1本を提供する——ワークフロー単位でエージェント面を製品として設計することが本質です。 🟡 注目3: TTFSC（Turns-to-First-Successful-Call）という新指標 著者は Claude Sonnet 5 をコールドな状態で Pinecone の API に当てた実験を公開しています。全3試行で無人成功、ファーストコールまでの中央値は **6ターン・約$0.30・約90秒**。生の REST を選んだエージェントはわずか3ターンで成功した一方、Python SDK を選んだエージェントはターンの「ほぼ半分」を call signature の解読に費やしました。廃止済みパッケージ名のインストールを試みたのは古いモデルで、現行世代は直接モダン API へ向かいました——LLMの学習データに刷り込まれた旧 API 形状が如何に影響するかを示す実例です。 エージェントはこれまで開発者が暗黙に吸収してきたコストを「可視化・課金可能・チャーン誘発」な経済コストとして外部化します。AX（Agent Experience）はDXと並ぶ必須の設計軸になりつつあります。 #APIデザイン# #AIエージェント#

おはようございます！ 明日はうーかのクリスマスイベント🎄 1週間後は #ハロービビ# 本番！ ハロービビって打つとなぜか予測変換でハロービビンバって変換されちゃうのなんで？？？？笑 【ご予約お待ちしてます🥹】

ハーネスエンジニアリングのアンチパターン AP7. 決定性の取り違え（The Misplaced Determinism Boundary） 🎯 ポイント テスト実行をLLMの善意に委ね、端ケースの判断を硬いルールに押し込む。境界を取り違えると、信頼性と適応性を同時に失います。 ❗ 発生する課題 確率的な要素を決定的であるべき場所に置くと信頼性が漏れ、決定的なルールを判断が要る場所に置くと適応性を失います。結果として、簡単なタスクで不安定になるか、複雑なタスクで硬直するか、あるいはその両方が同時に起きます。 🔍 メカニズムと症状 この取り違えには二つの形態があります。形態Aは「LLMの判断が要る長いテールを硬いルールに押し込む」パターンで、ルールは予測可能なため魅力的に見えますが、端ケースに遭遇すると脆く壊れます。形態Bは「決定的であるべき処理（テスト実行、ゲート判定、リトライ）をLLMの善意に委ねる」パターンで、モデルに任せれば実装が楽に見えますが、100回に1回はテストを忘れるという不安定さを生みます。症状としては、形態Aでは「想定外のケースでルールが破綻」「新しいパターンのたびにルール追加が必要」、形態Bでは「テストの実行忘れ」「ゲートのスキップ」「時々なぜか動かない」が見られます。 📋 シナリオ ・形態A：「import文の変更は必ずファイル先頭に」という硬いルールを設定。circular importの解消が必要なケースでルールが邪魔をし、エージェントが行き詰まる。 ・形態B：「テストを必ず実行すること」をプロンプトに記載するだけで、ハーネスが強制しない。エージェントは95%の確率でテストを実行するが、残り5%でテスト未実行のまま完了を宣言する。 ・両方同時：コードモッドの大部分はASTベースの決定的変換で処理できるのに、全てをLLMに任せている（形態B）。一方、LLMの判断が必要な端ケースには「この場合はスキップ」という硬いルールを適用（形態A）。両方が間違っている。 🛡 回避方法 ・ハーネスの全処理を「判断が要る」と「判断不要で決定的に実行可能」に分類し、境界を明示します ・テスト実行・lint・ビルド・ゲート判定は決定的コードで強制し、「お願い」しません ・LLMは本当に判断が必要な部分（原因分析・方針決定・コード生成）に限定して使います ・モデルの進化に合わせて境界を定期的に見直し、適切に移動させてください #HarnessEngineering# #AIAgent#

「なぜその判断をしたのか？」にAIエージェントが答えるには、フラットなチャットログではなく“つながった記憶”が必要でした🕸️ それを1コマンドで丸ごと立ち上げるツールの登場です。 タイトル: Introducing Create Context Graph URL: 🕸️ 概要 Create Context Graphは、グラフベースのメモリを備えたフルスタックのAIエージェントアプリを、たった1コマンドで生成するNeo4j LabsのCLIスキャフォールディングツールです。生成されるアプリには、FastAPIバックエンド、Next.jsフロントエンド、AIエージェントフレームワーク、Neo4jグラフデータベースが一式含まれます。 ❓ 解決する課題 AIエージェントは作りやすくなりましたが、関係性や因果を理解するのは依然として苦手です。 ・フラットなチャットログやベクトルストアでは、「なぜその判断をしたのか」「何がこの作業をブロックしているのか」といった構造的な問いに答えられません ・つまり、エージェントには関係を捉える「高度な記憶」が欠けていました 💡 方法論と仕組み ・データを「コンテキストグラフ」（つながったナレッジ構造）に変換し、チャット履歴・ベクトルコンテンツ・推論トレースの3種のメモリを整理します ・エンティティモデルはPOLE+O（Person, Organization, Location, Event, Object）に、ドメイン固有の型を重ねます ・エージェントが判断を下すと、その推論チェーンがDecisionTraceノードとして記録され、紐づくTraceStepで構成されるため、クエリ可能な来歴（provenance）が生まれます ・PydanticAI・LangGraph・Claude Agent SDKなど複数フレームワークに対応し、22の組み込みドメイン、Linear・Claude Code・GitHubのコネクタ、推論経路のリアルタイム可視化、シークレット自動リダクションを備えます 🌍 ユースケース ・課題の依存関係やチームのワークフローを開発者がクエリする ・Claude Codeのセッション履歴から個人の開発分析を行う ・判断・コミット・作業項目を組み合わせたマルチツールの相関分析 判断の来歴をクエリ可能にできるため、エージェントの説明可能性やデバッグ、チーム横断の知識統合に役立ちます。 #GraphRAG# #Neo4j#

NVIDIAによるHugging Faceの買収額は「129億3,030万ドル」である。 なぜ、これほど端数が細かいのか。 答えは「🤗」である。 $12,930,300,000 ÷ 100,000 ＝ 129,303 129,303を16進数に変換すると「1F917」となる。Unicodeの「U+1F917」は、Hugging Faceを表す絵文字「🤗」である。 つまり、買収価格そのものにHugging Faceが埋め込まれている。 さらに「#129303」は深い緑色のカラーコードであり、NVIDIAを連想させるもう1つの仕掛けでもある。共同創業者のThomas# Wolfも、買収価格に両社への参照を隠したと明かしている。 約129億ドルの買収で、価格そのものを両社の署名にしてしまった。

ハーネスエンジニアリングのプラクティス P19. 失敗をデータ資産化する（ハーネス自身のレトロループ） 🎯 ポイント 同じ失敗を何度も繰り返すハーネスは、改善不能なブラックボックスです。失敗をログ化し、ハーネス改善にフィードバックする仕組みを持ちましょう。 📝 概要 あらゆる人間の介入・ロールバック・流出欠陥を原因とともにログ化し、ハーネス改善（新ゲート・新指示・新ツール）にフィードバックします。ハーネスは自分自身に対するCIを持つべきです。これが成熟度L3（測定する）とL4（改善し続ける）を分けます。 🔍 解説 エージェントが失敗したとき、多くの組織は「モデルが悪い」で終わらせます。しかし本当の問いは「なぜハーネスはこの失敗を防げなかったか」です。人間が介入したということは、ハーネスにガードレールか検証が足りなかったということです。ロールバックが必要だったということは、サーキットブレーカーが機能しなかったということです。流出欠陥があったということは、検証器が不十分だったということです。これらの事象を原因分析とともに記録し、ハーネスの改善アクション（新しいゲートの追加、指示ファイルの更新、ツールの改善）に変換するループが、ハーネスを製品として成熟させます。 🛠 実践方法 ・人間の介入・ロールバック・流出欠陥の全事象を、原因分類とともに構造化ログに記録します ・定期的（週次や隔週）にレトロスペクティブを実施し、頻出する失敗パターンを特定します ・各失敗パターンに対して最も効果的な改善アクション（新ゲート・指示追加・ツール改善）を選定し、実施します ・改善アクションの効果を測定し、効果が低いものは撤回して別のアプローチを試します 💼 ユースケース ・issue-to-PRエージェントの失敗事例を週次で分析し、ハーネスの改善点を特定する場面 ・CI自動メンテナンスで、偽陽性の原因を追跡し、トリアージロジックを改善する場面 ・インシデント対応で、エージェントの推奨が不正確だった事例から、可観測性アクセスの改善点を導く場面 ⚠ 落とし穴 失敗のたびにルールを追加するだけでは「足場のラチェット」（AP3）に陥ります。失敗をデータ資産化するとは、単にルールを増やすことではなく、根本原因を分析して最も効果的な改善を選ぶことです。また、ログ化だけして分析しなければ、データは蓄積するだけで価値を生みません。定期的なレトロスペクティブの仕組みが不可欠です。 #HarnessEngineering# #ContinuousImprovement#