登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 LLM効率化
LLM効率化 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
LLM効率化 を含む検索結果
TL;DR: 言語モデルに自分のコンテキストを「編集可能なファイル」として自由に管理させる新しいパラダイム「Context Language Models」が、多くのベンチマークで精度向上とFLOPs削減を同時に達成しました。 タイトル: Context Language Models URL: ポイント 📝 コンテキストをファイルとしてミラーリングし、モデル自身がBashコマンドで自由に編集・追記できる設計。要約や検索の閾値を人間が決める従来のハーネスから脱却 🧠 明示的な指示なしに「インコンテキスト・スコアボード」や再利用可能な関数定義など創発的な戦略を獲得 🔍 BrowseComp-Plusで精度59.4%・FLOPs21.5%削減、EdgeBench-10では要約ベース比スコアを上回りつつFLOPsを半分以下に 🎯 強化学習ではQwen3.5-9Bの精度を28.8%→42.5%に向上させつつFLOPsも削減(成功した軌跡の中でのみ効率に報酬を与える設計でハッキングを防止) ⚡ 新技術Suffix Cache Reuseが、コンテキスト編集後も残存部分のKVキャッシュを再利用し、サーバー側計算量を標準比35%削減 🧩 ContextBenchの診断タスクでは、要約ベースが失敗する高コンテキスト圧力下でもCLMは完全な精度を維持 コンテキスト管理そのものをモデルの能力として扱うという発想転換に、大きな可能性を感じます。 #コンテキスト管理# #LLM効率化#
もっと見る
# ADKの便利で実践的な使い方 同じシステムプロンプトやツール定義を何度も送信していませんか?Context Cachingで繰り返しのトークンコストを大幅に削減しましょう💰 📌 **タイトル**: Context Caching 🔗 **URL**: ## 🧩 概要 Context Cachingは、LLMに送信するコンテキスト(システムインストラクションやツール定義など)の静的な部分をキャッシュし、繰り返しのトークンコストを削減する機能です。 `ContextCacheConfig` を設定することで、毎回のリクエストで同じプレフィックストークンを再送信する代わりに、キャッシュされたコンテキストを参照するようになります。 特にマルチユーザー環境で同じエージェント(同じプロンプト・ツール定義)を多くのユーザーが利用する場合、コスト最適化の効果が顕著です。 ## 🛠 使い方 `google.adk` から `Agent` を、`google.adk.agents` から `ContextCacheConfig` をインポートします。`ContextCacheConfig(max_entries=100, ttl_seconds=3600)` でキャッシュエントリの上限と有効期間(秒)を設定します。この `cache_config` を `Agent` の `context_cache_config` パラメータに渡すことで、`instruction` に記述した長いシステムプロンプトや `tools` に指定したツール定義(`search_kb`、`create_ticket`、`escalate` など)の静的部分がキャッシュされ、繰り返しのトークンコストが削減されます。 ## 🏗 実践的な使い方 **大規模カスタマーサポートの最適化:** カスタマーサポートエージェントでは、以下の要素が全ユーザーで共通です。 - システムインストラクション(対応ガイドライン、トーン、禁止事項) - ツール定義(ナレッジベース検索、チケット作成、エスカレーション) - Few-shotの例示 これらの静的なコンテキストは毎リクエストで数千トークンになることがあります。1日1万リクエストのサポートボットなら、Context Cachingにより膨大なトークン削減が見込めます。 **RAGパイプラインでの活用:** ツール定義にナレッジベースのスキーマや検索パラメータの説明が含まれる場合、これらをキャッシュすることで各クエリのコストを最適化できます。 **マルチテナントSaaS:** 同一のエージェント定義を複数テナントで共有する場合、テナント固有の情報のみが動的部分となり、共通のプロンプトとツール定義はキャッシュで共有されます。 ## 💡 ユースケース - 💰 コスト削減: 長いシステムプロンプトの繰り返し送信コストを削減 - 🚀 レイテンシ改善: キャッシュヒット時のプリフィル処理が高速化 - 👥 マルチユーザー最適化: 同じプロンプトを使う複数ユーザーでキャッシュを共有 - 🏢 マルチテナント: テナント共通部分のコンテキストを効率的にキャッシュ - 📚 大規模ツール定義: 多数のツールを持つエージェントのツール定義コストを最適化 ## ⚠️ 注意点 - Context Cachingはモデルプロバイダーのサポートに依存します。利用可能なモデルを事前に確認してください - キャッシュのTTL(有効期限)が短すぎるとヒット率が下がり、長すぎるとメモリを消費します。アクセスパターンに応じて調整してください - システムプロンプトやツール定義を頻繁に変更する場合、キャッシュの恩恵は限定的です - キャッシュのコスト自体も発生する場合があります。プロバイダーの料金体系を確認し、トータルコストで判断してください - 動的なコンテキスト(ユーザー固有の情報など)はキャッシュ対象外です。静的部分と動的部分を明確に分離して設計しましょう ✨ Context Cachingは「同じことを何度も言わない」をインフラレベルで実現します。マルチユーザー環境でのコスト最適化に大きな効果を発揮します! #ADK# #AIAgent#
もっと見る
AIエージェントで業務プロセスを効率化するサービスを立ち上げたい的な話を最近聞きますし、お伺いします そんなに簡単ではないなーと思う 確かにAI(LLM)恩恵で作る・解析するは早くなりました。問題は汎化性と個別最適がトレードオフであること。そのため、事業グロースしにくいことなんですよね
もっと見る
LLMエージェントの「考える」と「話す」は、実は同じ言語でやらなくてもいいかもしれません。 タイトル: Hybrid Reasoning Agents URL: ❓ 潜在空間で考えるエージェントって何が違うの? 💡 普通のLLMエージェントは、考える時も行動する時もすべてトークン(言葉)に変換しながら処理します。監視はしやすい一方で遅く、効率が悪いという課題がありました。一方「潜在推論」は言葉に変換せず隠れ状態のまま考えるので速いのですが、ツールを呼んだり人間が内容を追跡したりしにくいという別の欠点がありました。 ❓ Hybrid Reasoning Agentsはどう解決したの? 💡 HybridLinkという軽量な橋渡しモジュールを使い、1つのエージェントの中で「言葉で考えて話すモード」と「隠れ状態のまま考えるモード」を動的に切り替えます。切り替えのタイミングは、隠れ状態の意味が終了を示すトークンの埋め込みに十分近づいた時に自動で判定されます。 ❓ 本当にその両立はできているの? 💡 11種のベンチマークで検証した結果、GAIAで52.4%(既存手法ARPOの43.7%を上回る)など、エージェント推論タスクで平均10.4%の性能向上を達成しました。しかもテキストトークンの使用量を35.5〜54.7%削減しつつ、推論速度は1.8〜2.6倍、計算コストは2.7〜3.7倍も削減しています。 ❓ 潜在思考の中身は本当に「考えている」の? 💡 隠れ状態を最も近いトークン埋め込みに復号すると、人間にも読める疑似テキストが得られます。潜在部分をランダムなトークンに置き換えると性能が49〜51%も落ちることから、見せかけではなく実質的に推論へ使われていることが確認されました。 #AIエージェント# #推論効率化#
もっと見る
⚙️ TL;DR: モデルを変えずに「エージェントを動かすソフトウェア」だけを自動で改良して、トークンコストを約半分に削減しました。 タイトル: SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness URL: 📌 ポイント 🔍 約500の実行環境で150方向を探索し3,000回超の実行で効率化手法を発見 🧩 ファイル変更とテスト実行を1リクエストに統合する「Action Fusion」など4メカニズム 📉 EdgeBenchでトークン流量を49.0%、コストを33.2%削減(性能は93.7%維持) 🔄 追加学習なしでOpus 5に適用してもトークン44.7%・コスト33.5%削減を維持 💰 Terminal-Bench 4では解決タスク1件あたりのコストを11.6%削減 ⏱ Codex比で時間あたり8.75〜13.50ドルのコスト削減効果を推定 モデルではなくハーネス自体を自動探索で鍛えるという発想が、地味だけど実運用に直結する効率化だと思います。 #AIエージェント# #LLMコスト最適化#
もっと見る
# ADK 2.0の便利だけど知られていない機能 🌍 毎回同じシステムプロンプトやツール定義をLLMに送信するのは、コストもレイテンシも無駄だと感じませんか? ADK 2.0のコンテキストキャッシュ(ContextCacheConfig)は、繰り返し送信されるコンテキストデータをキャッシュし、LLMの呼び出しコストとレイテンシを削減する機能です。Gemini 2.0以降、Python v1.15.0以降、Java v0.1.0以降で利用可能です。 📌 タイトル:コンテキストキャッシュ (ContextCacheConfig) 🔗 URL: 🧩 概要 ContextCacheConfigは、LLMに送信するコンテキスト(システムプロンプト、ツール定義、会話履歴の固定部分など)をキャッシュすることで、トークン消費を削減します。3つの主要パラメータがあります。min_tokensはキャッシュを有効にするための最小トークン数のしきい値(デフォルト0)、ttl_secondsはキャッシュの有効期限(デフォルト1800秒=30分)、cache_intervalsはキャッシュの最大再利用回数(デフォルト10回)です。これらをAppオブジェクトに設定することで、自動的にキャッシュが適用されます。 🛠 使い方 ContextCacheConfigを作成し、Appに設定します。 ```python from import App from google.adk.context import ContextCacheConfig cache_config = ContextCacheConfig( min_tokens=1000, # 1000トークン以上でキャッシュ有効 ttl_seconds=3600, # 1時間キャッシュを保持 cache_intervals=20, # 最大20回再利用 ) app = App( agent=my_agent, context_cache_config=cache_config, ) ``` min_tokensを適切に設定することで、小さなコンテキストでは通常送信し、大きなコンテキストのみキャッシュするように制御できます。 🏗 本番システムへの組み込み方 ・大きなシステムプロンプトや多数のツール定義を持つエージェントで特にコスト効果が高い ・ttl_secondsをワークロードのパターンに合わせて調整する(短い会話→短いTTL、長い会話→長いTTL) ・cache_intervalsをリクエスト頻度に応じて設定し、キャッシュの鮮度とコスト削減のバランスを取る ・コスト削減効果をモニタリングし、パラメータを継続的に最適化する 💡 ユースケース 💰 大規模なシステムプロンプトを持つエージェントのAPI呼び出しコストを削減 ⚡ 繰り返しのツール定義送信を省略してレスポンスレイテンシを改善 🔁 高頻度のリクエストが発生するチャットボットでトークン消費を最適化 📋 固定的なコンテキスト(ルール、ガイドライン等)の再送信を効率化 ⚠️ 注意点 Gemini 2.0以降のモデルでのみ利用可能です。キャッシュが有効な間はコンテキストの変更が反映されないため、頻繁にシステムプロンプトを変更する場合はttl_secondsを短く設定してください。また、cache_intervalsを超えると新しいキャッシュが作成されるため、コスト最適化の効果が変動する可能性があります。 ✨ コンテキストキャッシュは、特にコンテキストが大きく頻繁にリクエストされるシナリオで、コストとパフォーマンスの両面で大きな改善をもたらします。 #ADK# #AIAgent#
もっと見る
# AIエージェント開発の意思決定ポイント 🎯 ポイント 「安全のために全部承認制にしよう」は、実は安全ではありません。 1日100件の承認要求が来ると、承認者は内容を読まずにOKを押すようになります。これが「承認疲れ」です。承認があるという形式的な安心感だけが残り、実質的なチェックはゼロ。承認なしよりも危険な状態です。HITL承認頻度の設計は、安全性と自動化のメリットの両立を決める重要なダイヤルです。 📋 概要 HITL(Human-in-the-Loop)承認頻度とは、エージェントの処理中に人間の承認を求める頻度を制御するダイヤルです。全操作に承認を求めるか、高リスク操作のみに絞るか、あるいは事後の標本監査に留めるかを決めます。全件承認はエージェントのスループットを人間の応答速度にまで引き下げ、自動化のメリットを消失させます。逆に承認を完全に排除すると、ハルシネーションやツールの副作用による被害を防ぐ最後の砦が失われます。 🔍 意思決定のポイント 📌 失敗コスト:このダイヤルの最大の駆動変数です。失敗時の損害が大きい操作ほど承認を求め、損害が小さい操作は承認を省きます。 📌 可逆性:操作が取り消し可能かどうかで承認の必要性が変わります。読取操作や下書き生成は承認不要、不可逆な操作(本番DBの削除・メール送信・決済)は事前承認必須です。 📌 承認者の認知負荷:承認頻度が高すぎると承認の質が下がるという逆説的な関係を常に意識してください。 💡 要点と詳細 🏗️ リスクゲート方式を推奨します。操作を3層に分類します。 - 自動実行(auto):読取操作、可逆な小規模書込。承認不要 - 事前承認(approval):不可逆な操作、金銭移動、外部通知。実行前に人間が確認 - 禁止(forbidden):本番データの一括削除など。エージェントには実行権限を与えない 🏗️ バッチ承認が有効です。10件を個別に承認するより、10件の一覧を見て一括承認する方が承認者の負荷が小さく、内容を比較しやすいためチェックの質も上がります。 🏗️ 標本監査で効率化できます。自動実行操作の5〜10%をランダムサンプリングして品質を監査。異常が検出されたらそのカテゴリの自律性レベルを下げます。 🏗️ 承認疲れを定量的に監視してください。承認応答が平均2秒以下であれば、内容を読まずに承認している可能性が高いです。 ⚖️ トレードオフ 🔻 承認が少なすぎる:不可逆な操作がLLMの判断だけで自動実行され、ハルシネーションによる誤操作発生時に手遅れに。監査記録が残らずコンプライアンス違反にもなりえます。 🔺 承認が多すぎる:承認疲れで実質的チェックがゼロに。スループットが人間の応答速度に律速され、5分に1回の承認で本来30秒の処理が30分に。ユーザーが頻繁な割り込みにストレスを感じ、エージェント利用を止めてしまいます。 段階的な信頼構築がベストプラクティスです。最初は事前承認で始め、実績が蓄積されたら標本監査に移行し、十分な信頼が得られたら自動実行に昇格させます。 🛠️ ユースケース 📧 メール送信エージェント:下書き生成は承認不要。社内メールは標本監査(10%を事後チェック)。顧客向けメールは全件事前承認。一括メール送信(100件以上)は2人以上の多重承認。定型的な注文確認メールはテンプレートベースの自動実行に昇格可能です。 🗄️ データベース管理エージェント:SELECTは承認不要。INSERT/UPDATEは事前承認→実績でバッチ承認に移行。DELETEは常に事前承認。DDL操作は多重承認。本番と開発で承認ポリシーを分けることが重要です。 🌙 24時間バッチエージェント:承認者不在の夜間は、要承認操作をキューに積んで翌営業日に処理。承認タイムアウトのデフォルトは安全側(自動却下)にすること。自動承認にすると承認プロセスが形骸化します。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# ADK 2.0の便利だけど知られていない機能 🌍 エージェントの実行フロー全体にフックを仕掛けて、監視・介入・拡張できたら便利だと思いませんか? ADK 2.0のプラグイン機能は、`BasePlugin` を拡張してRunnerに登録することで、エージェントのライフサイクル全体にわたるコールバックをグローバルに適用できる仕組みです。個別エージェントのコールバックとは異なり、全エージェントに横断的に作用します。 📌 タイトル:プラグイン (Plugins) 🔗 URL: 🧩 概要 プラグインは `BasePlugin` を継承して作成し、Runnerに登録します。エージェント個別のコールバックとは異なり、グローバルスコープで全エージェントに適用されます。ライフサイクルフックは多岐にわたり、ユーザーメッセージの受信、Runner開始、エージェント実行、モデル呼び出し、ツール実行、イベント処理、Runner終了の各タイミングに介入できます。動作モードは3種類あり、Observe(監視のみ)、Intervene(処理を変更・中断)、Amend(結果を後から修正)です。プラグインのコールバックはエージェントのコールバックよりも先に実行されます。 🛠 使い方 `BasePlugin` を継承し、必要なライフサイクルフックをオーバーライドします。 ```python from adk.plugins import BasePlugin class LoggingPlugin(BasePlugin): def __init__(self): super().__init__(name="logging_plugin") async def on_before_model_call(self, callback_context, llm_request): print(f"Model call: {llm_request.model}") return None # Noneを返すと通常の処理が続行 async def on_after_tool_call(self, tool_context, tool_response): print(f"Tool executed: {tool_context.tool_name}") return None # Runnerに登録 runner = Runner( agent=my_agent, plugins=[LoggingPlugin()] ) ``` Interveneモードではコールバックから値を返すことで処理を置き換え、Amendモードではイベント処理後に結果を修正できます。 🏗 本番システムへの組み込み方 ・ログ収集やメトリクス記録をObserveモードのプラグインとして実装し、エージェントコードを汚さない ・ガードレールやコンテンツフィルタリングをInterveneモードで実装し、不適切な入出力をブロックする ・分析用データの収集をAmendモードで後処理として組み込む ・プリビルトプラグイン(Reflect/Retry、BigQuery Analytics、Context Filtering、Global Instructions等)を活用して開発を効率化する 💡 ユースケース 📊 全エージェントのモデル呼び出しとツール実行をBigQueryに記録する 🛡 入力内容のガードレールをプラグインで一元管理し、有害なリクエストをブロックする 🔄 モデル呼び出し失敗時のリトライロジックをReflect/Retryプラグインで実装する 📋 グローバルな指示(コンプライアンスルール等)をGlobal Instructionsプラグインで全エージェントに適用する ⚠️ 注意点 プラグインのコールバックはエージェントのコールバックよりも先に実行されるため、プラグインで処理をブロックするとエージェントのコールバックは呼ばれません。Interveneモードで不適切な値を返すとエージェントの動作が壊れる可能性があるため、返り値の型と意味を正確に理解してから使用してください。また、プラグインの実行順序はRunnerへの登録順に依存します。 ✨ プラグインを活用することで、横断的な関心事(ログ、セキュリティ、分析)をエージェントのコアロジックから分離でき、保守性の高いシステムを構築できます。 #ADK# #AIAgent#
もっと見る
💭 長いコンテキストを読むAIは、本当は「どこを見ればいいか」をすでに知っているのに、毎回律儀に全部読み直しているとしたらどうでしょうか。 長文コンテキストを扱うモデルは、デコードのたびに巨大なKVキャッシュ全体をスキャンします。実際にAttentionが向くのはごく一部のトークンだけなのに、既存のスパースAttention手法はそれをステップごとに探索し直す必要があり、探索自体がコストになっていました。 KAIST AIとGoogle DeepMindの研究チームは発想を転換し、「モデル自身に、今どこを見ているかを言葉で宣言させればいい」と考えました。これが「Declarative Attention」です。モデルはChain-of-Thoughtの中で、コンテキスト全体を見る、特定の箇所だけを見る、直近の出力だけを見るというモードを自ら宣言し、推論エンジンがそれをそのままAttentionマスクに変換します。 驚くべきことに、これは追加学習なしのゼロショットで機能しました。Gemma-4-31BとQwen-3.6-27Bでは、Attention対象トークンをそれぞれ52.0%・31.1%削減しながら、精度低下はわずか1〜3ポイントに収まっています。モデルが大きく、コンテキストが長くなるほど効果も安定し、最長のケースでは1回の応答あたり2,100万トークン分もの削減につながりました。 Language Models Can Control Their Own Attention 効率化と解釈可能性を同時に実現するアプローチとして、長期推論を行うエージェントの実運用コストを下げる鍵になりそうです。 #LLM# #Attention#
もっと見る
LLMが生成したコードはコピペせず、あえて手で写経して認知負債を防ぐアプローチ。 ・個人開発においてAIは非常に便利 ・ただ、すべてをAIに任せるとコードに対する認知負債が溜まってしまう ・退屈な実装を任せたいだけで、コードへの理解まで手放したいわけではない ・かといって、AIが自動生成した大量のコードをレビューする作業は全く楽しくない ・そこで筆者は、AIにチャットでコードを出力させ、それをすべて手打ちで書き写している ・プロンプトで、AIによるファイルの直接編集やコマンド実行をあえて固く禁止 ・これだとAIに自動化させるより効率は落ちる ・それでも、AIを使わない場合に比べれば2倍は早い ・手打ちすることで作業ペースが落ち、AIのハルシネーションや設計のまずさに気づきやすくなる ・書き写しながらリファクタリングでき、コードベースの空間的なマップが頭の中に作れる ・筆者は生産性よりも、コードに対する理解を優先している ・ソフトウェア業界は今、近い将来に支払うべき巨大な認知負債を抱え込もうとしている ・少なくとも自分が生み出すコードだけは完全に理解しておきたい、というスタンス
もっと見る