登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 AI推論
AI推論 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
AI推論 を含む検索結果
AI推論APIがセッションに不透明なデータを混ぜるようになり、新たなベンダーロックインを生んでいるよね、という話。 ・当初のAI推論APIが掲げていた前提は非常にシンプル ・入出力のログさえ保持していれば、ユーザー自身で管理できるはずだった ・別のモデルに過去の会話を引き継がせることも可能だった ・しかし現在は、このポータビリティが失われつつある ・推論APIが、特定のプロバイダに強く依存する状態データを返すようになっている ・例えば、ユーザーに課金される推論トークンが暗号化された状態で返ってくる ・他にも、クライアント側からは直接見えないWeb検索結果などが含まれている ・一見すると暗号化されたデータはプライバシー保護のように聞こえる ・ただ実際は、元のプロバイダしか中身を開くことができないカプセルでしかない ・結果として、ユーザーの手元に残るログはもはやセッションの全体像ではない ・別のモデルに過去の履歴を渡して処理を再開させることは非常に困難 ・実質的に、AIセッションの運用状態を特定のプロバイダに握られてしまっている
もっと見る
英国でAI推論(学習済みのモデルを動かして答えを出す処理)専用のチップを開発するFractileが、シリーズCで7.2億米ドルを調達しました( Capital、Founders Fund、Lightspeed Venture Partners、Redpointで、英国政府のSovereign AI Venture FundやBritish Business Bank、AlphabetのCapitalGも参加しています。英国政府の発表では、ラウンドは5億英ポンド超、評価額は50億英ポンド超。Financial TimesとReutersは評価額を70億米ドルと伝えています。CEOのWalter Goodwinは、この資金で来年に最初のチップとシステムを出荷すると書いており、ブリストルの拠点も広げる予定です。 扱うのは、AIが答えを出すまでの待ち時間です。LLM(大規模言語モデル)は何段階もの処理を経て出力を作り、1段階ごとに結果をチップの外にあるHBM(高帯域メモリ)へ送り、次の段階でまた読み戻します。この往復が推論を遅くします。大きなモデルに長い作業を連続でこなさせるエージェント的な使い方が広がり、速度を落とさずに回したいという要求が強まったことで、この制約が目立つようになりました。 Fractileの答えは、一般的なDRAMを各チップの真上に積み重ねる設計です。メモリを演算回路のすぐ上に置けばデータの移動距離が短くなり、速度が上がって電力も減ります。Cerebrasはチップ上に大容量のSRAM(高速だが高価で容量が限られるメモリ)を載せていますが、FractileはDRAMを使うことで、速さと容量のどちらかを諦める構図を避けようとしています。チップだけでなく、LLMを自社チップで速く動かすための機械学習コンパイラ(モデルをチップ向けに変換するソフト)まで含めて開発しており、ラック単位のシステムとして出荷する計画です。 英国政府にとっては、AIの土台になるハードウェアを国内に持つという産業政策の意味もあります。エージェントが長い作業を自律的にこなすようになるほど、モデルの賢さだけでなく出力の速さが、AIに任せられる仕事の範囲を決めていくのかもしれません。
もっと見る
AIエージェントはまだ「ほぼ使われていない」――Uberの4件とFalの160億ドルが示す、AI社会の足元|Soichi Noguchi @Astro_Soichi #AI# #AIエージェント# #AI推論# #生成AI# #AIネイティブ#
もっと見る
AIは「作る」から「信じて使い続ける」時代へ――本物か確かめる仕組みと、動かし続ける基盤に巨額マネーが集まる|Soichi Noguchi @Astro_Soichi #AI# #LLM# #Anthropic# #AI推論# #生成AI#
もっと見る
# AIエージェント開発の意思決定ポイント # 計画先行(Plan-then-Execute) vs 逐次推論行動(ReAct) 📝 🎯 ポイント 「未来をどこまで見通してから動くか」-- これはエージェント設計で避けて通れない分岐です。 まず計画を立ててから実行するか、1ステップずつ観察と行動を繰り返すか。計画を明示的な中間成果物として持つかどうかで、承認フロー・コスト制御・デバッグの設計が根本的に変わります。LLMは1リクエストが高コストなので、計画なしの試行錯誤はトークンを浪費します。しかし環境が動的に変化するなら、精緻な計画も実行中に陳腐化します。 📋 概要 Plan-then-Execute(計画先行)は、タスクを受け取ったらまずLLMが実行計画を構造化データ(JSON/YAML)として生成し、計画確定後(必要に応じて人間承認後)に各ステップを順次実行する方式です。ReAct(逐次推論行動)は、LLMが「観察→推論→行動」のサイクルを1ステップずつ繰り返し、全体の計画は暗黙的にLLMの内部推論に委ねる方式です。 🔍 意思決定のポイント **タスクの変動性(task_variability)** を主軸に判定します。 📊 **環境の動的さによる判定**: - 静的(実行中にデータや外部状態がほぼ変わらない) → Plan-then-Execute - 半静的(大枠は安定だが一部で状態が変わりうる) → Plan-then-Execute+逸脱時の再計画 - 動的(各ステップの結果が次の選択を大きく左右する) → ReAct 📊 **タスクの性質による判定**: - 手順が定型で人間が事前に承認したい → Plan-then-Execute - 手順は概ね分かるが細部は実行時に決まる → Plan-then-Execute(粗い計画+実行時微調整) - 手順自体が不明で探索的に進める → ReAct **failure_cost** が高い場合(不可逆操作を含む場合)は Plan-then-Execute に強く倒す動機があります。 💡 要点と詳細 🟢 **Plan-then-Executeの強み**は透明性と制御性です。計画が明示的な中間成果物であるため、実行前に人間が「この手順で大丈夫か」を確認できます。不可逆な操作を含む計画を事前に検証でき、安全性を確保できます。デバッグでも「計画が間違っていたのか、実行が間違っていたのか」を分離して調査できます。計画段階で不要なステップを刈り込めるため、トークン消費の抑制にも有効です。弱点は計画の陳腐化で、環境変化時に再計画のメタループが発生しうるため、再計画回数に上限(2〜3回)を設ける必要があります。 🟡 **ReActの強み**は適応性です。環境の変化にステップ単位で対応でき、予期しない状況にも柔軟に反応できます。計画を立てる余裕がないほど動的な環境や、手順が不明で探索的に進めるタスクに適しています。実装もシンプルで、計画の生成・保存・検証・再計画のインフラが不要です。弱点は予測不能性とコストで、LLMが何ステップ踏むか事前にわからず、自己ループのリスクがあります。 ⚖️ トレードオフ | 観点 | Plan-then-Execute | ReAct | |---|---|---| | 透明性 | 計画が明示的な成果物 🟢 | 暗黙的(LLM内部推論) 🔴 | | 人間の承認 | 計画全体を事前承認可 | 各ステップごとに介入が必要 | | コスト制御 | ステップ数で上限見積り可 | 事前にわからない | | 環境変化への適応 | 再計画が必要(コスト増) | ステップ単位で対応 🟢 | | デバッグ | 計画と実行を分離して調査 | 全ステップログの解析が必要 | | 実装複雑性 | 計画インフラが必要 | ループ制御のみで動作 | 🛠️ ユースケース 🔵 **Plan-then-Executeが向くケース**: 不可逆操作を含む処理、人間承認が必要なワークフロー、コスト予測が重要な処理、手順が定型的なタスク。 🔴 **ReActが向くケース**: デバッグ・調査、動的に変化する環境での処理、手順が不明で探索的に進めるタスク、プロトタイプ開発。 📌 **デフォルト戦略**: 計画先行(Plan-then-Execute)で、計画は人間が編集可能にしてください。最も実用的な折衷は「計画先行+逸脱時のみ再計画」です。まず計画を立て、各ステップの実行結果が期待と大きく異なる場合にのみ再計画を発動します。再計画では失敗情報を添えて新しい計画を生成するため、同じ失敗を繰り返しにくくなります。再計画回数の上限は2〜3回が目安です。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェントをソフトウェアに組み込むプラクティス # Adaptive Timeout & Budget-Bounded Retry|適応タイムアウト+予算律速リトライ 🎯 リトライ3回で固定していませんか?LLMリトライ1回で数千トークン消費する世界では、回数でなく予算で律速すべきです。 固定タイムアウト・固定回数リトライは、エージェント時代のエラー処理には力不足です。 🔥 解決する課題 エージェント実行ではツール呼び出し(数秒)とLLM推論(数十秒〜分)でレイテンシ特性が全く異なります。同じタイムアウトで括ると、前者は待ちすぎ・後者は早すぎで切れます。さらに固定3回リトライでも、LLMリトライは1回あたり数千トークンを消費して予算を突き破りえます。429(レート制限)とスキーマ不適合を同じリトライで処理しても、後者は同じプロンプトでは直りません。 💡 提案パターン Adaptive Timeout & Budget-Bounded Retry(適応タイムアウト+予算律速リトライ)は、操作クラス(ツール呼び出し・LLM推論・セッション全体)ごとにタイムアウトを分けます。リトライは固定回数でなく残りトークン予算で打ち切ります。エラーを一時障害・コンテンツ起因・コンテキスト長超過の3種に分類し、それぞれ指数バックオフ・self-correction・要約分割と対応戦略を切り替えます。予算を一定割合消費したら縮退(軽量モデルへのフォールバック)に移行し、尽きたらfail-fastで停止します。 ✅ 選定条件 使うとき: - LLM・ツール・外部APIなどレイテンシ特性の異なる操作を組み合わせている - リトライ1回あたりのコストが無視できない(LLM推論を含む) - ネットワーク一時障害とコンテンツ起因エラーの両方が発生しうる 使わないとき: - 単発LLM呼び出しのみで固定タイムアウトで十分な場合 - 非冪等な書込のみでリトライ自体が禁止される環境 ⚠️ 落とし穴 - 429応答のRetry-Afterヘッダを無視して自前バックオフだけで攻めると、プロバイダ側でさらに絞られます。必ずRetry-Afterを尊重してください - 非冪等書込のリトライには冪等キーが必須です。冪等キー無しのリトライは二重実行を招きます - self-correctionでエラー文をそのまま詰めすぎるとコンテキストが膨張してコンテキスト長超過に遷移します。エラー要約は200トークン以内に切り詰めましょう 🔧 実装方針 - タイムアウトを操作クラス別に定義します。ツール呼び出しは概ね10〜30秒、LLM推論は全体60〜120秒(ストリーミング時はトークン間5〜15秒)、セッション全体はdeadlineで律速します - エラーを3種に分類し、一時障害(429/5xx/timeout)は指数バックオフ+ジッタで再送、コンテンツ起因(スキーマ不適合等)はエラー要約をコンテキストに追加してself-correction、コンテキスト長超過は要約・分割で対処します - リトライ上限は固定回数でなく残りトークン予算で判定します。一時障害は予算の90%まで、self-correctionは70%までを上限とします - プロバイダごとに独立したサーキットブレーカ(Closed/Open/Half-Open)を設置し、連続失敗が閾値に達したら遮断して縮退ラダー(軽量モデル→キャッシュ応答→静的フォールバック→fail-fast)を降ります - 全プロバイダが共通インターフェースを実装するプロバイダ抽象化層を設け、フォールバック先の切り替えを呼び出し元に対して透過的にします #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
# AIエージェント開発の意思決定ポイント # タイムアウト|Timeout 🎯 ポイント 「全部30秒」のタイムアウト、まだ使っていませんか? AIエージェントでは、ツール呼び出しは数秒、LLM推論は数十秒、セッション全体は数十分。レイテンシ特性が全く異なる操作が組み合わさるため、一律のタイムアウトでは機能しません。層ごとに分けるのが第一歩です。 📋 概要 タイムアウトは、エージェントが特定の操作の完了を待つ最大時間を制御するダイヤルです。従来のWebサービスではHTTPリクエストに30秒程度を設ければ済みましたが、AIエージェントでは1リクエストが長く、レイテンシのばらつきが大きく、プロバイダの可用性も不安定です。 タイムアウトが短すぎると一時的な遅延で正常な処理を殺し、長すぎると障害を隠蔽してリソースを無駄に占有します。操作クラスごとにタイムアウトを分け、さらに観測データに基づいて動的に調整する仕組みが理想です。 🔍 意思決定のポイント タイムアウトの値はlatency_budget(ユーザーや下流システムがどれだけ待てるか)を最も強く反映します。少なくとも3層に分けて設定するのが基本です 📐 1. ツール呼び出し層 — 外部API・DB・ファイル操作。ツール種別ごとにさらに細分化も 2. LLM推論層 — 入力トークン数とモデル負荷で大きく変動。小型/大型モデルで応答時間が10倍異なることも 3. セッション全体層 — 「ユーザーがこのタスクに何分待てるか」から逆算 各操作のP99(99パーセンタイル)を観測し、安全係数1.5〜2.0倍を掛けた値が出発点です。P99がまだない立ち上げ初期は目安値から始め、1〜2週間の運用データで切り替えます。 💡 要点と詳細 目安値 📊 - ツール呼び出し(一般) → 10〜30秒。DBクエリは5秒でも長い場合あり - LLM推論(全体) → 60〜120秒。長文生成タスクは上限引き上げ - LLM推論(トークン間) → 5〜15秒。ストリーミング時のプロバイダ障害早期検出に有効 - LLM推論(TTFT) → 15〜30秒。入力が長いほど延びる - セッション全体 → 数分〜数十分。対話型は短く、調査・分析型は長く ストリーミングを使う場合は、全体タイムアウトよりトークン間タイムアウトの方が本質的な監視指標です 🔍 正常な推論では数百ミリ秒〜数秒間隔でトークンが返るため、15秒の無応答はプロバイダ側の異常を強く示唆します。 ⚖️ トレードオフ タイムアウトが短すぎると、複雑な推論タスクでLLMが高品質な回答を生成している途中で処理が中断されます ⏱️ Chain of Thoughtが深くなる正当なケースや、大量コンテキストの入力処理中にタイムアウトすることも。ピーク時のプロバイダ遅延で断続的に失敗し、リトライの連鎖が始まります。 タイムアウトが長すぎると、プロバイダが応答しないまま数分間スレッドが占有され、他のリクエストが詰まります 🚫 ハングしたツール呼び出しが放置され、ユーザーは「いつ終わるか分からない」最も苦痛な状態に。障害の検出も遅れます。 タイムアウト値の変更はリトライ戦略に直結します。短くすれば発火頻度が上がり、リトライが増えます。リトライ予算やセッション全体の予算と一体で調整する必要があります。 🛠️ ユースケース 対話型チャットアシスタント 💬 ユーザーが数秒以内の応答を期待。ツール3〜5秒、LLM推論15〜30秒(ストリーミングで即座にトークンを返し始める)、セッション全体60〜120秒。体感レイテンシの短縮にストリーミングが効果的です。 調査・分析エージェント 🔬 数分の処理が許容される。ツール10〜60秒、LLM推論60〜180秒、セッション全体5〜30分。タイムアウトよりコスト・ステップ数の予算が主要な制約に。 自動コードレビューエージェント 💻 大きな差分では入力トークンが数万に達し、TTFTが延びる。入力トークン数に応じてTTFTタイムアウトを動的に調整する仕組みが有効です。 タイムアウトとキャンセルは異なります ⚠️ タイムアウトはクライアント側で待つのを止めるだけで、プロバイダ側の処理は続行されている可能性があります。課金はプロバイダ側の処理量に基づくため、キャンセルリクエストも送信することを推奨します。 #AIエージェント# #ソフトウェアアーキテクチャ#
もっと見る
🔁 「じっくり考えるほど賢くなる」AIを、勾配爆発を起こさずに学習させる方法が見つかりました。 タイトル: Thinking with Looped Flows URL: 再帰的に隠れ状態を更新して「考える」ループモデルは、これまでBPTT(時間方向の逆伝播)の不安定さに悩まされてきました。Looped Flowsは拡散モデルの学習原理を借りることでこれを解決した手法です。注目ポイントを3つ紹介します。 🧠 BPTTなしで再帰計算を学習 ノイズレベルを徐々に減らしながら各ステップをローカルな損失で学習することで、勾配消失・爆発を起こさずに「考え続ける」状態を安定して学習できます。 ⏱ 推論時に計算量を後から増やせる 学習時より細かい時間刻みで推論するだけで性能が伸び、Sudokuでは8ステップの74.5%から128ステップで97.9%まで向上します。 🏆 ARC-AGIで既存手法を上回る ARC-AGI-1で58.8%、ARC-AGI-2で12.2%を達成し、いずれも従来のループモデル手法を上回りました。 推論時にじっくり計算するほど賢くなる、というテスト時スケーリングの新しい実現方法として興味深い研究です。 #LLM推論# #機械学習#
もっと見る
便利だけど知られていないGemini APIの機能 🚀 ユーザーが画面の前で待っている。そのレスポンス、もっと速く安定させられます。 Geminiの「Priority inference(優先推論)」は、追加料金で通常よりも速く安定したレイテンシを得られる推論ティアです。本番環境のユーザー対面サービスで、応答品質を妥協したくない場面に。 📌 タイトル:Priority inference(優先推論) 🔗 URL: 🧩 概要 通常の推論ティアでもそこそこ速いですが、ピーク時のレイテンシ変動が気になるケースがあります。Priority inferenceはリクエストを優先的に処理するティアで、より低く安定したレイテンシを提供します。SLAが厳しいプロダクションサービスや、体験品質がビジネスに直結する場面向けです。 🛠 使い方 リクエスト時に推論ティアとしてPriorityを指定するだけ。呼び出し形式は通常と同じで、ティアパラメータの追加のみ。コスト増分と得られるレイテンシ改善を比較し、本当に必要なエンドポイントにだけ適用するのが賢い使い方です。 🏗 本番システムへの組み込み方 ・チャットbot/会話AI:ユーザーがリアルタイムで応答を待つ場面で、体感速度を改善。離脱率の低減に直結。 ・リアルタイム検索拡張:ユーザーの検索クエリに対してLLMで即座に要約や回答を返すサービスに。 ・音声アシスタント連携:音声→テキスト→LLM→音声のパイプラインで、LLM部分のレイテンシを削減。 ・インタラクティブなデータ分析:ダッシュボード上でユーザーが問いかけるたびにLLMが即応する体験に。 💡 ユースケース 💬 ユーザー対面のチャットbot・会話AI 🔍 リアルタイム検索・要約サービス 🎙️ 音声アシスタントのバックエンド 📊 インタラクティブなデータ問い合わせ ⚠️ 注意点 追加料金がかかるため、すべてのリクエストに適用するとコストが跳ね上がります。バックエンド処理やバッチジョブには通常ティアやFlexを使い、ユーザーが直接待つエンドポイントにだけPriorityを適用するのがコスト効率のカギです。 ✨ 体感速度はUXの生命線です。ユーザーが待つ場所にだけ優先推論を当てて、メリハリのあるコスト設計を。 #Gemini# #LLM#
もっと見る
Gemini4 Anthropic上場前にしっかりブツケてきましたな。自社チップTPU8の暴力とはいえ2ヶ月で仕上げるとは、、、しかもコスト構造違うから結果が本物なら収益で差がでてくるぞ、、 以下、Gemini 4 Argon、公式と噂を分けた整理 公式:9/30発表の次世代フロンティア。いま触れるのはFairwindだけ。政府・重要インフラ・防衛側650+。一般は有料APIとAI Ultraが次。日付なし。 公式の中身。 ・出力上限 64K → 100万トークン ・導入価格 $2 / $10、キャッシュ入力95%オフ。期限後は $4 / $20(Opus 5.5と同額帯) ・Astra / Fable($10/$50)より導入時は1/5 ・DeepSWE v1.1 77.9% SOTA、Vals Index首位、法律Harvey 19.6%(他社は数%) ・全部勝ちではない。FrontierSWEや一部ターミナルはAstra/Opusが上 ・社内で300TiBメモリ削減、Fuchsiaカーネル80万行超のC++→Rust ・防衛向けはサイバーガードレールなし。一般向けは別 Flash同時出しはなし。安い枠はまだ3.8 Flash。 価格が安い=小型、は公式と矛盾する。スポークスは「従来Proより大きい」と言っている。導入キャンペーン+自社TPU推論原価+シェア取り、が本線。 【噂・未確認】ここから下は公式ではない。 ・チェックポイント名 argon は発表前からArena等に出ていた ・事前学習「史上最も野心的」、7月開始→約2か月でポストトレ、という圧縮日程 ・入力1000万/永続メモリ/ロボット制御は発表と一致していない。公式が確約したのは出力100万 ・MLA+FP4でKV圧縮、は技術リーク。Argon採用は未確認 ・業界全体としてはNVFP4等で知識・数学はBF16比おおむね1%前後、コードは数%落ちうる。Attentionまで全部FP4はまだ危ない、が2026年のコンセンサス ・第8世代TPUは学習8tと推論8iに分割済み。API単価を下げるなら8i側の話。Argonが8iで動くとは公式は言っていない 通向けの読み。 いまの安さの半分は時限。本価格でもAstraより安いが、Opusと同額。出せる長さと仕事系ベンチが売り。サイズ非公開のまま価格だけ先に置いている。 Fairwindは「高性能チャットの先行配信」ではない。脆弱性発見・パッチ生成をフルで渡す枠。同じモデル名でも権限が違う。 #Gemini4# #Argon#
もっと見る