登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 ドキュメント処理
ドキュメント処理 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
ドキュメント処理 を含む検索結果
# OpenAI Agent SDKの便利で実践的な使い方 🌍 エージェントの処理が数時間、あるいは数日にわたる場合、プロセスが落ちても大丈夫ですか? Durable execution統合を使えば、長時間実行や人間承認フローを安全に実現できます。 📌 タイトル:Running agents – Durable execution integrations 🔗 URL: 🧩 概要 Durable execution統合は、エージェントの実行状態を永続化し、プロセス障害やサーバー再起動後も途中から再開できる仕組みです。人間の承認を待つワークフロー(数時間〜数日)や、長時間のバッチ処理で特に威力を発揮します。Temporal、Dapr、Restate、DBOSなどのフレームワークとの統合がサポートされています。 🛠 使い方 DBOSとAgent SDKを組み合わせた例です。`DBOS()` で初期化し、`Agent(name="approval-agent", instructions="...")` でエージェントを定義します。`@DBOS.workflow()` デコレータを付けた非同期関数 `expense_approval_workflow(report_id)` の中で、`await input=...)` で経費レポートを分析し、`await DBOS.recv(f"approval-{report_id}", timeout_seconds=86400 * 7)` で最大7日間の承認待ちを行います。`approval["approved"]` が `True` なら再度 ` で承認済みレポートを処理します。 🏗 実践的な使い方 **人間承認ワークフロー** 経費精算、コンテンツ公開、契約書レビューなど、人間の承認が必要なプロセスにエージェントを組み込む場合、承認待ちの間にプロセスが落ちても状態が保持されます。承認が来た時点で自動的に処理を再開できます。 **障害からの自動復旧** Temporal/Dapr/Restate/DBOSのいずれも、プロセスクラッシュやサーバー再起動後に自動的に最後のチェックポイントから再開する仕組みを持っています。LLM呼び出しの途中で障害が発生しても、完了済みのステップは再実行されません。 **小中規模プロジェクトにはDBOS** TemporalやDaprはインフラの構築と運用コストが高いですが、DBOSはSQLite(ローカル開発)やPostgres(本番)だけで動作します。専用のオーケストレーションサーバーが不要なため、小中規模のプロジェクトに最適です。 **段階的なエージェントパイプライン** 複数のエージェントステップを持つパイプライン(調査→分析→レポート生成→レビュー→承認)を、各ステップの完了をチェックポイントとして永続化できます。途中で失敗しても、最初からやり直す必要がありません。 💡 ユースケース 📋 経費精算の承認フロー(マネージャーの承認を数日待つ) 📝 コンテンツ公開パイプライン(エディターレビュー→承認→公開) 🔄 長時間バッチ処理の障害復旧(数百件のドキュメント処理) 🏢 契約書レビューワークフロー(法務チームの確認待ち) ⚠️ 注意点 - Durable executionフレームワークの選択はインフラ要件に依存します。既にTemporalを使っているならTemporalを、新規で軽量に始めるならDBOSを検討してください。 - 永続化される状態にLLMのレスポンス全文を含めるとストレージコストが増大します。必要な情報だけを保存するよう設計してください。 - 人間承認のタイムアウトを設定してください。無期限に待つワークフローはリソースリークの原因になります。 - DBOSのSQLiteバックエンドはローカル開発には便利ですが、本番環境ではPostgresを使用してください。 ✨ Durable executionで、プロセス障害を恐れずに長時間ワークフローを構築しましょう! #OpenAIAgentSDK# #AIAgent#
もっと見る
便利だけど知られていないGemini APIの機能 📑 1,000ページのPDF、テキストも図表もまとめて理解。ドキュメント処理の次元が変わります。 Geminiの「ドキュメント処理(Document understanding)」は、最大1,000ページのPDF等をマルチモーダル(テキスト+図表+画像)で理解する機能です。テキスト抽出だけでは得られない深い文書理解を実現します。 📌 タイトル:ドキュメント処理(Document understanding) 🔗 URL: 🧩 概要 PDFや文書の処理といえば、従来はOCRでテキストを抽出するのが主流でした。しかし、図表、グラフ、レイアウト情報まで含めて理解するのは困難でした。Geminiのドキュメント処理は、ページをマルチモーダルに「見て」理解するため、テキストだけでなく図表やレイアウトの情報も含めた回答が可能です。最大1,000ページまで対応。 🛠 使い方 PDFファイルをFiles APIでアップロードするか、インラインでリクエストに含めます。ページ単位でGeminiが視覚的に解釈し、テキスト、表、図、グラフなどを総合的に理解。「この表のデータを集計して」「3章の図の内容を説明して」のような質問に回答できます。 🏗 本番システムへの組み込み方 ・契約書レビュー:数百ページの契約書を丸ごと渡して、特定条項の検索や条件の比較分析を自動化。 ・決算報告書の分析:財務諸表の図表を読み取り、数値の傾向やリスクを自動で抽出・要約。 ・技術文書の理解:設計書やスペックシートの図面・表を含めた質問応答。 ・学術論文の分析:論文のグラフや実験結果の表を理解した上での要約・比較分析。 💡 ユースケース 📋 契約書・法務文書の自動レビュー 💹 決算報告書・財務諸表の分析 🔧 技術仕様書の図面を含む理解 🔬 学術論文のグラフ・表を含む分析 ⚠️ 注意点 スキャンされたPDFの品質が低い場合、読み取り精度が下がる可能性があります。また、1,000ページ対応とはいえ、コストとレイテンシはページ数に比例して増加します。必要なページ範囲を絞って渡す工夫も重要です。機密文書を扱う場合はデータの取り扱いポリシーも確認しましょう。 ✨ 「テキストだけ抽出」の時代から「図表も含めて丸ごと理解」の時代へ。まずは図表の多い文書でその実力を試してみてください。 #Gemini# #LLM#
もっと見る
エンタープライズRAGの「文書チャンキング」問題を、コスト95.7%削減しながら解いた手法が発表されました。 タイトル: D-RAC: Document Retrieval-Aware Chunking URL: 📌 概要 PDF・DOCX・PPTX・スキャン画像などバラバラな企業文書を、いったんPDFに正規化してからマルチモーダルLLMで検索最適化Markdownに1回だけ変換し、そのあとはID単位で決定的にチャンク計画を立てる4段階パイプラインです。 ❗ 解決する課題 従来のルールベース抽出は表や見出し階層を壊してしまい、精度重視のエージェント的チャンキングは文書全体を再生成するためコストが高くつくというジレンマがありました。 🛠️ 方法論・提案手法 表を列見出し付きの1文にする「行レベル散文化」、見出し階層の再構成、ID配列だけを渡すチャンク計画など、検索精度とコスト効率を両立する設計を随所に採用しています。 📊 実験結果 236文書・795ページの評価で、出力トークンを95.7%削減しつつRecall@6は0.798とエージェント的手法(0.795)やルールベース(0.717)を上回りました。処理時間も75%短縮しています。 🏢 ユースケース 自動車・銀行・クラウドなど複数業界の文書で安定した性能を確認しており、本番のエンタープライズRAGパイプラインへそのまま組み込みやすい設計です。 #RAG# #ドキュメント処理#
もっと見る
# Elasticsearchの機能と実践的な使い方 🔎 「検索→変換→集計」を1本のパイプで書ける。SQLライクで学習コストが低い新世代のクエリ言語、それがES|QLです。 🏷️ タイトル: ES|QL(パイプ型クエリ言語) 🔗 URL: 📘 概要 ES|QLはElasticsearchのデータを問い合わせ・集計・可視化・アラート化まで一気通貫で扱える新しいクエリ言語です。Unixのパイプのように `|` でコマンドを連結し、データを段階的に絞り込み・変換・集約していきます。JSONの集計DSLを書かずに、アドホック分析を素早く進められます。 ⚙️ 機能の説明 クエリは必ずソースコマンドから始まり、処理コマンドをパイプで連結する構造です。 ・`FROM` でインデックス/データストリームを指定(時系列向けの `TS` もある) ・`WHERE` で行を絞り込み ・`STATS ... BY` で集計とグルーピング ・`EVAL` で派生列を生成、`SORT` で並べ替え、`LIMIT` で件数制限 ・`KEEP`/`DROP`/`RENAME` で出力列を制御 ・`DISSECT`/`GROK` で非構造テキストをパース ・`LOOKUP JOIN` でマスタデータと結合、`ENRICH` でポリシー付与 コマンドや関数名は大文字小文字を区別しません(`FROM` も `from` も同じ)。 🛠️ 実践的な使い方 障害調査では、検索から集計までを次のように1本で書けます。 `FROM logs-* | WHERE status >= 500 | STATS count = COUNT(*) BY BUCKET(@timestamp, 5m) | SORT count DESC` Kibanaのエディタはオートコンプリート、インライン補完、Prettifyボタンによる自動整形を備え、実行後はフッターに処理ドキュメント数などの統計が出ます。同じES|QLがDiscover・ダッシュボードのパネル・アラートルール・Elastic Securityで共通に使えるのが大きな利点です。クエリ履歴やお気に入り(スター)機能で定番クエリの再利用も可能です。 💡 ユースケース ・SREのアドホックなログ分析(エラー率のサービス別・時間バケット別集計) ・ダッシュボードのES|QL可視化パネル ・セキュリティの検知ルールやアラート条件の記述 ・`LOOKUP JOIN` でサービス名→チーム名のようなマスタ結合を行う運用分析 ⚠️ 注意点 ・フィルタなしで多数のインデックスを横断するとレスポンスが肥大化するため、`KEEP`/`DROP` で列を絞ること。 ・Kibana内では `SET time_zone` ではなく `dateFormat:tz` 設定でタイムゾーンを扱う。 ・自然言語からのクエリ生成はEnterpriseライセンスとコネクタ設定が必要です。 ・マッピングされていないフィールド参照は既定で失敗するため注意が必要です。 #Elasticsearch# #ESQL#
もっと見る
📚 リポジトリ全体のドキュメントを、図つきで自動生成。最大140万行・8言語に対応し、DeepWikiを上回る品質を出すAIフレームワークCodeWikiです(ACL 2026採択)。 タイトル: FSoft-AI4Code/CodeWiki URL: 📦 概要 CodeWikiは、ソフトウェアリポジトリ全体に対して包括的なドキュメントを自動生成する、AI駆動のフレームワークです。単純なAPIリファレンスにとどまらず、アーキテクチャ図・データフロー図・シーケンス図・散文の説明を含む「システムレベル」の文書を作ります。大規模・多言語のコードベースで、ドキュメントを最新かつ完全に保つという課題に取り組みます。 ❓ 解決する課題 従来のドキュメントツールはスケールと文脈の扱いが苦手でした。CodeWikiは、モジュール間の相互依存の文書化、規模を保ったままのアーキテクチャ文脈の維持、孤立した部品ではなくシステム全体の相互作用を捉えること、という3つの核心課題に取り組みます。 🛠 方法論と提案手法 3段階で動作します。 ・階層的分解:動的計画法に着想を得たアルゴリズム的クラスタリングで、コードベースを一貫したモジュールに分割します ・再帰的マルチエージェント処理:複雑なモジュールにはタスクを動的に委譲する適応的なエージェントシステムを使います ・マルチモーダル合成:テキストと視覚成果物(Mermaid図)を統合し、図はNode.jsで検証します ・Python・Java・JavaScript・TypeScript・C・C++・C#・Kotlinに対応し、Claude# CodeやCodex CLI経由でトークン課金なしに実行できます 🎯 ユースケース 大規模・多言語コードの「生きたドキュメント」生成、新メンバーのオンボーディング資料、GitHub Pages互換のインタラクティブなHTML出力などに使えます。 📊 実験結果 ・独自評価CodeWikiBenchで、高水準言語(Python、JS)が79.14%、マネージド言語(C#、Java)が68#.84%の品質スコアを記録しました ・DeepWiki比で+4.73ポイント改善し、22.9万行のOpenHandsプロジェクトで82.45%を達成しました ・GitHubスター1.2k、フォーク193、ACL 2026採択で、8.6万〜140万行のコードベースを扱えます ・リポジトリ自身のドキュメントもCodeWikiで生成されており、その実力を体現しています #AIエージェント# #DevTools#
もっと見る
ここ数年、生成AIで複雑なデータ処理を実践するために、検証用の合成データを作る手法をアレコレ実装検証してきたけど、共通して良かったプラクティスは「1. 答えから先に作る」「2. 構造的に作る」「3. 生成AIやプログラムが成果物を評価し修正できるように作る」だと思う。 例えば日本語ドキュメント検索の文書データを作る場合、まずはドキュメントの構造と検索要件、期待する検索結果を用意して、目的の評価指標を定義してドキュメント化する。生成はその後。1.と3.が満たせていればテストしながら生成と開発をループできるし、2.が満たせていればプログラムから適切に読み込んで定義できる。 経験上、ドキュメントだけでなく、画像や動画も同様にこのプラクティスは使える。
もっと見る
TL;DR ローカルで完結するWindows/Linux向けデスクトップアプリで、PDFやOfficeファイルをAI向けのクリーンなMarkdownに変換します。スキャンPDF用のOCRも内蔵し、トークン消費を最大6分の1に抑えられます。 タイトル: MDFlux URL: ポイント 📄 PDF・DOCX・PPTX・XLSX・EPUB・HTML・CSV・JSON・XML・画像・音声など幅広い形式に対応 🔍 スキャンPDFも読み取れる内蔵OCR(RapidOCR)を搭載 📦 フォルダ単位の一括変換に対応し、並行処理で高速化 🔒 初回セットアップ後は完全オフライン動作、既定でクラウド送信なし 🧹 クリーンアップはオフ・ルールベース・AI(ローカル/API)から選択可能 ⚡ ビジョンモデル利用時と比べトークン数を2〜6倍削減(スキャンページは5.7倍) 🛠 Tauri 2(Rust)+ Svelte 5構成、Microsoft製MarkItDownをベースに構築 社内文書をRAGパイプラインに流す前処理として、プライバシーを保ったまま使えるのが良いところだと感じます。 #ドキュメント変換# #OCR#
もっと見る
# ADK 2.0の便利だけど知られていない機能 🌍 AIエージェントのワークフローを「グラフ」として設計できたら、複雑な処理フローも見通しよく管理できると思いませんか? ADK 2.0のWorkflowクラスは、ノードとエッジでエージェントの実行パスを定義するグラフベースのワークフロー構築機能です。AIエージェント、カスタム関数、ツール、さらにはネストされたWorkflowをノードとして組み合わせ、明示的なルーティングロジックで制御できます。 📌 タイトル:Workflow クラスによるグラフベース実行 🔗 URL: 🧩 概要 Workflowクラスは、ADK 2.0におけるグラフベースのエージェントワークフローを構築するための主要な構成要素です。ノードには、AIエージェント・コード関数・ツール・ネストされたWorkflowを配置でき、エッジ(edges)パラメータで実行パスを定義します。逐次実行は `("START", node1, node2, node3)` のようにタプルで記述し、条件分岐は辞書で定義します。これにより、従来のプロンプトベースの制御では難しかった複雑な分岐構造を、明示的かつ信頼性高く実装できます。 🛠 使い方 Workflowクラスのインスタンスを作成し、nodesにノードのリスト、edgesに実行パスを指定します。 ```python from adk import Workflow, Agent agent_a = Agent(name="researcher", ...) agent_b = Agent(name="writer", ...) workflow = Workflow( name="content_pipeline", nodes=[agent_a, agent_b], edges=[("START", agent_a, agent_b)] ) ``` 逐次実行の場合はタプルでノードを列挙し、条件分岐が必要な場合は辞書ベースのルーティングを使います。ネストされたWorkflowをノードとして組み込むことで、大規模なパイプラインも階層的に管理できます。 🏗 本番システムへの組み込み方 ・各ノードの責務を明確に分離し、テスト可能な単位で設計する ・エラーハンドリングを各ノードレベルで実装し、障害の影響範囲を限定する ・ネストされたWorkflowを活用して、再利用可能なサブパイプラインを構築する ・条件分岐のルーティングロジックをドキュメント化し、チームでの保守性を確保する 💡 ユースケース 📄 論文の収集→要約→レビュー→投稿を一連のグラフとして管理 🔀 入力データの種類に応じて異なる処理パイプラインに分岐 🏢 複数部門のエージェントを組み合わせた承認フローの構築 🔁 サブワークフローを再利用した複数プロジェクト横断の自動化 ⚠️ 注意点 WorkflowクラスはLive Streamingとの互換性がなく、一部のサードパーティ統合にも対応していません。リアルタイムのストリーミング応答が必要なケースでは、別のアプローチを検討する必要があります。また、グラフの複雑さが増すとデバッグが難しくなるため、適切な粒度でノードを分割することが重要です。 ✨ 明示的なグラフ定義により、エージェントワークフローの信頼性と保守性が大きく向上します。複雑な処理フローを構築する際にはぜひ活用してみてください。 #ADK# #AIAgent#
もっと見る
AIエージェントをエンタープライズシステムに組み込むプラクティス 【CDC駆動の知識鮮度管理】 💡 あなたのAIエージェント、昨日の価格表で今日の商談していませんか? ソースシステムの変更をリアルタイムで捕捉し、RAG索引やキャッシュを常に最新に保つパターンです。 🔥 解決する課題 - 更新済みのポリシーや価格を古い情報のまま回答してしまう - セマンティックキャッシュに古い回答が残り、誤情報を返す - 削除・非公開になった文書がRAG索引に残り参照されてしまう - 退職者や権限剥奪後のデータがRAG索引に残り漏洩源になる 🏗️ 提案パターン SalesforceやNotionなどのソースシステムからWebhook/CDCイベントを監視し、変更があったチャンクのみを増分更新します。キャッシュの該当エントリは即時無効化し、最終更新時刻をメタデータとして保持します。特に削除・権限剥奪の伝播は最優先で処理し、情報漏洩リスクを排除します。変動速度と誤情報コストに応じてTTLを設定し、価格・在庫は短TTL、参考ドキュメントは長めのTTLで運用します。 ✅ 選定条件 - 向き:頻繁に更新されるポリシー・価格・在庫・ドキュメントを扱うエージェント - 不向き:静的・更新が稀な情報のみを扱う用途 ⚠️ 落とし穴 - 削除・権限剥奪の伝播遅延は情報漏洩に直結するため、最優先で即時反映が必須です - TTLの設定は一律ではなく、データの変動速度と誤情報コストに応じて個別に調整が必要です - CDC基盤の構築・運用コストと、古い情報による誤回答のビジネスリスクを天秤にかけて導入判断してください 🛠️ 実装方針 1. Salesforce Platform EventsやNotion WebhookなどソースSaaSのCDC/Webhookを有効化し、変更イベントをメッセージキュー(Amazon SQS / Google Pub/Sub)に集約します 2. Debeziumなどのコネクタでデータベース層のCDCを捕捉し、変更があったチャンクのみを再ベクタ化する増分索引パイプラインを構築します 3. セマンティックキャッシュの該当エントリを即時無効化するイベントハンドラを実装し、削除・権限剥奪イベントは最優先キューで処理します 4. 各チャンクに最終更新時刻・ソースURL・権限情報をメタデータとして付与し、回答時に鮮度を明示できるようにします 5. データの変動速度と誤情報コストに基づいてTTLを分類設定し(価格・在庫は短TTL、参考ドキュメントは長TTL)、運用実績をもとに定期的に見直します #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
# ADKの便利で実践的な使い方 ## 🧠 長いセッションでもコストを抑える!ADKのContext Compaction機能 エージェントとの長い対話、コンテキストが膨らんでコストもレイテンシも増加していませんか?ADKの **Context Compaction** を使えば、古いイベントを自動要約して常にスリムなコンテキストを維持できます!🎯 ## 📌 タイトル Context Compaction(コンテキスト圧縮) ## 🔗 URL ## 🧩 概要 Context Compactionは、セッション中に蓄積されるワークフローイベントデータを自動的に要約し、処理オーバーヘッドを削減する機能です。スライディングウィンドウ方式で、最新のイベントはそのまま保持しつつ、古いイベントを圧縮することで、コストとレイテンシを最適化します。 `EventsCompactionConfig` を使って、圧縮間隔(`compaction_interval`)とオーバーラップサイズ(`overlap_size`)を設定するだけで有効になります。 ## 🛠 使い方 Appレベルで `EventsCompactionConfig` を設定します。 ` から `App` と `EventsCompactionConfig` をインポートします。`App` の `events_compaction_config` パラメータに `EventsCompactionConfig(compaction_interval=3, overlap_size=1)` を渡すことで、3イベントごとに圧縮が実行され、前回の圧縮から1イベント分を重複保持する設定になります。 TypeScriptでは `TokenBasedContextCompactor` でトークン閾値ベースの圧縮も可能です。 ```typescript const agent = new LlmAgent({ name: 'my-agent', model: 'gemini-flash-latest', contextCompactors: [ new TokenBasedContextCompactor({ tokenThreshold: 1000, eventRetentionSize: 1, summarizer: new LlmSummarizer({ llm: new Gemini({model: 'gemini-flash-latest'}) }) }) ] }); ``` ## 🏗 実践的な使い方 **カスタマーサポートボットでの活用例:** 長時間の問い合わせ対応では、対話履歴が数十ターンに達することがあります。Context Compactionを導入することで: 1. **コスト削減**:古い対話内容を自動要約し、毎回のLLM呼び出しで送信するトークン数を大幅に削減 2. **レスポンス改善**:コンテキストが小さくなることで、LLMの応答速度が向上 3. **精度維持**:直近のやり取りはそのまま保持するため、文脈を失わずに対話を継続 `compaction_interval=5, overlap_size=2` のような設定で、5ターンごとに圧縮しつつ、直前2ターン分の文脈を次の圧縮に引き継げます。 **カスタムサマライザーの活用:** デフォルトの要約モデルではなく、ドメイン特化の要約プロンプトを使うことで、業務固有の重要情報(注文番号、顧客IDなど)を確実に保持できます。 ## 💡 ユースケース - 📞 **カスタマーサポート**:長時間の問い合わせ対話でコンテキスト爆発を防止 - 📝 **ドキュメント作成支援**:長い執筆セッションで過去の議論を要約しつつ最新の方針を保持 - 🔍 **データ分析エージェント**:多段階の分析プロセスで中間結果を圧縮 - 🎮 **ゲームNPC**:長時間のプレイセッションで過去のイベントを要約して記憶 ## ⚠️ 注意点 - 圧縮は不可逆です。要約された情報の細部は失われる可能性があります - `overlap_size` が小さすぎると文脈の断絶が起きやすくなります - カスタムサマライザーを使う場合、要約モデル自体のコストも考慮が必要です - 圧縮間隔が短すぎると、頻繁な要約処理でオーバーヘッドが増加します ## ✨ まとめ Context Compactionは「長いセッション=高コスト」という常識を覆す機能です。設定一つで古いイベントを自動要約し、最新の文脈を保ちながらコストとレイテンシを最適化できます。長時間対話が発生するエージェントには、ぜひ導入を検討してみてください! #ADK# #AIAgent#
もっと見る