登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 ドキュメント処理
ドキュメント処理 コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
ドキュメント処理 を含む検索結果
# OpenAI Agent SDKの便利で実践的な使い方 🌍 エージェントの処理が数時間、あるいは数日にわたる場合、プロセスが落ちても大丈夫ですか? Durable execution統合を使えば、長時間実行や人間承認フローを安全に実現できます。 📌 タイトル:Running agents – Durable execution integrations 🔗 URL: 🧩 概要 Durable execution統合は、エージェントの実行状態を永続化し、プロセス障害やサーバー再起動後も途中から再開できる仕組みです。人間の承認を待つワークフロー(数時間〜数日)や、長時間のバッチ処理で特に威力を発揮します。Temporal、Dapr、Restate、DBOSなどのフレームワークとの統合がサポートされています。 🛠 使い方 DBOSとAgent SDKを組み合わせた例です。`DBOS()` で初期化し、`Agent(name="approval-agent", instructions="...")` でエージェントを定義します。`@DBOS.workflow()` デコレータを付けた非同期関数 `expense_approval_workflow(report_id)` の中で、`await input=...)` で経費レポートを分析し、`await DBOS.recv(f"approval-{report_id}", timeout_seconds=86400 * 7)` で最大7日間の承認待ちを行います。`approval["approved"]` が `True` なら再度 ` で承認済みレポートを処理します。 🏗 実践的な使い方 **人間承認ワークフロー** 経費精算、コンテンツ公開、契約書レビューなど、人間の承認が必要なプロセスにエージェントを組み込む場合、承認待ちの間にプロセスが落ちても状態が保持されます。承認が来た時点で自動的に処理を再開できます。 **障害からの自動復旧** Temporal/Dapr/Restate/DBOSのいずれも、プロセスクラッシュやサーバー再起動後に自動的に最後のチェックポイントから再開する仕組みを持っています。LLM呼び出しの途中で障害が発生しても、完了済みのステップは再実行されません。 **小中規模プロジェクトにはDBOS** TemporalやDaprはインフラの構築と運用コストが高いですが、DBOSはSQLite(ローカル開発)やPostgres(本番)だけで動作します。専用のオーケストレーションサーバーが不要なため、小中規模のプロジェクトに最適です。 **段階的なエージェントパイプライン** 複数のエージェントステップを持つパイプライン(調査→分析→レポート生成→レビュー→承認)を、各ステップの完了をチェックポイントとして永続化できます。途中で失敗しても、最初からやり直す必要がありません。 💡 ユースケース 📋 経費精算の承認フロー(マネージャーの承認を数日待つ) 📝 コンテンツ公開パイプライン(エディターレビュー→承認→公開) 🔄 長時間バッチ処理の障害復旧(数百件のドキュメント処理) 🏢 契約書レビューワークフロー(法務チームの確認待ち) ⚠️ 注意点 - Durable executionフレームワークの選択はインフラ要件に依存します。既にTemporalを使っているならTemporalを、新規で軽量に始めるならDBOSを検討してください。 - 永続化される状態にLLMのレスポンス全文を含めるとストレージコストが増大します。必要な情報だけを保存するよう設計してください。 - 人間承認のタイムアウトを設定してください。無期限に待つワークフローはリソースリークの原因になります。 - DBOSのSQLiteバックエンドはローカル開発には便利ですが、本番環境ではPostgresを使用してください。 ✨ Durable executionで、プロセス障害を恐れずに長時間ワークフローを構築しましょう! #OpenAIAgentSDK# #AIAgent#
もっと見る
便利だけど知られていないGemini APIの機能 📑 1,000ページのPDF、テキストも図表もまとめて理解。ドキュメント処理の次元が変わります。 Geminiの「ドキュメント処理(Document understanding)」は、最大1,000ページのPDF等をマルチモーダル(テキスト+図表+画像)で理解する機能です。テキスト抽出だけでは得られない深い文書理解を実現します。 📌 タイトル:ドキュメント処理(Document understanding) 🔗 URL: 🧩 概要 PDFや文書の処理といえば、従来はOCRでテキストを抽出するのが主流でした。しかし、図表、グラフ、レイアウト情報まで含めて理解するのは困難でした。Geminiのドキュメント処理は、ページをマルチモーダルに「見て」理解するため、テキストだけでなく図表やレイアウトの情報も含めた回答が可能です。最大1,000ページまで対応。 🛠 使い方 PDFファイルをFiles APIでアップロードするか、インラインでリクエストに含めます。ページ単位でGeminiが視覚的に解釈し、テキスト、表、図、グラフなどを総合的に理解。「この表のデータを集計して」「3章の図の内容を説明して」のような質問に回答できます。 🏗 本番システムへの組み込み方 ・契約書レビュー:数百ページの契約書を丸ごと渡して、特定条項の検索や条件の比較分析を自動化。 ・決算報告書の分析:財務諸表の図表を読み取り、数値の傾向やリスクを自動で抽出・要約。 ・技術文書の理解:設計書やスペックシートの図面・表を含めた質問応答。 ・学術論文の分析:論文のグラフや実験結果の表を理解した上での要約・比較分析。 💡 ユースケース 📋 契約書・法務文書の自動レビュー 💹 決算報告書・財務諸表の分析 🔧 技術仕様書の図面を含む理解 🔬 学術論文のグラフ・表を含む分析 ⚠️ 注意点 スキャンされたPDFの品質が低い場合、読み取り精度が下がる可能性があります。また、1,000ページ対応とはいえ、コストとレイテンシはページ数に比例して増加します。必要なページ範囲を絞って渡す工夫も重要です。機密文書を扱う場合はデータの取り扱いポリシーも確認しましょう。 ✨ 「テキストだけ抽出」の時代から「図表も含めて丸ごと理解」の時代へ。まずは図表の多い文書でその実力を試してみてください。 #Gemini# #LLM#
もっと見る
# ADKの便利で実践的な使い方 ADKのAmbient Agents、ユーザーの明示的な指示なしにイベント駆動で自律的に動くエージェント、これはAIの新しいパラダイムです!🌊 📌 **タイトル**: Ambient Agents 🔗 **URL**: ## 🧩 概要 Ambient Agentsは、明示的な人間のインタラクションなしに自律的に動作するイベント駆動型バックグラウンドエージェントです。クラウドイベント(ストレージアップロード、データベース変更)、キューメッセージ、スケジュール実行、インフラストラクチャイベントに反応して自動的に処理を実行します。トリガーエンドポイント(`/apps/{app_name}/trigger/pubsub`、`/apps/{app_name}/trigger/eventarc`)でイベントを受信し、ペイロードの自動パース、セッションの自動生成、同時実行制御を内蔵しています。 ## 🛠 使い方 Ambient Agentsは2つのアプローチで実装できます。 **トリガーエンドポイント方式**(GCPネイティブ): - `/apps/{app_name}/trigger/pubsub`: Pub/Subメッセージで起動 - `/apps/{app_name}/trigger/eventarc`: Eventarcイベントで起動 - ペイロードの自動パース(Base64→JSON変換) - UUIDによるセッション自動生成 - セマフォによる組み込み同時実行制御 **`/run`エンドポイント方式**(カスタム統合): - Webhook、cronなど任意のイベントソースに対応 - ペイロードのパースは手動実装 - 同時実行制御も手動実装 - カスタム統合に最適 主要な設定パラメータ: - **同時実行制限**: デフォルト10(設定変更可能) - **リトライ戦略**: ジッター付き指数バックオフ - **タイムアウト**: 最大10分(Pub/Sub/Eventarcの制限) - **ストレージ**: 設定された`SessionService`でセッション永続化 ## 🏗 実践的な使い方 イベント駆動の自動化パターンです。 1. **メール自動トリアージ**: 新着メールをPub/Subで受信し、Ambient Agentが自動的に内容を分類(緊急/通常/スパム)。分類結果に基づいてラベル付け、転送、返信テンプレートの適用を実行 2. **モニタリングアラート自動対応**: インフラ監視ツール(Datadog、Cloud Monitoring等)のアラートをEventarcで受信。エージェントが自動的にログ分析、影響範囲の特定、一次対応(スケールアウト、再起動等)を実行 3. **定期データモニタリング**: Cloud Schedulerで定期的にエージェントを起動し、データベースの異常値検出、APIエンドポイントのヘルスチェック、コスト異常の検知を自動実行 4. **ドキュメント自動分類**: Cloud Storageへのファイルアップロードをトリガーに、エージェントが内容を解析し、適切なフォルダへの移動、メタデータの付与、関係者への通知を自動実行 ## 💡 ユースケース - 📧 **メール自動トリアージ**: 受信メールの自動分類・優先度付け・ラベリング - 🚨 **アラート自動対応**: 監視アラートの自動分析と一次対応の実行 - 📊 **定期データ監視**: データベースやAPIの定期的な異常検知とレポート生成 - 📄 **ドキュメント処理**: アップロードされたファイルの自動分類・OCR・メタデータ抽出 - 🎫 **サポートチケット処理**: キューから受信したチケットの自動分類と初期対応 - 🔍 **コンテンツモデレーション**: ユーザー投稿コンテンツの自動審査とフラグ付け ## ⚠️ 注意点 - 処理時間は最大10分の制限があります(Pub/Sub/Eventarcの制約)。10分を超える処理には別のアーキテクチャを検討してください - HTTPレスポンスコードが重要です。200で成功、500でリトライが実行されます - 同時実行制限のデフォルトは10です。負荷に応じて適切に調整してください - Ambient Agentsは人間の確認なしに動作するため、重要なアクション(データ削除、外部通知等)には安全機構を実装してください - セッションは自動生成されますが、`SessionService`の設定でセッション永続化バックエンドを適切に選択してください ✨ Ambient Agentsは「常に背景で待機し、イベントに即座に反応する」AIの新しいパラダイムです。人間が明示的に指示しなくても、メール・アラート・ファイル・スケジュールイベントに自動対応するインテリジェントな自動化を実現しましょう! #ADK# #AIAgent#
もっと見る
エンタープライズRAGの「文書チャンキング」問題を、コスト95.7%削減しながら解いた手法が発表されました。 タイトル: D-RAC: Document Retrieval-Aware Chunking URL: 📌 概要 PDF・DOCX・PPTX・スキャン画像などバラバラな企業文書を、いったんPDFに正規化してからマルチモーダルLLMで検索最適化Markdownに1回だけ変換し、そのあとはID単位で決定的にチャンク計画を立てる4段階パイプラインです。 ❗ 解決する課題 従来のルールベース抽出は表や見出し階層を壊してしまい、精度重視のエージェント的チャンキングは文書全体を再生成するためコストが高くつくというジレンマがありました。 🛠️ 方法論・提案手法 表を列見出し付きの1文にする「行レベル散文化」、見出し階層の再構成、ID配列だけを渡すチャンク計画など、検索精度とコスト効率を両立する設計を随所に採用しています。 📊 実験結果 236文書・795ページの評価で、出力トークンを95.7%削減しつつRecall@6は0.798とエージェント的手法(0.795)やルールベース(0.717)を上回りました。処理時間も75%短縮しています。 🏢 ユースケース 自動車・銀行・クラウドなど複数業界の文書で安定した性能を確認しており、本番のエンタープライズRAGパイプラインへそのまま組み込みやすい設計です。 #RAG# #ドキュメント処理#
もっと見る
# Elasticsearchの機能と実践的な使い方 🔎 「検索→変換→集計」を1本のパイプで書ける。SQLライクで学習コストが低い新世代のクエリ言語、それがES|QLです。 🏷️ タイトル: ES|QL(パイプ型クエリ言語) 🔗 URL: 📘 概要 ES|QLはElasticsearchのデータを問い合わせ・集計・可視化・アラート化まで一気通貫で扱える新しいクエリ言語です。Unixのパイプのように `|` でコマンドを連結し、データを段階的に絞り込み・変換・集約していきます。JSONの集計DSLを書かずに、アドホック分析を素早く進められます。 ⚙️ 機能の説明 クエリは必ずソースコマンドから始まり、処理コマンドをパイプで連結する構造です。 ・`FROM` でインデックス/データストリームを指定(時系列向けの `TS` もある) ・`WHERE` で行を絞り込み ・`STATS ... BY` で集計とグルーピング ・`EVAL` で派生列を生成、`SORT` で並べ替え、`LIMIT` で件数制限 ・`KEEP`/`DROP`/`RENAME` で出力列を制御 ・`DISSECT`/`GROK` で非構造テキストをパース ・`LOOKUP JOIN` でマスタデータと結合、`ENRICH` でポリシー付与 コマンドや関数名は大文字小文字を区別しません(`FROM` も `from` も同じ)。 🛠️ 実践的な使い方 障害調査では、検索から集計までを次のように1本で書けます。 `FROM logs-* | WHERE status >= 500 | STATS count = COUNT(*) BY BUCKET(@timestamp, 5m) | SORT count DESC` Kibanaのエディタはオートコンプリート、インライン補完、Prettifyボタンによる自動整形を備え、実行後はフッターに処理ドキュメント数などの統計が出ます。同じES|QLがDiscover・ダッシュボードのパネル・アラートルール・Elastic Securityで共通に使えるのが大きな利点です。クエリ履歴やお気に入り(スター)機能で定番クエリの再利用も可能です。 💡 ユースケース ・SREのアドホックなログ分析(エラー率のサービス別・時間バケット別集計) ・ダッシュボードのES|QL可視化パネル ・セキュリティの検知ルールやアラート条件の記述 ・`LOOKUP JOIN` でサービス名→チーム名のようなマスタ結合を行う運用分析 ⚠️ 注意点 ・フィルタなしで多数のインデックスを横断するとレスポンスが肥大化するため、`KEEP`/`DROP` で列を絞ること。 ・Kibana内では `SET time_zone` ではなく `dateFormat:tz` 設定でタイムゾーンを扱う。 ・自然言語からのクエリ生成はEnterpriseライセンスとコネクタ設定が必要です。 ・マッピングされていないフィールド参照は既定で失敗するため注意が必要です。 #Elasticsearch# #ESQL#
もっと見る
【レポート】 採卵養鶏と食鳥処理場での約4年間を記録した、繁延あづささんの『鶏まみれ』が第25回新潮ドキュメント賞を受賞しました。 「殺して食べる」現場を描いた著者の思いとは?贈呈式の模様をレポートします。
もっと見る
📚 リポジトリ全体のドキュメントを、図つきで自動生成。最大140万行・8言語に対応し、DeepWikiを上回る品質を出すAIフレームワークCodeWikiです(ACL 2026採択)。 タイトル: FSoft-AI4Code/CodeWiki URL: 📦 概要 CodeWikiは、ソフトウェアリポジトリ全体に対して包括的なドキュメントを自動生成する、AI駆動のフレームワークです。単純なAPIリファレンスにとどまらず、アーキテクチャ図・データフロー図・シーケンス図・散文の説明を含む「システムレベル」の文書を作ります。大規模・多言語のコードベースで、ドキュメントを最新かつ完全に保つという課題に取り組みます。 ❓ 解決する課題 従来のドキュメントツールはスケールと文脈の扱いが苦手でした。CodeWikiは、モジュール間の相互依存の文書化、規模を保ったままのアーキテクチャ文脈の維持、孤立した部品ではなくシステム全体の相互作用を捉えること、という3つの核心課題に取り組みます。 🛠 方法論と提案手法 3段階で動作します。 ・階層的分解:動的計画法に着想を得たアルゴリズム的クラスタリングで、コードベースを一貫したモジュールに分割します ・再帰的マルチエージェント処理:複雑なモジュールにはタスクを動的に委譲する適応的なエージェントシステムを使います ・マルチモーダル合成:テキストと視覚成果物(Mermaid図)を統合し、図はNode.jsで検証します ・Python・Java・JavaScript・TypeScript・C・C++・C#・Kotlinに対応し、Claude# CodeやCodex CLI経由でトークン課金なしに実行できます 🎯 ユースケース 大規模・多言語コードの「生きたドキュメント」生成、新メンバーのオンボーディング資料、GitHub Pages互換のインタラクティブなHTML出力などに使えます。 📊 実験結果 ・独自評価CodeWikiBenchで、高水準言語(Python、JS)が79.14%、マネージド言語(C#、Java)が68#.84%の品質スコアを記録しました ・DeepWiki比で+4.73ポイント改善し、22.9万行のOpenHandsプロジェクトで82.45%を達成しました ・GitHubスター1.2k、フォーク193、ACL 2026採択で、8.6万〜140万行のコードベースを扱えます ・リポジトリ自身のドキュメントもCodeWikiで生成されており、その実力を体現しています #AIエージェント# #DevTools#
もっと見る
ここ数年、生成AIで複雑なデータ処理を実践するために、検証用の合成データを作る手法をアレコレ実装検証してきたけど、共通して良かったプラクティスは「1. 答えから先に作る」「2. 構造的に作る」「3. 生成AIやプログラムが成果物を評価し修正できるように作る」だと思う。 例えば日本語ドキュメント検索の文書データを作る場合、まずはドキュメントの構造と検索要件、期待する検索結果を用意して、目的の評価指標を定義してドキュメント化する。生成はその後。1.と3.が満たせていればテストしながら生成と開発をループできるし、2.が満たせていればプログラムから適切に読み込んで定義できる。 経験上、ドキュメントだけでなく、画像や動画も同様にこのプラクティスは使える。
もっと見る
TL;DR Uber Freightは、40超のマイクロサービスと約100のデータソースにまたがる検索を、「所有者が違うフラグメントを1つのインデックスに合成する」設計で支えています。 タイトル: Freight Search: Composing a Shared Search Index from Independently Owned Fragments URL: ポイント ・🧩 インデックスの各フィールドは、ちょうど1つのフラグメント由来で、所有が衝突しない ・🧱 フラグメントを1つの非正規化ドキュメントに統合し、クエリ時のjoinが不要 ・⚙️ ブートストラップはSpark、ライブ取り込みはFlinkとCDCで、変更は数秒で反映 ・🏷 Javaのアノテーションからマッピングを生成し、クラスが唯一の情報源 ・🔗 @/LinkedEntityとfold関数を宣言すれば、親子の非正規化や1:N集約もプラットフォームが処理 ・🔄 SIAからOpenSearchへの移行も、数か所の変更で全エンティティに適用 ・📈 約300フラグメント、20超のインデックスで、毎秒数千クエリ、p99は数百ミリ秒 業務の定義とプラットフォームの境界を分けたことが、エンジン移行まで耐えた鍵だと感じます。 #Uber# #検索基盤#
もっと見る
TL;DR ローカルで完結するWindows/Linux向けデスクトップアプリで、PDFやOfficeファイルをAI向けのクリーンなMarkdownに変換します。スキャンPDF用のOCRも内蔵し、トークン消費を最大6分の1に抑えられます。 タイトル: MDFlux URL: ポイント 📄 PDF・DOCX・PPTX・XLSX・EPUB・HTML・CSV・JSON・XML・画像・音声など幅広い形式に対応 🔍 スキャンPDFも読み取れる内蔵OCR(RapidOCR)を搭載 📦 フォルダ単位の一括変換に対応し、並行処理で高速化 🔒 初回セットアップ後は完全オフライン動作、既定でクラウド送信なし 🧹 クリーンアップはオフ・ルールベース・AI(ローカル/API)から選択可能 ⚡ ビジョンモデル利用時と比べトークン数を2〜6倍削減(スキャンページは5.7倍) 🛠 Tauri 2(Rust)+ Svelte 5構成、Microsoft製MarkItDownをベースに構築 社内文書をRAGパイプラインに流す前処理として、プライバシーを保ったまま使えるのが良いところだと感じます。 #ドキュメント変換# #OCR#
もっと見る