# Elasticsearchの機能と実践的な使い方 🌊 もう` 🏷️ タイトル: Data stream(追記型時系列データの論理ストリーム) 🔗 URL: 📘 概要 データストリームは、追記型(append-only)の時系列データ格納に最適化された複数インデックスを、1つの名前で扱う抽象レイヤーです。ログ・イベント・メトリクスのように次々と流れ込むデータに向いており、利用者は隠された「バックインデックス」群を意識せず、単一のリソース名へ読み書きできます。 ⚙️ 機能の説明 ・データストリームの実体は、自動生成される複数の隠しバックインデックスです。命名は`.ds-<データストリーム名>-<>-<世代>`で、世代は`000001`から始まる6桁ゼロ詰めの整数です(例: `.ds-logs-myapp-prod-2026.06.10-000001`)。 ・書き込みは常に最新の「ライトインデックス」1つだけが受け付けます。古いバックインデックスへは直接書き込めません。 ・検索は自動的にすべてのバックインデックスへルーティングされ、データセット全体を横断して問い合わせられます。 ・各ドキュメントには`date`または`date_nanos`型の`@timestamp`フィールドが必須です。テンプレートに無ければ既定の`date`マッピングが自動適用されます。 ・利用には`data_stream`定義を含むインデックステンプレートが必須で、マッピング・設定・ライフサイクルポリシーをここで定義します。1つのテンプレートを複数のデータストリームで共有できます。 ・年齢やサイズの閾値に達すると「ロールオーバー」が走り、新しいバックインデックスが作られてライトインデックスが切り替わります。これはILMやデータストリームライフサイクルで自動化されます。 🛠️ 実践的な使い方 まず`data_stream`を含むインデックステンプレートを用意します。 `PUT _index_template/logs-myapp-template` `{ "index_patterns": ["logs-myapp-*"], "data_stream": {}, "template": { "mappings": { "properties": { "@timestamp": { "type": "date" } } } } }` あとはアプリから常に同じ名前へ書くだけです。 `POST logs-myapp-prod/_doc` `{ "@timestamp": "2026-06-10T09:00:00Z", "level": "INFO", "message": "started" }` 💡 ユースケース アプリケーションログを`logs-myapp-prod`というデータストリームへ書き込み、バックインデックスのロールオーバーは自動管理に任せる構成が定番です。アプリ側は日付別インデックス(` ⚠️ 注意点 ・バックインデックス名は内部実装の詳細です。restoreやshrinkで変わることがあるため、名前から日付などのロジックを組まないでください。 ・頻繁に同じIDで上書き更新(last-write-wins)したい用途には不向きで、その場合は通常のインデックスやエイリアスを使います。 ・更新・削除は`update by query`・`delete by query`など専用APIを使い、ライトインデックス以外への直接書き込みはできません。 ・データストリームが使用中のインデックステンプレートは削除できません。 #Elasticsearch# #データストリーム#

# Elasticsearchの機能と実践的な使い方 🔎 「検索→変換→集計」を1本のパイプで書ける。SQLライクで学習コストが低い新世代のクエリ言語、それがES|QLです。 🏷️ タイトル: ES|QL(パイプ型クエリ言語) 🔗 URL: 📘 概要 ES|QLはElasticsearchのデータを問い合わせ・集計・可視化・アラート化まで一気通貫で扱える新しいクエリ言語です。Unixのパイプのように `|` でコマンドを連結し、データを段階的に絞り込み・変換・集約していきます。JSONの集計DSLを書かずに、アドホック分析を素早く進められます。 ⚙️ 機能の説明 クエリは必ずソースコマンドから始まり、処理コマンドをパイプで連結する構造です。 ・`FROM` でインデックス/データストリームを指定(時系列向けの `TS` もある) ・`WHERE` で行を絞り込み ・`STATS ... BY` で集計とグルーピング ・`EVAL` で派生列を生成、`SORT` で並べ替え、`LIMIT` で件数制限 ・`KEEP`/`DROP`/`RENAME` で出力列を制御 ・`DISSECT`/`GROK` で非構造テキストをパース ・`LOOKUP JOIN` でマスタデータと結合、`ENRICH` でポリシー付与 コマンドや関数名は大文字小文字を区別しません(`FROM` も `from` も同じ)。 🛠️ 実践的な使い方 障害調査では、検索から集計までを次のように1本で書けます。 `FROM logs-* | WHERE status >= 500 | STATS count = COUNT(*) BY BUCKET(@timestamp, 5m) | SORT count DESC` Kibanaのエディタはオートコンプリート、インライン補完、Prettifyボタンによる自動整形を備え、実行後はフッターに処理ドキュメント数などの統計が出ます。同じES|QLがDiscover・ダッシュボードのパネル・アラートルール・Elastic Securityで共通に使えるのが大きな利点です。クエリ履歴やお気に入り(スター)機能で定番クエリの再利用も可能です。 💡 ユースケース ・SREのアドホックなログ分析(エラー率のサービス別・時間バケット別集計) ・ダッシュボードのES|QL可視化パネル ・セキュリティの検知ルールやアラート条件の記述 ・`LOOKUP JOIN` でサービス名→チーム名のようなマスタ結合を行う運用分析 ⚠️ 注意点 ・フィルタなしで多数のインデックスを横断するとレスポンスが肥大化するため、`KEEP`/`DROP` で列を絞ること。 ・Kibana内では `SET time_zone` ではなく `dateFormat:tz` 設定でタイムゾーンを扱う。 ・自然言語からのクエリ生成はEnterpriseライセンスとコネクタ設定が必要です。 ・マッピングされていないフィールド参照は既定で失敗するため注意が必要です。 #Elasticsearch# #ESQL#

# Elasticsearchの機能と実践的な使い方 📦 「テーブル設計を固めてから」ではなく、JSONを投げ込んだ瞬間からデータが扱える。Elasticsearchのインデックスは、検索もスケールも前提にしたドキュメント指向データストアです。 🏷️ タイトル: インデックス(Index)/ ドキュメント指向データストア 🔗 URL: 📘 概要 インデックスはElasticsearchにおけるデータ格納の基本単位で、あなたが操作する論理的なまとまりです。データは1件ずつJSONの「ドキュメント」として格納され、各ドキュメントはフィールドのキーと値の集合に加えて`_index`・`_id`・`_version`といったメタデータを持ちます。 ⚙️ 機能の説明 ・実データは`_source`フィールドに入り、`_index`(所属インデックス)・`_id`(一意ID)・`_version`(バージョン)などはシステム管理のメタデータです。 ・各フィールドの型や、どうインデックス・検索するかは「マッピング(mapping)」で決まります。`text`(全文検索向け)・`keyword`(完全一致・集計向け)・`integer`・`date`などを使い分けます。 ・マッピングを明示しなくても、投入されたJSONから型を推測する「ダイナミックマッピング」が働くため、新しいフィールドを後から足してもそのまま取り込めます。 ・内部では1つのインデックスが複数の「シャード」に分割され、ノード間に分散配置されます。シャード内のデータは不変(immutable)な「セグメント」として書かれ、レプリカシャードによって冗長性とスケールを確保します。 ・`index.number_of_shards`(作成時固定)、`index.number_of_replicas`(後から変更可)、`index.refresh_interval`(既定1秒)などの設定でインデックスの挙動を制御します。 🛠️ 実践的な使い方 ドキュメント1件の投入はシンプルです。 `POST products/_doc/p-1001` `{ "name": "ワイヤレスイヤホン", "price": 8900, "stock": 120, "category": "audio" }` 大量投入には`_bulk` APIを使い、1リクエストで多数の操作をまとめます。 `POST products/_bulk` `{ "index": { "_id": "p-1001" } }` `{ "name": "ワイヤレスイヤホン", "price": 8900 }` `{ "index": { "_id": "p-1002" } }` `{ "name": "USB-Cケーブル", "price": 1200 }` 新フィールド(例: `sustainability_score`)を後から含めて投入しても、ダイナミックマッピングがそのまま受け付けます。 💡 ユースケース ECサイトの商品カタログを`products`インデキスとして作り、1商品=1JSONドキュメント(商品名・価格・在庫・カテゴリ・説明文)で管理する構成が定番です。日次バッチで`_bulk`を使って数十万件を一括投入し、RDBのスキーマ変更を待たずに新しい属性を追加していけます。 ⚠️ 注意点 ・一度決めたフィールドの「型」は後から変更できません。型を変えたい場合は新インデックスへの再インデックス(reindex)が必要です。 ・頻繁に同じドキュメントを更新する用途には通常のインデックスを、追記中心の時系列データにはデータストリームを使うのが推奨です。 ・シャードの数とサイズはクエリ速度とクラスタ安定性に直結します。小さすぎる大量のシャードは避け、適切なサイズ設計を意識してください。 #Elasticsearch# #データモデリング#

# ADK 2.0の便利だけど知られていない機能 🌍 AIエージェントが画像やPDFなどのバイナリデータを扱う際、ファイル管理が煩雑になっていませんか？ ADK 2.0のアーティファクト管理は、エージェントが生成・利用するバイナリデータ（画像、PDF、音声など）をファイル名で識別し、自動バージョニングで管理する仕組みです。 📌 タイトル：アーティファクト管理 🔗 URL： 🧩 概要 アーティファクトは、エージェントのセッション内で生成・保存されるバイナリデータを統一的に管理する機能です。`google.genai.types.Part`のinline_data（データバイト列 + MIMEタイプ）として表現され、ファイル名で識別されます。保存のたびに自動的にバージョン（0, 1, 2...）が付与され、変更履歴を追跡できます。スコープはセッション単位（デフォルト）またはユーザー単位（`user:`プレフィックス）を選択可能です。 🛠 使い方 `context`オブジェクトを通じて、アーティファクトの保存・読込・一覧を操作します。 ```python from google.genai import types # アーティファクトの保存 image_part = types.Part(inline_data=types.Blob( data=image_bytes, mime_type="image/png" )) version = "report_chart.png", image_part) # アーティファクトの読込 artifact = context.load_artifact("report_chart.png") # アーティファクト一覧の取得 artifact_names = context.list_artifacts() ``` 開発時は`InMemoryArtifactService`、本番環境では`GcsArtifactService`を使い分けることで、環境に応じた柔軟な運用が可能です。 🏗 本番システムへの組み込み方 ・本番環境では`GcsArtifactService`を使用し、永続的なストレージを確保する ・ユーザー横断で共有すべきデータには`user:`プレフィックスでユーザースコープを活用する ・バージョニングを活かして、生成物の変更履歴やロールバックの仕組みを構築する ・MIMEタイプを正しく設定し、ダウンストリームでの処理互換性を保つ 💡 ユースケース 🖼️ エージェントが生成したグラフや図表の保存と再利用 📄 PDF レポートの生成・バージョン管理 🎵 音声合成結果の保存と後続処理への受け渡し 👤 ユーザーごとのプロファイル画像やドキュメントの管理 ⚠️ 注意点 `InMemoryArtifactService`はプロセス終了時にデータが消失するため、開発・テスト用途に限定してください。大容量のバイナリデータを大量に保存する場合は、GCSのストレージコストとクォータに注意が必要です。また、セッションスコープのアーティファクトはセッション終了後にアクセスできなくなるため、永続化が必要なデータにはユーザースコープを使用してください。 ✨ アーティファクト管理を活用すれば、バイナリデータの取り扱いがシンプルになり、エージェントのマルチモーダル対応が格段に容易になります。 #ADK# #AIAgent#

# Neo4jの機能と実践的な使い方 ♻️ 「なければ作る、あれば更新する」——イベントストリームを何度流しても重複ノードを生まない冪等な書き込みは、`MERGE` 一文で実現できます。 🏷️ タイトル: CREATE / MERGE / SET / DELETE 🔗 URL: 📘 概要 `MERGE` は、パターンが存在すればマッチして束縛し、なければ作成して束縛する upsert クラウズです。`MATCH` と `CREATE` を一体化し、過去にデータが在ったかどうかで条件分岐できます。日次バッチやストリーム取り込みの冪等化に不可欠です。 ⚙️ 機能の説明 ・全体一致か全体作成か: `MERGE` はパターン全体に対して「すべてマッチ」か「すべて作成」のどちらかで、既存パターンを部分的に再利用しません。部分的に扱いたい場合は `MERGE` を複数に分解します。 ・`ON CREATE SET` / `ON MATCH SET`: 作成時だけ・マッチ時だけ実行されるプロパティ設定です。作成時刻の刻印やアクセス回数のインクリメントに使えます。両方を同時に書けます。 ・リレーションシップの `MERGE`: 少なくとも片方のノードが束縛済みである必要があります。無向 `-[r:KNOWS]-` は双方向で探してから左→右で作成します。 ・制約との連動: 一意制約があると `MERGE` は競合検知を行い、重複生成を防ぎます。性能上もラベル/プロパティへのインデックス作成が強く推奨されます(無いと毎回フルスキャン)。 🛠️ 実践的な使い方 イベントストリームの冪等な upsert 例です。 ```cypher MERGE (u:User {id: row.userId}) MERGE (p:Page {url: row.url}) MERGE (u)-[v:VIEWED]->(p) ON CREATE SET v.count = 1 ON MATCH SET v.count = v.count + 1 ``` 派生ノードを重複なく作る定番パターンです。 ```cypher MATCH (person:Person) MERGE (loc:Location {name: person.bornIn}) MERGE (person)-[r:BORN_IN]->(loc) ON CREATE SET r.createdAt = timestamp() ``` 💡 ユースケース ・クリックストリーム/IoTイベントの取り込みで、同一ユーザー・ページを一意化しながらカウントを積み上げる。 ・複数パイプラインからマスタを書き込んでもエンティティが二重化しない取り込み基盤。 ⚠️ 注意点 ・`MERGE` のキーには一意制約を併用するのが鉄則です。制約が無いと並行実行で一瞬の重複が生じ得ます(制約は最終的整合のみ保証)。 ・`MERGE` のプロパティに `null` は使えません。条件付き設定は後段の `SET` で行います。 ・同一 `MERGE` 内で作成中ノードの値を相互参照できません。先に `MATCH` するか `SET` に分けます。 ・`DELETE` はリレーションシップ付きノードに失敗します。`DETACH DELETE` を使います。 #Neo4j# #Cypher#

「話しかけられてから答える」音声AIは終わり。音・環境・指示を聞き続けて自分から動くモデルの登場です🎧 タイトル: Audio Interaction Model URL: 🎧 概要 常時稼働でリアルタイムに動く統合型の音声言語モデル（LALM）です。「知覚→判断→応答」のループを回し続け、音・環境音・ユーザー指示を同時に聞きながら、ストリームの意味理解に基づいて動的に応答します。 ❓ 解決する課題 現在のLALMの多くはオフラインで、ストリーミングASRや音声チャットを個別にこなすだけでした。現実の対話には、リアルタイムに同時に聞いて、その場で反応する常時稼働型のモデルが必要です。 💡 方法論と提案手法 核心は「知覚→判断→応答」ループを具現化したSoundFlowフレームワークです。 ・ストリーミングネイティブなデータ構築 ・理解を意識した訓練 ・非同期・低遅延の推論で安定したリアルタイム対話 データはStreamAudio-2M（260万件）で、7つの基礎能力・28サブタスクをカバー。能動的介入を測るProactive-Sound-Benchも用意しました。 📊 実験結果 / ユースケース ・8つのベンチマークで競争力ある性能を維持 ・オフラインLALMでは不可能だったリアルタイムASR、ストリーミング音声指示追従、能動的介入を実現 常時稼働の音声アシスタントやリアルタイム対話、能動的な音声サポートに活用できます。 #音声AI# #LALM#

# Codexの機能と実践的な使い方 🤖 「ターミナルに張り付かず、Codexを丸ごとパイプの一部として扱いたい」——そんな願いを叶えるのが非対話モードです。CIやスクリプトにそのまま組み込めます。 🏷️ タイトル: `codex exec` 🔗 URL: 📘 概要 `codex exec` は、対話UIを起動せずにCodexをワンショットで走らせるためのコマンドです。プロンプトを1つの引数として渡すと、エージェントが作業し、最終メッセージだけを標準出力に返します。CIパイプライン、pre-commitフック、シェルの一連の処理に組み込むことを前提に設計されています。 ⚙️ 機能の説明 進捗ログは標準エラー出力(stderr)へ、最終的なエージェントの回答だけが標準出力(stdout)へ流れます。これによりパイプやリダイレクトと素直に組み合わせられます。主なフラグは次の通りです。 ・`--sandbox`: `read-only`(既定)/`workspace-write`(編集許可)/`danger-full-access`(全アクセス)で権限を制御します。 ・`--ask-for-approval never`: 承認プロンプトを完全に抑止し無人実行にします。 ・`--json`: すべてのイベントをJSON Lines形式でストリーム出力します(`thread.started`、`turn.started`、`item.completed`、`turn.completed` など)。 ・`-o/--output-last-message `: 最終メッセージをファイルに書き出します。 ・`--output-schema `: JSON Schemaに従った構造化出力を強制します。 ・`-C/--cd `: 実行前に作業ディレクトリを変更します。 ・`--skip-git-repo-check`: Gitリポジトリ必須の制約を外します(破壊的変更防止のため通常は必須)。 ・`--ephemeral`: セッションファイルをディスクに残しません。 🛠️ 実践的な使い方 標準入力(stdin)と組み合わせると強力です。例えば `npm test 2>&1 | codex exec "失敗したテストを要約し最小限の修正を提案して"` のようにテスト出力を渡し、結果を `tee` でファイルに残せます。 構造化出力を使えば機械可読なメタデータを安定して取り出せます。`--output-schema` でスキーマを指定し、`-o` で結果ファイルを書き出します。 セッションを継いで多段処理にもできます。一度レビューさせたあと `codex exec resume --last "見つけた問題を修正して"` で続きを実行します。 💡 ユースケース CI失敗をトリガに読み取り専用でパッチ案を生成し、別ジョブで書き込み権限を持たせてPR化する、といった分業が定番です。ログ末尾を渡して原因分析を `analysis.md` に残す運用にも向きます。 ⚠️ 注意点 未信頼コードをチェックアウトするワークフローでは、APIキーをジョブ全体の環境変数に晒さないでください。GitHubでは公式のCodex GitHub Actionの利用が推奨です。`--full-auto` は非推奨で、代わりに `--sandbox workspace-write` を使います。`required = true` のMCPサーバーが起動失敗すると `codex exec` はエラー終了します。自動化では常に最小権限のサンドボックスを選びましょう。 #Codex# #CI#

便利だけど知られていないClaude APIの機能 🌊 ツール呼び出しの引数が大きいとき、全部揃うまで待っていませんか？ ClaudeのFine-Grained Tool Streaming（細粒度ツールストリーミング）は、ツール呼び出しの引数を細かい粒度でストリーミング受信できる機能です。大きな引数の早期処理やUIへのリアルタイム反映に効きます。 📌 タイトル：Fine-Grained Tool Streaming（細粒度ツールストリーミング） 🔗 URL： 🧩 概要 通常のツール呼び出しでは、引数のJSON全体が完成してからツールを実行します。しかし、引数が大きい場合（長いコードや文章など）、完成を待つ時間がもったいない。Fine-Grained Tool Streamingは、ツール引数が生成される途中の部分的なデータをストリーミングイベントとして受信できる機能です。UIにリアルタイムで反映したり、前処理を並行で始めたりできます。 🛠 使い方 ストリーミングモードでMessages APIを呼び出すと、ツール呼び出しの引数がinput_json_deltaイベントとして段階的に送られてきます。これを受信しながらUIに表示したり、引数の一部が確定した時点で前処理を開始したりできます。完全なJSONが揃った段階でツールを実行するフローはそのままに、ユーザーには進捗を見せられます。 🏗 本番システムへの組み込み方 ・コーディングUI：生成中のコードをリアルタイムでエディタに表示。ユーザーはコードが書かれていく過程を見ながら待てます。 ・ドキュメント生成：長い文章をツール引数として生成するとき、書かれていく内容を逐次プレビュー表示。 ・データ変換パイプライン：大きなJSON引数の一部が確定した段階でバリデーションやスキーマチェックを先行実行。 ・プログレスUI：ツール引数のストリーミング進捗を表示することで、「何をしようとしているか」をユーザーに可視化。 💡 ユースケース ⌨️ コード生成のリアルタイムプレビュー 📝 文書生成の逐次表示 ✅ 引数の先行バリデーション 📊 ツール呼び出しのプログレス表示 ⚠️ 注意点 ストリーミング中のデータは不完全なJSONなので、途中でパースしようとするとエラーになります。部分データはあくまで「プレビュー/先行処理」用とし、ツールの実行自体は完全なJSONが揃ってから行ってください。ストリーミングイベントのハンドリングコードはやや複雑になるので、既存のSDKのヘルパーを活用するのがおすすめです。 ✨ 「待ち時間にユーザーに何も見せない」はUXの大きな機会損失。ツール引数のストリーミングで、レスポンシブなインターフェースを実現しましょう。 #Claude# #LLM#

／ 🛠エンタメ業界が求めるエンジニアの力Vol.30 ＼ ストリーミングサービスやSNSなどのデータを分析し 新たな施策の提案を行なうデータアナリストが登場📈 エンタメ業界のデータアナリストならではの面白さや、今後挑戦したいことについて語っています💪 記事はこちら👇

明日、どう考えても雨降りそうにないのでフリマ参加すると思います 12時から1630迄、原宿のキャットストリート辺りにいます。準備が全く終わらないので商品なしでただ本人が座ってるって可能性もあります笑 持って帰ってもらうように作った個展の宣伝ぬりえのデータを貼っておくので印刷して遊んでね