🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか？ 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか？ 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか？ 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか？ 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#

🔎 「エージェント検索に埋め込みもベクトルDBも要らない。grepで生コーパスを直接叩け」という挑発的な研究です。 タイトル: Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction URL: ❓ Direct Corpus Interaction(DCI)とは何ですか？ 💡 埋め込みモデル・ベクトルインデックス・検索APIを一切使わず、エージェントがgrepやfind、シェルコマンドで生コーパスを直接探索する検索パラダイムです。オフラインのインデックス構築が不要で、変化し続けるローカルコーパスに自然に適応します。 ❓ なぜ従来のリトリーバではダメなのですか？ 💡 BM25でも密ベクトルでも、コーパスを「固定の類似度インターフェース」でtop-kに圧縮してから推論を始めます。すると厳密な字句一致や弱い手がかりの結合、局所文脈の確認がしづらく、早期に落ちた証拠は後段でどれだけ推論しても復元できません。エージェントの多段探索には致命的です。 ❓ 本当にリトリーバなしで勝てるのですか？ 💡 勝てます。BrowseComp-Plusでは同じSonnet 4.6でリトリーバをDCIに替えると正答率69.0→80.0%(+11.0)かつコスト−29.4%。多段QA平均は83.0で最強ベースライン比+30.7、IRランキングはNDCG@10で68.5(+21.5)。軽量なGPT-5.4 nano版でも多くのベースラインを上回りました。 ❓ 何が効いているのですか？ 💡 著者らは「retrieval interface resolution(検索インターフェースの解像度)」と呼びます。優位は多くのgold文書を出すことより、到達後に小さな証拠スパンへ精密に絞り込む高解像度な局所探索・検証から来る、と軌道分析で示しています。 #AIエージェント# #RAG#

「話しかけられてから答える」音声AIは終わり。音・環境・指示を聞き続けて自分から動くモデルの登場です🎧 タイトル: Audio Interaction Model URL: 🎧 概要 常時稼働でリアルタイムに動く統合型の音声言語モデル（LALM）です。「知覚→判断→応答」のループを回し続け、音・環境音・ユーザー指示を同時に聞きながら、ストリームの意味理解に基づいて動的に応答します。 ❓ 解決する課題 現在のLALMの多くはオフラインで、ストリーミングASRや音声チャットを個別にこなすだけでした。現実の対話には、リアルタイムに同時に聞いて、その場で反応する常時稼働型のモデルが必要です。 💡 方法論と提案手法 核心は「知覚→判断→応答」ループを具現化したSoundFlowフレームワークです。 ・ストリーミングネイティブなデータ構築 ・理解を意識した訓練 ・非同期・低遅延の推論で安定したリアルタイム対話 データはStreamAudio-2M（260万件）で、7つの基礎能力・28サブタスクをカバー。能動的介入を測るProactive-Sound-Benchも用意しました。 📊 実験結果 / ユースケース ・8つのベンチマークで競争力ある性能を維持 ・オフラインLALMでは不可能だったリアルタイムASR、ストリーミング音声指示追従、能動的介入を実現 常時稼働の音声アシスタントやリアルタイム対話、能動的な音声サポートに活用できます。 #音声AI# #LALM#

# Claude Agent SDKの便利で実践的な使い方 📊 OpenTelemetry でエージェントの全動作を Datadog / Grafana / Langfuse に一元可視化できます。 OpenTelemetry を使用した可観測性は、エージェントのトレース・メトリクス・ログを OTLP で外部監視ツールにエクスポートする機能です。 📌 タイトル：OpenTelemetry を使用した可観測性 🔗 URL： 🧩 概要 `CLAUDE_CODE_ENABLE_TELEMETRY=1` でトレース・メトリクス・ログを有効化し、OTLP プロトコルで Honeycomb / Datadog / Grafana / Langfuse 等にエクスポートします。W3C トレースコンテキストの自動伝播でアプリのトレースと統合できます。 🛠 使い方 ```bash export CLAUDE_CODE_ENABLE_TELEMETRY=1 export CLAUDE_CODE_ENHANCED_TELEMETRY_BETA=1 # 詳細スパン export OTEL_EXPORTER_OTLP_ENDPOINT=https://your-collector:4318 ``` 🏗 実践的な使い方 ・「どのツールを呼び、何秒かかり、トークンをいくつ使い、どこで失敗したか」を Datadog で一元監視します。 ・`CLAUDE_CODE_ENHANCED_TELEMETRY_BETA=1` で `claude_code.interaction` / `llm_request` / `tool` / `hook` のスパンを取得し、サブエージェントの委譲チェーン全体を1トレースで可視化します。 ・`OTEL_RESOURCE_ATTRIBUTES` に ` / ` を注入し、ユーザー毎の監査証跡を構築して SIEM へ転送します。 💡 ユースケース 🔍 エージェント実行の詳細トレース分析 👥 ユーザー毎の監査証跡 🚨 障害発生時のボトルネック特定 ⚠️ 注意点 `console` エクスポーターは SDK のメッセージチャネルと衝突するため使用できません。短命プロセスでは `OTEL_*_EXPORT_INTERVAL` を短縮してフラッシュ漏れを防いでください。 #ClaudeAgentSDK# #AI#

TL;DR 質問を待たず、毎秒「黙る／話す／委譲する」を自分で決める8BのビジョンファーストVLM。監視・実況・翻訳など“タイミングが命”のタスクで、DoubaoやGeminiに人手評価で勝ち越しました👀 タイトル: JoyAI-VL-Interaction: Real-Time Vision-Language Interaction Intelligence URL: ポイント 🟢 毎秒3値判断：（見守り）/（発話）/（背景処理へ委譲）をモデル内部で決める 🎞️ AdaCodecで予測符号化：シーン変化時だけフルViTトークン、間は約16トークンに圧縮し無限ストリームを処理 ⏱️ 時間認識：経過時間マーカー（例 <4.0 seconds>）と1Hzサンプリングで秒単位に応答を紐付け 🧠 記憶階層：短期100秒→中期500秒→長期7,500秒、vLLMプレフィックスキャッシュで2時間超もサブ秒 📊 学習：沈黙を第一級カテゴリ化、重み付きFT＋GRPO（誤報や遅延を罰則化）、400万超の時刻整列クリップ 🏆 6シナリオ58ケースの人手評価で総合勝率 Doubao比77.6%/Gemini比87.9%、アラートは満点 ✨ 未学習の創発能力：画面変化のユーザー誘導やスライドからの即興プレゼンも観測 「いつ話すか」を外部トリガーでなくモデルの中に持たせる設計が、常時稼働の見守りプロダクトに効きそうだと感じます。 #マルチモーダル# #リアルタイムAI#

# Learning Palantir Foundry 🚀 "How many screens do I need to open just to understand one customer?" Object Views answer that pain by bundling everything about a single object into one screen. 📌 Title and Feature URL Title: オブジェクトビュー URL: 📝 Overview Object Views act as the central hub for everything related to a specific object. They consolidate properties, linked objects, metrics and analytics, dashboards, and operational applications into a single unified interface. For example, an Airport object view can integrate flight timelines, delay-handling workflows, and location data in one place. In practice, an Object View becomes the daily "home screen" that frontline users open to start their work. 🔧 How It Works Object Views are highly configurable by builders: - They support multiple formats and sizes, so appearance and interaction patterns can be tailored to the task. - They combine properties (attributes), linked objects, metrics, analytics, and dashboards into one display. - They can be embedded throughout the platform wherever the object appears. - Configuration happens in the Ontology Manager under the "Object views" tab, and version tabs at the top let you switch between format variations. - Selecting "Edit views" opens the configuration editor or the underlying Workshop module. - The system also supports version management, panel variations, commenting, and Marketplace product integration. 🛠 Practical Usage - In Ontology Manager, select the target object type and use the "Object views" tab to preview and configure. - Lay out core information, related objects, operation history, and embedded dashboards so everything the team needs is on one screen. - Beyond viewing, embed action types so users can trigger status changes or assignments directly from the view. - Create multiple formats to show different layouts per role (for example, sales view vs. maintenance view). 🎯 Use Cases - Customer 360: one launchpad combining transaction history, inquiries, related orders, and account owners for sales. - Equipment record: a maintenance home screen with sensor values, service history, related parts, and open tickets. - Case management: a single view of stakeholders, due dates, approval status, and next actions on a case object. ⚠️ Caveats - Views depend on the quality of the underlying ontology modeling (object types and link types); a weak foundation limits view quality. - Overloading a view confuses users, so design role-specific layouts that show only what each role needs. - Editing requires appropriate permissions to the Ontology Manager and the underlying Workshop module. #PalantirFoundry# #DataPlatform#