# Weaviateの機能と実践的な使い方 🚀 埋め込みAPIの呼び出しコードをアプリから消したいと思ったことはありませんか。Weaviateのモデルプロバイダ統合を使えば、ベクトル化も生成もリランクも、コレクション設定に書くだけで自動的に動きます。 📌 タイトルと機能のURL タイトル: Model provider integrations URL: 📝 概要 Weaviateは、OpenAI・Cohere・Google・AWS・Azure OpenAI・Mistral・Anthropic・Hugging Face・Ollama など20以上のモデルプロバイダと統合しています。これらを「投入時の自動埋め込み」「クエリ文の自動埋め込み」「RAGの生成」「検索結果のリランク」に組み込めます。アプリ側で埋め込みAPIを呼んでベクトルを渡すコードが不要になるのが最大の利点です。 🔧 機能の説明 統合は大きく次の3つの役割に分かれます。 ・Vectorizer（埋め込み）: テキストやマルチモーダルのベクトル化を担当します。 ・Generative（生成）: RAGパイプライン向けのテキスト生成を担当します。 ・Reranker（リランク）: 検索結果の並べ替えを担当します（Cohere、Jina AI、NVIDIA、Voyage AI などが提供）。 提供形態も2種類あります。API型プロバイダ（OpenAI、Google、Cohere、AWS Bedrock など）は外部APIを呼び出し、ローカルホスト型（Ollama、Hugging Face Transformers、Model2vec）は自分のインフラ上で動かします。API型モジュールは v1.33 以降は既定で有効です。 🛠 実践的な使い方 ・コレクション作成時に `Configure.Vectors`（旧 `Configure.Vectorizer`）で埋め込みプロバイダを指定すると、投入時もクエリ時も自動でベクトル化されます。 ・生成は `Configure.Generative` でプロバイダを指定し、検索結果に対してRAGを実行します。 ・リランカーは `Configure.Reranker` で指定します。 ・自動ベクトル化の対象は `text` / `text[]` 型のプロパティで、プロパティ名をアルファベット順に並べて連結し、必要に応じてコレクション名を先頭に付けてからモデルに送ります（プロパティ単位で対象外にも設定可能）。 🎯 ユースケース ・社内文書検索: 投入時に本文を自動でベクトル化し、検索時はクエリ文を同じモデルで自動ベクトル化して整合させます。 ・モデルの差し替え: ベンダーやモデルを変えたいとき、コレクション設定の変更だけで対応できます。 ・閉域要件: Ollama などローカルホスト型を使えば、データを外部に出さずに埋め込み生成まで完結します。 ・RAGチャット: 検索と生成を同一の設定内で組み合わせ、外部のオーケストレーションを最小化できます。 ⚠️ 注意点 ・API型プロバイダはAPIキーが必須で、利用に応じた課金が発生します。 ・レート制限は各プロバイダのポリシーに従います。大量投入時は注意が必要です。 ・v1.27 より前のバージョンでは、連結した文字列が小文字化されてからモデルに送られます。 ・v1.33 より前ではAPI型モジュールを使うため `ENABLE_API_BASED_MODULES` を有効化する必要があります。 #Weaviate# #Embeddings#

便利だけど知られていないGemini APIの機能 🔎 RAGを自前で構築する前に、マネージドで試してみませんか？ Geminiの「ファイル検索（File Search）」は、ファイルをアップロードするだけでチャンク化・埋め込み・検索まで全部やってくれるマネージドRAGです。自前でベクトルDBを立てる必要がありません。 📌 タイトル：ファイル検索（File Search） 🔗 URL： 🧩 概要 RAG（検索拡張生成）を構築するには、通常はドキュメントのチャンク化、埋め込みモデルの選定、ベクトルDBの構築・運用が必要です。File Searchはその全てをGoogle側が管理。ファイルをアップロードするだけで、Geminiがそのファイル内の関連箇所を検索し、回答に利用します。 🛠 使い方 ファイルをFiles APIでアップロードし、File Searchツールを有効にしてリクエストを送るだけ。Geminiが質問に関連するチャンクを自動で検索し、回答に組み込みます。PDF、テキスト、コードなど様々な形式に対応。複数ファイルをまとめて検索させることも可能です。 🏗 本番システムへの組み込み方 ・社内ドキュメントQ&A：規約集、マニュアル、議事録をアップして、社員がチャットで質問できるシステムに。ベクトルDB不要で即構築。 ・カスタマーサポート：製品ドキュメントをアップし、顧客の質問に対して正確な情報を自動で返す。 ・法務/コンプライアンス：契約書や法令文書をアップし、条項に関する質問に回答。出典の特定も容易。 ・技術文書検索：APIドキュメントや設計書を検索して、開発者の質問に即答するアシスタント。 💡 ユースケース 📚 社内ナレッジベースのQ&Aシステム 🎧 製品ドキュメントに基づくサポートbot ⚖️ 法務文書の条項検索・解釈 🧑‍💻 技術文書に基づく開発者アシスタント ⚠️ 注意点 マネージドのためチャンク化戦略やembeddingモデルのカスタマイズは限定的です。精度を細かくチューニングしたい場合は自前RAGの方が柔軟。また、ファイルサイズや数に制限があるため、大規模なドキュメント群には事前に制限を確認してください。 ✨ 「RAGを試したいけどインフラ構築が重い」という声に応える機能です。まずは小さなドキュメントセットでFile Searchを試して、マネージドの手軽さを体感してみてください。 #Gemini# #LLM#

# Learning Palantir Foundry 🚀 Put business logic right on the ontology. Functions cure the "numbers don't match across departments" problem by centralizing logic in one place. 📌 Title and Feature URL Title: ファンクション URL: 📝 Overview Functions let you write server-side logic that executes in isolated environments, powering operational apps like dashboards and decision-support tools. They are designed to work with Foundry ontologies, so they can read object properties, traverse links, and perform flexible ontology edits. 🔧 How It Works - Supported languages: TypeScript (full feature support) and Python (beta, with growing support especially for serverless and deployed execution). - Serverless execution: spins up on demand when invoked and bills only during execution, with a 60-second total wall-clock timeout (30s CPU plus a 30s network buffer). Multiple versions can run simultaneously, making upgrades safer. - Deployed execution: reserves dedicated resources for cases serverless cannot meet, runs a single version at a time, and bills continuously while deployed. - Capability differences: ontology read/write, Workshop integration, and external API calls work in both languages. Pipeline Builder is Python, while model embedding and semantic search are TypeScript. 🛠 Practical Usage - Derived properties: display function-computed values as table columns. - Function-backed Actions: implement complex edits spanning multiple objects. - Workshop integration: run functions to compute or display variables. - API gateway: invoke query functions programmatically to reuse the same logic everywhere. 🎯 Use Cases - Implement derived-KPI logic once and return identical results to Workshop, OSDK, and the API. - Query external systems to enrich ontology objects. - Build complex validation or bulk updates as function-backed Actions. ⚠️ Caveats - The 60-second timeout applies uniformly across execution modes, so optimize for efficiency. - Available capabilities depend on the invocation context (for example, model embedding and semantic search are TypeScript only), so decide on language early. #PalantirFoundry# #DataEngineering#