検索パイプライン構築の本当の敵は「ツールの寄せ集め」でした🔍 取り込み・検索・評価を1つに束ねるオープンソースのフレームワークが登場しました。 タイトル: Introducing Search Toolkit URL: 🔍 概要 Mistral Search Toolkitは、AIアプリ向けの本番検索パイプラインを効率化する、コンポーザブルなオープンソースのフレームワークです。取り込み（ingestion）・検索（retrieval）・評価（evaluation）を、1つの統一システムに統合します。 ❓ 解決する課題 本番品質の検索パイプライン構築は想像以上に大変です。 ・多くの組織は、バラバラのツールを寄せ集めて統合することに膨大な時間を費やします ・その結果、肝心の「検索の質を上げること」自体に手が回りません 💡 方法論と機能 3つのコンポーネントで構成されます。 ・取り込み：複数データソースを設定可能なパイプラインで処理し、パース・チャンク分割・埋め込み生成を担う ・検索：BM25スパース検索、密な埋め込みベース検索、両者のハイブリッド構成を提供 ・評価：recall・precision・MRR・NDCGなどの組み込み指標で、構成ごとの性能を測定 「取り込み→検索→評価」を1つのフレームワークで完結できます。 🌍 ユースケース ・ウィキ・リポジトリ・ファイルを横断するエンタープライズ検索 ・検索の質を分離して測定したいRAGシステム ・法務・医療などのドメイン特化検索 ・ライブデータと並行して信頼できるインデックス検索が必要なエージェント 金融・製造・公共・メディアで既に導入実績があります。 #検索# #RAG#

OpenAIもAnthropicもGoogleも、モデル名を1行変えるだけで切り替え——プロバイダーごとのSDKを覚える苦労を消すライブラリです🔌 タイトル: andrewyng/aisuite URL: 🔌 概要 Andrew Ng氏による軽量なPythonライブラリです。複数のLLMプロバイダーを、統一されたOpenAIスタイルのインターフェースで呼び出せます。モデル名を「provider:model-name」の形式で指定するだけで、同じコードのまま各社を横断できます。 ❓ 解決する課題 複数のLLMプロバイダーを使い分けると、それぞれ異なるSDK・API・パラメータ構造を覚える必要があり、開発の摩擦になります。 ・aisuiteはこの断片化問題を解決します ・リクエストとレスポンスを標準化し、SDKの差異ではなくロジックに集中できるようにします 💡 主な機能 ・Chat Completions API：プロバイダー非依存の層（temperature・max_tokens・toolsに対応） ・Agents API：ツール処理・状態永続化・ツールポリシーによるガバナンスを備えた構造化エージェント ・Toolkits：ファイル・git・シェル操作の事前サンドボックス化ツール群 ・MCPサポート：任意のMCPサーバーのツールをネイティブに利用 ・OpenCoworker：aisuite上に構築されたデスクトップAIエージェントアプリ 仕組みはプロバイダーアダプタパターンで、命名規約に従いモデル文字列から自動発見・生成します。 🌍 対応プロバイダー / 使い方 OpenAI・Anthropic・Google・Mistral・Hugging Face・AWS・Cohere・Ollama・OpenRouterなどに対応（拡張可能）。ai.Client()を作り、model="openai:gpt-4o"のように呼ぶだけで、切り替えはモデル文字列の変更のみ。ライセンスはMITです。 #LLM# #オープンソース#