登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 データドリブン
データドリブン コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
データドリブン を含む検索結果
【営業/CS Meetup🍻開催】 \データドリブンなSaaS営業/CS組織の本質/ 社員との交流もあります!ぜひお気軽にお申込みください✨ 日時:6/17(水) 19:30〜 場所:虎ノ門オフィス(対面) 申し込みフォーム: 詳細: #スタートアップ転職# #SaaS#
もっと見る
JBCC、データドリブンなAI活用サービスを提供開始
【📣参加者募集中!】 Govtech協会主催フォーラムを開催! テーマは、「データドリブンによる自治体経営の実践について」です。 【日時・場所】 9月17日(木)13:00-15:00 WeWork 日比谷パークフロント+オンライン 【詳細・お申し込み】 現地にてお待ちしております!✨
もっと見る
便利だけど知られていないOpenAI APIの機能 🔄 「OpenAIと他のモデル、どっちが良いの?」を公平に比較したいと思いませんか? OpenAIの「External models(外部モデル評価)」は、OpenAI以外のモデルもEvals基盤で評価できる機能です。複数モデルを同じ基準で比較したいときに便利です。 📌 タイトル:External models(外部モデル評価) 🔗 URL: 🧩 概要 モデルの選定や切り替えの判断には、同じ評価基準での公平な比較が必要です。External modelsを使えば、OpenAIのモデルだけでなくClaude、Gemini、オープンソースモデルなど外部のモデルもOpenAIのEvals基盤上で同じグレーダー・同じデータセットで評価できます。ベンダーごとに評価ツールを分ける手間がなくなります。 🛠 使い方 外部モデルの接続情報(APIエンドポイントや認証情報)をEvalsに登録し、評価対象として指定します。あとは通常のEvalsと同様に、データセットとグレーダーを使ってテストを実行するだけ。結果は同じダッシュボードで横並びに比較できます。 🏗 本番システムへの組み込み方 ・モデル選定プロセス:新しいモデルが出たときに、既存モデルと同じベンチマークで比較評価。 ・モデル移行の判断:別モデルに切り替える前に、自社タスクでの品質を定量比較。 ・コスト最適化:同等品質の安いモデルがないか、Evalsで定期的にスキャン。 ・マルチモデル戦略:タスクごとに最適なモデルを選ぶための評価フレームワークとして。 💡 ユースケース 🏆 複数モデルのベンチマーク比較 🔀 モデル移行前の品質検証 💰 コスト対品質の最適化 📋 タスク別の最適モデル選定 ⚠️ 注意点 外部モデルのAPIキーや利用料金は別途かかります。また、モデルによってはレスポンス形式やエラーハンドリングが異なるため、評価時に出力の正規化が必要になることもあります。比較は「同じタスク・同じデータ」で行うことが大前提です。 ✨ モデル選定を「なんとなく」から「データドリブン」に。まずは今使っているモデルと気になるモデルをEvalsで並べて比べてみてください。 #OpenAI# #LLM#
もっと見る
# ADKの便利で実践的な使い方 🔄 エージェントの評価結果を見て、プロンプトを手動で改善するのは非効率です。ADKのOptimization機能は、評価結果に基づいてプロンプトやエージェントの指示を自動・半自動で最適化する仕組みを提供します。評価→最適化→再評価の継続改善ループを回せます。 📌 タイトル:Optimization 🔗 URL: 🧩 概要 ADKのOptimization Frameworkは、Sampler(候補エージェントを評価し詳細な結果を返す)とAgent Optimizer(評価結果を分析してエージェントを改善する)のアーキテクチャで構成されます。**GEPARootAgentPromptOptimizer**はGEPAアルゴリズムで根本エージェントの指示を最適化し、**SimplePromptOptimizer**は実行→評価→批評→書き換えの4ステージを逐次実行します。最適化は非破壊的で、元のエージェントを保持したまま改善バリエーションを生成します。 🛠 使い方 CLIでの最適化実行: ```bash adk optimize \ --sampler_config_file_path \ --optimizer_config_file_path \ --print_detailed_results ``` プログラマティックな最適化: `google.adk.optimization.gepa_root_agent_prompt_optimizer` から `GEPARootAgentPromptOptimizer` と `GEPARootAgentPromptOptimizerConfig` を、`google.adk.optimization.local_eval_sampler` から `LocalEvalSampler` と `LocalEvalSamplerConfig` をインポートします。`LocalEvalSamplerConfig` で `eval_config=EvalConfig(criteria={"response_match_score": 0.75})`、`app_name`、`train_eval_set` を設定し、`LocalEvalSampler` を作成します。次に `GEPARootAgentPromptOptimizer(config=GEPARootAgentPromptOptimizerConfig())` でオプティマイザーを作成し、` sampler))` で最適化を実行します。 GEPARootAgentPromptOptimizerの設定パラメータ: - `optimizer_model`: 最適化に使用するモデル(デフォルト: `gemini-2.5-flash`) - `max_metric_calls`: 最大評価回数(デフォルト: 100) - `reflection_minibatch_size`: 1イテレーションで処理する例の数(デフォルト: 3) - `run_dir`: 中間結果の保存先(ウォームスタート用) SimplePromptOptimizerは4つのステージを逐次実行します。 1. **Execute**: エージェントが評価タスクを処理 2. **Evaluate**: Samplerがスコアリング 3. **Critique**: 最適化LLMが弱点を分析 4. **Rewrite**: ギャップを埋める新しいプロンプトを生成 LocalEvalSamplerの設定では、検証用データセットを分離できます。 - `train_eval_set`: 最適化に使用するデータセット - `validation_eval_set`: 検証用の別データセット - `train_eval_case_ids`: 特定のケースのみ使用する場合 🏗 実践的な使い方 **評価→最適化→再評価の継続改善ループ**: まず`adk eval`で現状のエージェント品質を定量化し、次に`adk optimize`で自動改善を実行、最後に改善後のエージェントを再評価して改善効果を確認します。このサイクルを回すことで、プロンプトの品質が着実に向上します。 **トレーニングと検証の分離**: `train_eval_set`で最適化を行い、`validation_eval_set`で検証することで、過学習を防ぎます。最適化がトレーニングデータに特化しすぎず、未知のシナリオにも対応できるプロンプトが得られます。 **ウォームスタートによる効率的な最適化**: `run_dir`に中間結果を保存しておくことで、最適化が中断しても途中から再開できます。また、前回の最適化結果をベースに追加の改善を行うことも可能です。 **SimplePromptOptimizerでの段階的改善**: GEPAオプティマイザーほど自動化されていませんが、Execute→Evaluate→Critique→Rewriteの各ステージの結果を確認しながら、半自動的にプロンプトを改善できます。LLMが弱点を分析して改善提案をしてくれるため、人間のプロンプトエンジニアリングの負担が軽減されます。 💡 ユースケース 🔄 プロンプト品質の継続的改善サイクルの自動化 📊 評価スコアに基づくデータドリブンなプロンプト改善 🎯 過学習を防ぐトレーニング/検証データセットの分離 ⚡ 中断可能・再開可能なウォームスタート最適化 ⚠️ 注意点 - 最適化は非破壊的ですが、生成されたプロンプトバリエーションの品質は評価データセットの質に依存します。代表的なケースを含むデータセットを用意してください。 - `max_metric_calls`が大きいほど探索範囲が広がりますが、LLM呼び出しコストも増加します。初期値100から調整してください。 - 最適化結果は自動的にデプロイされません。生成されたプロンプトを人間が確認してから適用してください。 - GEPARootAgentPromptOptimizerはルートエージェントの指示のみを最適化します。サブエージェントやツール定義の最適化には別のアプローチが必要です。 ✨ ADKのOptimization Frameworkは、プロンプト改善を「職人技」から「データドリブンなプロセス」に変革します。評価→最適化→再評価のループを回して、エージェントの品質を継続的に向上させましょう! #ADK# #AIAgent#
もっと見る
# AIエージェントをエンタープライズシステムに組み込む意思決定ポイント # 汎用大モデル vs 小型FT|推論エンジンの選択 🎯 ポイント エージェントの推論エンジン、GPT-4クラスの汎用大モデルをプロンプトで制御するか、タスク特化の小型ファインチューニング(FT)モデルを使うか。「大きいほど賢い」は正しいですが「大きいほど正解」ではありません。タスクの多様性・呼び出し頻度・コスト制約・変化の速度によって最適解が変わります。多くのエンタープライズでは、まず汎用大モデルで始めてログから教師データを蓄積し、高頻度タスクから順にFTに置き換える段階的移行が現実的な最適解です🔑 📋 概要 汎用大モデル+プロンプトは、タスクが多様で事前に列挙しきれない場合、ビジネス要件の変化が速い場合、新しいツールやAPIの追加にプロンプトの変更だけで対応したい場合に強みを発揮します。小型FTモデルは、タスクが狭く定義され入出力パターンが安定している場合、呼び出し頻度が高くコスト削減が重要な場合、レイテンシ要件が厳しい場合に適しています。両者は排他ではなく、ルーター+専門モデルというハイブリッド構成で組み合わせるのがエンタープライズの標準的なアプローチです📊 🔍 意思決定のポイント 判断フローは以下の通りです。 タスクの種類が10以上あり頻繁に新しいタスクが追加されるなら、汎用大モデルを選びましょう。プロンプト変更だけで新タスクに対応できる柔軟性が決定的な優位性です。 月間リクエスト数が数十万件以上なら、小型FTのコストメリットを試算してください。API呼び出しコストだけでなく、学習コスト・GPU運用コスト・教師データ管理コストも含めた総所有コストで比較することが重要です。 レイテンシ要件がP95で500ms以内なら、小型FTを優先的に検討しましょう。大規模モデルの推論時間では達成困難なケースがあります。 教師データを数千件以上用意・継続的に更新できないなら、汎用大モデルに留めましょう。不十分な教師データでFTしても、汎用大モデルの精度を下回ります。 ビジネス要件の変更頻度が月次以上なら、再学習コストを考慮して汎用大モデルを維持する方が有利な場合が多いです⚡ 💡 要点と詳細 ハイブリッド構成の3パターンを理解してください: ルーター+専門モデル — 汎用大モデルでリクエストの意図を分類し、定型タスクは小型FTモデルにルーティングします。意図分類のコストは小さく、専門タスクの推論コストを大幅に削減できます。Slack Botが全社横断の質問を受け付け、チケット分類は小型FT、複雑な調査は汎用大モデルという振り分けです。 FTで下書き、大モデルで仕上げ — 小型FTモデルで高速に下書きを生成し、品質が重要なケースだけ汎用大モデルで検証・修正します。コストと品質のバランスを取る実用的なパターンです。 段階的移行 — 初期はすべて汎用大モデルで運用し、呼び出しログから教師データを蓄積して、高頻度タスクから順に小型FTに置き換えます。これが最もリスクが低く、多くのエンタープライズが採用するアプローチです🔄 ⚖️ トレードオフ 早すぎるFT投資は最もよくある失敗です。十分なログが溜まる前にFTモデルを構築し、精度が汎用大モデルを下回ります。最低でも3か月分のログを蓄積してからFTを検討してください。PoC段階でFTに手を出すのは時期尚早です😰 FTモデルの陳腐化も深刻です。ビジネスルールや製品ラインナップが変わったのに教師データが更新されず、古い知識で回答し続けます。再学習パイプラインの自動化は、FTモデルの運用における必須投資です。 コスト比較の誤りも多発します。API呼び出しコストだけで比較し、FTモデルの学習コスト・推論インフラ(GPU)運用コスト・教師データ管理コストを見落とします。TCO(総所有コスト)で比較しないと判断を誤ります。 品質評価の欠如も見逃せません。FTモデルの精度を定期的に評価せず、モデルドリフトに気づきません。汎用大モデルとのA/Bテストを継続的に行う仕組みが品質保証の基盤です⚠️ 🛠️ ユースケース 全社ヘルプデスクエージェント(Slack Bot):IT・総務・人事・経理の幅広い問い合わせに対応。汎用大モデルで意図を分類し、チケットカテゴリ・優先度の自動振り分け(月間数万件)は小型FTにルーティング。複雑な調査や新しい種類の質問は汎用大モデルで処理します📚 チケット分類エージェント(Zendesk連携):毎日数万件のサポートチケットのカテゴリ・優先度・担当チームを自動分類。呼び出し頻度が高く入出力パターンが安定しているため、小型FTが最適。教師データは月次で更新し、汎用大モデルとのA/Bテストで精度を監視します🏢 商品レビュー分析エージェント(Shopify連携):商品レビューの感情分析とタグ付けを小型FTでバッチ処理。レビューから得られた顧客インサイトの要約は汎用大モデルで生成。定型的な分類はFT、創造的な分析は汎用大モデルという明確な役割分担です🔧 実践のコツ:「まず汎用大モデルで始めて、ログを溜める」が鉄則です。3か月分以上のログから高頻度タスクを特定し、教師データを構築し、FTの効果を汎用大モデルとのA/Bテストで検証してから置き換えてください。FTへの移行はデータドリブンで判断しましょう💪 #AIエージェント# #エンタープライズアーキテクチャ#
もっと見る
「実際に数字を見たら、想定していた仮説と全く違った…!」。 9月に開いた弁護士ドットコムの社内データハッカソンの発表会で、参加チームの多くのメンバーから同じ声を聞きました。分析したのはデータの専門家ではなく、各事業本部のマーケティング、企画や営業のメンバーです。Claudeを使って、自分の事業の「なぜ」を自分たちでデータから確かめたのです。 データハッカソンは8月上旬の開催告知と同時に想定を上回る応募が集まり、選考を経て5チーム17名が挑みました。 期間は4週間。合言葉は「仮説は人間、検証はAI」でした。数字を見る前に人が仮説を立て、AIが出した数字も別の切り口から確かめます。「AIは速い手足であって、問いの持ち主ではない」という考え方です。事業を知る現場の人が問いを持ち、AI×データの分析から打ち手を考えていく。その進め方を大切にしました。 クラウドサインのチームは、既存のユーザーさんや過去の商談に着目し、新規獲得に頼らず売上を伸ばす打ち手を探りました。リーガルブレインのチームは、ユーザーさんのつまずきの兆しを「起きる前に」捉える指標づくりに取り組みました。 弁護士ドットコムからは2チームが挑みました。1つめのチームは、弁護士の皆さんにこちらからサービスをご案内するとき、「より必要とされている方により最適なタイミングで行うためにはどうすべきか」という観点で分析を行いました。2つめのチームは、弁護士ドットコムサイトに検索から訪れる人を増やすため、読まれている記事の傾向、検索環境の変化、書き直しの方針という3つの方向から分析しました。 1位に輝いたのは税理士ドットコムのチームです。業務の最適化や税理士の皆さんの満足度向上をはじめとして、「みんなの税務相談」から紹介への導線づくりに至るまで、紹介事業の課題をメンバーそれぞれの視点で掘り下げました。 私は審査員として参加しました。 1チーム5〜6分の短い発表でしたが、どのチームの話にも深掘りしたくなる中身が詰まっていました。感覚(仮説)とデータのずれを、現場の人が自分で見つけていく。そこにこの取り組みの一番の価値があります。 この4週間を支えたのがデータ本部です。キックオフでAIを使った分析のコツを講義し、各チームに伴走役を1人ずつ付け、毎週のチェックインで「今週は何を確かめるか」を一緒に決めてきました。社内のデータ基盤「ODIN」にClaudeから直接問い合わせられる仕組みを用意し、足りないデータについては取り込みや整形まで引き受けました。発表当日の午前まで、伴走役がチームと一緒に最後の数字を確かめてくれていたと聞いています。最初に渡したプロンプトの例と毎週の壁打ちがなければ始められなかった、と振り返るメンバーもいます。 参加者からは「AIをどう実務に活かすか、具体的にイメージが掴めた」という声が上がりました。業務を知る自分で分析した方が、分析を頼むより速い場面がある。日々の疑問をその場で確かめられるので、方向性で迷わなくなった。そんな声も届いています。AIは普通に間違うから、仮説を持って向き合うことが大事だと書いてくれた人もいました。4週間前に掲げた合言葉が、そのまま参加者の言葉になって返ってきました。 データハッカソンの後もClaudeで分析を続けたいという相談も届いています。仕事の進め方が変わり始めた、自分の事業部にも広げたいと話すメンバーもいます。発表を見た社員からも、ガイド記事のチームの分析結果を自分の部署でも使いたいという声が寄せられました。 一方で、課題も見えました。AIが出した数字が正しいか、どう確かめればいいか分からないという声が複数ありました。通常の仕事と並行して時間をつくるのが大変だったという声もあります。分析を現場に広げるほど、数字を確かめる手順と、取り組む時間の両方を会社として用意する必要があります。 弁護士ドットコムはAIとデータドリブンで経営され、事業成長していく「データテックカンパニー」を強く志向しています。 CDOの川端くん1人から始まったデータ本部は今や大規模組織化しつつあり、1,250を超えるデータモデルを整え、全社で使うデータ基盤を築いてきました。弁護士ドットコム社は、現場の一人ひとりが自分の問いを持ってこの基盤とデータを使いこなすデータテック企業へと日々変貌を遂げています。
もっと見る
データを社外に出さないオンプレミスAI「LLM Link」が、デジタル化・AI導入補助金(旧IT導入補助金)の対象ITツー...
データセクション、CyberGym創業者兼CEOのOfir Hasonが参画
データ分析AIエージェント「Srush AI」、【ASPIC AI・クラウドアワード2026】で「AIデータ活用系ASP・SaaS部門」に...