登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 合成データセット
合成データセット コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
合成データセット を含む検索結果
NVIDIA、日本のエージェント型AI開発を支える2つの合成データセットを発表
表形式データの基盤モデル、実は「目的変数だけ」を予測する設計に留まっていました。テーブル全体の変数間の関係そのものを学習させる新しいパラダイムが登場しています。 タイトル: LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence URL: 📝 概要 「Contextual Mechanism Networks(CMN)」という新パラダイムで、目的変数y だけでなくテーブル全体の同時分布p(x, y)を学習し、分類・回帰・欠損値補完・因果構造探索を単一モデルでこなします。 ❗ 解決する課題 既存のPFN系手法は目的変数の条件付き予測のみに特化しており、変数同士の依存構造を明示的に扱えていませんでした。 ⚙️ 方法論 セル単位の埋め込みとデュアル軸トランスフォーマー(24層)で、コンテキスト行とクエリ行の一部をマスクして特徴とターゲットを同時予測する「Context-Conditional Masked Modeling」で学習します。構造因果モデルに基づく合成データで大規模に事前学習しています。 📊 実験結果 TabArena(51データセット)でEloスコア1935(比較対象1818)、BCCO(156データセット)で累積勝数が2.06倍。因果構造の復元でも6データセット中6つでF1スコア最優秀を記録し、パラメータ数はTabFMの4分の1で上回りました。 🔬 ユースケース 分類・回帰だけでなく因果探索にも同じモデルが使えるため、データ分析パイプライン全体を1つの基盤モデルで置き換えられる可能性があります。 #表形式データ# #機械学習#
もっと見る
便利だけど知られていないOpenAI APIの機能 📦 数千件のLLMリクエスト、1件ずつ投げて料金明細にため息をついていませんか? OpenAIの「Batch(バッチ)」機能を使えば、大量のリクエストをまとめて非同期実行し、大幅な割引価格で処理できます。評価・分類・データ生成など、リアルタイム性が不要な大量ジョブの定番手段です。 📌 タイトル:Batch(バッチ) 🔗 URL: 🧩 概要 LLMを大量に呼ぶワークロードでは、1リクエストずつ同期的に投げるとコストもレイテンシも膨らみます。Batch APIはリクエストをJSONLファイルにまとめてアップロードし、一括で非同期処理してくれる仕組み。通常のAPI呼び出しに比べて大幅に安く、結果は完了後にまとめて取得できます。 🛠 使い方 リクエストをJSONL形式のファイルにまとめてアップロードし、バッチジョブを作成します。処理が完了したら結果ファイルをダウンロード。各リクエストは通常のChat Completionsと同じフォーマットなので、既存のプロンプトをそのまま流用できます。Webhooksと組み合わせれば、完了通知を自動で受け取ることも可能です。 🏗 本番システムへの組み込み方 ・データセットの一括分類・ラベリング:数万件のテキストをカテゴリ分けする処理を夜間バッチで回す。翌朝にはラベル付きデータが揃う。 ・合成データ生成パイプライン:学習用データの生成を大量に回す場合、バッチの割引が効いてコストが大きく変わる。 ・モデル評価・ベンチマーク:複数プロンプトの品質比較を一括実行。結果をまとめて分析できる。 ・定期的な要約・レポート生成:毎週の記事要約や顧客フィードバック分析など、まとめて処理するジョブに。 💡 ユースケース 🗂 大規模テキスト分類・タグ付け 🧬 合成データ・学習データの生成 📊 モデル評価・プロンプト比較 📝 定期バッチでの要約・抽出処理 ⚠️ 注意点 バッチ処理は非同期なので、結果が返るまでに時間がかかります。リアルタイム応答が必要な場面には使えません。また、バッチ内の個別リクエストが失敗することもあるので、結果ファイルのエラーハンドリングは必ず実装しておきましょう。大量ジョブを投入する前に、小さなバッチでテストするのがおすすめです。 ✨ 大量処理のコスト削減は「まとめて投げる」が基本。まずは評価パイプラインをバッチに切り替えて、料金の差を実感してみてください。 #OpenAI# #LLM#
もっと見る
便利だけど知られていないOpenAI APIの機能 📦 数千件のLLMリクエスト、1件ずつ投げて料金明細にため息をついていませんか? OpenAIの「Batch(バッチ)」機能を使えば、大量のリクエストをまとめて非同期実行し、大幅な割引価格で処理できます。評価・分類・データ生成など、リアルタイム性が不要な大量ジョブの定番手段です。 📌 タイトル:Batch(バッチ) 🔗 URL: 🧩 概要 LLMを大量に呼ぶワークロードでは、1リクエストずつ同期的に投げるとコストもレイテンシも膨らみます。Batch APIはリクエストをJSONLファイルにまとめてアップロードし、一括で非同期処理してくれる仕組み。通常のAPI呼び出しに比べて大幅に安く、結果は完了後にまとめて取得できます。 🛠 使い方 リクエストをJSONL形式のファイルにまとめてアップロードし、バッチジョブを作成します。処理が完了したら結果ファイルをダウンロード。各リクエストは通常のChat Completionsと同じフォーマットなので、既存のプロンプトをそのまま流用できます。Webhooksと組み合わせれば、完了通知を自動で受け取ることも可能です。 🏗 本番システムへの組み込み方 ・データセットの一括分類・ラベリング:数万件のテキストをカテゴリ分けする処理を夜間バッチで回す。翌朝にはラベル付きデータが揃う。 ・合成データ生成パイプライン:学習用データの生成を大量に回す場合、バッチの割引が効いてコストが大きく変わる。 ・モデル評価・ベンチマーク:複数プロンプトの品質比較を一括実行。結果をまとめて分析できる。 ・定期的な要約・レポート生成:毎週の記事要約や顧客フィードバック分析など、まとめて処理するジョブに。 💡 ユースケース 🗂 大規模テキスト分類・タグ付け 🧬 合成データ・学習データの生成 📊 モデル評価・プロンプト比較 📝 定期バッチでの要約・抽出処理 ⚠️ 注意点 バッチ処理は非同期なので、結果が返るまでに時間がかかります。リアルタイム応答が必要な場面には使えません。また、バッチ内の個別リクエストが失敗することもあるので、結果ファイルのエラーハンドリングは必ず実装しておきましょう。大量ジョブを投入する前に、小さなバッチでテストするのがおすすめです。 ✨ 大量処理のコスト削減は「まとめて投げる」が基本。まずは評価パイプラインをバッチに切り替えて、料金の差を実感してみてください。 #OpenAI# #LLM#
もっと見る
Elith が NVIDIA 主導の金融向け日本語合成ペルソナデータセット「Nemotron Personas Finance Japan」の開発を支援
公開されている会話データだけで、実運用でのAIの安全性の失敗を予測できるのか?🔍 OpenAIがその精度を桁レベルで検証した研究です。 タイトル: Can public chat data predict real-world AI misalignments? URL: 🔍 概要 公開会話データセットが、デプロイ済みモデルの実際の安全性の失敗をどこまで予測できるかを検証した研究です。外部の研究者が本番データにアクセスできない、という評価のギャップに正面から取り組みます。 ❓ 解決する課題 フロンティアのAIラボは実世界での失敗の内部証拠を持ちますが、機微なユーザーデータゆえ外部と共有できません。 ・「最も有益な証拠が、作ったラボにしか手に入らない」という非対称性があります ・合成プロンプトの公開ベンチは、本物の利用や固有の失敗を反映できているか疑問でした 💡 方法論と提案手法 ・公開データWildChat(ChatGPT会話100万件)から約10万件をサンプリング ・最近のOpenAIモデル5種で最終応答を再生成 ・GPT-5 Thinkingをジャッジに、19の安全性カテゴリで採点 ・各モデル20万件以上の本番データの失敗率と比較 📊 実験結果 ・WildChatの予測の95%が、本番失敗率に対して1.04桁以内(内部シミュレーション比で約1.86倍の誤差) ・傾き1.2(R=0.65)で、4桁にわたる失敗頻度で比例関係を維持 ・GPT-5.1の「電卓ハッキング」のようなモデル固有の失敗も同程度の率で出現 ・一方、ツール使用のエージェント的失敗では誤差が37倍に拡大し、限界も明確に #AI安全性# #評価#
もっと見る
TL;DR: 乱立するベクトル量子化手法を、共通の小さな部品(プリミティブ)の組み合わせとして統一的に扱い、同一条件で比較できるベンチマーク「VQ-bench」をPineconeが公開しました。 タイトル: VQ-bench: a Composable Vector Quantization Framework URL: ポイント 🧩 Center・Normalize・PCA・RandomRotateなど、量子化を構成する共通プリミティブを定義し自由に組み合わせ可能に 🔗 E-RaBitQなどの既存手法も「Center→Normalize→Random Rotation→Angular Cast」の4プリミティブの並びだけで再現 📊 VIBEの5データセット・14種類の量子化器をReconstruction MSE・Recall@10・エンコード時間で横並び比較 🥇 PQとOPQが一貫して最小のReconstruction MSEを記録 ⚡ EDENはPQ/OPQ/E-RaBitQより大幅に高速なエンコードを実現しつつRecallも高水準を維持 🛠️ 新規量子化器の追加は数行のコードで済み、新規プリミティブは既存の全部品と自動的に合成可能 バラバラだった量子化手法の評価が同じ土俵に乗ったことで、用途に応じた選定がしやすくなりそうです。 #ベクトル検索# #ベクトルDB#
もっと見る
Physical AIでざっくり要るのは ・合成データを作るシミュレーション ・知覚と動作をつなぐ基盤モデル(VLA) ・機体で動く省電力の推論チップ ・現実とのギャップを埋める検証 言葉を返すのと物を動かすのは、難しさの種類が違う。
もっと見る
データ不足という人もいるけど、ここまで専門の能力が高いのならば、質の高い合成データもどんどん合成されているでしょう つまり計算資源さえあれば、スケーリング則は保たれ、知性は加速する
もっと見る
ここ数年、生成AIで複雑なデータ処理を実践するために、検証用の合成データを作る手法をアレコレ実装検証してきたけど、共通して良かったプラクティスは「1. 答えから先に作る」「2. 構造的に作る」「3. 生成AIやプログラムが成果物を評価し修正できるように作る」だと思う。 例えば日本語ドキュメント検索の文書データを作る場合、まずはドキュメントの構造と検索要件、期待する検索結果を用意して、目的の評価指標を定義してドキュメント化する。生成はその後。1.と3.が満たせていればテストしながら生成と開発をループできるし、2.が満たせていればプログラムから適切に読み込んで定義できる。 経験上、ドキュメントだけでなく、画像や動画も同様にこのプラクティスは使える。
もっと見る