登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 マルチモーダル
マルチモーダル コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
マルチモーダル を含む検索結果
マルチモーダルAI(画像と文章を一緒に理解して答えるAI)が「自分で描いた図を本当に見て考えているか」を検証した論文が出た(https://arxiv[.]org/abs/2607.26769)。 GPT-5.5やGemini 3.5 Flashなどの最新モデルは、問題を解く途中で補助線を引いたり対象に印をつけたりと、人間が紙に書き込むような視覚的な操作を自分で生成しながら考えるようになってきた。ただ、その絵が答えを導く助けになっているのか、単なる飾りなのかは、これまできちんと切り分けられていなかった。 研究チームはSee2Thinkという評価の枠組みを作った。幾何・3D空間認識・日常シーンの読み取りなど12カテゴリ、合計1,200問を用意し、AIが「考える→図を描く→描いた結果を見てさらに考える」流れを記録する。実験の一つでは、AIに見せる描画結果をわざと間違ったものにすり替え、AIが本当にその絵に依存しているかも確かめた。 結果はややちぐはぐだった。AIが「どこに何を描くべきか」を選ぶ判断の妥当性(論文ではAction Relevanceと呼ぶ指標)は全体平均で96.4〜98.8%とほぼ満点なのに、実際に描いた絵が指示通り正確に再現されているか(Render Faithfulness)は58.6〜65.6%にとどまる。狙いは正しくても手元が狂う工程こそが最大のボトルネックで、どの条件が一番強いかもモデルごとにバラバラで万能な戦略はなかった。 「指定された麻雀牌を1枚拾う」のようなロボット操作の指示になると、モデルや条件を問わず正答率は0〜4%まで落ち込む。さらに、わざと間違った絵を見せる実験では特に3Dの空間問題で正答率が最大15.5ポイントも落ち込んだ。正確に描けても得点はさほど伸びないのに、間違った絵には引きずられて答えを変えてしまう。「絵を使って考えるAI」も、まだ自分の描いた絵を十分に使いこなせていない、という結果だ。
もっと見る
【新着】マルチモーダルAI「Jev-Omni」が1モデルで4モダリティに対応 動画版のJevはアツい。早速試してみます。 他のOSSは大抵どれか欠けるが、これは全部乗せで推論100ms未満。 ・text/image/audio/videoを1モデルで処理 ・Typed-benchmarksでJevと同水準(開発者主張) ・8×H200で3万件学習、データミックス重視 ・1台のH100で推論100ms未満 ↓詳細
もっと見る
自己改善するマルチモーダルモデルは、「いつ新しい問題に入れ替えるか」を学習ログだけで決められる🔄 A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement 📌 概要 人手のラベルなしでVLMを自己改善させるとき、学習タスクのプールを適切なタイミングで更新する手法A-RSIを提案しています。 ⚠️ 解決する課題 ・多くの手法は「次に何を作るか」に注目し、「いつ入れ替えるか」を扱いません ・多数決などでラベルを作ると、モデル自身の誤りが学習目標になります 🧩 手法 ・ベースモデルがパラメータ付きのタスクジェネレータを書き、画像・質問・参照答えをプログラムで生成します ・GRPOで学習し、報酬は正答を最優先にします ・報酬にばらつきが残るプロンプト数が減るか精度が上がると、プール全体を未使用タスクに入れ替えます 📊 結果 ・Qwen3-VL-8Bの11ベンチマーク平均が57.77から61.05に上がりました。新規タスクは800件です ・毎ウィンドウ更新の60.64は3,200件で、4倍のタスクを使っています ・MiMo-VL-7Bでも59.08から60.71になりました 🔭 意義 検証スコアを使わずに更新時期を決められる点が実用的です。一方、各比較は1回の学習のみです。 #自己改善# #マルチモーダルAI#
もっと見る
Snowflakeを使った自動車向けマルチモーダル分散処理AIパイプライン開発のハンズオンを公開しました。 ハンズオンとは別に、この開発で学んだことベースのブログも書きました。
もっと見る
先月新しく発表したマルチモーダル AI モデル【Gemini Omni】 テキストや画像からだけでなく、動画の文脈や物理法則まで深く理解し、高度な動画生成・編集が可能になりました🚀 開発者やクリエイターのみなさんの活用例をご紹介します👇
もっと見る
Expo 注目ブース [EX18] 👉Gemini Notebook + Pixel 10 で操る マルチモーダルで、低ハルシネーションな AI リサーチ 音声や動画、インフォグラフィックなど、さまざまな形式で生成。ポータブルな AI リサーチ技術を実機で体験ください! 7/30, 31 開催 #GoogleCloudNext🗼#
もっと見る
『平等主義暴力―ポスト狩猟採集民トゥワとのマルチモーダル人類学』(ふくだぺろ著@春風社) 読売新聞7/12 中央アフリカの元狩猟採集民トゥワは、流血の乱闘を頻繁に起こしながら、すぐに歌い、踊り、笑い合う。ふくだぺろは、その暴力を支配や分断の手段ではなく、怒りや悲しみが身体を通じて交わる「共在」の実践として捉え直す。長編映画『トゥワ歌』などを収めた特設サイトと連動し、文字と映像で感情、身体、政治を問い直すマルチモーダル人類学。暴力をめぐる常識を根底から揺さぶる一冊。
もっと見る
画像を見ながらOCRや検索といった外部ツールを使って答えを出すマルチモーダルAIエージェントの評価を、最終的な正解率だけで済ませるのは足りない、と指摘する論文が出た( 正解にたどり着けたとしても、それが根拠のある推論の結果なのか、途中の誤りがたまたま打ち消し合って正解しただけなのかは、最終的な正誤だけでは見分けがつかない。論文はこうした失敗パターンを4つに整理しているが、なかでも厄介なのが「Phantom Grounding」と呼ぶ現象だ。証拠そのものは正しく引用しているのに、結論に出てくる数字や固有名詞がその証拠には書かれていない、一見もっともらしいのに中身が伴わないケースを指す。 研究チームが提案するLedgerMindは、推論の途中経過を1本のテキストに垂れ流すのをやめ、ツールの出力(OCR結果や検索結果など)を出どころ・種類・信頼度付きの「証拠台帳(Structured Evidence Ledger)」として記録する。以降の推論は台帳に載っている証拠しか引用できないうえ、引用しているだけでは不十分だとして、結論の数字や固有名詞が引用元の証拠と実際に一致しているかまで照合する。簡単な質問には軽い経路、複雑な質問には重い経路へ自動で振り分け、余計な深読みで正しい答えを崩す「考えすぎ」も防ぐ。さらに、間違いに気づいたときの修正も自由に書き直させず、証拠の差し替えやツールの呼び直しなど決まった操作だけに絞っている。自由な書き直しは、直しているつもりで新しい未検証の主張を紛れ込ませやすいためだ。 VTC-Benchというベンチマークでは、Gemini-3-Flashと組み合わせて58.9%(同じモデル単体の素の性能から+12.4ポイント)まで伸ばし、既存手法の最高値を更新している。検証した中で一番性能が低かったKimi-K2.6ほど伸び幅が大きく、あるサブベンチマークでは正解率が19.5%から46.0%(+26.5ポイント)まで跳ね上がった。もっとも興味深いのはアブレーション実験(仕組みを1つずつ外して効果を確かめる実験)で、この証拠台帳を丸ごと外すと正解率が68.9%から53.5%まで急落する。「証拠を引用しろ」と指示するだけでは足りず、構造として引用先を強制する部分こそが効いている、という結果だ。
もっと見る
【発表】PFNはNoetraに出資し、同社が推進するフィジカルAI向け国産マルチモーダル基盤モデルの開発に参画します。
【2/17までアーカイブ販売中!】 ふくだぺろ×藤井光 「暴力を映すことは可能か」 『平等主義暴力―ポスト狩猟採集民トゥワとのマルチモーダル人類学』(春風社)刊行記念
もっと見る