登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

検索結果 hotlist
hotlist コミュニティ
1つのキーワードが1つのコミュニティです。
コミュニティ作成
アカウント
見つかりません
hotlist を含む検索結果
動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#
もっと見る
動画AIは「答えられる」けど「いつ・どこで」をうまく指し示せない、という意外な弱点が浮き彩りになりました。 タイトル: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding URL: 💡 概要 香港理工大学とOPPO Research Instituteが、動画理解のための新しい包括的ベンチマーク「OmniCompass」を発表しました。50種類のモデルを対象に、時間的・空間的な位置特定能力と質問応答(QA)能力を同じ土台で評価しています。 🎯 解決する課題 既存のベンチマークは視覚情報のみ/音声視覚のみに偏ったり、QAか位置特定のどちらか一方しか測らなかったりと評価範囲が断片的でした。「テキストだけで対象を指定した場合」と「テキスト+参照画像で指定した場合」の予測が本当に一致しているかを測る仕組みもありませんでした。 🧪 手法 820本・80.6時間の動画(7ドメイン・52サブカテゴリ)に、同じ対象・同じ正解を共有するText設定とText+Image設定のペアを用意。視覚言語モデル向けのOmniCompass-VLとオムニモーダルモデル向けのOmniCompass-AVの2トラックで、時間グラウンディング(TG)・空間グラウンディング(SG)・QAの3タスクを統一評価します。両設定間の予測一致度を測る新指標「クロス指定一貫性スコア(CS)」も導入しました。 📊 実験結果 QAでは最高69.1%(VL)・78.2%(AV)まで届くのに対し、時間グラウンディングは最高でも27.1%(VL)・40.6%(AV)に留まり、「答えは出せるが位置は示せない」という大きなギャップが判明しました。オープンソースのトップモデルはAVトラックのCS平均で24.6%と、プロプライエタリのGemini-3.8-Flash(57.4%)に32.8ポイントもの差をつけられています。 #AI動画理解# #ベンチマーク#
もっと見る
個人向けAIエージェントの4種類の記憶について。その人をどう理解して、どう接するかまで分けていたのが面白かった。 現 Grok @bot のエンジニアで、@newcomputer のCEOの @sjwhitmore による去年の講演の文字起こし 個人向けAIのDotを開発する中で、記憶の作り方をどう変えてきたかという話。今は事業を閉じて、Cursor/Grok Botチームにjoinしたみたい この考えが、 Grok @bot にも反映されてるのかな。 ---- まず、①心の理解 (Holistic Theory of Mind) 直訳すると、「心の全体論」で、人間の心を「理性」や「感情」、「意識」や「無意識」、「心」と「身体」といった個別のパーツに切り離して考えるのではなく、すべてが有機的に結びついた「分割できない一つの統一体」として捉える思想・アプローチのことらしい その人が何を大事にしていて、何を目指し、自分をどう捉えているか。毎回プロンプトに読み込む。昨日の話題とは別に、会話の前提として持っておくもの。 ---- ②出来事の記憶 (Episodic) 日ごと、週ごとの要約。昨日や先週の会話など、時期を聞かれたときに引き出す ---- ③人や物の記憶 (Entity) 人、場所、物などの名詞ごとに情報を持ち、検索アルゴリズム、意味検索、キーワード検索を組み合わせて探せるようにする 会話の1行ごとに更新し、重複しそうなものは定期処理でまとめ直す。この処理をdream sequencesと呼んでいた。人間が寝てる時に見る夢の仕組みかな ---- ④振る舞いの記憶 (Procedural) こういう状況ではこう接する、というメモ。たとえば、言葉に出ていない感情や動機がありそうなら、質問して確かめる。話題の意味が似ているかより、今の状況が似ているかで呼び出す。会話の内容だけでなく、次の会話での接し方も更新していく感じか ---- これらを並行して参照し、常に読み込む心の理解と、その都度必要な記憶を1つのプロンプトに合成する。本人が「フランケンプロンプト」と呼んでいたのは、この組み合わせが毎回変わるかららしい ---- この仕組みを、Notionで作ってみて、ChatGPT, Muse、 Grok Botで参照しあえたら面白いかな。 過去の出来事を探せることと、自分の判断軸を踏まえて接してくれることは分けて考えたい。 今は、ログを全部渡せても、何を大事にしている人なのかを読み違えたままだと、次の提案もずれちゃうし、自分についての解釈を、自己修復しつつ訂正できるところまで欲しいな
もっと見る