가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』 
가입 January 2018
388 팔로잉 중    2.8K 팬
画像AIに「何が写っているか」だけでなく、「答えの根拠はどの画素か」まで学ばせるXiaomi-Lens-0の技術報告( Qwen3.5を土台にした40億パラメータのモデル。対象を四角で囲むだけでなく、その形に沿って画素を選ぶマスクを出す。追加の画像エンコーダーで切り抜くのではなく、言葉を生成するときと共有する画像特徴から、軽量なデコーダーでマスクを作る。 面白いのは、この学習が切り抜き以外にも効いていること。RefCOCO系の8つの評価区分では、指示された物の位置を当てるスコアが土台のモデルより平均5.6ポイント改善。物体を数えるCountQAの正解率も43.8%から50.6%になった。 途中の説明に出てくる対象もマスクで示せる。たとえば物を一つずつ数えるなら、それぞれをどの領域として扱ったか確認できる。ただし、推論時に切り抜き画像を再入力しているわけではなく、マスクは文章生成と並ぶ出力になっている。 弱点も残る。独自評価LensBenchでは、対象をはっきり名指す指示より、用途や文脈から対象を推測する指示が難しい。特に、パノラマ画像の中から複数の対象を選ぶ条件で性能が落ちる。 画像全体をもっともらしく説明できることと、小さな対象を正確に数えたり選んだりできることは別。回答文だけでなく、対象の範囲まで学習で合わせるのは、実務で画像AIを使ううえでも大事な方向だと思う。
더 보기