我靠,就在刚刚:Google 放出大招 EmbeddingGemma 2:第一个原生多模态、能在手机上跑的开源嵌入模型。🔥
它把文字、代码、图片、音频、视频放进同一个向量空间。你可以用一段语音备忘,直接找视频里的某个瞬间;也可以用一句话,去搜几小时的录音。不用先转写,也不用把文件上传到云端。
模型约 7.4 亿参数;只做文本和代码,加载 2.7 亿的核心就够。视觉编码器 1.7 亿、音频编码器 3 亿。
量化来说,在 Pixel 11 Pro 上,纯文本大约只占 191MB 运行内存,完整多模态大约 567MB,也就是半个 G 左右。
向量还能从 768 维截到 128 维,本地库存最多能少到原来的六分之一,上下文 8192 token。
搜索不再只比文字。图片、声音、视频可以互相找,而且可以留在自己的手机里。
感兴趣的赶紧来研究!
#
EmbeddingGemma# #
端侧AI#
Meet EmbeddingGemma 2, our first natively multimodal open model for on-device embeddings.
It expands beyond text to unify code, images, audio, and video in a shared space. 🧵