一串经纬度坐标,用文本形式交给模型,问题只有两个选项,陆地还是水,重复一万六千多次,把回答画出来就是一张世界地图。
坐标只是普通数字,答案沉在权重里,那是互联网被压缩之后留下的空间结构。
单独一次提问给出的只是一小片薄片,堆到足够多,整片大陆的轮廓自己浮出来。
换成直接生成答案,读到的是一个答案;改成海量是非题再聚合,读到的是训练分布的截面。两种问法拿到的东西不一样,成本结构也不一样。
探针画出的地图带着偏向。语料稀薄的地方糊成一片,这份偏向属于互联网,不属于地表事实。看到一个很高的准确率时,先分清它测的是世界,还是语料。
一个廉价的二选一问题,问到足够的次数,就成了一次测量。
顯示更多