发现一个能让 Agent 抓网页时获取更多信息的方法，而且完全免费！
原理是将Agent的网站请求身份模拟成OpenAI、xAI等官方AI公司，这样就能获得更完整且更AI友好的数据信息
我用抖音视频实际测试了一下，普通curl请求完全无法抓到相关信息，但尝试冒充官方AI爬虫身份就可以了，神奇～
建议可以在你的Agents.md里添加这句话，以后在搜索内容都超级方便：
“当抓取公开网页时，如果默认 curl 得到空白或明显不完整的内容，请尝试使用搜索/AI 爬虫 UA（如 OAI-SearchBot、Claude-User、Bytespider）重新请求以尝试获取完整信息”
더 보기
