姚金刚
@yaojingang
第二届GEO大会报名中 11-21/22日 深圳宝安
报名入口：
AI营销与教育科技创业者，持续开源GEOFlow / YAO Skills / AI Tools
周更《姚金刚认知随笔》：
参加 July 2022
434 フォロー中 24K ファン
非常感谢大家对于这个开源项目的关注和支持
这个系统最大的挑战在于：服务器的数据日志数据量，要远大于普通访客的数据量
对于很多网站，每天的AI爬虫日志数据，可能超过上千万行，所以，缓存机制设计、分库分表的机制等等，都需要持续优化
还有就是大量的爬虫，也会通过js混入到人类访客的数据里，同时，大量的爬虫也会伪装成人类的访客行为去爬取数据，或者通过匿名来去访问数据，这也增加了这个系统的复杂性
不过，这些都会慢慢通过持续的迭代，今天，也有擅长大数据并发和缓存优化的技术大神加入，协助持续迭代系统，已经在开始做系统的相关优化了👍
もっと見る
重磅开源：GEOInflow
一套面向GEO的网站与AI爬虫分析系统，同时支持完整的访客数据、转化数据统计与分析
MIT协议，Docker一键部署
GEOInflow将网站访客、AI搜索引荐、服务器抓取日志和内容目录放在同一个网站上下文中
帮助团队回答这些问题：哪些 AI 蜘蛛访问了网站，访问了哪些内容，哪些关键页面长期缺少抓取记录，访问是否遇到错误，以及AI搜索实际带来了多少访客和转化
核心逻辑与能力：
1、哪些AI平台在抓你的站（OpenAI、Anthropic、Perplexity、Google、字节、百度、Kimi、腾讯混元…），是训练、AI 搜索，还是用户触发的访问。包括，抓了哪些页面，哪些关键页从没被抓过
2、同时可以追踪AI搜索引荐来的会话、落地页和转化，看清GEO的真实效果
3、它也是一套完整的网站统计：PV/UV、事件漏斗、热力图、留存、团队权限与分享
4、核心统计无需模型API Key，默认无Cookie采集，数据留在你自己的服务器上
5、系统已整理61种全球范围内各种不同的AI爬虫身份及分类，在这个基础上构建了大量的全新数据分析看板
做GEO，每一次内容调整都值得有数据可以复盘
欢迎体验和提PR
GitHub地址：
もっと見る
