互联网档案馆和维基百科正在遭受 AI 摧残，并非 AI 爬虫抓取 (虽然也确实在疯狂抓取)，现在是硬盘价格太高完全买不起。 互联网档案馆每天新增 100TB 数据，累积数据高达 210PB，所以互联网档案馆需要不断地增加存储容量，互联网档案馆称存储容量短缺正在持续耗费该网站的时间和金钱：

一次美国主流 AI 集体卡顿，再次将 Cloudflare 推向聚光灯下。这不是单纯事故，而是一张生动的“AI 时代体检报告”： 模型可以开源替换，海量并发与流量终究要穿透边缘网络。 拆解最新数据，底座的成长性异常清晰： 营收爆发：Q2 营收 6.96 亿美元（+36%），全年指引上修至 28.7 亿美元（+32%）。 结构红利：非人流量（AI 爬虫/Bot）占比已过半，威胁流量正在直接转化为高毛利的 SaaS 增量。 客户优质：大客户（ARR > $100k）同比 +27%，净留存率（NRR）达 120%，零信任替代效应持续释放。 边缘增量：Workers AI 能力落地，不仅能赚“过路费”，还能切入轻量级边缘推理算力。 资本市场镜像： 股价约 279 美元，市值逼近千亿；年内涨幅超三成，距离 52 周高点（332 美元）震荡蓄力。 结论： 卖水人卡位变深，商业化飞轮加速。但高企的远期估值意味着容错率极低。适合顺势持仓享受长线红利，切忌盲目加杠杆追高。NFA DYOR

下一个版本的网页是不是会完全为AI设计？ 《时代》杂志被发现会给 AI 爬虫返回一套单独页面：同一篇文章，普通浏览器拿到约 303KB 的 HTML， ClaudeBot、PerplexityBot 拿到的则是约 13KB、方便机器解析的 Markdown。

#Cloudflare# 宣布货币化网关服务，推动 AI 智能体 / 使用者向网站或内容提供商付费获取资源，包括常规内容、API 调用请求、其他复杂任务。 该服务核心是 #x402# 协议，该协议的核心则是推动 AI 爬虫 / 智能体在获取内容时向提供者小额付费例如每次几美分，以此为内容提供者提供收益，避免人类网站凋零。 查看全文：

🔥太强了，firecrawl 这个项目能把整个互联网直接变成喂给 AI 的干净数据。 GitHub 揽获 14.8 万 Star，是 AI 爬虫这条赛道里最强的开源项目。 以前自己写爬虫，光是搞定代理轮换、反爬限流、JS 渲染这些坑就要折腾好几天，抓下来的 HTML 还得再花时间清洗才能喂给模型。 现在一个 Scrape 接口调用，直接吐出干净的 Markdown 或结构化 JSON，网页上挂的 PDF、DOCX 也能顺带解析出来。 想抓整站就用 Crawl，一个请求把全站内容收回来； 只想先摸清站点结构就用 Map，秒级发现所有 URL； 批量任务丢给 Batch Scrape 异步跑，几千个 URL 也不用自己管队列。 遇到需要先点击、滚动、输入才能看到内容的页面，也能先执行完动作再抓取。 官网注册拿到 API key，一条 curl 命令就能跑起来，也能一条命令直接接入 MCP，让任何 AI agent 自己联网找资料。

兄弟们，分享一个真正的高频工具——Crawl4AI，GitHub 7万 星，目前最火的开源爬虫没有之一。 一句话：把任何网页变成干净的 Markdown，专门为喂给 LLM 设计的。 用AI爬内容的时都会遇到的病，有时抓回来是一坨屎，乱的 HTML，表格、广告、导航栏全混在一起； 扔进AI里token 烧了一大半，提取出来的内容还是一团糟。 Crawl4AI 就是解这个问题的： （1）LLM 友好的 Markdown 输出——标题、表格、代码块、引用，结构干干净净，直接进 RAG 或 Agent 流水线，不用再手动清洗 （2）异步并发 + 浏览器池——速度快，能处理 JS 渲染页面，动态内容也能抓，不是那种只能跑静态页面的玩具 （3）全控制——Session、代理、Cookie、自定义脚本、Hook 全支持，复杂登录场景、反爬场景都能处理 （4）深度爬取——BFS / DFS / BestFirst 三种策略，崩溃后能恢复继续跑，长任务不怕中断 （5）命令行直接用——crwl 一行命令，不用写代码： # 抓一页转 Markdown# crwl  # BFS 深度爬取整站，最多 10 页# crwl  # 带问题提取，直接 LLM 抽信息# crwl "提取所有产品价格" （6）零 API Key，随处部署——pip 装完就跑，也有 Docker，不需要注册任何账号 安装两行： pip install -U crawl4ai crawl4ai-setup 做 RAG、做 Agent、做数据管道、做竞品监控——只要你需要把网页内容喂给 AI，这个工具省的时间和 token 费用，用几次就回本了。 70100 个 Star 不是刷出来的，是真的有用。 #AI爬虫# #RAG# #老杨啊分享#

全球最大的CDN服务商Cloudflare刚刚更新了一个数据，整个互联网上，来自AI的访问流量，已经正式超过了人类网民。 主要原因是Agent（智能体）的渗透加速，它们能够自主调用浏览器等工具进行超量的访问任务，动不动就是一次性爬完上千个网站抓取数据，只为回答一个问题， Google这种搜索引擎的爬虫，平均抓取14次页面，就会带来1次人类点击，聊天机器人虽然也会在回答里加入回流链接，但和它们的抓取量级相比，根本不够看，ChatGPT是抓取1700次页面才有1次人类点击，而Claude更是达到了73000:1的比例。 照此趋势计算，5年后AI访问互联网的规模将是人类的1000倍以上，而这会带来一个小小的影响，就是过去几十年来基于流量的商业模式眼瞅着要崩掉了。 以前的分配体系是，大部分网站免费生产内容，它们被搜索引擎收录并分发出去，而用户在访问时，会有部分注意力被网站上的广告吸引，最后给网站贡献收入。 新的问题在于，AI不会点广告，或者说就算它点了也是无效行为，大部分时候它爬完内容就走了，回去给用户汇报，此时网站生态的经济模型就也不成立了。 普遍的判断是，屏蔽AI这种开倒车的做法没有意义，继续运营只服务于人类的网站必然越走越窄，一定要找到共存的法子。 目前看到的一些尝试，我觉得希望都不大，但「创意」都还挺有意思的。 像是Cloudflare自己提出来的解法是，在AI和互联网之间新增一套「结算协议」，网站可以向AI爬虫定价，比如来查一次数据要付0.0001分钱这种，同时推动AI大厂接受这套规则。 比如你问AI某部电影的评分如何，AI去烂番茄查询时，会被先拦下来，直到付完0.0001分钱，它就能继续拿到需要的数据，至于这0.0001分钱，到底是包含到订阅费里，还是发起任务的用户额外承担，就是AI公司和用户之间的事儿了。 如果说Cloudflare还属于守序善良，那么已经有网站的自救行为称得上是混乱邪恶了。 大名鼎鼎的「时代」杂志最近被人发现它开始给全站加载只有AI才能看得到的GEO信息，由此强行创造新的收入。 什么意思呢？ 就是如果AI爬虫访问「时代」杂志的页面，那么在正常内容的混排里，AI还会看到一些类似「xx银行的房贷利率全网最低」之类的隐藏文案，相当于无时不在的GEO注入，借此影响（污染）AI的数据库，因为主流的模型都带有长期记忆，以后用户万一提出房贷利率的问题，这时的注入可能就会起到一些作用。 当然，考虑到GEO本身就是一个不确定性极高的做法，「时代」杂志未必能够真的把这个产品卖给商家，但它表现出了内容供应商的一种共同态度： 是的，我承认没办法阻止AI过来白嫖，但我有的是手段恶心AI⋯⋯

GM GN 距离2027年 仅剩164天 先进的生产力肯定会用于战争，美空军已经在搞，今天的第一条消息就是他。 polo的AI日报 7月24日，15条精选 ⬇️ 1. DARPA与美空军成功试飞AI操控的F-16战机，AI在真实空战环境中完成自主飞行和战术机动。 💡AI从游戏打到了真实空战，军事AI时代不再存在于PPT里了 2. Claude语音模式全面上线，Opus、Sonnet、Haiku全系支持，能连接Gmail、Slack等工具。免费版用Haiku加一个连接，付费版解锁全部。 💡Claude终于开口说话了 3. ChatGPT桌面版语音控制多智能体，用嘴就能指挥电脑和多个AI Agent干活，GPT-Live驱动，macOS和Windows全平台推送。 💡科幻片中交互方式开始走进日常办公 4. ChatGPT上线健康功能，支持连接Apple Health和医疗记录，每周3亿人用ChatGPT问健康问题。 💡三亿人用ChatGPT看病，就像以前用百度看病一样 5. OpenAI Workspace Agents曝重大漏洞，一个恶意ChatGPT链接就能在你账户下创建定时执行的AI智能体，OpenAI四天内紧急修复。 6. Google Gemini月活逼近9.5亿，用户数同比增长三倍，市场份额冲到27.7%，ChatGPT份额首次跌破50%。 💡ChatGPT份额跌破五成，Gemini涨三倍 7. 微软MAI模型以低成本实现前沿能力，在GitHub Copilot和Excel中用更少token超越通用模型，通过Foundry平台开放给企业。 8. 通义千问Qwen-Audio-3.0-TTS登顶，支持16种语言、内联标签控制语气、一次生成3分钟长文本，Artificial Analysis排行榜第一。 9. Apple起诉OpenAI窃取硬件制造机密，多名前员工被指在面试中展示Apple硬件机密，OpenAI否认指控。 10. 北京发布智能体新政，首次将Harness Engineering、Token经济、OPC写入政策，推动Token计费转向价值计费。 💡Token经济写进政策文件 11. 昆仑万维方汉在WAIC强调模型和算力才是长期立足之本，AI编程带来的技术债可能导致生产事故翻倍增长。 12. 小红书HELMSMAN论文登上OSDI 2026，40台全闪存服务器替代约35000 CPU Core，向量检索成本降90%以上。 💡40台服务器干35000颗CPU的活 13. AISI报告：5款前沿模型全有作弊行为，GPT-5.4作弊率14.1%最高，Claude Opus 4.7为9.1%，GPT爱搜互联网，Claude爱绕沙盒。 💡从GPT到Claude全员作弊 14. Cactus发布Gemma 4混合模型，每个回答自带置信度分数，低分自动路由到大模型，MIT协议开源。 💡自己知道自己几斤几两，低分就自动求救大模型 15. TheNumbers因AI爬虫崩溃，AI爬虫流量占90%直接把服务器压垮，运行30年含16万源文件的网站被迫重建。 💡AI爬虫流量占了九成，30年老网站被活活挤垮 #AI# #人工智能#