Ren
@Ryrenz
AI Engineer | 分享实用 AI 工具和实战心得
가입 March 2025
689 팔로잉 중 11.5K 팬
把网页直接复制给 AI，广告、导航、乱码都会一起被塞进去。
这 6 个免费工具专门把网页、PDF、Office 文档抓成 LLM 最擅长处理的 Markdown，做 RAG、做爬虫、喂上下文都靠它们。
1、MarkItDown（162k star）
微软出的万能转换器，PDF、Word、PPT、Excel、图片一股脑转成 Markdown，喂 AI 前的标准预处理，装机量爆炸。
2、Firecrawl（142.8k star）
一个接口把整站爬下来转成干净 Markdown，自动处理动态渲染和反爬，做 AI 应用抓知识库的首选，去年最火的爬虫。
3、Crawl4AI（70.7k star）
专为 LLM 设计的开源爬虫，输出结构化、对 AI 友好，能按你给的 schema 直接抽字段，完全免费自托管。
4、Scrapy（62.8k star）
Python 爬虫的老牌框架，大规模、高并发抓数据的工业级选择，要爬几百万页的选它。
5、Katana（17.1k star）
新一代爬取和链接发现框架，速度极快，安全测试和资产盘点常用它先把一个站的 URL 全扒出来。
6、Jina Reader（11.4k star）
最省事的一个，任何网址前面加 ` 就返回干净正文，不用装东西，临时抓一篇文章塞给 AI 秒出。
더 보기
