分享一下我做的一套下载系统,
Universal Content Intake,已经在 GitHub 开源了!
地址👇:
它是个全能的下载工具。我把目前各个类别的下载引擎做了统一的集成,所以视频(支持 1700 多个网站)、PDF 和各类文档、图片和图集、文章、整页网页、云盘链接,都支持下载,只需要一个链接,同时支持英文视频自动翻译并压制中文字幕。
用的时候只需要给你的 AI 发个消息:“帮我下载这个视频 / PDF / 图集 / 文章 / 网页 / 云盘文件”,然后附上链接。
能下载只是起点,每一类资料,它都会按这类资料最合适的方式来存:
视频:支持 1700 多个网站,YouTube、B 站都在里面。默认下载1080p,也可以要 720p、2K、4K 或最高画质;
PDF 和文档:PDF、Word、Excel、PPT、压缩包,给直链就能下;大文件还能断点续传(需要装一个叫 aria2 的小工具),网断了接着下,也不需要从头再来。
图片和图集:单张图,或者一整组图集一次下完,每张都会校验。中途有几张失败,已经下好的会保留,在接着补失败的。
文章:只取正文,存成干净的 Markdown,标题、作者、发布时间都带着。直接丢给 AI 改写、做摘要、写口播稿,都可以。
整页网页:一次存三份:离线网页(断网也能打开,排版和图片原样保留)、Markdown 和 PDF。适合留证据、做存档。
云盘分享链接:Google 云端硬盘的分享链接直接下;用 rclone 配置过的网盘也能直接下。
里面还藏着几个小心思:
1、说了就照做,没说就判断。
你说“下载这个 PDF”,它就按文档下载,不做多余的检测;如果只是给一个链接,它会按顺序判断这个链接背后到底是什么内容:先看是哪个平台,再看文件扩展名,最后看服务器返回的内容类型,然后根据不同的内容调用不同的下载引擎。
2、分得清“文章”和“网页”。
如果只想要正文,那它就只取文字;想留存证,它就会把整页原样下载保存下来。
下载结果放进统一的文件夹,用原标题命名,还会附一份信息说明,包含:原链接、作者、发布时间,以后用来署名和追溯都用得上。
3、精准识别原声。
比如现在很多视频有 AI 配音,一条视频可能带二十多条音轨,这套系统会在下载时准确定位原声音轨。
4、自己会升级。
视频下载引擎每周自动更新并自检,新版本出问题就自动退回老版本,最大程度保证程序可用。
5、不用登录。
默认匿名下载,不需要碰你的任何账号;只有你主动打开这个选项,遇到需要登录才能看的视频时,才会借用浏览器的登录状态。
6、中文不乱码。
有些网页的编码写得不规范,它会先认准编码再解析,中文标题和正文不会变成一堆问号乱码。
同时自带的视频翻译和压制,整个过程都在你自己的电脑上完成,不调用任何收费的云服务。
字幕:优先用视频自带的人工字幕;没有的话,用本机运行的 Whisper 模型识别。
避开机器翻译字幕:YouTube 自带的机器翻译字幕质量不稳定,还最容易触发限流,系统会直接跳过,改用原始的语音识别字幕,然后自己翻。识别前还会先做一次人声检测,没人说话的视频直接跳过翻译字幕。
翻译:用 macOS 自带的 Apple 翻译,在本机译成简体中文。
压制:用 ffmpeg 和思源黑体把中文字幕压进画面,原声保持不变。

顯示更多