註冊並分享邀請連結,可獲得影片播放與邀請獎勵。

檢索結果 数据采集
数据采集 貼吧
一個關鍵字就是一個貼吧,路徑全站唯一。
建立貼吧
用戶
未找到
包含 数据采集 的搜尋結果
📍 数据采集为什么需要城市级定位? 同一航班 不同城市IP查出来👇 🇺🇸 美国随机IP → $847 ❌ 🇬🇧 伦敦本地IP → £389 ✅ 价格差2倍+ 因为IP位置不同! 需要城市定位的场景: ✈️ 机票酒店比价 🛒 电商跨国比价 🔍 本地SEO监测 📱 广告效果验证 YiluProxy 190+国家 · 城市级 · 邮编级 🆓 #数据采集# #GeoTargeting# #代理IP# #YiluProxy#
顯示更多
爬虫/数据采集必备! 每5分钟自动更新验证的免费代理池 做爬虫、搞数据采集,最怕的就是代理失效。免费代理满天飞,但真正能用的少之又少,维护起来极其痛苦。 Proxifly 这个项目把这件事做到了极致: • 每5分钟自动抓取 + 验证,只保留真正可用的代理 • 覆盖 100+ 国家,目前稳定提供数千个可用代理 • 支持 HTTP / HTTPS / SOCKS4 / SOCKS5 全协议 • 按协议和国家清晰分类,去重处理,体验极佳 • 提供 JSON / TXT / CSV 三种格式直接下载 • 还有官方 NPM 包,一行代码就能在项目里调用 网站直达(支持在线筛选): GitHub(5.8k stars): NPM:npm install proxifly 对需要大量稳定免费代理的爬虫开发者、数据采集工程师、或者做自动化脚本的同学来说,这基本是「开箱即用」级别的基础设施工具。 把最烦人的代理维护问题外包给自动化系统,你只需要专注业务逻辑就行。
顯示更多
房子也能数据采集,物理AI扩散到地产,没想到吧😂😂😂 最大数采公司 龙一招商 龙二保利 龙三万科 杂毛大名城
机器人数据采集,今天吹的比较多,涨停了好几个
机器人数据采集的资本布局,其实早于机器人技术真正成熟。 目前高质量训练数据仅五十万小时,离智能涌现需要的上亿小时缺口巨大。 工厂模式靠 “购机 - 产数据 - 回购” 虚增营收,容易设备闲置、数据卖不动。 作坊端内卷严重,手机相机就能采集,层层转包,单价从两百多跌到最低 8 元 / 小时。大厂众包平台单价 10-20 元,采集者还要先付设备租金,从业者根本不清楚数据最终去向与真实价值。
顯示更多
中国自媒体数据采集神器!小红书、抖音、B站等多平台爬虫! 想系统采集小红书笔记、抖音/快手视频、B站内容、微博/知乎/贴吧帖子和评论?手动复制太慢,商业工具又贵。 MediaCrawler 这个项目把主流自媒体平台的公开数据采集做到了极致: • 覆盖平台:小红书、抖音、快手、B站、微博、百度贴吧、知乎 • 核心功能:关键词搜索、指定帖子/视频ID、二级评论、创作者主页爬取 • 技术亮点:基于 Playwright 浏览器自动化,无需 JS 逆向,支持登录态缓存 + IP 代理池,极大降低风控 • 数据导出:CSV、JSON、JSONL、Excel、SQLite、MySQL • 额外福利:内置词云生成 + WebUI 可视化界面,配置运行更友好 • CDP 模式:直接连接你本地的 Chrome,复用登录态和扩展,体验更稳 项目目前已获 54.4k stars,社区活跃,持续维护。作者还推出了 Pro 版本(支持断点续爬 + AI Agent Skill),开源版已经非常能打。 对内容创作者、数据分析师、AI 训练数据收集者、或者想学习成熟爬虫架构的开发者来说,这都是极其实用的开源工具。 GitHub:
顯示更多
机械臂训练还有一类数据,采集时甚至不需要机械臂在场。 人每天开抽屉、整理物品、拿起杯子、摆放工具,这些看起来很普通的动作,其实都包含了操作顺序、手部轨迹和对环境变化的即时判断。 Axis @axisrobotics 的移动端第一视角采集方案,可以通过手机或头戴设备记录人的日常操作,再重建手部的4D运动信息,同时补充语言描述和子任务标注。 这样得到的并不只是一段视频,而是一份带有动作过程和任务语义的数据。 仿真数据的优势是规模大、变量容易控制;第一视角数据补充的,则是现实环境里那些难以提前写进规则的细节。 比如人为什么先扶住盒子再打开盖子,遇到物体滑动时怎么改变发力,以及一个长任务该怎样拆成几个连续步骤。 机器人要学会的,最终还是人类在真实环境中处理问题的方式。把这些日常动作转成可训练的数据,可能就是连接仿真世界和现实机械臂的重要一层。
顯示更多
0
69
60
0
轉發到社區
用 Python Scrapy 框架做海外大规模数据采集,刚开 10 个并发就被目标站封 IP? 如何在不侵入业务爬虫代码的前提下,实现每一次请求自动轮换原生住宅 IP? 手把手教你编写 Scrapy 下载中间件(Downloader Middleware),打造高并发防封采集管道
顯示更多
其实机器人学习的真正瓶颈在于数据采集的成本,而非模型设计。每次新任务,几百次遥操作起步,换个场景再来一遍,永远在重复最贵的劳动。 而 @axisrobotics 与Booster的合作表明,任务对齐的模拟能够在不改变任务结构的前提下,大范围改变光照、视角和物体外观,教会策略应对各种变化。而真实的演示则专注于物理接触与执行噪声,两者互补。 实验显示,加入50%-67%的模拟数据后,策略提升率比纯真实数据高出10个百分点。仅用10次真实演示加上50条模拟轨迹,目标接触率便从0跃升至85%。 更关键的是通过持续预训练构建Booster专用基础模型,不仅使手腕-目标距离缩短67%,还让小样本微调极为高效,每任务30次演示的表现已超过原始模型60次的结果。 这一闭环数据引擎让每一次任务积累都强化整体先验,从而使得下一个任务的构建更加轻松,机器人开发由此从一次性昂贵探索走向可持续复用的工程化流程。
顯示更多
0
103
94
0
轉發到社區
✦ 花钱发布采集任务,选中满意的结果,最后却拿不到原视频,听起来多少有点反常。 可在 @vangrid_io 的任务流程里,这正是产品设计的一部分。 需求方选中并验收一份提交后,收到的是由现场视频重建的 GLB 格式 3D 模型,原始影像仍由贡献者保留。 链上记录的也只是交付数据的哈希,不包含视频内容,任务说明和贡献者身份。 ⟢ 这套安排把购买现场数据和获得原始素材分开了。 对于只需要空间结构,场景布局和几何信息的 Physical AI 应用,需求方可以拿到可供后续使用的 3D 模型,不必同时收走一段包含大量现场细节的视频。 贡献者完成交付后,仍然保留原始影像。 ┄┄┄┄┄┄┄┄┄┄ ◌ 它的边界同样清楚。 如果某项训练需要逐帧画面,原始分辨率或完整视频序列,只有 3D 模型可能并不够用。 Vangrid 需要证明的,是重建结果能否保留买方需要的信息,同时减少与任务无关的数据暴露。 ▸ 我比较认同这种按用途交付数据的思路。 需求方付费购买的是解决问题所需的结果,不该默认连现场拍下的一切都一起拿走。 数据采集走向规模化以后,采得多只是基础,哪些数据交给买方,哪些内容仍由贡献者保留,反而更能看出一套规则是否成熟。
顯示更多
0
124
79
1
轉發到社區