代理采集验证

技能简介

proxy-scrap 是一款高性能代理采集工具，能够自动从多个公开来源抓取代理服务器地址，并对采集到的代理进行实时可用性验证，筛选出有效的高匿名代理节点。

业务背景

企业在数据采集、爬虫开发或跨境业务中常面临代理IP失效快、质量参差不齐的问题。本工具自动聚合多源公开代理并完成实时可用性验证，帮助技术团队快速获取高匿名代理资源，降低人工筛选成本，提升下游业务的网络连通稳定性。

落地案例：某电商数据分析团队需定期抓取海外竞品价格，但自有代理池频繁被封禁。通过配置proxy-scrap扫描三个公开代理站点，设置HTTP代理响应超时5秒、匿名等级为高匿，每日定时执行采集任务后导出JSON格式有效代理列表，直接接入现有爬虫调度系统，实现代理资源的自动化补充与更新。

能做什么

• 自动扫描多个公开代理发布站点获取最新代理列表
• 对HTTP/HTTPS/SOCKS5代理进行连通性与匿名等级检测
• 按响应速度、地理位置、匿名程度等维度过滤排序
• 输出标准化代理配置供下游应用直接调用

使用说明

1. 安装依赖：原始文档未提供具体安装指令，需补充 pip install -r requirements.txt 或对应包管理命令
2. 配置目标代理源与验证参数
3. 执行采集任务：python proxy_scrap.py --sources all --validate
4. 查看验证结果并导出有效代理列表

输入与输出

见下方输入与输出表格。

风险提示

• 公开代理存在隐私泄露风险，敏感操作建议使用私有代理
• 部分代理源可能包含恶意节点，验证环节不可省略
• 高频采集可能触发源站反爬机制，需控制请求频率
• 代理IP时效性短，生产环境需配合自动更新机制

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/danman60/proxy-scrap/SKILL.md
来源类型：GitHub 开源仓库