Bright Data网页采集

技能简介

Bright Data API 网页抓取与搜索工具，通过 Web Unlocker 绕过机器人检测和验证码，将任意网页转换为 Markdown，或获取结构化的 Google 搜索结果。

业务背景

Bright Data网页采集帮助企业突破反爬限制，稳定获取公开网络数据。无论是抓取竞品官网动态还是批量获取Google搜索结果，都能自动处理验证码和机器人检测，将杂乱网页转化为结构化信息，支撑商业决策与数据分析。

落地案例：某咨询公司需定期监测行业政策变化，使用Bright Data配置目标政府网站URL，系统自动绕过访问限制抓取最新公告页面，输出干净Markdown格式存入知识库。同时执行Google搜索获取相关政策解读文章的结构化列表，实现一手信息与二手资料的双轨采集。

能做什么

• 抓取任意网页内容并输出为干净 Markdown 格式
• 绕过反爬虫机制、机器人检测和 CAPTCHA 验证
• 执行 Google 搜索并返回结构化 JSON 结果（标题、链接、描述）
• 支持搜索结果分页获取

使用说明

1. 安装前准备

注册 Bright Data 账号并获取 API Key：Bright Data Dashboard

2. 创建 Web Unlocker Zone

登录控制台后点击右上角 “Add”，选择 “Unlocker zone” 创建区域。

3. 配置环境变量

export BRIGHTDATA_API_KEY="your-api-key"
export BRIGHTDATA_UNLOCKER_ZONE="your-zone-name"

4. 执行搜索

bash scripts/search.sh "搜索关键词" [页码]

页码参数可选，从 0 开始计数，用于分页。

5. 执行网页抓取

bash scripts/scrape.sh "https://example.com"

输入与输出

见下方输入与输出表格。

风险提示

• 需妥善保管 API Key，避免泄露导致账户被盗用
• 抓取频率受 Bright Data 套餐限制，超额可能产生额外费用
• 部分网站的服务条款禁止自动化抓取，使用前请确认合规性
• 搜索结果依赖第三方 API，存在服务不稳定或变更格式的风险

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/meirkad/bright-data/SKILL.md
来源类型：GitHub 仓库