Firecrawl网页抓取

技能简介

Firecrawler 是一个基于 Firecrawl API 的网页抓取与爬取工具，支持将任意网站转换为结构化数据，适用于数据采集、内容监控等场景。

能做什么

• 抓取单个网页并提取正文内容
• 递归爬取整个网站的所有可访问页面
• 将网页内容转换为 Markdown 或结构化 JSON
• 绕过常见反爬机制获取页面数据

使用说明

安装依赖

pip install firecrawl-py

配置 API Key

在环境变量中设置 FIRECRAWL_API_KEY，或在代码中直接传入。

基础用法示例

from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="your-api-key")

# 抓取单页
result = app.scrape_url("https://example.com")
print(result["markdown"])

# 爬取整站
crawl_result = app.crawl_url("https://example.com", params={"limit": 100})
print(crawl_result)

输入与输出

见下方输入与输出表格。

风险提示

• 需遵守目标网站的 robots.txt 及使用条款
• 高频请求可能导致 IP 被封禁
• 部分网站有法律限制，禁止未经授权抓取
• API 调用按量计费，注意控制成本

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/andrewdmwalker/firecrawler/SKILL.md
来源类型：GitHub 开源技能