Firecrawl

把任何网站变成大模型可用的数据开源

关于 Firecrawl

Firecrawl 是给 AI 智能体用的网页数据接口:给它一个网址或搜索词,它返回干净的 Markdown 或结构化 JSON,渲染、反爬和排队都由它处理。公司 2022 年从 Y Combinator 起步;核心代码以 AGPL 开源,另有按用量计费的云服务,负责反爬的 Fire-engine 只在云端。2026 年 9 月,它宣布 7500 万美元 B 轮融资,并推出把官方数据源和自有索引接进来的 Alexandria。

它解决什么问题

大模型要用网页,先得把网页变成可读的文字,难在 JavaScript 渲染、反爬、限速、排队和失败重试。Firecrawl 把这些打包成一组接口:Search 搜索并返回结果全文;Scrape 抓单页;Crawl 抓整站;Map 列出站内链接;Batch Scrape 批量抓取;Parse 解析文件;Interact 用提示词或代码在页面上点击、输入;Agent 自主上网收集数据;Monitor 定期检查页面变化。

公司来历:官网 About 页写道,Firecrawl 2022 年作为 Y Combinator 项目起步,团队此前做过 Mendable 和 SideGuide。Y Combinator 公司页标注的批次是 2022 年夏季(S22),同一页把创立年份记为 2024;GitHub 仓库创建于 2024 年 4 月。三位联合创始人是 CEO Caleb Peffer、CTO Nicolas Silberstein Camara 和首席增长官 Eric Ciarla。

Mendable 是一个面向文档的 AI 问答产品。Caleb Peffer 在 B 轮公告里说,Mendable 做成了,但团队发现“从网页里拿到干净、可靠的信息”是整个系统里最难的一环,而其他做 AI 的团队都在从零重复解决这个问题,于是做了 Firecrawl。Peffer 还写道,当初以为只有几百人有这个需求,现在有超过 150 万用户。

2026 年 9 月 22 日,公司宣布 7500 万美元 B 轮融资,由 Smash Capital 领投,Altos、Nexus、Y Combinator、Freestyle 和 Offline Ventures 参投。同时推出 Alexandria:把官方数据提供方、自定义连接器和 Firecrawl 自建的索引与实时网页放到一起,让智能体用同一套接口发现数据源、了解里面有什么、再取数据。公告提到的索引包括包含数千万篇论文摘要的研究索引、覆盖文档、README、issue 和已合并 PR 的开发者索引,以及法律法规类的政府索引;官方已与维基媒体企业版(Wikimedia Enterprise)等数据方签了付费协议,并计划开放一个自助系统,让个人和机构的知识被智能体使用时能拿到报酬。

大规模搜索、抓取并与网页交互的 API。为 AI 智能体提供上下文。开源,也提供托管服务。

Firecrawl 官方 README

核心能力

输出直接能喂给模型。同一次请求可以要 Markdown、HTML、JSON、截图等多种格式;JSON 可以按指定的结构抽取字段。官方 README 称它默认遵守 robots.txt。

为智能体准备的接入。README 列出三种接入方式:给编程智能体装 Skills(npx skills add firecrawl/skills),用命令行工具,或者接官方 MCP 服务器 firecrawl-mcp。SDK 覆盖 Python、Node、Go、Java、Elixir、Rust、Ruby、.NET 和 PHP 九种语言,另有 Lovable、Zapier、n8n 等平台的集成。

官方自测数字。官网首页称,在官方公开的 1000 个网址测试集(firecrawl/scrape-content-dataset-v1)上,2026 年 1 月 13 日的测试覆盖率为 96%,P95 延迟 3,387 毫秒。这是官方自测,数据集公开。

Alexandria。B 轮时推出的数据层,让智能体在实时网页之外,还能查官方数据提供方和 Firecrawl 自建的索引。官方称在 845 个任务上,用同样的模型和提示词、由 AI 盲评,接入 Alexandria 的智能体答案质量比用内置网页工具的高 21%;这同样是官方自测。

和同类比

Browser Use 这类开源库让模型自己操作浏览器,跑在本地机器上。Firecrawl 主要是按请求计费的托管接口,由它维护浏览器集群、代理和反爬,返回清洗好的结果;它的 Interact 和 Agent 也能做页面操作和自主浏览,但只在云端。

官网首页有一条用户评价,说把内部智能体的抓取工具从 Apify 换成 Firecrawl,是因为测下来快了 50 倍(用户自述)。

关于开源版和云服务,官方文档写明:两者都提供核心接口,区别在于由谁来配置、保护和运行配套服务。自托管时,鉴权、TLS、持久化、监控、扩容、升级和恢复都由使用者负责;大模型相关的输出格式、高级抓取服务需要另外配置;Agent、Browser、Interact、托管控制台和企业级管理只在云端。

谁在用,适合谁

官网首页称“超过 15 万家公司信任”,B 轮公告称有超过 150 万用户,均为官方自述。B 轮公告提到,Mendable 当年的客户包括 Snapchat、Coinbase 和 MongoDB。公开数字(截至 2026-10-25):GitHub 约 19.5 万星标、1 万分叉;npm 下载统计接口显示,Node SDK @mendable/firecrawl-js 在 2026-10-16 至 2026-10-22 下载 709,842 次(截至 2026-10-26)。

适合谁

做 RAG、研究助手、竞品和线索调研的团队;想让 Claude Code 这类编程智能体或任何 MCP 客户端抓取网页的人;需要定期监测页面变化、又不想自己维护浏览器集群和代理的团队;预算允许按量付费、希望把反爬交给别人的产品。

不适合谁

只抓几个固定页面、写个脚本就够的人;必须完全自托管、又需要强反爬能力的团队,因为 Fire-engine 只在云端;想把修改过的代码作为网络服务对外提供、却不打算按 AGPL 公开源码的公司。

上手路径

云服务:到 firecrawl.dev 注册,拿到以 fc- 开头的 API 密钥,先在网页 Playground 试一个网址,再 pip install firecrawl-py,用 Firecrawl(api_key=...) 调用 scrape 或 search。如果是给编程智能体用,直接运行 npx -y firecrawl-cli@latest init --all --browser,一次装好命令行工具和 Skills。

自托管:官方文档用 Docker Compose 启动,接口默认在 localhost:3002。快速上手配置把接口鉴权关掉了(USE_DB_AUTHENTICATION=false),队列管理界面默认也不开。文档写明先跑通一次抓取,再按需要加服务。大模型相关功能可以接 OpenAI 兼容接口或 Ollama。

版本:截至 2026-10-26 最新 release 为 v2.11.0(2026-06-19 发布)。

定价与许可证

按 credits 计费(截至 2026-10-25)。免费版每月 1,000 credits,不用绑卡,2 个并发;Hobby 每月 $19(按年付每月 $16),5,000 credits,5 个并发;Standard $99(年付 $83),10 万 credits,25 个并发;Growth $399(年付 $333),50 万 credits,50 个并发;Scale $749(年付 $599),100 万 credits,100 个并发,未用完的 credits 可顺延一个月;企业版另议。额度不够可以按 $5 一档加购,各档位每次加购 1,000 到 5,000 credits 不等,退订后加购的 credits 失效。

单价:Scrape、Crawl、Map 每页 1 credit;Monitor 每页每次检查 1 credit;Search 每 10 条结果 2 credits;Agent 每天 5 次免费,之后动态计价。附加项:要 JSON 输出每页额外加 4 credits;Interact 在定价页写的是每浏览器分钟 2 credits,但计费文档写的是 2 到 7 credits,带提示词操作按 7、只跑 Playwright 代码按 2;解析 PDF 每页另加 1,提示词注入检测加 4,零数据保留(ZDR)加 1。抓取失败不扣费,但返回 403、404 仍算 1 credit。

许可证:代码主体为 AGPL-3.0,SDK 和部分 UI 组件为 MIT。

风险与局限

负责反爬的 Fire-engine 不开源,维护者在 GitHub issue #468 中说它“自托管版用不了,(目前)也没有开源”,2026 年在 #2815 中再次确认自托管版没有 Fire-engine,只有 Playwright 微服务支持等待页面加载,其余回退到普通请求。官方自托管文档对 Fire-engine 的说法是“需单独运行和配置,不随附”,维护者在上述 issue 中说它不对自托管开放。

快速上手配置不开鉴权。官方默认遵守 robots.txt,但抓取的合规责任在使用者。官网的 96% 覆盖率和 Alexandria 的 21% 提升都是官方自测。

我们的判断

Firecrawl 的特点是:用一组接口把网页转成 Markdown 或结构化 JSON,渲染、反爬和排队由它处理;提供九种语言的 SDK、官方 MCP 服务器、命令行工具和 Skills;核心代码以 AGPL-3.0 开源,可以用 Docker Compose 自托管。

它的限制:负责反爬的 Fire-engine 以及 Agent、Browser、Interact 只在云端;快速上手的自托管配置关闭了接口鉴权;JSON 输出、Interact 等附加项另外计费;官网的 96% 覆盖率和 Alexandria 的 21% 提升都是官方自测。

亮点

Firecrawl 是大多数检索流程最后都会悄悄依赖的抓取层。给它一个网址,它返回干净的 Markdown、结构化数据,或者去掉了样板内容的整站抓取结果。

难的部分都不起眼:JavaScript 渲染、反爬处理、频率控制,以及一个熬过糟糕下午也不会垮的任务队列。核心代码以 AGPL-3.0 开源,SDK 和部分界面组件用 MIT;但高级反爬引擎 Fire-engine 不在开源版里,Agent、Browser 等能力只在云端提供。团队此前做过 Mendable。

它把网址变成干净的 Markdown 或结构化数据,处理 JavaScript 渲染和频率控制,核心以 AGPL-3.0 开源。

资料来源

官方

  1. Firecrawl READMEGitHub · 访问于 2026 年 10 月 25 日
  2. Firecrawl LICENSEGitHub · 访问于 2026 年 10 月 25 日
  3. firecrawl.dev 官网首页firecrawl.dev · 访问于 2026 年 10 月 25 日
  4. Firecrawl:Aboutfirecrawl.dev · 访问于 2026 年 10 月 25 日
  5. Firecrawl 官方博客:Alexandria 与 7500 万美元 B 轮firecrawl.dev
  6. Firecrawl 定价firecrawl.dev · 访问于 2026 年 10 月 25 日
  7. Firecrawl 文档:Billing(credits 计算)docs.firecrawl.dev · 访问于 2026 年 10 月 25 日
  8. Firecrawl 自托管文档docs.firecrawl.dev · 访问于 2026 年 10 月 25 日

动态与深度阅读

资讯X

Firecrawl Alexandria 上线 NBA 梦幻篮球数据

Firecrawl 宣布 Alexandria 新增梦幻篮球数据,可向 ChatGPT 或 Claude 提供每位 NBA 球员的预测、专家排名、伤病更新和新闻,通过 Firecrawl 插件使用。

1 个来源 · X 上 1 条讨论