firecrawl/firecrawl · 中文介绍

firecrawl/firecrawl

★ 204,495 · Forks 10,717

Firecrawl 是面向 AI 智能体的网页抓取与数据接入工具。它能把网页正文转成可直接交给大模型的 Markdown,并通过统一 API 提供网页搜索和外部数据访问。README 称其可接入 550 多家数据提供商。

按网址范围选功能

已知单页网址时,用 Scrape 提取内容。手头有一批网址时,用 Batch Scrape 一次提交。需要先了解站点有哪些页面时,用 Map 获取网址列表,再挑选要抓取的页面。例如,为问答助手整理产品文档,可以先用 Map 找到文档页面,再批量抓取正文。

本地、云端与自托管

Firecrawl Local 可在自己的机器上抓取网页、爬取站点和发现网址,无需部署数据库、队列或容器,也能作为 MCP 服务器接入智能体。本地版的网页搜索经由 Firecrawl Cloud 执行,使用 Alexandria 数据接入功能还需登录。Cloud 的单页抓取另提供结构化 JSON、摘要、截图和浏览器操作。仓库同时收录自托管服务端和适用于三种方式的 SDK。

试用与集成入口

可以先按 README 中的 Firecrawl Cloud 单页抓取示例试一个熟悉的页面,看看输出是否保留了所需正文。想在本机验证集成,可以先看 Firecrawl Local 章节。本地版从 crates.io 安装,需要 Rust 和 C 编译器。使用 serve 启动后,SDK 可将 API 地址指向本机的 3002 端口。接口参数可查官方 API 参考。

许可证

项目主体采用 AGPL-3.0,SDK 和部分界面组件采用 MIT 许可证。评估源码复用时,可以查看所用组件目录中的 LICENSE 文件。

Kai 的头像

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注