unclecode/crawl4ai

项目概览

该项目在爬取过程中支持基于 BM25 的启发式过滤与引用生成，并直接提供 LLM 驱动的 JSON 抽取与 MCP 集成。

项目类型

AI Agent · RAG 与知识库 · 数据处理

应用场景

知识问答 · 搜索调研

部署方式

Python 环境

License

Apache-2.0

适合谁

• 寻找免费、可控的爬虫工具，需要直接产出 LLM 友好 Markdown 或结构化 JSON 用于 RAG 管道的开发者与数据团队。

核心能力

• 生成结构化的 Markdown，具备 BM25 等启发式过滤并附带引用参考，输出内容适合大语言模型处理。
• 使用 LLM 驱动策略或基于 CSS/XPath 的快速模式选择器，从网页中提取结构化 JSON 数据。
• 提供完整的浏览器控制功能，包含托管的用户配置、会话、代理及用于规避机器人检测的隐身模式。
• 支持采用 BFS/DFS 策略进行深度爬取，具备崩溃恢复功能，并可对动态内容进行全页扫描。
• 提供 Docker 化的 FastAPI 服务器，附带实时监控仪表板、浏览器池和交互式测试环境。
• 包含 MCP（模型上下文协议）集成功能，可通过 Docker 直接连接到 Claude Code 等 AI 工具。

限制与风险

• 基于 Selenium 的同步版本已被标记为弃用，并将在后续版本中移除。

如何开始

• 通过 pip 安装包后运行 crawl4ai-setup 工具完成配置，随后即可通过 CLI 或 API 执行爬取任务。

核验依据

• GitHub 项目简介: Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper.
• README: pip install -U crawl4ai
• README: Crawl4AI turns the web into clean, LLM ready Markdown for RAG, agents, and data pipelines.
• README: Reliable, large-scale web extraction, now built to be _**drastically more cost-effective**_ than any of the existing solutions.
• README: Full control, sessions, proxies, cookies, user scripts, hooks

内容核验时间：