ScrapeGraphAI/Scrapegraph-ai

项目概览

项目用有向图逻辑组合 LLM，实现了从搜索、抓取到生成音频和 Python 脚本的多样化管线，且支持通过 Ollama 使用本地模型。

项目类型

RAG 与知识库 · AI 搜索 · 数据处理

应用场景

搜索调研

部署方式

查看项目说明

License

MIT

适合谁

• 希望利用 Python 和 LLM 降低多站点抓取代码维护成本的工程师或数据团队。
• 具备本地 LLM 运行环境且有数据边界控制要求的开发者。

核心能力

• 根据用户提供的提示词和输入源（URL 或本地文件），从单个页面中提取所需信息。
• 从搜索引擎返回的前 n 个搜索结果中，提取相关信息，用于多页信息聚合。
• 从网站提取信息后，根据提取的内容生成对应的音频文件。
• 从网站提取信息的同时，生成可实现抓取逻辑的 Python 脚本。
• 给定单一提示词和一组来源列表，通过并行的 LLM 调用从多个页面中提取信息。
• 允许通过 API（如 OpenAI、Groq、Azure、Gemini、MiniMax）或通过 Ollama 使用本地模型来进行抓取提取。
• 支持为本地文档（如 XML、HTML、JSON、Markdown 等）创建抓取管线。
• 项目默认收集匿名使用指标，用户可以通过设置环境变量来关闭此功能。

限制与风险

• 采用库形式自托管运行时，开发者需要自行配置和管理浏览器渲染环境、网络代理设施以及后续的规模扩展问题。
• 项目在运行过程中会默认收集匿名使用指标数据；如果有数据隐私方面的顾虑，使用者需要知晓此机制并通过设置环境变量主动禁用。

如何开始

• 安装难度中等：首先通过 pip 安装 scrapegraphai，随后需要安装 Playwright 浏览器环境。开发者需要准备 LLM 的 API 密钥或配置 Ollama 本地模型端点，最后在代码中配置 graph_config 并实例化运行 SmartScraperGraph 即可完成首次使用。

核验依据

• README: [ScrapeGraphAI](https://scrapegraphai.com) is a *web scraping* python library that uses LLM and direct graph logic to create scraping pipelines for websites and local documents (X…
• README: The reference page for Scrapegraph-ai is available on the official page of PyPI: [pypi](https://pypi.org/project/scrapegraphai/).
• README: It is possible to use different LLM through APIs, such as **OpenAI**, **Groq**, **Azure**, **Gemini**, **MiniMax** and more, or local models using **Ollama**.
• README: For OpenAI and other models you just need to change the llm config! > ```python >graph_config = { > "llm": { > "api_key": "YOUR_OPENAI_API_KEY", > "model": "openai/gpt-4o-mini", >…
• README: graph_config = { "llm": { "model": "ollama/llama3.2", "model_tokens": 8192, "format": "json", }, "verbose": True, "headless": False, }

内容核验时间：