mishushakov/llm-scraper

项目概览

该项目通过结合 LLM 与 Zod/JSON Schema 提取网页结构化数据，并提供在提取过程中流式输出对象以及生成可复用 Playwright 脚本的能力，为开发者提供了一种有别于传统 CSS 选择器的类型安全数据抓取方案。

项目类型

AI 工作流 · 数据处理

应用场景

数据分析 · 自动化执行

部署方式

查看项目说明

License

MIT

适合谁

• 具备 TypeScript 编写能力，并希望在项目中原生集成基于 LLM 的结构化网页抓取功能的开发者。

核心能力

• 核心功能，使用大语言模型（LLM）根据用户定义的 Schema 从任意网页中提取结构化数据。
• 允许使用 Zod 或 JSON Schema 定义提取模式，从而提供完整类型安全的数据输出。
• 支持包括 html、raw_html、markdown、text、image 和 custom content 在内的 6 种格式化模式，以处理不同的页面输入需求。
• 在 LLM 提取数据的过程中，支持流式输出部分对象，而不是等待整个提取过程结束。
• 根据定义好的 Schema 生成可重复使用的 Playwright 脚本，以便后续抓取内容。

限制与风险

• 除了可以使用 Ollama 等本地模型外，如果使用外部 LLM 提供商（如 OpenAI、Anthropic 等），将会产生 API 调用费用。

如何开始

• 上手需要编写 TypeScript 代码并初始化 LLM 提供商。快速开始路径为：首先通过 npm 安装 zod、playwright 和 llm-scraper 依赖；其次初始化一个 LLM 提供商（如 OpenAI, Anthropic, Google, Groq 或 Ollama）；最后通过 const scraper = new LLMScraper(llm) 创建抓取器实例。

核验依据

• GitHub 项目简介: Turn any webpage into structured data using LLMs
• README: LLM Scraper is a TypeScript library that allows you to extract structured data from **any** webpage using LLMs.
• README: Schemas defined with Zod or JSON Schema - Full type-safety with TypeScript - Based on Playwright framework - Streaming objects - [Code-generation](#code-generation) - Supports 6 f…
• README: Replace your `run` function with `stream` to get a partial object stream.
• README: Using the `generate` function you can generate re-usable playwright script that scrapes the contents according to a schema.

内容核验时间：