BuilderIO/gpt-crawler

项目概览

提供从网页抓取到生成 OpenAI 可用知识文件的自动化流程，解决了构建自定义 GPT 时前置数据准备的工具缺口。

项目类型

RAG 与知识库

应用场景

知识问答

部署方式

查看项目说明

License

ISC

适合谁

• 希望为 OpenAI 自定义 GPT 或 Assistant 快速配备网站知识的开发者与产品团队。
• 需要将网页内容抓取与知识文件生成自动化，并集成到现有系统的技术用户。

核心能力

• 从指定的起始 URL 出发，沿着匹配的链接爬取网页内容，收集目标站点的文本信息。
• 将爬取到的网页内容处理并格式化为可上传 OpenAI 平台的知识文件，用于创建自定义 GPT 或智能助手。
• 支持以 API 服务的形式运行，允许开发者通过编程方式触发爬取任务，方便将其集成到自动化脚本或后端服务中。

限制与风险

• 要使用上传文件创建自定义 GPT 的功能，用户可能需要订阅 ChatGPT 的付费计划，这会产生额外平台成本。

如何开始

• 克隆仓库后执行 npm install 安装依赖，编辑简单的配置文件即可启动爬虫，项目评估的初始安装配置难度为 easy（容易）。

核验依据

• README: Crawl a site to generate knowledge files to create your own custom GPT from one or multiple URLs
• README: This project crawled the docs and generated the file that I uploaded as the basis for the custom GPT.
• README: Be sure you have Node.js >= 16 installed.
• README: npm i
• README: Open [config.ts](config.ts) and edit the `url` and `selector` properties to match your needs.

内容核验时间：