ConardLi/easy-dataset

项目概览

同时覆盖训练数据集生成与评测集自动化构建，并内置人类盲测系统，覆盖了从数据准备到效果验证的流程。

项目类型

RAG 与知识库 · 数据处理 · 评测观测

应用场景

数据分析

部署方式

查看项目说明

License

License 待确认

适合谁

• 需要从多种格式的私有文档中构建微调数据集或 RAG 知识库的 AI 工程团队和数据团队。
• 希望同时完成数据集构建与效果评测、减少多工具拼接成本的垂直领域大模型应用团队。

核心能力

• 支持解析 PDF、Markdown、DOCX、TXT、EPUB 等多种格式，并具备智能识别能力。
• 提供多种切分算法，包括基于 Markdown 结构、递归分隔符、固定长度和代码感知的分块方式，同时支持可视化的自定义分段，使用户能够控制文本块的粒度。
• 从文档中创建结构化数据集，产出的数据可直接用于大模型微调、RAG 知识库构建和模型评估场景，覆盖了从原始文档到训练数据的转化路径。
• 将领域特定文档转化为评测数据集（测试集），并自动运行多维度评估任务。
• 提供人类盲测功能，可用于垂直领域模型评估、微调后模型性能测评以及 RAG 召回率评估。

限制与风险

• 当前资料未提供具体的部署方式、操作系统要求、最低硬件配置及数据库依赖等信息，用户需自行查阅仓库文档确认部署条件。
• 源文本中未包含安装难度说明和首次运行的成功路径指引，初次使用的团队需要额外摸索配置和运行流程。
• 数据集生成和评测过程可能涉及大模型调用，但当前资料未说明 GPU 需求和外部模型服务的具体要求，团队需提前评估资源。

核验依据

• GitHub 项目简介: A powerful tool for creating datasets for LLM fine-tuning 、RAG and Eval
• README: Easy Dataset is an application specifically designed for building large language model (LLM) datasets. It features an intuitive interface, along with built-in powerful document pa…
• README: Easy Dataset Version 1.7.0 launches brand-new evaluation capabilities! You can effortlessly convert domain-specific documents into evaluation datasets (test sets) and automaticall…
• README: Intelligent Document Processing: Supports PDF, Markdown, DOCX, TXT, EPUB and more formats with intelligent recognition
• Release: [1.7.3] 2026-04-09

内容核验时间：