datajuicer/data-juicer

项目概览

data-juicer 提供可组合的数据处理构建模块，将原始数据转化为可用于 AI 的数据资产。它支持从笔记本电脑到千节点集群的扩展，无需编写额外的连接代码。

项目类型

AI 工作流 · 数据处理

应用场景

知识问答 · 数据分析

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要处理文本、图像、音频、视频等多模态原始数据以供 AI 生命周期使用的 AI 工程师和开发者。

核心能力

• 提供超过 200 个算子，用于处理文本、图像、音频、视频和多模态数据。
• 允许用户对可复现的 YAML 处理流水线进行版本控制、分享、复用和组合。
• 支持预训练、微调、强化学习和评估工作负载的数据精选。
• 为 RAG 数据工作流提供提取、规范化、语义切块、去重和分析功能。
• 支持在 Ray 节点上进行大规模处理，并包含 Ray 重新分区功能。
• 允许在不重启流水线的情况下对算子进行迭代修改。

如何开始

• 可以通过 'uv pip install py-data-juicer' 进行安装，随后使用命令行工具执行处理：'dj-process --config demos/process_simple/process.yaml'。

核验依据

• README: from data_juicer.core.data import NestedDataset
• README: Data-Juicer (DJ) transforms raw data chaos into AI-ready intelligence. It treats data processing as *composable infrastructure*—providing modular building blocks to clean, synthes…
• README: - **200+ operators** spanning text, image, audio, video, and multimodal data
• README: - **Scale**: Process 70B samples in 2h on 50 Ray nodes (6400 cores)
• README: - **Recipe-first**: Reproducible YAML pipelines you can version, share, and fork like code

内容核验时间：