alex000kim/nsfw_data_scraper

项目概览

alex000kim/nsfw_data_scraper 用于收集并整理 NSFW 与 SFW 图像数据，面向训练图像分类器的数据准备流程。它提供按色情、Hentai、性感、中性和绘画五类组织的采集与数据集准备脚本。

项目类型

模型开发 · 数据处理 · 基础设施

部署方式

查看项目说明

License

MIT

适合谁

• 适合需要收集、分类并准备 NSFW 图像训练数据的数据团队和 AI 工程师。

核心能力

• Shell 脚本使用 ripme，从 Reddit 等网站下载图像 URL，对应色情、Hentai、性感、中性和绘画五个类别。
• 脚本创建训练和测试目录，复制有效图像、移除损坏图像，并按每类 N=2000 划分验证数据。
• 提供作者已生成的源 URL 目录和原始数据输出，可直接使用。

限制与风险

• 数据采集脚本可能运行数小时，项目建议将其留至夜间执行。
• 在分类时，绘画和 Hentai 类别经常会彼此混淆；采用这些类别训练或评估时应检查该风险。

如何开始

• 构建镜像 `docker build . -t docker_nsfw_data_scraper`，再运行 `docker run -v $(pwd):/root/nsfw_data_scraper docker_nsfw_data_scraper scripts/runall.sh`，随后检查 `data/train` 和 `data/test` 目录。

核验依据

• README: This is a set of scripts that allows for an automatic collection of _tens of thousands_ of images for the following (loosely defined) categories to be later used for training an i…
• README: I was able to train a CNN classifier to 91% accuracy with the following confusion matrix:  As expected, `drawings` and `hentai` are confused with…
• README: $ # Next command might run for several hours. It is recommended to leave it overnight $ docker run -v $(pwd):/root/nsfw_data_scraper docker_nsfw_data_scraper scripts/runall.sh
• README: - `5_create_train_.sh` - creates `data/train` directory and copy all `*.jpg` and `*.jpeg` files into it from `raw_data`. Also removes corrupted images. - `6_create_test_.sh` - cre…
• README: - Install [fastai](https://github.com/fastai/fastai): `conda install -c pytorch -c fastai fastai` - Run `train_model.ipynb` top to bottom

内容核验时间：