Embedding/Chinese-Word-Vectors

项目概览

该项目为中文 NLP 研究者提供了差异化且多样的词向量选择与配套的 CA8 中文评测基准，便于在词向量选型时进行充分的对比评估。

项目类型

模型开发 · 数据处理

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要在多种语料和上下文特征中挑选预训练中文词向量的研究人员或开发团队。

核心能力

• 提供超过 100 个预训练中文词向量，这些向量使用不同的表示（稠密和稀疏）、上下文特征（词、ngram、字符）和语料库进行训练，用户可根据任务需求选择使用。当前状态为可用。
• 提供专为中文设计的中文类比推理数据集 CA8，包含 17813 个类比问题，覆盖全面的形态和语义关系。用于评测词向量捕捉语义关系的能力。当前状态为可用。
• 提供 Python 编写的评估工具包，用于通过类比任务评估稠密和稀疏词向量的质量。它通过执行简单的 Python 脚本即可完成评估。当前状态为可用。
• 提供分别使用 SGNS 训练的稠密词向量和使用 PPMI 训练的稀疏词向量，满足不同下游任务对向量表示格式的需求。当前状态为可用。

限制与风险

• 提供的 CA-translated 基准仅涵盖 134 个中文词汇和三个语义问题，在评测覆盖面上存在局限性。

如何开始

• 上手难度较低。首先下载预构建的向量数据文件，随后运行 Python 脚本执行评估，如执行 `python ana_eval_dense.py -v <vector.txt> -a CA8/morphological.txt` 即可开始使用。

核验依据

• README: This project provides 100+ Chinese Word Vectors (embeddings) trained with different **representations** (dense and sparse), **context features** (word, ngram, character, and more)…
• README: The pre-trained vector files are in text format. Each line contains a word and its vector. Each value is separated by space. The first line records the meta information: the first…
• README: In contrast, CA8 is specifically designed for Chinese language. It contains 17813 analogy questions and covers comprehensive morphological and semantic relations.
• README: $ python ana_eval_dense.py -v <vector.txt> -a CA8/morphological.txt
• README: All word vectors are trained by ngram2vec toolkit.

内容核验时间：