zai-org/ChatGLM2-6B

项目概览

zai-org/chatglm2-6b 是一款面向中英文对话的开源聊天模型，支持最长 32K 上下文。它通过 Multi-Query Attention 提升推理速度并降低显存占用，商业使用需完成登记。

项目类型

模型运行

应用场景

聊天助手

部署方式

查看项目说明

License

License 待确认

适合谁

• 适合需要自行部署开源中英文聊天模型，并关注长上下文与推理效率的 AI 工程师和开发者。

核心能力

• 作为中英文双语聊天模型，可进行对话交互。
• 将基础模型的上下文长度从 2K 扩展至 32K，并以 8K 上下文训练。
• 采用 Multi-Query Attention，推理速度提升 42%，并降低 GPU 显存使用。

限制与风险

• 模型规模相对较小，可能受到误导，且无法保证输出准确性。
• 项目团队尚未基于 zai-org/chatglm2-6b 开发官方 Web、Android、iOS 或 Windows 应用。
• 项目不对数据安全、舆情，以及模型误导、滥用、传播或不当利用所产生的风险负责。
• 模型输出受概率随机性影响，内容无法保证完全准确。

如何开始

• 从源码通过 Python 部署时，需要自行管理模型权重和 GPU 依赖，整体上属于中等难度的部署工作。

核验依据

• GitHub 项目简介: ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型
• README: ChatGLM**2**-6B 是开源中英双语对话模型 [ChatGLM-6B](https://github.com/THUDM/ChatGLM-6B) 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上
• README: 由于 ChatGLM2-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导。**本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。
• README: ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
• README: 基于 [Multi-Query Attention](http://arxiv.org/abs/1911.02150) 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。

内容核验时间：