jessevig/bertviz

项目概览

bertviz 是一个用于在 Jupyter 或 Colab 笔记本中交互式可视化 Transformer 模型注意力权重的工具。它提供多种视图，帮助研究人员和开发者直观地理解 Transformer 语言模型的内部注意力机制。

项目类型

模型开发 · 模型运行 · 数据处理

部署方式

查看项目说明

License

Apache-2.0

适合谁

• 需要直观理解 Transformer 语言模型内部注意力机制的研究人员、开发者和 AI 工程师。

核心能力

• 可视化同一层中一个或多个注意力头的注意力情况。
• 展示所有层和注意力头的注意力全局鸟瞰图。
• 可视化查询和键向量中的单个神经元，并展示它们如何用于计算注意力。
• 支持对 BART 和 T5 等编码器-解码器架构模型进行注意力可视化。
• 允许检索生成的 HTML 表示形式，以便将其保存为独立文件或与自定义显示方法一起使用。
• 支持下拉菜单，根据标记所属的句子来过滤和展示注意力。

限制与风险

• 专为较短的输入设计，如果输入文本非常长和/或模型非常大，运行速度可能会很慢。
• 神经元视图（Neuron View）仅支持该工具内置的自定义 BERT、GPT-2 和 RoBERTa 模型。
• 可视化注意力权重并不一定能为模型的预测提供直接解释。
• 在 Colab 环境下，如果输入文本过长，某些可视化将会失败（导致运行时断开连接）。

如何开始

• 可通过几条 pip 命令完成安装：首先运行 pip install bertviz，然后安装运行环境依赖（如 pip install jupyterlab ipywidgets），最后运行 jupyter lab 启动。

核验依据

• README: BertViz is an interactive tool for visualizing attention in Transformer language models. It can be run inside a Jupyter or Colab notebook through a simple Python API
• README: Visualizing attention weights illuminates one type of architecture within the model but does not necessarily provide a direct *explanation* for predictions
• README: A Multiscale Visualization of Attention in the Transformer Model
• README: The *head view* visualizes attention for one or more attention heads in the same layer.
• README: The *model view* shows a bird's-eye view of attention across all layers and heads.

内容核验时间：