Token Attention 关系图
点击任意 Token 作为 Query;曲线宽度和亮度表示权重。
统计指标与解释
指标来自当前 Query 所在的 Attention 行。
Attention 热力图
纵轴是 Query,横轴是 Key;每一行权重和约为 1。
快速观察
数学计算工作台
沿着 X → Q/K/V → Score → Softmax → Output 查看缩放点积注意力的计算链。
点击 Token、切换 Head、调整 Softmax 温度和 Mask,观察 Attention 权重如何从 QKᵀ 计算、归一化并聚合 Value。
点击任意 Token 作为 Query;曲线宽度和亮度表示权重。
指标来自当前 Query 所在的 Attention 行。
纵轴是 Query,横轴是 Key;每一行权重和约为 1。
沿着 X → Q/K/V → Score → Softmax → Output 查看缩放点积注意力的计算链。