返回案例INTERACTIVE
Attention 热力图
基于《Hands-On Large Language Models》Ch3 Looking Inside Large Language Models 的自注意力可视化。输入句子,实时生成简化的 Attention 矩阵,观察 token 间的依赖模式与上下文关系。
Attention 热力图 / Self-Attention
Hands-On LLMs Ch3简化自注意力:基于伪嵌入点积 + softmax。用于直观理解依赖关系。
说明:此为前端教学演示,使用随机伪嵌入模拟 QK^T,注意力模式仅作示例。真实 Transformer 使用可训练的权重与缩放。