讲一下注意力那篇著名文章

你说的基本就是 2017 年那篇《Attention Is All You Need》（arXiv:1706.，Vaswani 等 8 人，Google，2017 年 6 月 12 日首发，2023 年 8 月出到 v7）。它提出 Transformer 这个完全基于注意力的架构，把 RNN 和 CNN 整个去掉了。 它为什么会被当成“改变一切”的一篇，关键是三个判断： 一是把顺序依赖去掉了。RNN 必须逐 token 串行，长距离信息靠隐状态传递，越远越容易丢，而且没法并行。Transformer 让任意两个位置直接连一条边，路径长度变成 1，训练时可以整句并行算。 二是注意力本身的机制。它把输入变成 Q、K、V 三组向量，用 Q 和所有 K 做点积、除以 sqrt(d_k)、再 softmax 归一化成权重，最后对 V 加权求和。除以 sqrt(d_k) 是为了防止维度大时点积过大、softmax 进入饱和区导致梯度消失。实际用的是多头，把表示切成几组并行做注意力，再用投影拼回来，这样能同时抓语法邻接关系和长距离指代。 三是位置编码和结构。因为它打乱顺序也能算一样的输出，必须补位置信息，论文用的是正弦余弦的固定编码。整体是 encoder-decoder 各 6 层，每层里有残差、LayerNorm 和前馈网络，decoder 的注意力是 masked 的，保证看不到未来 token。 结果方面：WMT2014 英德 28.4 BLEU，比当时最好结果（含 ensemble）高 2 个多 BLEU；英法单模型 41.8 BLEU，8 块 P100 训 3.5 天，成本只是同期最好模型的零头。它还把 Transformer 用到英语成分句法分析上，说明不是只对翻译有用。 后面的事论文完全没预料到：它是现在所有 LLM 的地基。GPT 系走 decoder-only，用了它的一半；BERT 走 encoder-only；T5 回到 encoder-decoder。你刚才在聊的 Bio-MemArt 里那个“KV cache”，本质就是自注意力的副产品，每个 token 的 K、V 算一次就能反复复用。 要说批评，也很明确：注意力的计算量和显存随序列长度平方增长，这就是后来长上下文、稀疏注意力、线性注意力、PagedAttention 这类工作存在的理由；固定位置编码后来也被 RoPE、相对位置替代。论文只有 15 页、5 张图，实验只有两个翻译任务加一个 parsing，放到今天的评审尺度未必能过，但这不影响它的影响。 有意思的冷知识：论文作者署名是“Ashish Vaswani and 7 other authors”，一作和通讯都列了同等贡献，而且当年那批作者后来大多离开了 Google 去做其他事（Character.AI、Cohere 之类）。 想读的话精读第 3 节（模型结构）加 3.2.1 那张缩放点积注意力公式就够，其余是实验和消融。