第四部分 长上下文

在第三部分我们尝试把模型容量做大：专家更多、总参更大。但是当上下文拉到十几万 token 时，会产生新的问题

第一，在长上下文序列中，序列越长，单个 token 分配到的注意力权重越低。经验上，模型倾向于优先捕获序列开头与结尾的信息，位于中间位置的 token 更容易被稀释。

第二，注意力稀释会削弱跨远距离 token 之间的关联建模；长文本内部信息冗余、冲突内容叠加，进一步提升知识抽取与逻辑汇总的难度，长文档综合推理任务性能会出现明显衰减。

第三，标准自注意力可容纳的上下文长度受硬件与计算复杂度约束。Prefill 计算按 \(O(n^2)\) 涨；KV 缓存按序列长度线性涨。硬件显存与算力上限直接决定原生全注意力能够承载的最大上下文 token 数量。

第 7 章的 GQA / MLA 只压每 token 的 KV。长度本身带来的平方计算、线性缓存、以及中间内容用不上，要改连接方式：

• 第 12 章：少算一部分位置（稀疏注意力）。
• 第 13 章：不存全量 KV，历史进固定大小状态（线性注意力 / 状态模型）。

旗舰很少只走稀疏或只走线性，按层混用见第 14 章。