同时保持接近原始模型的精度。

而MQA通过共享KV头虽提升速度但损失模型性能，阐明GQA如何平衡计算效率与模型性能。

成为LLaMA-3等现代主流模型的首选方案，有效解决了长文本和高并发场景下的显存与计算瓶颈问题，GQA创新性地采用分组查询机制。

。

实现显存占用仅为MHA的25%， 本文系统对比了大语言模型中三种注意力机制（MHA、MQA、GQA）的演进与优化，文章通过数学维度和代码实现分析，在32头注意力中设置8个KV组，传统MHA因KV Cache显存占用过高成为推理瓶颈，。