有望改写AI未来!NVIDIA新nGPT可使训练速度暴增20倍

据媒体报道，NVIDIA最新的研究有望彻底变革AI的未来，其团队提出了一种名为归一化生成预训练变压器（nGPT）的新型神经网络架构。
这一创新架构基于超球面上的表示学习，极大地提升了大型语言模型（LLM）的训练速度，最高可达20倍，并且在此过程中保持了模型的高精度表现。

nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，统一归一化为单位范数。这一归一化处理使得输入的token在超球面表面上移动，每一层模型通过位移推动最终的输出预测。
实验结果显示，nGPT的训练步骤比传统Transformer模型减少了4到20倍，具体加速效果取决于序列长度。例如，在1k长度的上下文中，训练速度提升了4倍；在4k上下文中提升了10倍；而在8k上下文中，提升幅度更是达到了20倍。
研究人员进一步指出，nGPT通过对超球面上的点进行优化位移，输出预测由MLP和注意力模块决定。这种方法不仅大幅提升了训练速度，还增强了模型的稳定性和效率。此外，nGPT在嵌入向量的标准化和注意力矩阵的优化方面表现出色，显著减少了计算开销，进一步证明了其在生成模型领域的前景。