精通Transformer:从零开始构建最先进的NLP模型
评分6.7分
AI领域的基石王者,那些还沉迷于CNN,RNN的工程师被警告:放弃战斗吧,向Transformer投降!
在过去的二十年中,自然语言处理研究领域发生了翻天覆地的变化。在这段时间里,自然语 言处理经历了不同的处理范式,并最终进入了一个由神奇的Transformer体系结构主导的新时代。 Transformer深度学习架构是通过继承许多方法而产生的,其中包括上下文词嵌入、多头注意力机制、位置编码、并行体系结构、模型压缩、迁移学习、跨语言模型等。在各种基于神经的自然语言处理方法中, Transformer架构逐渐演变为基于注意力的“编码器-解码器”体系结构,并持续发展到今天。现在,我们在文献中看到了这种体系结构的新的成功变体。目前研究已经发现了只使用 Transformer 架构中编码器部分的出色模型,如 BERT(Bidirectional Encoder Representations from Transformers,Transformers双向编码表示);或者只使用Transformer架构 中解码器部分的出色模型,如 GPT(Generated Pre -trained Tran