内容简介
自然语言处理被誉为“人工智能皇冠上的明珠”。深度学习等技术的引入为自然语言处理技术带来了一场革命,尤其是近年来出现的基于预训练模型的方法,已成为研究自然语言处理的新范式。本书在介绍自然语言处理、深度学习等基本概念的基础上,重点介绍新的基于预训练模型的自然语言处理技术。本书包括基础知识、预训练词向量和预训练模型三大部分:基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具;预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用;预训练模型部分介绍几种典型的预训练语言模型及应用,以及预训练模型的最新进展。除了理论知识,本书还有针对性地结合具体案例提供相应的PyTorch代码实现,不仅能让读者对理论有更深刻的理解,还能快速地实现自然语言处理模型,达到理论和实践的统一。本书既适合具有一定机器学习基础的高等院校学生、研究机构的研究者,以及希望深入研究自然语言处理算法的计算机工程师阅读,也适合对人工智能、深度学习和自然语言处理感兴趣的学生和希望进入人工智能应用领域的研究者参考。
AI简介
这是一本深入探讨自然语言处理技术的学术专著。该书以深度学习等技术的引入为起点,详细介绍了基于预训练模型的自然语言处理技术。全书涵盖了基础知识、预训练词向量和预训练模型三大部分,为读者提供了全面而深入的自然语言处理知识体系。
书中首先介绍了自然语言处理和深度学习的基础知识,包括文本的表示、自然语言处理任务、基本问题、评价指标等。接着,该书深入讲解了基础工具集与常用数据集,如NLTK工具集、LTP工具集、PyTorch基础、大规模预训练数据等,为读者提供了实践自然语言处理任务的工具和资源。
在预训练词向量部分,该书详细介绍了静态词向量和动态词向量的预训练方法及应用,包括神经网络语言模型、Word2vec词向量、GloVe词向量等。在预训练模型部分,该书深入介绍了几种典型的预训练语言模型及应用,如GPT、BERT等,并探讨了预训练模型的最新进展。
此外,该书还结合具体案例,提供了相应的PyTorch代码实现,不仅让读者对理论有更深刻的理解,还能快速地实现自然语言处理模型,达到理论和实践的统一。