内容简介
本书涵盖了Transformer在NLP领域的主要应用。首先介绍Transformer模型和Hugging Face 生态系统。然后重点介绍情感分析任务以及Trainer API、Transformer的架构,并讲述了在多语言中识别文本内实体的任务,以及Transformer模型生成文本的能力,还介绍了解码策略和度量指标。接着深入挖掘了文本摘要这个复杂的序列到序列的任务,并介绍了用于此任务的度量指标。之后聚焦于构建基于评论的问答系统,介绍如何基于Haystack进行信息检索,探讨在缺乏大量标注数据的情况下提高模型性能的方法。最后展示如何从头开始构建和训练用于自动填充Python源代码的模型,并总结Transformer面临的挑战以及将这个模型应用于其他领域的一些新研究。
AI简介
这是一本深入讲解Transformer模型在自然语言处理(NLP)领域应用的专业书籍。书中首先介绍了Transformer模型和Hugging Face 生态系统,然后重点介绍了情感分析任务以及Trainer API、Transformer的架构,并讲述了在多语言中识别文本内实体的任务,以及Transformer模型生成文本的能力,还介绍了解码策略和度量指标。接着深入挖掘了文本摘要这个复杂的序列到序列的任务,并介绍了用于此任务的度量指标。之后聚焦于构建基于评论的问答系统,介绍如何基于Haystack进行信息检索,探讨在缺乏大量标注数据的情况下提高模型性能的方法。最后展示如何从头开始构建和训练用于自动填充Python源代码的模型,并总结Transformer面临的挑战以及将这个模型应用于其他领域的一些新研究。
本书以Transformer模型为核心,详细讲解了Transformer模型的优势与历史、编码器-解码器框架与注意力机制、迁移学习在计算机视觉中的应用等关键技术。书中还详细介绍了Transformer模型的扩展准则,包括如何通过调整计算量、数据集大小和模型大小来优化Transfo