Python3网络爬虫宝典

本书从实际的爬虫业务需求延伸到知识点和具体实现，并详细介绍了其中的原理。首先带领读者领略爬虫程序的构成和完整链条，学习自动化工具的应用场景和基本使用；接着介绍了增量爬取的分类和具体实现、基于Redis的分布式爬虫实现和基于RabbitMQ的分布式爬虫实现，通过阅读论文和源码剖析详细介绍了高准确率的网页正文自动化提取方法；然后通过源码调试了解到与Python项目的部署和调度相关的知识，进而动手实践，编写了一款具备权限控制、Python通用项目部署、定时调度、异常监控和钉钉机器人消息通知的爬虫项目管理平台；最后通过解读分布式调度平台的核心架构，帮助大家了解分布式架构中最为重要的节点通信、文件同步等知识。

这是一本全面、深入讲解Python网络爬虫的实战教程。该书从实际的爬虫业务需求延伸到知识点和具体实现，并详细介绍了其中的原理。首先带领读者领略爬虫程序的构成和完整链条，学习自动化工具的应用场景和基本使用；接着介绍了增量爬取的分类和具体实现、基于Redis的分布式爬虫实现和基于RabbitMQ的分布式爬虫实现，通过阅读论文和源码剖析详细介绍了高准确率的网页正文自动化提取方法；然后通过源码调试了解到与Python项目的部署和调度相关的知识，进而动手实践，编写了一款具备权限控制、Python通用项目部署、定时调度、异常监控和钉钉机器人消息通知的爬虫项目管理平台；最后通过解读分布式调度平台的核心架构，帮助大家了解分布式架构中最为重要的节点通信、文件同步等知识。 该书的内容分为七章，每章都围绕一个主题展开，从浅入深，逐步引导读者掌握网络爬虫的关键技术和方法。第1章介绍了爬虫程序的构成和完整链条，包括网络请求、网页内容抽取、数据存储等，并通过小试牛刀的方式让读者实践出版社新闻资讯爬虫。第2章讲解了自动化工具的使用，包括网页渲染工具和App自动化工具，以及实践题。第3章介绍了增量爬取的原理与实现，