Python Web Scraping（Second Edition）

This book is aimed at developers who want to use web scraping for legitimate purposes. Prior programming experience with Python would be useful but not essential. Anyone with general knowledge of programming languages should be able to pick up the book and understand the principals involved.

这是一本针对那些想要合法使用网络抓取技术的开发者的指南。本书首先介绍了网络抓取的概念，然后详细讲解了如何使用Python 3和requests库进行网络抓取，包括如何处理编码问题、重试下载、并发下载等。此外，书中还详细介绍了如何通过正则表达式、Beautiful Soup和lxml等工具提取网页数据。 本书进一步讲解了如何处理动态内容，如使用Selenium和Render类进行动态网页抓取，以及如何使用OCR技术解决CAPTCHA问题。书中还详细介绍了如何使用Scrapy框架进行高效的网站抓取，以及如何使用Portia和Scrapely等工具自动化抓取过程。 此外，书中还讲解了如何使用多线程技术抓取网站，如何通过逆向工程获取数据，以及如何通过Facebook API获取数据。书中还提供了许多实用的示例，如抓取Google搜索结果、抓取Gap网站、抓取BMW经销商定位器页面等。