Python Web Scraping Cookbook

This book is ideal for Python programmers, web administrators, security professionals or someone who wants to perform web analytics would find this book relevant and useful. Familiarity with Python and basic understanding of web scraping would be useful to take full advantage of this book.

这是一本专注于Python网络爬虫技术的实战指南。本书以Python编程语言为基础，详细介绍了网络爬虫的概念、原理、技术和方法，包括如何设置Python开发环境，如何抓取网页数据，如何处理数据，以及如何将网络爬虫的结果转化为云服务等。 本书首先介绍了数据收集的重要性，强调了互联网上存在大量的数据，这些数据既包括结构化的API数据，也包括非结构化的网页数据。数据收集只是开始，数据必须经过存储、挖掘，并以增值形式展现给他人。收集到的数据需要存储在本地和远程数据库中。数据需要经过清洗、挖掘，并通过可视化工具进行展示。 接着，本书深入探讨了网络爬虫技术，包括如何设置Python开发环境，如何使用requests和BeautifulSoup等库进行网页抓取，如何处理动态网站，如何从API中提取数据，以及如何将数据存储到数据库中等。此外，本书还介绍了如何处理无限滚动页面的数据，如何处理分页网站的数据，如何处理需要登录才能访问的网站的数据等。 此外，本书还介绍了如何使用NLTK工具包进行文本信息的分析，包括词性标注、命名实体识别、情感分析、主题建模等。这些功能可以帮助我们深入理解文本数据的含义