AI简介
这是一本深度探讨网络爬虫技术的实战书籍,从基础知识到高级应用,从数据获取到数据分析,从产品定义到产品交付,全书涵盖了网络爬虫的方方面面。
全书以作者原创的代码为主,不借助现成的框架,强调在数据采集过程中的发散思维,总结攻克反爬虫的思维模式,实现以低成本的方式得到想要的数据的愿望。书中通过多个数据项目实例,介绍了爬虫、反爬虫的各种案例,使读者了解到数据抓取和分析的完整过程。
书中内容由浅入深,从基础知识开始,介绍了什么是爬虫,数据获取渠道,抓包分析工具,爬虫和反爬虫的斗争,数据处理、分析和可视化等。然后,逐步深入到基于位置信息的爬虫,网站信息抓取及可视化,基于逆向分析小程序的爬虫等高级应用。
此外,书中还详细介绍了如何从0到1地开发一个大数据产品,包括数据价值探索与发现,数据产品定义与构建,快速原型开发与迭代交付过程等。特别是最后一章,作者通过“爱飞狗”的例子,为读者展示如何从0到1地开发一个大数据产品,具有很强的实践指导意义。