《Python3网络爬虫开发实战》是一本非常实用的书籍，它以Python 3为基础，重点介绍了网络爬虫的开发技巧，通过多个案例的讲解，读者可以学会如何利用Python开发爬虫，实现数据的高效爬取，除此之外，书中还对pyspider框架、Scrapy框架和分布式爬虫进行了详细介绍，帮助读者更好地应对各种爬虫开发场景，无论是初学者还是有一定经验的开发者，都可以从这本书中获得实用的知识和技巧。
内容介绍
本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。适合Python程序员阅读。
目录
- 第1章 开发环境配置
- 第2章 爬虫基础
- 第3章 基本库的使用
- 第4章 解析库的使用
- 第5章 数据存储
- 第6章 Ajax数据爬取
- 第7章 动态渲染页面爬取
- 第8章 验证码的识别
- 第9章 代理的使用
- 第10章 模拟登录
- 第11章 App的爬取
- 第12章 pyspider框架的使用
- 第13章 Scrapy框架的使用
- 第14章 分布式爬虫
- 第15章 分布式爬虫的部署
爬取数据包 一般来说，要爬虫的内容都是在格式上具有一定的重复性，但同时数据量又非常大。如果你曾经做过网页开发，你就会明白网页开发者对于这样的数据，一般都会采取从服务器发数据包到前端，在前端解析数据的方式来实现，于是这就给了爬虫者巨大的便利。因为一旦我找到了数据包的请求方式，我就可以仿照前端发送相同的请求，来获得相应的JSON数据。 这样请求一般可以认为是http请求，http请求主要分为两种形式： * Get方法：比如说我们在浏览器上输入一个网络地址，就是发起一个Get方法的请求。这种网络地址就是URL。 * Post方法：在爬虫中不常见，故不详细介绍 对于爬虫者来说，只需要知道Get方法是如何传递参数的即可。在前文，我提到网页就是一个书架，如果我希望书架上的书都是金融类的书，那么我就需要向服务器发送一个需要书的请求，并且这个请求中的一个参数就是“金融类”，于是服务器就能明白我想要的书是金融类的书。
常见的网页形式主要有两大类： * 静态网页 * 动态网页 所谓的静态的网页，就是网页编写者会将网页数据都直接写入到html中，对于这样的网页，一般而言是无法进行数据更新的，也就是说你今天打开这个网页获得的信息和你一个月后在这个网页获得信息是一样的，不会有任何的改变。 所谓的动态的网页，就是网页编写者只是将网页写成一个框架，具体的数据会放在服务器的数据库了。就比如说，网页是一个书架，你希望获得金融类的书籍，那你就可以向服务器发出这么一个请求——“我希望获得金融类的书籍”，那么服务器就会返回相应的书籍，书架上就会呈现相应的金融类的书籍。这里的请求实际上就是http请求，也就是网页作为前端与服务器作为后端之间的信息通信。动态网页是目前比较常见的网页形式，因为大数据的存在，网页逐渐成为一种呈现的方式，具体的数据会保存在服务器的数据库中，并且不断地改变着。 对于具体的爬虫来说，对于这两种方式，会采用不同的爬虫策略。