爬虫基本流程

1、发起请求

通过url向服务器发送requests请求，请求可以包含额外的header信息。

2、获取响应内容

如果服务器正常响应，那么将受到一个response，response即为我们所请求的网页内容，可能包含html\json\二进制数据(图片、视频)等。

3、解析内容

如果是html代码则可以使用网页解析器进行解析；如果是json数据则可以转换成json对象进行解析；如果是二进制数据则可以保存到文件进行进一步的处理。

4、保存数据

可以保存到本地文件，也可以保存到数据库(mysql\redis\mongodb等)。

5、requests请求

当我们通过浏览器向服务器发送requests请求时，这个request包含什么内容？可以通过chrome浏览器的开发人员工具(F12)查看。

6、请求方式

最常用的请求方式包括get请求和post请求。

7、uri统一资源定位符

 一个网址、一个视频、一个图片都可以用uri去定义

8、requests headers

请求头，包括这次请求的类型，cookie信息以及浏览器类型等。

请求头在我们进行网页抓取的时候，服务器会通过解析请求头来进行信息的审核，判断请求是否为合法请求。所以当我们通过程序伪装浏览器进行请求的时候可以设置请求头的信息。

9、请求体

post请求会把用户信息包装在form-data里面进行提交，因此相比于get请求，post请求的Headers标签的内容会多出Form Data这个信息包。

10、response

响应状态：Headers中的General可以看到status code，使用数字代码表示对于状态，200表示成功，301跳转，404找不到网页，502服务器错误等。

11、响应头

包括内容的类型，cookie信息等。

12、响应体

请求的目的就是为了得到响应体，包括html代码，json及二进制数据等。

13、requests模块

安装使用pip install requests即可。