什么是爬虫

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

大家可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到自己的猎物（所需要的资源），那么它就会将其抓取下来。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的链接，那么它就可以爬到另一张网上来获取数据。

为什么要反爬虫

反爬虫，即使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。

如果不反爬虫，会有人不断的发起请求获取数据，动态服务器会有大量的异常错误或者正常的意外流量，流量被浪费在了(程序员/组织)获取数据上，而不是分发数据（给用户）上。

这对网站官方会造成极大的负面影响，所以要反爬虫。

反爬虫的手段

基于请求头

反爬虫首先是基于请求头的，爬虫程序的请求头通常与用户使用的浏览器的请求头不同，通过请求头，可以筛除很大一部分的程序请求。

基于用户行为

反爬虫手段还可以基于用户行为，对于一些异常行为，比如1秒内提交数十次请求，后台就可以认定发出请求的用户可能不是人，通过封锁此类用户的IP来达到反爬虫的效果。

反反爬虫

设置请求头

通过设置请求头，我们的爬虫程序可以伪装成浏览器，从而避免反爬虫系统的怀疑。

我们可以使用 fake_useragent 库，它其中包含了一个 UserAgent类可以帮助我们生成不同的请求头。

fake_useragent 库是第三方库，所以第一步是安装：

1

pip install fake_useragent

接着导入 fake_useragent 库：

1

from fake_useragent import UserAgent

然后使用方法也很简单：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

from fake_useragent import UserAgent

# 创建一个 UserAgent对象
ua = UserAgent()

# 随机获取 User-Agent
print(ua.random)

# 随机生成 ie的 User-Agent
print(ua.ie)
# 随机生成 opera的 User-Agent
print(ua.opera)
# 随机生成 chrome的 User-Agent
print(ua.chrome)
# 随机生成 google的 User-Agent
print(ua.google)
# 随机生成 firefox的 User-Agent
print(ua.firefox)
# 随机生成 safari的 User-Agent
print(ua.safari)

将包含生成的User-Agent的请求头作为发送请求时的参数，就可以实现伪装浏览器请求。

设置间隔时间

高频请求会引起反爬虫系统的反应，我们需要将爬虫程序伪装得更像一个真人，通过降低请求频率就可以进行伪装。

我们通常是使用设置间隔时间的方式来降低频率，这里我们会使用到time库。

time库是 Python 内置的标准库，直接导入就可以使用：

1

import time

time库提供了一个sleep()方法，它可以根据输入的参数暂停程序一段时间：

1
2
3
4

import time
print('小嗷犬')
time.sleep(5)
print('嗷嗷嗷')

其中，sleep()方法所用的单位是秒(s)。

尽量确保我们的爬虫程序每次请求之间间隔一段时间，以此来避免被反爬虫系统监测。

同时我们还可以结合random，来使间隔时间更加自然：

1
2
3
4
5
6

import time
import random

for i in range(10):
 print(i)
 time.sleep(random.random() * 3)

爬虫协议

robots协议也称爬虫协议、爬虫规则等，是指网站可建立一个robots.txt文件来告诉其他人哪些页面可以抓取，哪些页面不能抓取，而其他人则通过读取robots.txt文件来识别这个页面是否允许被抓取。

robots协议是国际互联网界通行的道德规范，基于以下原则建立：

1. 搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权
2. 网站有义务保护其使用者的个人信息和隐私不被侵犯

但是，这个robots协议不是防火墙,也没有强制执行力，爬虫程序完全可以忽视robots.txt文件去抓取网页的快照。

robots协议并不是一个规范，而只是约定俗成的，所以并不能真正保证网站的隐私，它只是互联网界的一种君子协定，需要我们自觉遵守。