这是我参与11月更文挑战的第7天，活动详情查看：2021最后一次更文挑战。

一、什么是爬虫

爬虫就是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。

二、爬虫的价值:

1、实际应用

2、就业

三、爬虫合法性探究

爬虫究竟是合法还是违法的?

1、爬虫在法律中是不被禁止。

2、具有违法风险。

3、爬虫可分为善意爬虫和恶意爬虫。

爬虫带来的风险

风险可以体现在如下2方面:

1、爬虫干扰了被访问网站的正常运营。

2、爬虫抓取了收到法律保护的特定类型的数据或信息。

如何在使用编写爬虫的过程中避免进入局子的厄运呢?

1、时常的优化自己的程序，避免干扰被访问网站的正常运行。

2、在使用，传播爬取到的数据时，审查抓取到的内容，如果发现了涉及到用户隐私
商业机密等敏感内容需要及时停止爬取或传播。

四、爬虫在使用场景中的分类

（一）通用爬虫:

通用爬虫抓取系统重要组成部分，抓取的是一整张 页面数据。

（二）聚焦爬虫:

聚焦爬虫是建立在通用爬虫的基础之上的，抓取的是页面中特定的局部内容。

（三）增量式爬虫:

增量式爬虫检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据。

五、反爬机制与反反爬策略

（一）反爬机制

反爬机制就是广户网站可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

（二）反反爬策略

反反爬策略就是爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站中相关的信息。

六、robots.txt协议

robots.txt协议是一个君子协议，规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。

查看网站robots.txt协议

以淘宝为例：www.taobao.com/robots.txt