阿里云虚拟主机由于蜘蛛爬虫耗流量的解决方案

Oct 12 2019

分类：新闻快递

已被围观 1774 次

问题描述：

页面每天只有几个IP访问。流量却在短时间内消耗殆尽。

问题分析：

通过流量统计报告查看到百分之八十的流量都是来自蜘蛛爬虫。

解决方案：

编写robots.txt文件上传到网站根目录中。

使用类似于“Disallow:/ 禁止允许”的规则对蜘蛛爬虫进行禁止。减少蜘蛛抓取对网页产生的流量。

注意：这样做虽然能减少不必要的流量。但是会影响到网页的权重值。在设定的时候。请自行斟酌取舍。

本公司销售：阿里云、腾讯云、百度云、天翼云、金山大米云、金山企业云盘！可签订合同，开具发票。