ahrefs.com/robot营销蜘蛛AhrefsBot封禁方法

查看网站日志发现还有一款国外SEO营销公司的蜘蛛大量访问站点

http://ahrefs.com/robot/

AhrefsBot访问，其useragent为”Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)”。

AhrefsBot是什么

AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外，没有任何好处。

简单说，AhrefsBot是一个营销网站的爬取蜘蛛，负责分析你网站的链接信息，这个工具对于国内用户来说，有luan用。

详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot

该网站是一个国外的但是有中文版，打开中文版显示如上图。其介绍为“增加您的搜索流量的工具，研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高，以及你需要采取什么行动来超越他们。”  所以应该明白他是做什么的了吧。如果不需要我们可以屏蔽。他的ip地址还是很多的所以建议用robots.txt屏蔽。

使用robots.txt封禁

通常来说，只要是遵循robots规则的蜘蛛或者爬虫，都可以使用robots.txt来禁止它爬取。AhrefsBot官方也说遵守这个规则，不过实际上是如果你不是一开始就添加了这个规则，你都不知道它蜘蛛什么时候才会重新爬取你的robots.txt文件来修改抓取规则。

规则如下：

User-agent: AhrefsBot

Disallow: /