中国黑防联盟

中国黑防联盟 门户 查看主题

常见垃圾蜘蛛及屏蔽方法

发布者: admin | 发布时间: 2020-12-4 09:20| 查看数: 245| 评论数: 5|帖子模式

今天查看服务器日志发现一些垃圾蜘蛛频繁抓紧网站页面,白白浪费服务器资源,屏蔽之!
垃圾蜘蛛定义
垃圾蜘蛛定义为对网站的品牌和流量没有任何实质性的帮助,并且给网站资源带来一定损耗的蜘蛛。这种蜘蛛会频繁抓取网站内容,并且利用内容做一些数据分析来达到他们的商业目的。
垃圾蜘蛛列表

  • SemrushBot,这是semrush下面的一个蜘蛛,是一家做搜索引擎优化的公司,因此它抓取网页的目的就很明显了。这种蜘蛛对网站没有任何用处,好在它还遵循robots协议,因此可以直接在robots屏蔽。
  • DotBot, 这是moz旗下的,作用是提供seo服务的蜘蛛,但是对我们并没有什么用处。好在遵循robots协议,可以使用robots屏蔽
  • AhrefsBot, 这是ahrefs旗下的蜘蛛,作用是提供seo服务,对我们没有任何用处,遵循robots协议。
  • MJ12bot,这是英国的一个搜索引擎蜘蛛,但是对中文站站点就没有用处了,遵循robots协议。
  • MauiBot,这个不太清楚是什么,但是有时候很疯狂,好在遵循robots协议。
  • MegaIndex.ru,这是一个提供反向链接查询的网站的蜘蛛,因此它爬网站主要是分析链接,并没有什么作用。遵循robots协议。
  • BLEXBot, 这个是webmeup下面的蜘蛛,作用是收集网站上面的链接,对我们来说并没有用处。遵循robots协议
  • 等待增加
屏蔽方法
对于遵循robots协议的蜘蛛,可以直接在robots禁止。上面常见的无用蜘蛛禁止方法如下,将下面的内容加入到网站根目录下面的robots.txt就可以了
User-agent: Baiduspider
Allow: /
User-agent: 360Spider
Allow: /
User-agent: sogou spider
Allow: /
User-agent: Sosospider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: googlebot-image
Allow: /
User-agent: googlebot-mobile
Allow: /
User-agent: yisouspider
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /
Disallow: User-agent: *
Disallow: Disallow: /api/
Disallow: Disallow: /data/
Disallow: Disallow: /source/
Disallow: Disallow: /install/
Disallow: Disallow: /template/
Disallow: Disallow: /config/
Disallow: Disallow: /uc_client/
Disallow: Disallow: /uc_server/
Disallow: Disallow: /static/
Disallow: Disallow: /admin.php
Disallow: Disallow: /search.php
Disallow: Disallow: /member.php
Disallow: Disallow: /api.php
Disallow: Disallow: /misc.php
Disallow: Disallow: /connect.php
Disallow: Disallow: /forum.php?mod=redirect*
Disallow: Disallow: /forum.php?mod=post*
Disallow: Disallow: /home.php?mod=spacecp*
Disallow: Disallow: /userapp.php?mod=app&*
Disallow: Disallow: /*?mod=misc*
Disallow: Disallow: /*?mod=attachment*
Disallow: Disallow: /*mobile=yes*
Sitemap:https://www.vcs6.com/sitemap.xml
对于不尊许robots规则的蜘蛛,目前能够屏蔽的方法就是根据useragent或者ip来禁止了。

最新评论

一心之恋祭 发表于 2021-4-19 19:18:26
不错,又占了一个沙发!
不继且回窗 发表于 2021-6-2 00:45:19
亲测有效,谢谢楼主
用户5592359840 发表于 2021-6-4 05:33:06
用心讨论,共获提升!
海沙心诖 发表于 2021-7-6 22:15:29
跟我熟的人,请自动忽略此条回复。
123458133 发表于 2021-7-18 08:51:04
真的可以用,感谢楼主,顶一下
关闭

站长推荐上一条 /1 下一条

快速回复 返回顶部 返回列表