[原创]
屏蔽不需要的蜘蛛可以节省服务器资源?
来源:原创 - 时间:2021-10-02 13:30:01 - 浏览:

最近我一直在观察我的网站日志,发现了很多不常见的蜘蛛频繁抓取我的网站,大量垃圾蜘蛛甚至爬虫访问很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢?

屏蔽不需要的蜘蛛节省服务器资源

一般来说,屏蔽蜘蛛抓取有三种方法:

  • Robots屏蔽

  • UA屏蔽

  • IP屏蔽

但是我们一般都是通过Robots屏蔽这个方法,Robots 协议(也称为爬虫协议、机器人协议等)用来告诉搜索引擎、爬虫哪些页面可以抓取,哪些页面不能抓取。

需要屏蔽的蜘蛛

  • AhrefsBot:通过抓取网页建立索引库,并提供反向链接分析和服务。

  • dotbot:在线营销分析软件。

  • MJ12bot:英国搜索引擎。

  • Deusu:个人的项目一个搜索引擎。

  • grapeshot:这家公司好像也是分析网站用的。

屏蔽方式

在robots.txt目录下添加下面的代码,添加之后在百度站长平台检测一下robots是否正确。

  1. User-agent: AhrefsBot

  2. Disallow: /

  3. User-agent: dotbot

  4. Disallow: /

  5. User-agent: MJ12bot

  6. Disallow: /

  7. User-agent: DeuSu

  8. Disallow: /

  9. User-agent: grapeshot

  10. Disallow: /

附各大常见蜘蛛名字

百度蜘蛛:Baiduspider

谷歌蜘蛛:Googlebot

必应蜘蛛:bingbot

搜狗蜘蛛:Sogou web spider

360蜘蛛:360Spider

随机推荐随机推荐

hackhp blog hackhp blog

自娱自乐的一个博客

行尸走肉第十季高清在线观看|天天美剧|美剧鸟-行尸走肉第十季高清|天天美剧|美剧鸟-美剧虾|美剧侠 行尸走肉第十季高清在线观看|天天美剧|美剧鸟-行尸走肉第十季高清|天天美剧|美剧鸟-美剧虾|美剧侠

行尸走肉第十季高清|天天美剧|美剧鸟-美剧虾|美剧侠为广大网友收集整理全网最新国产动漫、日韩动漫、欧美在线观看,行尸走肉第十季高清|天天美剧|美剧鸟-美剧虾|美剧侠还支持手机看动漫,非常方便,希望大家喜欢,看动漫就来www.meijuxia2.net。

站长工具 - 站长之家 站长工具 - 站长之家

站长工具是站长的必备工具。经常上站长工具可以了解SEO数据变化。还可以检测网站死链接、蜘蛛访问、HTML格式检测、网站速度测试、友情链接检查、网站域名IP查询、PR、权重查询、alexa、whois查询等等。

爱尚资源网首页-专注分享优质资源整合,同时提供绿色软件库下载 爱尚资源网首页-专注分享优质资源整合,同时提供绿色软件库下载

爱尚资源网专注分享优质资源整合、同时提供绿色软件库下载,为网络爱好者提供一个温馨家园

七幻论坛 -  火爆原创辅助基地-专注免费分享辅助-致力于原创破解辅助 七幻论坛 - 火爆原创辅助基地-专注免费分享辅助-致力于原创破解辅助

七幻论坛_奇幻论坛,七幻辅助论坛_七幻论坛从2021年开始至今始终坚持免费搜集分享各种网络资源,并原创各种资源,现如今本站已发展形成网站源码、主题模板、游戏辅助、精品软件、破解软件、电脑软件、程序源码、经验教程、影视资源等各个领域的资源!七幻论坛,站长SEO必备分享平台-专注优秀技术教程分享,年轻人的潮流文化社区

绿茶软件园_打造绿色软件,免费软件和手机软件下载基地! 绿茶软件园_打造绿色软件,免费软件和手机软件下载基地!

绿茶软件园是免费软件下载网站,以绿色软件,破解软件,浏览器,单机游戏,网络游戏,手机软件,手机游戏,杀毒软件,单机游戏下载为主,纯净用户体验,没有垃圾广告的单机游戏和软件下载基地

网页模板,网站模板,DIV+CSS模板,企业网站模板下载-模板之家 网页模板,网站模板,DIV+CSS模板,企业网站模板下载-模板之家

CSS模板之家为你提供大量精品网页模板,企业网站模板,网站模板下载,DIV+CSS模板,网页设计模板,网站后台模板,个人博客模板,上千种免费网页模板下载尽在模板之家cssMoban.com。

城通网盘-50TB超大网盘 城通网盘-50TB超大网盘

城通网盘是一款免费网盘,即免费网络存储空间服务。注册后可获得支持外链的50TB空间,最大单文件可达15GB,同时为用户提供每万次点击下载1000元的收益。已为国内外数千万用户提供超过 5000TB 的网络储存空间。

博易大师-期货开户、期货行情分析、期货交易的综合性平台 博易大师-期货开户、期货行情分析、期货交易的综合性平台

博易大师专注于中国大宗商品期货市场,开展期货开户、期货行情分析、期货交易的综合性平台。

秀人IMISS爱蜜社官网最新原版套图下载_IMISS爱蜜社写真视频下载 秀人IMISS爱蜜社官网最新原版套图下载_IMISS爱蜜社写真视频下载

IMISS爱蜜社为秀人网平台下的专业写真推广出品机构,乐乐图社提供最新最全面的IMISS爱蜜社网红美女原版套图资源下载,如果你喜欢IMISS爱蜜社旗下的美女套图资源,敬请多多支持乐乐图社。

curl命令转代码 - 在线工具 curl命令转代码 - 在线工具

curl命令转php、json、js、go、python、dart代码

邦女郎写真视频-aiss爱丝官网闫盼盼pans盘丝洞 邦女郎写真视频-aiss爱丝官网闫盼盼pans盘丝洞

girls007最新最全网络系列美图视频,重新定义对美的概念

猎奇窝 - 猎奇网,网罗天下奇闻趣事,猎奇资讯网,猎奇社区,猎奇天下 猎奇窝 - 猎奇网,网罗天下奇闻趣事,猎奇资讯网,猎奇社区,猎奇天下

猎奇窝www.lieqiwo.com,一个诡异的猎奇网站,每天为你报道各种天下奇闻怪事,揭秘那些不为人知的世界奇闻异事,奇闻趣事,这里有你想看到的所有奇奇怪怪的猎奇新闻,看猎奇就来这个猎奇吧,我们是猎奇窝,目前最全最大的猎奇网站。

天翼云解析 天翼云解析

天翼云解析

电脑桌面壁纸 高清壁纸大全 安卓手机壁纸下载 8825桌面壁纸图片大全 电脑桌面壁纸 高清壁纸大全 安卓手机壁纸下载 8825桌面壁纸图片大全

8825桌面壁纸站提供高清桌面壁纸、手机壁纸、宽屏壁纸、电脑壁纸、动漫壁纸、风景壁纸等壁纸下载。