Nginx是一个高性能的HTTP和反向代理服务，目前很大一部分网站均使用了Nginx作为WEB服务器，Nginx虽然非常强大，但默认情况下并不能阻挡恶意访问，整理了一份常用的Nginx的屏蔽规则，希望对各位站长有所帮助。在开始之前，请备份你的Nginx配置，修改完毕后需要重载一次Nginx的，否则不会生效。如无特殊注明，下面命令均添加到server段内。一、防

更新时间：2022-08-14 04:37:51

最近看到高端SEO社群里有同学讨论Robots相关问题，我们从实战的角度，给大家讲讲怎么写Robots写法，以及在实战中可能遇到的问题，都给大家讲一下！希望可以帮助更多不懂的同学！ Robots定义 什么是Robots，简单来讲，其实Robots就是放在网站根目录下的一个TXT文件，但是这个TXT文件对搜索引擎规定，哪些页面可以访问，哪些页面不行。 Robots一般放在网站根目录下，文件名固定为robots.txt的（全部小写）、当搜索引擎要爬取我们网站的时候，会先读一下robots.txt里面的内容，判断哪些URL可以访问，哪些不行，然后进行爬取、收录。 Robots规则 常用的几类语法： User-agent: 定义搜索引擎的类型 google蜘蛛：googlebot 百度蜘蛛：baiduspider yahoo蜘蛛：slurp alexa蜘蛛：ia_archiver msn蜘蛛：msnbot Disallow: 定义禁止搜索引擎收录的地址 举个例子来讲：User-agent: * Disallow: /

更新时间：2021-09-22 12:35:36

更新时间：2021-07-08 16:34:33