深度解析：宝塔网站如何屏蔽不受欢迎的蜘蛛

kmwl520 2024-06-21 建站经验 0

前言：有些网站不想做SEO，加上可能配置不好，各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1：首先你得拥有一个宝塔防火墙，直接在防火墙里找到：User-Agent过滤，然后添加以下规则内容：

(Baiduspider|baiduspider|sogouspider|sogouweb|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot|Amazonbot|dataforseo|DataForSeoBot|semrush|babbar|mj12bot|116.0.0.0)

方案2：在宝塔面板找到对应的网站，点击设置，点击配置文件，加入以下代码：

if$http_user_agent"Baiduspider|baiduspider|sogouspider|sogouweb|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot|Amazonbot|dataforseo|DataForSeoBot|semrush|babbar|mj12bot|116.0.0.0"return403

Nginx内部标志UA的变量为$http_user_agent，想要屏蔽某个UA，找到其它UA的关键词，按上面的设置即可。

酒酿蛋的功效最性感的美女图片手绘美女美女人体艺术图女生头像带字的

标签关键词： 远昔博客

免责声明

本站提供的一切软件、教程和内容信息仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序，请支持正版，购买注册，得到更好的正版服务。如有侵权请邮件xm520vip@gmail.com与我们联系处理。敬请谅解！